WO2020170969A1 - 測距装置及び測距装置の制御方法、並びに、電子機器 - Google Patents

測距装置及び測距装置の制御方法、並びに、電子機器 Download PDF

Info

Publication number
WO2020170969A1
WO2020170969A1 PCT/JP2020/005818 JP2020005818W WO2020170969A1 WO 2020170969 A1 WO2020170969 A1 WO 2020170969A1 JP 2020005818 W JP2020005818 W JP 2020005818W WO 2020170969 A1 WO2020170969 A1 WO 2020170969A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
control
distance
distance measuring
measuring device
Prior art date
Application number
PCT/JP2020/005818
Other languages
English (en)
French (fr)
Inventor
弘長 佐野
岡本　康宏
小野　博明
幸直 見城
草刈　高
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019173702A external-priority patent/JP2020139937A/ja
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/430,653 priority Critical patent/US20220146648A1/en
Publication of WO2020170969A1 publication Critical patent/WO2020170969A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Definitions

  • the present disclosure relates to a distance measuring device, a method of controlling the distance measuring device, and an electronic device.
  • a distance measuring device for acquiring distance information (distance image information) to a subject
  • a device for example, refer to Patent Document 1.
  • the ToF method irradiates a subject (measurement target) with light from a light source, and detects the flight time of the light until the emitted light is reflected by the subject and returns to the light detection unit. It is a method of measuring distance.
  • AE Automatic Exposure
  • the present disclosure provides a distance measuring device, in which light is sufficiently irradiated from a light source to a wider area of a distance measuring range, and exposure fluctuation is caused by automatic exposure control over a wider area of the distance measuring range.
  • An object of the present invention is to provide a method for controlling a distance measuring device and an electronic device having the distance measuring device.
  • a distance measuring device of the present disclosure for achieving the above object is A light source that illuminates the subject, A light detection unit that receives reflected light from a subject based on light emitted from a light source, and A control unit that controls exposure according to the distance between the distance measuring device and the subject, Equipped with.
  • a method for controlling a distance measuring device for achieving the above object, A light source for irradiating a subject with light, and A light detection unit that receives the reflected light from the subject based on the irradiation light from the light source, In controlling the rangefinder equipped with Exposure control is performed according to the distance between the range finder and the subject. Further, the electronic device of the present disclosure for achieving the above object includes the distance measuring device having the above configuration.
  • FIG. 1 is a conceptual diagram of a ToF distance measuring system.
  • FIG. 2 is a block diagram showing an example of the configuration of a ToF distance measuring apparatus to which the technology of the present disclosure is applied.
  • FIG. 3 is a block diagram showing an example of the configuration of the light detection unit.
  • FIG. 4 is a circuit diagram showing an example of a circuit configuration of a pixel in the photodetection section.
  • FIG. 5 is a timing waveform chart for explaining the calculation of the distance in the ToF distance measuring apparatus.
  • FIG. 6 is a characteristic diagram showing the relationship between the signal value of the photodetector and the distance in the distance measuring device according to the first embodiment.
  • FIG. 7 is a characteristic diagram showing the relationship between the signal value and the distance for the reliability value on the IQ plane.
  • FIG. 1 is a conceptual diagram of a ToF distance measuring system.
  • FIG. 2 is a block diagram showing an example of the configuration of a ToF distance measuring apparatus to which the technology of the present disclosure is applied
  • FIG. 8 is a characteristic diagram showing the relationship between the distance and the exposure time, based on the case where a subject having a certain reflectance is placed at a distance of 10 [cm].
  • FIG. 9 is a diagram simply showing the AE control according to the conventional example.
  • FIG. 10 is a diagram simply showing the calculation of the exposure time in the AE control according to the conventional example.
  • FIG. 11 is a diagram simply showing the AE control according to the first embodiment of the present disclosure.
  • FIG. 12 is a diagram simply showing the exposure time calculation processing in the AE control according to the first embodiment of the present disclosure.
  • FIG. 13 is an AE diagram for AE control according to the first embodiment of the present disclosure.
  • FIG. 14 is a flowchart of basic processing of AE control according to the first embodiment of the present disclosure.
  • FIG. 15 is a characteristic diagram showing characteristics of shot noise with respect to all signal values (average values).
  • FIG. 16 is a characteristic diagram showing the characteristic of the reflected light noise offset with respect to all signal values (average value).
  • FIG. 17 is a flowchart for explaining a specific processing flow of AE control according to the first embodiment of the present disclosure.
  • FIG. 18 is a flowchart showing a flow of processing for calculating the light emission/exposure condition of the next frame based on the RAW image pickup data of the current frame and the light emission/exposure condition.
  • FIG. 19 is a timing chart showing an example of controlling the light emission time (exposure time).
  • FIG. 20 is a timing chart showing an example of controlling the light emission amplitude (light emission intensity).
  • FIG. 21 is an AE diagram for AE control according to the second embodiment of the present disclosure.
  • FIG. 22 is a flowchart illustrating a processing flow of AE control according to the second embodiment of the present disclosure.
  • 23A is an external view of a smartphone according to a specific example of the electronic device of the present disclosure as viewed from the front side, and
  • FIG. 23B is an external view as viewed from the back side.
  • AE control according to the first embodiment (examples of AE control in distant view, near view, and ultra close view) 6-1.
  • Exposure time calculation process 6-2 Mechanism of AE control according to distance 6-3.
  • AE control according to the second embodiment (a modified example of AE control in a super close view) 8.
  • Modified example 9 Application example 10.
  • Electronic device of the present disclosure (example of smartphone) 11. Configurations that the present disclosure can take
  • control unit may be configured to perform the exposure control based on the signal value output from the photodetection unit. Further, the control unit may be configured to control the light emission/exposure condition of the next frame based on the image pickup data of the current frame output by the light detection unit and the light emission/exposure condition.
  • control unit performs the exposure control so as to maintain the designated first reliability value in the control of the distant view. can do.
  • the control unit may be configured to perform the exposure control so as to maintain the designated exposure time in the control of the relatively close view.
  • the control unit separates the ambient light component incident on the light detection unit and the reflected light component from the subject, and reflects the reflected light.
  • the component may be a control target.
  • the control unit may be configured to estimate the ambient light component based on the image data output by the photodetector and separate the reflected light component and the ambient light component.
  • control unit adaptively controls the noise amount of the reflected light component with reference to the signal value output by the light detection unit. It can be configured to.
  • the process of acquiring the distance image using the image data of the current frame including the distance information detected for each pixel of the light detection unit is performed. It may be configured to include a distance measuring unit.
  • the control unit performs the exposure control so as to maintain the designated second reliability value in the control of the ultra close view. It can be configured to perform.
  • the distance to the subject that is, the distance between the distance measuring device and the subject
  • the distance to the subject can be set to a short distance at which the influence of scattered light occurs due to the presence of the subject that is not the object of distance measurement. ..
  • FIG. 1 is a conceptual diagram of a ToF distance measuring system.
  • the ToF method is adopted as the measuring method for measuring the distance to the subject 10 which is the measuring object.
  • the ToF method is a method of measuring the time until the light emitted toward the subject 10 is reflected by the subject 10 and returns.
  • the distance measuring device 1 includes a light source 20 that emits light (for example, laser light having a peak wavelength in the infrared wavelength region) that is emitted toward the subject 10, and a subject.
  • a light detection unit 30 that detects reflected light that is reflected by 10 and returns is provided.
  • FIG. 2 is a block diagram showing an example of the configuration of a ToF distance measuring apparatus to which the technology of the present disclosure is applied.
  • the distance measuring apparatus 1 according to this application example (that is, the distance measuring apparatus 1 of the present disclosure) performs exposure control based on a signal value output from the light detection unit 30 in addition to the light source 20 and the light detection unit 30.
  • a control unit 40 and a distance measuring unit 50 are provided.
  • the ToF distance measuring apparatus 1 according to the present application example detects the distance information for each pixel of the light detecting unit 30 and acquires a highly accurate distance image (Depth Map: depth map) in units of imaging frames. be able to.
  • Depth Map depth map
  • the light emitted from the light source 20 is reflected by the measurement target (subject), and the light flight time is determined based on the detection of the phase difference of the reflected light reaching the light detection unit 30.
  • It is an indirect ToF distance image sensor that measures the distance from the distance measuring device 1 to the object to be measured by measuring.
  • the light source 20 emits light toward the object to be measured by repeating the on/off operation at a predetermined cycle under the control of the AE control unit 40.
  • As the irradiation light of the light source 20 for example, near-infrared light near 850 nm is often used.
  • the light detection unit 30 receives the light emitted from the light source 20 that is reflected by the measurement target and returns, and detects the distance information for each pixel.
  • the light detection unit 30 outputs the RAW image data of the current frame including the distance information detected for each pixel, and the light emission/exposure setting information, which is supplied to the AE control unit 40 and the distance measuring unit 50.
  • the AE control unit 40 has a configuration including a next frame emission/exposure condition calculation unit 41 and a next frame emission/exposure control unit 42.
  • the next frame light emission/exposure condition calculation unit 41 calculates the light emission/exposure condition of the next frame based on the RAW image data of the current frame supplied from the light detection unit 30 and the light emission/exposure setting information.
  • the light emission/exposure conditions of the next frame are the light emission time and the light emission intensity of the light source 20 and the exposure time of the light detection unit 30 when the distance image of the next frame is acquired.
  • the next frame light emission/exposure control unit 42 based on the light emission/exposure condition of the next frame calculated by the next frame light emission/exposure condition calculation unit 41, the light emission time and the light emission intensity of the light source 20 of the next frame, and the light detection.
  • the exposure time of the unit 30 is controlled.
  • the distance measuring unit 50 has a distance image calculating unit 51 that calculates a distance image.
  • the distance image calculation unit 51 calculates a distance image by performing calculation using the RAW image data of the current frame including the distance information detected for each pixel of the light detection unit 30, depth information that is depth information, and It is output to the outside of the distance measuring device 1 as distance image information including reliability value information which is light reception information.
  • the distance image is, for example, an image in which a distance value (depth/depth value) based on distance information detected for each pixel is reflected in each pixel.
  • FIG. 3 is a block diagram showing an example of the configuration of the light detection unit 30.
  • the light detection unit 30 has a laminated structure including a sensor chip 31 and a circuit chip 32 laminated on the sensor chip 31.
  • the sensor chip 31 and the circuit chip 32 are electrically connected to each other through a connection portion (not shown) such as a via (VIA) or a Cu—Cu joint.
  • a connection portion such as a via (VIA) or a Cu—Cu joint.
  • FIG. 3 illustrates a state in which the wiring of the sensor chip 31 and the wiring of the circuit chip 32 are electrically connected via the above-mentioned connecting portion.
  • a pixel array section 33 is formed on the sensor chip 31.
  • the pixel array unit 33 includes a plurality of pixels 34 arranged in a matrix (array) on the sensor chip 31 in a two-dimensional grid pattern.
  • each of the plurality of pixels 34 receives incident light (for example, near infrared light), performs photoelectric conversion, and outputs an analog pixel signal.
  • two vertical signal lines VSL 1 and VSL 2 are wired for each pixel column.
  • M is an integer
  • 2 ⁇ M vertical signal lines VSL are wired in the pixel array unit 33.
  • Each of the plurality of pixels 34 has a first tap A and a second tap B (the details of which will be described later).
  • Two vertical signal lines VSL 1, of the VSL 2, the vertical signal line VSL 1, pixel signals AIN P1 analog based on the charge of the first tap A pixel 34 of the corresponding pixel column is output.
  • an analog pixel signal AIN P2 based on the electric charge of the second tap B of the pixel 34 of the corresponding pixel column is output to the vertical signal line VSL 2 .
  • the analog pixel signals AIN P1 and AIN P2 will be described later.
  • a row selection unit 35, a column signal processing unit 36, an output circuit unit 37, and a timing control unit 38 are arranged on the circuit chip 32.
  • the row selection section 35 drives each pixel 34 of the pixel array section 33 in units of pixel rows and outputs pixel signals AIN P1 and AIN P2 .
  • the analog pixel signals AIN P1 and AIN P2 output from the pixels 34 of the selected row are supplied to the column signal processing unit 36 through the two vertical signal lines VSL 1 and VSL 2.
  • the column signal processing unit 36 has a configuration including, for example, a plurality of analog-digital converters (ADC) 39 provided for each pixel column, corresponding to the pixel column of the pixel array unit 33.
  • the analog-digital converter 39 performs analog-digital conversion processing on the analog pixel signals AIN P1 , AIN P2 supplied through the vertical signal lines VSL 1 , VSL 2 and outputs the analog pixel signals AIN P1 , AIN P2 to the output circuit unit 37.
  • the output circuit unit 37 performs CDS (Correlated Double Sampling) processing or the like on the digitized pixel signals AIN P1 and AIN P2 output from the column signal processing unit 36, and outputs the signals outside the circuit chip 32. Output to.
  • CDS Correlated Double Sampling
  • the timing control unit 38 generates various timing signals, clock signals, control signals, and the like, and drives the row selection unit 35, the column signal processing unit 36, the output circuit unit 37, and the like based on these signals. Take control.
  • FIG. 4 is a circuit diagram showing an example of the circuit configuration of the pixel 34 in the photodetection section 30.
  • the pixel 34 has, for example, a photodiode 341 as a photoelectric conversion unit.
  • the pixel 34 includes an overflow transistor 342, two transfer transistors 343, 344, two reset transistors 345, 346, two floating diffusion layers 347, 348, two amplification transistors 349, 350, and 2
  • the configuration has one selection transistor 351 and 352.
  • the two floating diffusion layers 347 and 348 correspond to the above-described first and second taps A and B shown in FIG. 3 (hereinafter, may be simply referred to as “tap A and B”).
  • the photodiode 341 photoelectrically converts the received light to generate electric charges.
  • the photodiode 341 can have, for example, a backside illumination pixel structure that takes in light emitted from the backside of the substrate.
  • the pixel structure is not limited to the back-illuminated pixel structure, and may be a front-illuminated pixel structure that takes in light emitted from the front surface side of the substrate.
  • the overflow transistor 342 is connected between the cathode electrode of the photodiode 341 and the power supply line of the power supply voltage V DD and has a function of resetting the photodiode 341. Specifically, the overflow transistor 342 becomes conductive in response to the overflow gate signal OFG supplied from the row selection unit 35, and sequentially discharges the charges of the photodiode 341 to the power supply line of the power supply voltage V DD. To do.
  • the two transfer transistors 343 and 344 are connected between the cathode electrode of the photodiode 341 and each of the two floating diffusion layers 347 and 348 (tap A, B). Then, the transfer transistors 343 and 344 become conductive in response to the transfer signal TRG supplied from the row selection unit 35, so that the charges generated by the photodiode 341 are sequentially transferred to the floating diffusion layers 347 and 348. Transfer to.
  • the floating diffusion layers 347 and 348 corresponding to the first and second taps A and B accumulate the charges transferred from the photodiode 341, convert the charges into voltage signals of a voltage value corresponding to the amount of charges, and convert the voltage signals into analog signals.
  • Pixel signals AIN P1 and AIN P2 are generated.
  • the two reset transistors 345 and 346 are connected between each of the two floating diffusion layers 347 and 348 and the power supply line of the power supply voltage V DD . Then, the reset transistors 345 and 346 are rendered conductive in response to the reset signal RST supplied from the row selection unit 35, so that the charges are extracted from the floating diffusion layers 347 and 348 to initialize the charge amount. To do.
  • the two amplification transistors 349 and 350 are connected between the power supply line of the power supply voltage V DD and the two selection transistors 351 and 352, respectively, and the floating diffusion layers 347 and 348 convert the charges into voltages.
  • the amplified voltage signals are amplified respectively.
  • the two selection transistors 351 and 352 are connected between the two amplification transistors 349 and 350 and the vertical signal lines VSL 1 and VSL 2 , respectively. Then, the selection transistors 351 and 352 become conductive in response to the selection signal SEL supplied from the row selection unit 35, so that the voltage signals amplified by the amplification transistors 349 and 350 are converted into analog pixel signals. The signals are output to the two vertical signal lines VSL 1 and VSL 2 as AIN P1 and AIN P2 .
  • the two vertical signal lines VSL 1 and VSL 2 are connected to the input end of one analog-digital converter 39 in the column signal processing unit 36 for each pixel column, and output from the pixel 34 for each pixel column.
  • the analog pixel signals AIN P1 and AIN P2 that are generated are transmitted to the analog-digital converter 39.
  • the circuit configuration of the pixel 34 is not limited to the circuit configuration illustrated in FIG. 3 as long as it is a circuit configuration capable of generating analog pixel signals AIN P1 and AIN P2 by photoelectric conversion.
  • FIG. 5 is a timing waveform chart for explaining the calculation of the distance in the ToF distance measuring apparatus 1.
  • the light source 20 and the light detection unit 30 in the ToF distance measuring apparatus 1 operate at the timings shown in the timing waveform diagram of FIG.
  • the light source 20 irradiates the measurement object with light for a predetermined period, for example, the period of the pulse emission time T p .
  • the irradiation light emitted from the light source 20 is reflected by the measurement object and returns.
  • the reflected light (active light) is received by the photodiode 341.
  • the time during which the photodiode 341 receives the reflected light after the irradiation of the irradiation light to the measurement object is started, that is, the light flight time is the time corresponding to the distance from the distance measuring device 1 to the measurement object. ..
  • the photodiode 341 receives the reflected light from the measurement object for the period of the pulse emission time T p from the time when the irradiation of the irradiation light is started. At this time, as the light received by the photodiode 341, the light emitted to the measurement object is reflected by the object or the atmosphere in addition to the reflected light (active light) reflected and returned by the measurement object. -It also includes scattered ambient light.
  • the charges photoelectrically converted by the photodiode 341 at the time of one-time light reception are transferred to and accumulated in the tap A (floating diffusion layer 347). Then, a signal n 0 having a voltage value corresponding to the amount of charge accumulated in the floating diffusion layer 347 is acquired from the tap A. At the time when the accumulation timing of the tap A ends, the charges photoelectrically converted by the photodiode 341 are transferred to the tap B (floating diffusion layer 348) and accumulated. Then, from the tap B, a signal n 1 having a voltage value corresponding to the amount of charge accumulated in the floating diffusion layer 348 is obtained.
  • the taps A and B are driven with the phases of the storage timings different by 180 degrees (drives with completely opposite phases), whereby the signals n 0 and n 1 are respectively acquired. It Then, by repeating such driving a plurality of times and accumulating and integrating the signals n 0 and n 1 , the accumulation signal N 0 and the accumulation signal N 1 are respectively acquired.
  • the accumulated signal N 0 and the accumulated signal N 1 include ambient light (ambient light) reflected/scattered by an object or the atmosphere in addition to a component of reflected light (active light) reflected and returned by the measurement object. Ingredients are also included. Therefore, in the above-described operation, the influence of the ambient light (ambient light) component is removed and the reflected light (active light) component is left, so that the signal n 2 based on the ambient light is also accumulated and integrated, The accumulated signal N 2 for the light component is acquired.
  • ambient light ambient light
  • active light reflected light
  • the distance D from the distance measuring device 1 to the measurement target can be calculated by the calculation processing based on the above.
  • D represents the distance from the distance measuring device 1 to the measurement object
  • c represents the speed of light
  • T p represents the pulse emission time
  • the distance image calculation unit 51 shown in FIG. 2 outputs the accumulated signal N 0 and the accumulated signal N 1 including the ambient light component and the accumulated signal N 2 regarding the ambient light component from the photodetector 30.
  • the distance D from the distance measuring device 1 to the object to be measured is calculated by the arithmetic processing based on the above equations (1) and (2), and is output as distance image information.
  • the distance image information for example, image information colored with a color having a density according to the distance D can be exemplified.
  • the calculated distance D is output as the distance image information here, the calculated distance D may be directly output as the distance information.
  • the information on the distance D calculated by the distance image calculation unit 51 is also supplied to the AE control unit 40.
  • the light intensity from a point light source attenuates in inverse proportion to the square of the distance from the point light source.
  • the relationship between the signal value of the photodetector 30 and the distance in the case of signals of 0 degrees, 90 degrees, 180 degrees, and 270 degrees accumulated in the tap A and the tap B is illustrated. 6 shows. In FIG. 6, the broken line represents the case of a 0 degree signal, the dotted line represents the case of a 90 degree signal, the alternate long and short dash line represents the case of a 180 degree signal, and the solid line represents the case of a 270 degree signal.
  • the signal value of the light detection unit 30 based on the light intensity is attenuated in inverse proportion to the square of the distance.
  • the constant is a conversion coefficient of other (except the amplitude of the light emitting source, the exposure time, and the reflectance of the subject). is there.
  • the exposure time to be controlled by the AE and the signal value have a linear relationship.
  • FIG. 7 shows the relationship between the signal value and the distance with respect to the confidence value (Confidence) of the IQ plane calculated and calculated from the 0-degree, 90-degree, 180-degree, and 270-degree signals of tap A and tap B.
  • the “reliability value” is light reception information of the light detection unit 30, and the light emitted (irradiated) from the light source 20 is reflected by the measurement target (subject) and returns to the light detection unit 30. It is the amount (degree) of reflected light (active light).
  • the solid line represents the reliability value
  • FIG. 8 shows the relationship between the distance and the exposure time (light emission time) based on the case where a subject (measurement target) having a certain reflectance is placed at a distance of 10 [cm].
  • a subject measured target
  • FIG. 8 shows the relationship between the distance and the exposure time (light emission time) based on the case where a subject (measurement target) having a certain reflectance is placed at a distance of 10 [cm].
  • the characteristic diagram of FIG. 8 for example, when an object having the same reflectance is gradually moved away under the exposure time of 1000 [ ⁇ sec], the irradiation for about 2500 [ ⁇ sec] is performed at the distance of 50 [cm]. Indicates that it is necessary.
  • the ratio of the confidence value to the distance is 1/1000 times at 31.6 [cm]. This is because the reliability value obtained when an object having a certain reflectance is placed at a distance of 10 [cm] and the exposure time is set to 1 [msec], and an object having the same reflectance is placed at a distance of 31.6 [cm]. It means that the reliability value obtained when the exposure time is 1000 [msec] is the same.
  • ⁇ AE control according to conventional example> In the AE control according to the conventional example, in order to always obtain the maximum S/N ratio, the exposure time for making a state of being barely saturated (a state that is as close as possible to the saturation threshold) is calculated, and the exposure time is calculated as follows. The control is based on this.
  • the AE control according to the conventional example is briefly shown in FIG. In the conventional AE control, reflected light (active light)+ambient light (ambient light) is used as a control target, and if the control target of the current frame is lower than the saturation threshold, the control target of the next frame is not limited to the saturation threshold. Control to approach is performed.
  • cm is the common part of the smaller of tap A and tap B (tap B in this example) with respect to reflected light (active light) and ambient light (ambient light), and
  • the saturation threshold (Saturation Threshold), the target control level (target_controllable_level), the target control gap (target_controllable_gap), and the dark offset (dark_offset) are parameters, and are common part cm, absolute value of difference
  • the ToF distance measuring apparatus 1 can be used by being mounted on an electronic device having a camera function, for example, a mobile device such as a smartphone, a digital camera, a tablet, a personal computer or the like. Then, in the AE control of the distance measuring device 1, in order to acquire a high-quality range image, control is performed so that the maximum confidence value (Confidence) level can be acquired within a range not exceeding the saturation threshold in order to obtain the saturation threshold as a target. The purpose is to do.
  • a camera function for example, a mobile device such as a smartphone, a digital camera, a tablet, a personal computer or the like.
  • the irradiation time of the laser light cannot be set long or the laser output intensity of the light source 20 is set due to the allowable limit of power consumption of the mobile device and the influence of camera shake. Due to a limit or the like, it is not possible to irradiate light from the light source 20 to the entire range of the distance measuring range.
  • the AE control is effective only in a part of the distance measuring range, for example, in a part of a short distance (that is, exposure variation due to the AE control does not occur). there were.
  • the AE control in the AE control according to the first embodiment of the present disclosure, light is sufficiently emitted from the light source 20 to a wider section of the ranging range, and the AE control is effective over the wider section of the ranging range ( That is, exposure variation due to AE control occurs). More specifically, in the AE control according to the first embodiment, for the purpose of always maintaining a designated confidence value (Confidence), the reflected light amount (active light) is controlled and the light amount of the reflected light is changed. The exposure time for keeping constant is calculated, and the control is performed based on the exposure time.
  • the AE control according to the first embodiment of the present disclosure is simply shown in FIG. 11.
  • the ambient light component can be individually acquired by turning off the light source 20 and capturing images with the same exposure time.
  • a method of estimating the ambient light component based on the RAW image data of the photodetector 30 and separating the reflected light component and the ambient light component will be adopted.
  • the method is not limited to this.
  • cm is the common part of the smaller one of tap A and tap B (tap B in this example) with respect to reflected light and ambient light
  • is tap A and tap B with respect to reflected light. Is the absolute value of the difference between the larger one and the smaller one.
  • the saturation threshold (Saturation Threshold), target control level (target_controllable_level), target control gap (target_controllable_gap), reflected light noise offset (active_noise_offset), target reflected light level (target_active_level), and dark offset (dark_offset) are parameters.
  • target_controllable_gap target_controllable_level-dark_offset Is.
  • the signal values of 0°, 90°, 180°, and 270° of tap A are TapA 0 , TapA 1 , TapA 2 , and TapA 3
  • the signal values of tap B of 0°, 90°, 180°, and 270° are TapB.
  • dm 0 TapA 0 -TapB 0
  • dm 1 TapA 1 -TapB 1
  • dm 2 TapA 2 -TapB 2
  • dm 3 TapA 3 -TapB 3 It can be expressed as.
  • I dm 0 ⁇ dm 2
  • the Q value is obtained from the calculation formula of (1) and is taken on the Y axis to create an IQ plane (see FIG. 7).
  • FIG. 7 shows the relationship between the signal value and the distance for the reliability value of the IQ plane calculated from the 0-degree, 90-degree, 180-degree, and 270-degree signals of tap A and tap B.
  • Confidence value
  • the measured value (measured_active) corresponding to the difference dm between the larger and smaller taps A and B the measured value (measured_active) corresponding to the difference dm between the larger and smaller taps A and B.
  • the average value of the difference dm or the average value of the reliability values within a predetermined region of interest (ROI: Region Of Interest) can be obtained as the measured value.
  • the integration coefficient is calculated, and the exposure time (next_exposure_time) of the next frame is calculated from the integration coefficient and the exposure time (current_exposure_time) of the current frame.
  • FIG. 13 shows an AE diagram for AE control according to the first embodiment of the present disclosure
  • FIG. 14 shows a flowchart for basic processing of AE control according to the first embodiment. This process is a process in the AE control unit 40 shown in FIG.
  • the function of the AE control unit 40 is realized by the processor, the basic processing of the AE control is executed under the control of the processor.
  • the first embodiment has a mechanism of AE control in which control is divided according to the distance between the distance measuring device 1 and the subject (measurement target). , Section B, and section C.
  • the section A is control in the case of a so-called distant view in which the distance between the distance measuring device 1 and the subject is relatively long.
  • Section B is control in the case of a so-called near view, in which the distance between the distance measuring device 1 and the subject is relatively short.
  • the section C is the control in the case of a so-called super close view, where the distance between the distance measuring device 1 and the subject is very short.
  • the vertical axis represents the exposure time of the next frame
  • the horizontal axis represents the signal value [LSB] of the maximum tap maxtap of the light detection unit 30.
  • i 0 to 3.
  • the signal value [LSB] on the horizontal axis is measured. This corresponds to the distance between the distance measuring device 1 and the subject.
  • the optimum control value (exposure time) for obtaining the depth information (depth information) in the distance measuring unit 50 is calculated based on the signal value output by the light detection unit 30. Exposure control is performed.
  • the processor configuring the AE control unit 40 acquires the distance D from the distance measuring device 1 to the measurement object calculated by the distance measuring unit 50 (step S1), and then determines the section A, the section B, and the section C. (Step S2), and thereafter, control for each section is performed as follows (steps S3 to S5).
  • the first confidence value target reflected light level (target_active_level)-reflected light noise offset (active_noise_offset) specified as the control parameter (threshold) is maintained.
  • the process for obtaining the distance image (Depth Map: depth map) with the minimum SN ratio is performed.
  • the characteristic of the signal value-exposure time in the section A is given by the formula shown in FIG.
  • the control is performed so as to form a straight line (linear) with the gradient slop (step S3).
  • section B near view
  • processing is performed to maintain the specified typical exposure time and obtain a range image with a high SN ratio.
  • the straight line of the slope slop obtained in the section A is changed to a typical exposure time, and the exposure time is controlled to be constant with respect to the signal value (distance). Is performed (step S4).
  • a reliability value equal to or higher than the specified minimum value for an application in which the close view is important.
  • the “saturated pixel ratio” is the ratio of saturated pixels exceeding the saturation threshold to the total number of pixels in a predetermined region of interest (ROI) to be optimized.
  • the noise amount of the reflected light (active light) component is adaptively controlled by referring to the signal value output by the photodetection unit 30.
  • the noise amount of the reflected light (active light) component has a linear relationship with the shot noise of the light detection unit 30, and the reflected light shown in FIG.
  • the noise offset (active_noise_offset) is adaptively controlled.
  • FIG. 15 shows a characteristic diagram of shot noise with respect to all signal values (average value)
  • FIG. 16 shows a characteristic diagram of reflected light noise offset with respect to all signal values (average value).
  • the reflected light noise offset (active_noise_offset[0]) at the time of dark offset and the reflected light noise offset (active_noise_offset[1] at the time of the saturation threshold value).
  • the reflected light noise offset is linearly transited between them.
  • the light source 20 satisfactorily irradiates a wider area of the distance measuring range with light of a wider range.
  • the AE control becomes effective over a wide section.
  • “the AE control is effective” means the following.
  • ⁇ Confidence becomes constant by controlling the exposure time (light emission time).
  • -It can be controlled so as not to exceed the saturation threshold. That is, according to the AE control according to the first embodiment of the present disclosure, the saturation threshold may be exceeded in a certain scene (conditions such as the distance to the subject, the shape of the subject, the reflectance of the subject, and the amount of ambient light). Even if there is, it can be controlled so as not to exceed the saturation threshold.
  • the near view is controlled separately from the distant view, so that the distance measuring device 1 can be used in a mobile device such as a smartphone as described later.
  • a mobile device such as a smartphone
  • the AE control process illustrated here is a process in the AE control unit 40 illustrated in FIG. 2.
  • the AE control unit 40 is configured to include the next frame light emission/exposure condition calculation unit 41 and the next frame light emission/exposure control unit 42.
  • the next frame light emission/exposure condition calculation unit 41 and the next frame light emission/exposure control are performed.
  • the functions of the unit 42 may be realized by a processor.
  • the AE control is performed under the control of the processor that constitutes the AE control unit 40. Processing is executed.
  • the processor (hereinafter, simply referred to as “processor”) configuring the AE control unit 40 determines whether or not the AE control processing is completed (step S11). If not completed (NO in S11), the current frame The RAW image pickup data and the light emission/exposure conditions are acquired from the light detection unit 30 (step S12). The RAW image pickup data of the current frame and the light emission/exposure conditions are the light emission time and the light emission intensity of the light source 20 and the exposure time of the light detection unit 30 when the current frame is imaged.
  • the processor calculates the light emission/exposure condition of the next frame based on the acquired RAW image pickup data of the current frame and the light emission/exposure condition (step S13).
  • the light emission/exposure conditions of the next frame are the light emission time and the light emission intensity of the light source 20 and the exposure time of the light detection unit 30 at the time of imaging the next frame. Details of the specific process of step S13 will be described later.
  • step S14 the processor notifies the light source 20 of the light emission/exposure conditions of the next frame calculated in the process of step S13 (step S14), returns to step S11, and executes the processes from step S11 to step S14. In the above process, it is repeatedly executed until it is determined that the AE control process is completed. Then, in the process of step S11, if the AE control process ends (YES in S11), the processor ends the series of processes described above for the AE control.
  • step S13 that is, the process of calculating the light emission/exposure condition of the next frame based on the RAW image pickup data of the current frame and the light emission/exposure condition will be described with reference to the flowchart of FIG. It will be explained using.
  • the processor calculates a saturated pixel ratio, which is a ratio of saturated pixels to the total number of pixels in a predetermined region of interest (ROI) to be optimized, based on the RAW image pickup data of the current frame acquired in the process of step S12 of FIG. (Step S21).
  • the processor determines whether or not the saturated pixel ratio exceeds a preset ratio (step S22). When it is determined that the saturated pixel ratio exceeds the preset ratio (YES in S22), the emission/exposure condition of the next frame at the time of saturation is set. Calculate (step S23).
  • the saturated pixel ratio exceeds a preset ratio, that is, when the saturated pixels are relatively large, the linearity collapses and it becomes difficult to calculate the optimum exposure time. Therefore, in step S23, the exposure time is simply shortened. Processing is performed.
  • step S24 calculation of the optimum exposure time (light emission time) and AE control is performed according to the distance.
  • step S23 After the processing of step S23 or the processing of step S24, the processor returns to the flow of FIG. 17 and shifts to the processing of step S14.
  • FIG. 19 is a timing chart showing an example of controlling light emission time (exposure time).
  • the light emission/exposure conditions can be controlled by controlling the light emission interval.
  • Fig. 20 is a timing chart showing an example of controlling emission amplitude (emission intensity).
  • the light emission/exposure conditions can be controlled by controlling the light emission amplitude, that is, the light emission intensity.
  • ⁇ AE control according to the second embodiment> By the way, in the ToF distance measuring apparatus, if an object (for example, an obstacle) other than the distance measuring object exists at a very short distance and the distance is measured, the object to be measured is present. Even in the non-existing region, scattered light from an object outside the object of short-distance measurement may be received, and erroneous detection may occur due to the scattered light.
  • an object for example, an obstacle
  • the object of distance measurement target even in an environment in which an object other than the object of distance measurement exists at an extremely short distance (for example, a distance of about 20 cm) where the influence of scattered light occurs, the object of distance measurement target Also, the AE control that enables accurate distance measurement is performed for the background. Specifically, in the AE control according to the second embodiment, in the control of a super near view in which the distance to the subject is an extremely short distance in which the influence of scattered light occurs due to the presence of an object other than the object to be measured, , The upper limit of the confidence value is defined as the second confidence value (control parameter/threshold value), and the AE control is performed so as to maintain the second confidence value.
  • the upper limit of the confidence value is defined as the second confidence value (control parameter/threshold value)
  • the AE control is performed so as to maintain the second confidence value.
  • the second reliability value as the control parameter/threshold is, as an example, a reliability value higher than the first reliability value in the case of the distant view control in the AE control according to the first embodiment (first reliability value). ⁇ Second confidence value). Then, in the control of the super close view, the control is reflected in the exposure time (or the emission intensity) so as to suppress the light amount of the scattered light from the object that is not the object of distance measurement at a short distance.
  • FIG. 21 shows an AE diagram for AE control according to the second embodiment.
  • the first reliability value first It may be 2 confidence values.
  • the flow of AE control processing according to the second embodiment will be described with reference to the flowchart in FIG.
  • the AE control process illustrated here is a process in the AE control unit 40 illustrated in FIG. 2.
  • the processing of the AE control according to the second embodiment is executed under the control of the processor configuring the AE control unit 40. ..
  • the processor configuring the AE control unit 40 (hereinafter, simply referred to as "processor") first calculates the exposure time of the next frame (step S31), and then calculates the calculated exposure time as the designated representative value (typical). ) Is determined (step S32).
  • step S31 When the processor determines that the exposure time calculated in step S31 is the representative value or more (NO in S32), the processor adopts the calculation result in step S31 as the exposure time of the next frame (step S33).
  • This control is for the section A (distant view). Then, by the control of the distant view, a process for maintaining the first confidence value designated as the control parameter (threshold value) and obtaining the distance image with the minimum SN ratio is performed. Specifically, the control is performed so that the characteristic of the signal value-exposure time in the section A becomes a straight line of the slope slop given by the formula shown in FIG.
  • the processor determines that the reliability value is below the threshold value (NO in S34), it applies the representative value to the exposure time of the next frame (step S35).
  • This control is the control of the section B (near view).
  • the exposure time designated as the representative value is maintained, and a process for obtaining a distance image with a high SN ratio, that is, a process for obtaining a constant exposure time for the signal value (distance) is performed. Be seen.
  • the processor determines that the reliability value is equal to or higher than the threshold value (YES in S34)
  • the processor corrects the exposure time of the next frame, specifically, controls to shorten the exposure time (step S36).
  • This control is the control of the section C', that is, the control of the ultra-near view.
  • the distance to the subject that is, the distance between the ranging device and the subject
  • the distance to the subject can be set to a short distance at which the influence of scattered light occurs due to the presence of an object that is not the subject of ranging. ..
  • the super close view control exposure control is performed to shorten the exposure time again so as to maintain the second confidence value specified as the control parameter (threshold).
  • the slope slop of the exposure time in the section C′ is the same as the slope slop in the control of the section A (distant view).
  • the upper limit of the confidence value is defined as the second confidence value, and AE control is performed to maintain the second confidence value.
  • the AE control according to the second embodiment described above is executed based on the information of one imaging frame.
  • a scattered light removing filter is used.
  • a plurality of images are captured or a scattered light removal filter is used even in a super close view where the influence of scattered light occurs due to the presence of an object that is not the object of distance measurement. Without this, it is possible to maintain appropriate distance measurement performance while suppressing the influence of scattered light from an object outside the distance measurement target. Except for the super close view, the longer exposure time has the advantage of ensuring the SN ratio.
  • the technology of the present disclosure has been described above based on the preferred embodiment, the technology of the present disclosure is not limited to the embodiment.
  • the configuration and structure of the distance measuring device described in each of the above embodiments are examples, and can be changed as appropriate.
  • the control is divided according to the distance between the distance measuring device 1 and the subject (measurement target), the control is performed for three sections of the distant view, the near view, and the super close view, but the present invention is not limited to this. It is not something that can be done. Specifically, it is possible to roughly control the distant view and the near view in two sections, or it is possible to further divide the distant view and the near view into four sections or more.
  • the distance measuring device of the present disclosure has been described by taking the case where it is used as a means for acquiring a distance image (depth map), but it is not only used as a means for acquiring a distance image. It can be applied to auto focus, which automatically focuses the camera.
  • the distance measuring device of the present disclosure described above can be used as a distance measuring device mounted on various electronic devices.
  • Examples of the electronic device equipped with the distance measuring device include mobile devices such as smartphones, digital cameras, tablets, and personal computers. However, it is not limited to mobile devices.
  • a smartphone is illustrated as a specific example of an electronic device (electronic device of the present disclosure) in which the distance measuring device of the present disclosure can be mounted.
  • FIG. 23A an external view seen from the front side is shown in FIG. 23A
  • FIG. 23B an external view seen from the back side is shown in FIG. 23B.
  • the smartphone 100 according to this specific example includes a display unit 120 on the front side of the housing 110.
  • the smartphone 100 includes, for example, an image capturing unit 130 in an upper portion on the back surface side of the housing 110.
  • the distance measuring device 1 according to the first embodiment or the second embodiment of the present disclosure described above can be used by being mounted on, for example, the smartphone 100 that is an example of the mobile device having the above configuration.
  • the light source 20 and the light detection unit 30 of the distance measuring device 1 can be arranged in the vicinity of the imaging unit 130 as shown in FIG. 23B, for example.
  • the arrangement example of the light source 20 and the light detection unit 30 illustrated in FIG. 23B is an example, and the arrangement example is not limited to this arrangement example.
  • the smartphone 100 according to the present specific example is manufactured by mounting the distance measuring device 1 according to the first embodiment or the second embodiment of the present disclosure. Then, the smartphone 100 according to the present specific example can acquire a good distance image (depth map) over a wider section of the distance measuring range by mounting the distance measuring device 1 described above, Even in an environment in which an object other than the object for distance measurement exists at a short distance where scattered light is generated, it is possible to perform accurate distance measurement for the object for distance measurement.
  • a good distance image depth map
  • A. Distance measuring device A light source for irradiating a subject with light, A light detection unit that receives reflected light from a subject based on light emitted from a light source, and A control unit for performing exposure control according to the distance between the distance measuring device and the subject, Ranging device. [A-2] The control unit performs exposure control based on the signal value output by the photodetection unit, The distance measuring device according to [A-1]. [A-3] The control unit controls the light emission/exposure condition of the next frame based on the imaging data of the current frame output from the light detection unit and the light emission/exposure condition. The distance measuring device according to the above [A-2].
  • [A-4] The control unit performs the exposure control so as to maintain the designated first reliability value in the control of the relatively distant view.
  • [A-5] The control unit performs the exposure control so as to maintain the specified exposure time in the control of the relatively close view.
  • [A-6] The control unit separates the ambient light component incident on the light detection unit and the reflected light component from the subject, and sets the reflected light component as a control target.
  • [A-7] The control unit estimates the ambient light component based on the image data output by the photodetector, and separates the reflected light component and the ambient light component, The distance measuring device according to [A-6].
  • the control unit adaptively controls the noise amount of the reflected light component with reference to the signal value output from the light detection unit, The distance measuring device according to the above [A-2].
  • a distance measuring unit that performs a process of acquiring the distance image information using the image data of the current frame including the distance information detected for each pixel of the light detecting unit is provided.
  • the distance measuring device according to any one of [A-1] to [A-8].
  • the control unit performs the exposure control so as to maintain the designated second reliability value in the control of the ultra-close view.
  • the ultra-close view is a close distance such that the distance to the subject is such that the influence of scattered light occurs due to the presence of a subject outside the range-finding object.
  • ⁇ B. Electronic equipment [B-1] A light source that irradiates a subject with light, A light detection unit that receives reflected light from a subject based on light emitted from a light source, and A control unit for performing exposure control according to the distance between the distance measuring device and the subject, An electronic device having a distance measuring device. [B-2] The control unit performs exposure control based on the signal value output from the light detection unit, The electronic device according to the above [B-1]. [B-3] The control unit controls the light emission/exposure condition of the next frame based on the image pickup data of the current frame output by the light detection unit and the light emission/exposure condition. The electronic device according to the above [B-2].
  • [B-4] The control unit performs the exposure control so as to maintain the designated first reliability value in the control of the relatively distant view, The electronic device according to the above [B-3].
  • [B-5] The control unit performs the exposure control so as to maintain the specified exposure time in the control of the relatively close view.
  • [B-6] The control unit separates the ambient light component incident on the light detection unit and the reflected light component from the subject, and sets the reflected light component as a control target.
  • [B-7] The control unit estimates the ambient light component based on the image data output from the photodetector, and separates the reflected light component and the ambient light component, The electronic device according to [B-6].
  • the control unit adaptively controls the noise amount of the reflected light component with reference to the signal value output from the photodetection unit, The electronic device according to the above [B-2].
  • a distance measuring unit that performs a process of acquiring the distance image information using the image data of the current frame including the distance information detected for each pixel of the light detecting unit is provided.
  • the control unit performs the exposure control so as to maintain the designated second reliability value in the control of the ultra-close view.
  • the ultra close view is a close distance to the subject such that the influence of scattered light occurs due to the presence of a subject that is not the object of distance measurement.
  • 1... Distance measuring device 10... Subject (measurement object), 20... Light source, 30... Photodetector, 40... AE controller, 41... Next frame light emission/exposure Condition calculation unit, 42... Next frame light emission/exposure control unit, 50... Distance measuring unit, 51... Distance image calculation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の測距装置は、被写体に対して光を照射する光源、光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える。また、本開示の電子機器は、上記の構成の測距装置を有する。

Description

測距装置及び測距装置の制御方法、並びに、電子機器
　本開示は、測距装置及び測距装置の制御方法、並びに、電子機器に関する。
　被写体までの距離情報（距離画像情報）を取得する測距装置（距離測定装置）として、ＴｏＦ（Time of Flight：光飛行時間）方式を利用した装置（センサ）がある（例えば、特許文献１参照）。ＴｏＦ方式は、被写体（測定対象物）に対して光源から光を照射し、その照射光が被写体で反射されて光検出部に戻ってまでの光の飛行時間を検出することにより、被写体までの距離を測定する方式である。
特開２００４－２９４４２０号公報
　ＴｏＦ方式の測距装置では、光源に対する自動露光（ＡＥ：Automatic Exposure）の制御が行われる。このＡＥ制御では、高品質な距離画像（Ｄｅｐｔｈ　Ｍａｐ）を取得するために、飽和閾値をターゲットとして、当該飽和閾値を超えない範囲で最大の信頼値（Confidence）レベルを取得できるように制御が行われる。
　しかしながら、消費電力の許容限界や光源のレーザ出力強度の設定限界などによって、光源から測距範囲の全区間に対して光の照射を行うことができず、例えば近距離の一部の区間でしか自動露光制御による露光変動が起こらないという状況にあった。
　そこで、本開示は、光源から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘って自動露光制御による露光変動が起こるようにした測距装置及び測距装置の制御方法、並びに、当該測距装置を有する電子機器を提供することを目的とする。
　上記の目的を達成するための本開示の測距装置は、
　被写体に対して光を照射する光源、
　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
　測距装置と被写体との間の距離に応じて露光制御を行う制御部、
　を備える。
　上記の目的を達成するための本開示の測距装置の制御方法は、
　被写体に対して光を照射する光源、及び、
　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、
　を備える測距装置の制御に当たって、
　測距装置と被写体との間の距離に応じて露光制御を行う。また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距装置を有する。
図１は、ＴｏＦ方式の測距システムの概念図である。 図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。 図３は、光検出部の構成の一例を示すブロック図である。 図４は、光検出部における画素の回路構成の一例を示す回路図である。 図５は、ＴｏＦ方式の測距装置における距離の算出について説明するためのタイミング波形図である。 図６は、第１実施形態に係る測距装置において、光検出部の信号値と距離との関係を示す特性図である。 図７は、ＩＱ平面の信頼値についての信号値と距離との関係を示す特性図である。 図８は、ある反射率の被写体を１０［ｃｍ］の距離に置いた場合を基準とした、距離に対する露光時間の関係を示す特性図である。 図９は、従来例に係るＡＥ制御について簡易的に示す図である。 図１０は、従来例に係るＡＥ制御における露光時間の計算について簡易的に示す図である。 図１１は、本開示の第１実施形態に係るＡＥ制御について簡易的に示す図である。 図１２は、本開示の第１実施形態に係るＡＥ制御における露光時間の計算処理について簡易的に示す図である。 図１３は、本開示の第１実施形態に係るＡＥ制御についてのＡＥ線図である。 図１４は、本開示の第１実施形態に係るＡＥ制御の基本的な処理についてのフローチャートである。 図１５は、全信号値（平均値）に対するショットノイズの特性を示す特性図である。 図１６は、全信号値（平均値）に対する反射光ノイズオフセットの特性を示す特性図である。 図１７は、本開示の第１実施形態に係るＡＥ制御の具体的な処理の流れについて説明するためのフローチャートである。 図１８は、現フレームのＲＡＷ撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を計算する処理の流れを示すフローチャートである。 図１９は、発光時間（露光時間）を制御する例を示すタイミングチャートである。 図２０は、発光振幅（発光強度）を制御する例を示すタイミングチャートである。 図２１は、本開示の第２実施形態に係るＡＥ制御についてのＡＥ線図である。 図２２は、本開示の第２実施形態に係るＡＥ制御の処理の流れについて説明するフローチャートである。 図２３Ａは、本開示の電子機器の具体例に係るスマートフォンの正面側から見た外観図であり、図２３Ｂは、裏面側から見た外観図である。
　以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
　１．本開示の測距装置及び電子機器、全般に関する説明
　２．ＴｏＦ方式の測距システム
　３．本開示の技術が適用される測距装置
　　３－１．システム構成
　　３－２．光検出部の構成例
　　３－３．画素の回路構成例
　４．距離と信頼値（Confidence）のダイナミックについて
　５．従来例に係るＡＥ制御
　６．第１実施形態に係るＡＥ制御（遠景、近景、及び、超近景におけるＡＥ制御の例）
　　６－１．露光時間の計算処理について
　　６－２．距離に応じたＡＥ制御の仕組みについて
　　６－３．ＡＥ制御の具体的な処理の流れについて
　　６－４．発光・露光条件の制御について
　７．第２実施形態に係るＡＥ制御（超近景におけるＡＥ制御の変形例）
　８．変形例
　９．応用例
　１０．本開示の電子機器（スマートフォンの例）
　１１．本開示がとることができる構成
＜本開示の測距装置及び電子機器、全般に関する説明＞
　本開示の測距装置及び電子機器にあっては、制御部について、光検出部が出力する信号値に基づいて露光制御を行う構成とすることができる。また、制御部について、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する構成とすることができる。
　上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、相対的に遠景の制御においては、指定した第１信頼値を維持するように露光制御を行う構成とすることができる。また、制御部について、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う構成とすることができる。
　また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする構成とすることができる。また、制御部について、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する構成とすることができる。
　また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する構成とすることができる。
　また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像を取得する処理を行う測距部を備える構成とすることができる。
　また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、相対的に超近景の制御においては、指定した第２信頼値を維持するように露光制御を行う構成とすることができる。超近景については、被写体までの距離（即ち、測距装置と被写体との間の距離）が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離とすることができる。
＜ＴｏＦ方式の測距システム＞
　図１は、ＴｏＦ方式の測距システムの概念図である。本例に係る測距装置１では、測定対象物である被写体１０までの距離を測定する測定方式として、ＴｏＦ方式が採用されている。ＴｏＦ方式は、被写体１０に向けて照射した光が、当該被写体１０で反射されて戻ってくるまでの時間を測定する方式である。ＴｏＦ方式による距離測定を実現するために、測距装置１は、被写体１０に向けて照射する光（例えば、赤外の波長領域にピーク波長を有するレーザ光）を出射する光源２０、及び、被写体１０で反射されて戻ってくる反射光を検出する光検出部３０を備えている。
＜本開示の技術が適用される測距装置＞
［システム構成］
　図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。本適用例に係る測距装置１（即ち、本開示の測距装置１）は、光源２０及び光検出部３０の他に、光検出部３０が出力する信号値に基づいて露光制御を行うＡＥ制御部４０、及び、測距部５０を備えている。そして、本適用例に係るＴｏＦ方式の測距装置１は、光検出部３０の画素毎に距離情報を検出し、高精度な距離画像（Ｄｅｐｔｈ　Ｍａｐ：深度マップ）を撮像フレームの単位で取得することができる。
　本適用例に係る測距装置１は、光源２０から発した光が測定対象物（被写体）で反射し、その反射光の光検出部３０への到達位相差の検出に基づいて光飛行時間を計測することによって、測距装置１から測定対象物までの距離を測定する間接（Indirect）ＴｏＦ方式の距離画像センサである。
　光源２０は、ＡＥ制御部４０による制御の下に、オン／オフ動作を所定の周期で繰り返すことによって測定対象物に向けて光を照射する。光源２０の照射光としては、例えば、８５０ｎｍ付近の近赤外光が利用されることが多い。光検出部３０は、光源２０からの照射光が測定対象物で反射されて戻ってくる光を受光し、画素毎に距離情報を検出する。光検出部３０からは、画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データ、及び、発光・露光設定情報が出力され、ＡＥ制御部４０及び測距部５０に供給される。
　ＡＥ制御部４０は、次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２を有する構成となっている。次フレーム発光・露光条件計算部４１は、光検出部３０から供給される現フレームのＲＡＷ画像データ、及び、発光・露光設定情報に基づいて、次フレームの発光・露光条件を計算する。次フレームの発光・露光条件は、次フレームの距離画像を取得する際の光源２０の発光時間や発光強度、及び、光検出部３０の露光時間である。次フレーム発光・露光制御部４２は、次フレーム発光・露光条件計算部４１で算出された次フレームの発光・露光条件に基づいて、次フレームの光源２０の発光時間や発光強度、及び、光検出部３０の露光時間を制御する。
　測距部５０は、距離画像を計算する距離画像計算部５１を有する構成となっている。距離画像計算部５１は、光検出部３０の画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データを用いて計算を行うことによって距離画像を算出し、奥行き情報である深度情報、及び、受光情報である信頼値情報を含む距離画像情報として測距装置１外へ出力する。ここで、距離画像とは、例えば、画素毎に検出した距離情報に基づく距離値（深度／奥行きの値）がそれぞれ画素に反映された画像である。
［光検出部の構成例］
　ここで、光検出部３０の具体的な構成例について、図３を用いて説明する。図３は、光検出部３０の構成の一例を示すブロック図である。
　光検出部３０は、センサチップ３１、及び、当該センサチップ３１に対して積層された回路チップ３２を含む積層構造を有している。この積層構造において、センサチップ３１と回路チップ３２とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接合などの接続部（図示せず）を通して電気的に接続される。尚、図３では、センサチップ３１の配線と回路チップ３２の配線とが、上記の接続部を介して電気的に接続された状態を図示している。
　センサチップ３１上には、画素アレイ部３３が形成されている。画素アレイ部３３は、センサチップ３１上に２次元のグリッドパターンで行列状（アレイ状）に配置された複数の画素３４を含んでいる。画素アレイ部３３において、複数の画素３４はそれぞれ、入射光（例えば、近赤外光）を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部３３には、画素列毎に、２本の垂直信号線ＶＳＬ1，ＶＳＬ2が配線されている。画素アレイ部３３の画素列の数をＭ（Ｍは、整数）とすると、合計で（２×Ｍ）本の垂直信号線ＶＳＬが画素アレイ部３３に配線されている。
　複数の画素３４はそれぞれ、第１のタップＡ及び第２のタップＢ（その詳細については後述する）を有している。２本の垂直信号線ＶＳＬ1，ＶＳＬ2のうち、垂直信号線ＶＳＬ1には、対応する画素列の画素３４の第１のタップＡの電荷に基づくアナログの画素信号ＡＩＮP1が出力される。また、垂直信号線ＶＳＬ2には、対応する画素列の画素３４の第２のタップＢの電荷に基づくアナログの画素信号ＡＩＮP2が出力される。アナログの画素信号ＡＩＮP1，ＡＩＮP2については後述する。
　回路チップ３２上には、行選択部３５、カラム信号処理部３６、出力回路部３７、及び、タイミング制御部３８が配置されている。行選択部３５は、画素アレイ部３３の各画素３４を画素行の単位で駆動し、画素信号ＡＩＮP1，ＡＩＮP2を出力させる。行選択部３５による駆動の下に、選択行の画素３４から出力されたアナログの画素信号ＡＩＮP1，ＡＩＮP2は、２本の垂直信号線ＶＳＬ1，ＶＳＬ2を通してカラム信号処理部３６に供給される。
　カラム信号処理部３６は、画素アレイ部３３の画素列に対応して、例えば、画素列毎に設けられた複数のアナログ－デジタル変換器（ＡＤＣ）３９を有する構成となっている。アナログ－デジタル変換器３９は、垂直信号線ＶＳＬ1，ＶＳＬ2を通して供給されるアナログの画素信号ＡＩＮP1，ＡＩＮP2に対して、アナログ－デジタル変換処理を施し、出力回路部３７に出力する。出力回路部３７は、カラム信号処理部３６から出力されるデジタル化された画素信号ＡＩＮP1，ＡＩＮP2に対してＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理などを実行し、回路チップ３２外へ出力する。
　タイミング制御部３８は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、行選択部３５、カラム信号処理部３６、及び、出力回路部３７等の駆動制御を行う。
［画素の回路構成例］
　図４は、光検出部３０における画素３４の回路構成の一例を示す回路図である。
　本例に係る画素３４は、光電変換部として、例えば、フォトダイオード３４１を有している。画素３４は、フォトダイオード３４１の他、オーバーフロートランジスタ３４２、２つの転送トランジスタ３４３，３４４、２つのリセットトランジスタ３４５，３４６、２つの浮遊拡散層３４７，３４８、２つの増幅トランジスタ３４９、３５０、及び、２つの選択トランジスタ３５１，３５２を有する構成となっている。２つの浮遊拡散層３４７，３４８は、先述した図３に示す第１，第２のタップＡ，Ｂ（以下、単に、「タップＡ，Ｂ」と記述する場合がある）に相当する。
　フォトダイオード３４１は、受光した光を光電変換して電荷を生成する。フォトダイオード３４１については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。
　オーバーフロートランジスタ３４２は、フォトダイオード３４１のカソード電極と電源電圧ＶDDの電源ラインとの間に接続されており、フォトダイオード３４１をリセットする機能を持つ。具体的には、オーバーフロートランジスタ３４２は、行選択部３５から供給されるオーバーフローゲート信号ＯＦＧに応答して導通状態になることで、フォトダイオード３４１の電荷をシーケンシャルに電源電圧ＶDDの電源ラインに排出する。
　２つの転送トランジスタ３４３，３４４は、フォトダイオード３４１のカソード電極と２つの浮遊拡散層３４７，３４８（タップＡ，Ｂ）のそれぞれとの間に接続されている。そして、転送トランジスタ３４３，３４４は、行選択部３５から供給される転送信号ＴＲＧに応答して導通状態になることで、フォトダイオード３４１で生成された電荷を、浮遊拡散層３４７，３４８にそれぞれシーケンシャルに転送する。
　第１，第２のタップＡ，Ｂに相当する浮遊拡散層３４７，３４８は、フォトダイオード３４１から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号ＡＩＮP1，ＡＩＮP2を生成する。
　２つのリセットトランジスタ３４５，３４６は、２つの浮遊拡散層３４７，３４８のそれぞれと電源電圧ＶDDの電源ラインとの間に接続されている。そして、リセットトランジスタ３４５，３４６は、行選択部３５から供給されるリセット信号ＲＳＴに応答して導通状態になることで、浮遊拡散層３４７，３４８のそれぞれから電荷を引き抜いて、電荷量を初期化する。
　２つの増幅トランジスタ３４９、３５０は、電源電圧ＶDDの電源ラインと２つの選択トランジスタ３５１，３５２のそれぞれとの間に接続されており、浮遊拡散層３４７，３４８のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。
　２つの選択トランジスタ３５１，３５２は、２つの増幅トランジスタ３４９、３５０のそれぞれと垂直信号線ＶＳＬ1，ＶＳＬ2のそれぞれとの間に接続されている。そして、選択トランジスタ３５１，３５２は、行選択部３５から供給される選択信号ＳＥＬに応答して導通状態になることで、増幅トランジスタ３４９、３５０のそれぞれで増幅された電圧信号を、アナログの画素信号ＡＩＮP1，ＡＩＮP2として２本の垂直信号線ＶＳＬ1，ＶＳＬ2に出力する。
　２本の垂直信号線ＶＳＬ1，ＶＳＬ2は、画素列毎に、カラム信号処理部３６内の１つのアナログ－デジタル変換器３９の入力端に接続されており、画素列毎に画素３４から出力されるアナログの画素信号ＡＩＮP1，ＡＩＮP2をアナログ－デジタル変換器３９に伝送する。
　尚、画素３４の回路構成については、光電変換によってアナログの画素信号ＡＩＮP1，ＡＩＮP2を生成することができる回路構成であれば、図３に例示した回路構成に限定されるものではない。
　ここで、ＴｏＦ方式による距離の算出について図５を用いて説明する。図５は、ＴｏＦ方式の測距装置１における距離の算出について説明するためのタイミング波形図である。ＴｏＦ方式の測距装置１における光源２０及び光検出部３０は、図５のタイミング波形図に示すタイミングで動作する。
　光源２０は、ＡＥ制御部４０による制御の下に、所定の期間、例えば、パルス発光時間Ｔpの期間だけ、測定対象物に対して光を照射する。光源２０から発せられた照射光は、測定対象物で反射されて戻ってくる。この反射光（active光）が、フォトダイオード３４１によって受光される。測定対象物への照射光の照射が開始されてから、フォトダイオード３４１が反射光を受光する時間、即ち、光飛行時間は、測距装置１から測定対象物までの距離に応じた時間となる。
　図４において、フォトダイオード３４１は、照射光の照射が開始された時点から、パルス発光時間Ｔpの期間だけ、測定対象物からの反射光を受光する。このとき、フォトダイオード３４１が受光する光には、測定対象物に照射された光が、当該測定対象物で反射されて戻ってくる反射光（active光）の他に、物体や大気などで反射・散乱された環境光（ambient光）も含まれている。
　１回の受光の際に、フォトダイオード３４１で光電変換された電荷が、タップＡ（浮遊拡散層３４７）に転送され、蓄積される。そして、タップＡから、浮遊拡散層３４７に蓄積した電荷量に応じた電圧値の信号ｎ0が取得される。タップＡの蓄積タイミングが終了した時点で、フォトダイオード３４１で光電変換された電荷が、タップＢ（浮遊拡散層３４８）に転送され、蓄積される。そして、タップＢから、浮遊拡散層３４８に蓄積した電荷量に応じた電圧値の信号ｎ1が取得される。
　このように、タップＡ及びタップＢに対して、蓄積タイミングの位相を１８０度異ならせた駆動（位相を全く逆にした駆動）が行われることで、信号ｎ0及び信号ｎ1がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号ｎ0及び信号ｎ1の蓄積、積算が行われることで、蓄積信号Ｎ0及び蓄積信号Ｎ1がそれぞれ取得される。
　例えば、１つの画素３４について、１つのフェーズに２回受光が行われ、タップＡ及びタップＢに４回ずつ、即ち、０度、９０度、１８０度、２７０度の信号が蓄積される。このようにして取得した蓄積信号Ｎ0及び蓄積信号Ｎ1を基に、測距装置１から測定対象物までの距離Ｄが算出される。
　蓄積信号Ｎ0及び蓄積信号Ｎ1には、測定対象物で反射されて戻ってくる反射光（active光）の成分の他に、物体や大気などで反射・散乱された環境光（ambient光）の成分も含まれている。従って、上述した動作では、この環境光（ambient光）の成分の影響を除き、反射光（active光）の成分を残すため、環境光に基づく信号ｎ2に関しても蓄積、積算が行われ、環境光成分についての蓄積信号Ｎ2が取得される。
　このようにして取得された、環境光成分を含む蓄積信号Ｎ0及び蓄積信号Ｎ1、並びに、環境光成分についての蓄積信号Ｎ2を用いて、以下の式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出することができる。
Figure JPOXMLDOC01-appb-I000001
Figure JPOXMLDOC01-appb-I000002
　式（１）及び式（２）において、Ｄは測距装置１から測定対象物までの距離を表し、ｃは光速を表し、Ｔpはパルス発光時間を表している。
　図２に示した距離画像計算部５１は、環境光成分を含む蓄積信号Ｎ0及び蓄積信号Ｎ1、並びに、環境光成分についての蓄積信号Ｎ2を用いて、光検出部３０から出力される、上記した式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出し、距離画像情報として出力する。距離画像情報としては、例えば、距離Ｄに応じた濃度の色で色付けされた画像情報を例示することができる。尚、ここでは、算出した距離Ｄを距離画像情報として出力するとしたが、算出した距離Ｄをそのまま距離情報として出力するようにしてもよい。距離画像計算部５１が算出した距離Ｄの情報は、ＡＥ制御部４０にも供給される。
＜距離と信頼値（Confidence）のダイナミックについて＞
　ところで、点光源からの光強度は、点光源からの距離の２乗に反比例して減衰することが知られている。本実施形態に係る測距装置１において、タップＡ及びタップＢに蓄積された０度、９０度、１８０度、２７０度の信号の場合の光検出部３０の信号値と距離との関係を図６に示す。図６において、破線が０度の信号の場合を、点線が９０度の信号の場合を、一点鎖線が１８０度の信号の場合を、実線が２７０度の信号の場合をそれぞれ表している。この特性図から明らかなように、光強度に基づく光検出部３０の信号値が、距離の２乗に反比例して減衰することがわかる。
　シンプルなモデルでは、信号値は、次式で表される。
　　信号値＝発光源の振幅×露光時間（＝発光時間）×被写体の反射率×定数
　ここで、定数は、その他（発光源の振幅、露光時間、及び、被写体の反射率以外）の変換係数である。
　但し、ＡＥの制御対象となる露光時間と信号値とは線形の関係にある。
　図７に、タップＡ及びタップＢの０度、９０度、１８０度、２７０度の信号から計算して作成したＩＱ平面の信頼値（Confidence）についての信号値と距離との関係を示す。ここで、「信頼値」とは、光検出部３０の受光情報であり、光源２０から出射（照射）された光が、測定対象物（被写体）で反射されて光検出部３０に戻ってくる反射光（active光）の量（度合い）のことである。図７において、実線が信頼値を表し、点線がＩ値（＝ｄｍ0－ｄｍ2）を表し、破線がＱ値（＝ｄｍ1－ｄｍ3）を表している。ｄｍの詳細については後述する。
　図８に、ある反射率の被写体（測定対象物）を１０［ｃｍ］の距離に置いた場合を基準とした、距離に対する露光時間（発光時間）の関係を示す。図８の特性図は、例えば、１０００［μｓｅｃ］の露光時間の下で、同じ反射率の被写体を徐々に遠ざけたとき、５０［ｃｍ］の距離では、約２５００［μｓｅｃ］の時間の照射が必要であることを表している。
　図８の特性図では、距離に対する信頼値の比（Confidence比）は、３１．６［ｃｍ］で１／１０００倍となる。これは、ある反射率の被写体を１０［ｃｍ］の距離に置き、露光時間を１［ｍｓｅｃ］とした場合に得られる信頼値と、同じ反射率の被写体を３１．６［ｃｍ］の距離に置き、露光時間を１０００［ｍｓｅｃ］とした場合に得られる信頼値とが同じであることを意味する。
＜従来例に係るＡＥ制御＞
　従来例に係るＡＥ制御では、常に最大のＳＮ比が得られるようにするために、飽和しないギリギリの状態（飽和閾値に限りなく近い状態）にするための露光時間を計算し、当該露光時間に基づいて制御を行うようにしている。従来例に係るＡＥ制御について、図９に簡易的に示す。従来例に係るＡＥ制御では、反射光（active光）＋環境光（ambient光）を制御ターゲットとし、現フレームの制御ターゲットが飽和閾値よりも低ければ、次フレームの制御ターゲットを飽和閾値に限りなく近づける制御が行われる。
　従来例に係るＡＥ制御における露光時間の計算について、図１０に簡易的に示す。図１０において、ｃｍは、反射光（active光）及び環境光（ambient光）に関して、タップＡとタップＢの小さい方（本例では、タップＢ）の共通部分であり、｜ｄｍ｜は、反射光（active光）に関して、タップＡとタップＢの大きい方と小さい方の差分の絶対値である。また、飽和閾値(Saturation Threshold)、目標制御レベル(target_controllable_level)、目標制御ギャップ(target_controllable_gap)、及び、ダークオフセット(dark_offset)は、パラメータであり、共通部分ｃｍ、差分の絶対値｜ｄｍ｜、反射光（active光）、及び、環境光（ambient光）は、観測値である。ここで、目標制御ギャップ(target_controllable_gap)は、
　　target_controllable_gap＝target_controllable_level－dark_offset
である。
＜第１実施形態に係るＡＥ制御＞
　ＴｏＦ方式の測距装置１は、カメラ機能を備える電子機器、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器に搭載して用いることができる。そして、測距装置１のＡＥ制御では、高品質な距離画像を取得するために、飽和閾値をターゲットとして、当該飽和閾値を超えない範囲で最大の信頼値（Confidence）レベルを取得できるように制御することを目的としている。
　しかしながら、特にモバイル機器に搭載する測距装置にあっては、モバイル機器の消費電力の許容限界や手振れの影響で、レーザ光の照射時間を長く設定できなかったり、光源２０のレーザ出力強度の設定限界などにより、光源２０から測距範囲の全区間に対して光の照射を行うことができない。その結果、従来例に係るＡＥ制御では、測距範囲の一部の区間、例えば近距離の一部の区間でしかＡＥ制御が効かない（即ち、ＡＥ制御による露光変動が起こらない）という状況にあった。
　そこで、本開示の第１実施形態に係るＡＥ制御では、光源２０から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘ってＡＥ制御が効く（即ち、ＡＥ制御による露光変動が起こる）ようにする。より具体的には、第１実施形態に係るＡＥ制御では、指定した信頼値（Confidence）を常に維持することを目的とし、反射光（active光）の部分を制御対象として、反射光の光量が常に一定になるようにするための露光時間を計算し、当該露光時間に基づいて制御を行うようにする。
　本開示の第１実施形態に係るＡＥ制御について、図１１に簡易的に示す。反射光の部分を制御対象とする場合、反射光成分と環境光成分とを分離することが必要になる。光源２０をオフ状態にして、同一露光時間で撮像することで、環境光成分を個別に取得することができる。第１実施形態では、光検出器３０のＲＡＷ画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する方法を採用することとする。但し、この方法に限定されるものではない。
（露光時間の計算処理について）
　本開示の第１実施形態に係るＡＥ制御における露光時間の計算処理について、図１２に簡易的に示す。図１２において、ｃｍは、反射光及び環境光に関して、タップＡとタップＢの小さい方（本例では、タップＢ）の共通部分であり、｜ｄｍ｜は、反射光に関して、タップＡとタップＢの大きい方と小さい方の差分の絶対値である。また、飽和閾値(Saturation Threshold)、目標制御レベル(target_controllable_level)、目標制御ギャップ(target_controllable_gap)、反射光ノイズオフセット(active_noise_offset)、目標反射光レベル(target_active_level)、及び、ダークオフセット(dark_offset)は、パラメータであり、共通部分ｃｍ、差分の絶対値｜ｄｍ｜、反射光、及び、環境光は、観測値である。ここで、目標制御ギャップ(target_controllable_gap)は、
　　target_controllable_gap＝target_controllable_level－dark_offset
である。
　ここで、タップＡとタップＢの大きい方と小さい方の差分ｄｍについて説明する。タップＡの０度、９０度、１８０度、２７０度の信号値をＴａｐＡ0、ＴａｐＡ1、ＴａｐＡ2、ＴａｐＡ3とし、タップＢの０度、９０度、１８０度、２７０度の信号値をＴａｐＢ0、ＴａｐＢ1、ＴａｐＢ2、ＴａｐＢ3とするとき、
　　ｄｍ0＝ＴａｐＡ0－ＴａｐＢ0
　　ｄｍ1＝ＴａｐＡ1－ＴａｐＢ1
　　ｄｍ2＝ＴａｐＡ2－ＴａｐＢ2
　　ｄｍ3＝ＴａｐＡ3－ＴａｐＢ3
と表すことができる。
　上記のｄｍ0，ｄｍ1，ｄｍ2，ｄｍ3を基に、
　　Ｉ＝ｄｍ0－ｄｍ2
の計算式からＩ値を求めてＸ軸にとり、
　　Ｑ＝ｄｍ1－ｄｍ3
の計算式からＱ値を求めてＹ軸にとり、ＩＱ平面（図７参照）を作成する。図７には、タップＡ及びタップＢの０度、９０度、１８０度、２７０度の信号から計算したＩＱ平面の信頼値についての信号値と距離との関係を示している。また、信頼値について、
　　信頼値＝｜Ｉ｜＋｜Ｑ｜
と表すことができる。
　反射光の光量が常に一定になるようにするための露光時間の計算に当たっては、タップＡとタップＢの大きい方と小さい方の差分ｄｍに相当する測定値（measured_active）を求める。差分ｄｍに相当する測定値（measured_active）については、差分ｄｍの平均値、あるいは、所定の関心領域（ＲＯＩ：Region Of Interest）内の信頼値の平均値を当該測定値として求めることができる。そして、求めた測定値、並びに、目標制御ギャップ(target_controllable_gap)、目標反射光レベル(target_active_level)、及び、反射光ノイズオフセット(active_noise_offset)等のパラメータを用いて、所定の演算式に基づいて次フレームの積分係数を求め、当該積分係数及び現フレームの露光時間（current_exposure_time）から次フレームの露光時間（next_exposure_time）を求める。
（距離に応じたＡＥ制御の仕組みについて）
　図１３に、本開示の第１実施形態に係るＡＥ制御についてのＡＥ線図を示し、図１４に、第１実施形態に係るＡＥ制御の基本的な処理についてのフローチャートを示す。本処理は、図２に示すＡＥ制御部４０における処理である。そして、ＡＥ制御部４０の機能をプロセッサによって実現するとき、当該プロセッサによる制御の下に、ＡＥ制御の基本的な処理が実行されることとする。
　第１実施形態では、測距装置１と被写体（測定対象物）との間の距離に応じて制御を分けるＡＥ制御の仕組みとなっており、その距離に応じた制御は、大きくは、区間Ａ、区間Ｂ、及び、区間Ｃの３区間の制御に分けられる。区間Ａは、測距装置１と被写体との間の距離が相対的に遠い、所謂、遠景の場合の制御である。区間Ｂは、測距装置１と被写体との間の距離が相対的に近い、所謂、近景の場合の制御である。区間Ｃは、測距装置１と被写体との間の距離が非常に近い、所謂、超近景の場合の制御である。
　図１３のＡＥ線図において、縦軸は、次フレームの露光時間を表し、横軸は、光検出部３０の最大タップｍａｘｔａｐの信号値［ＬＳＢ］を表している。最大タップｍａｘｔａｐは、
　　ｍａｘｔａｐ＝ｍａｘ｛ｃｍ［ｉ］＋｜ｄｍ［ｉ］｜｝
で与えられる。ここで、ｉ＝０～３である。また、図６の特性図から明らかなように、光強度に基づく光検出部３０の信号値が、距離の２乗に反比例して減衰することから、横軸の信号値［ＬＳＢ］は、測距装置１と被写体との間の距離に対応していることになる。そして、第１実施形態に係るＡＥ制御では、光検出部３０が出力する信号値に基づいて、測距部５０での深度情報（奥行き情報）の取得に最適な制御値（露光時間）を算出して露光制御を行う。
　ＡＥ制御部４０を構成するプロセッサは、測距部５０算出された、測距装置１から測定対象物までの距離Ｄを取得し（ステップＳ１）、次いで、区間Ａ、区間Ｂ、区間Ｃの判定を行い（ステップＳ２）、しかる後、以下のようにして各区間毎の制御を行う（ステップＳ３乃至ステップＳ５）。
　第１実施形態に係るＡＥ制御において、区間Ａ（遠景）の制御では、制御パラメータ（閾値）として指定した第１信頼値（目標反射光レベル(target_active_level)－反射光ノイズオフセット(active_noise_offset)を維持し、最低限のＳＮ比の距離画像（Ｄｅｐｔｈ　Ｍａｐ：深度マップ）を得るための処理が行われる。具体的には、区間Ａにおける信号値－露光時間の特性が、図１３に記載の式で与えられる勾配slopの直線（線形）となるように制御が行われる（ステップＳ３）。
　区間Ｂ（近景）の制御では、指定した典型的な露光時間を維持し、高ＳＮ比の距離画像を得るための処理が行われる。具体的には、区間Ａで求めた勾配slopの直線（図中、点線で示す直線）から、典型的な露光時間に乗り換え、信号値（距離）に対して一定の露光時間となるように制御が行われる（ステップＳ４）。これにより、近景が重要なアプリケーションに対して、指定した最低値以上の信頼値を確保することができる。
　区間Ｃ（超近景）の制御では、飽和閾値を超える飽和画素が出始めてくるため、従来例に係るＡＥ制御の場合のように、飽和画素率によって露光時間を下げる制御が行われる（ステップＳ５）。ここで、「飽和画素率」とは、最適化したい所定の関心領域（ＲＯＩ）における総画素数に対する、飽和閾値を超える飽和画素の比率である。
　また、第１実施形態に係るＡＥ制御では、反射光（active光）成分のノイズ量を、光検出部３０が出力する信号値を参照して適応的に制御するようにしている。具体的には、第１実施形態に係るＡＥ制御では、反射光（active光）成分のノイズ量は、光検出部３０のショットノイズと線形の関係にあると仮定し、図１２に示す反射光ノイズオフセット(active_noise_offset)について適応的に制御を行うようにしている。図１５に、全信号値（平均値）に対するショットノイズの特性図を示し、図１６に、全信号値（平均値）に対する反射光ノイズオフセットの特性図を示す。
　この反射光ノイズオフセットの適応的制御では、図１６に示すように、ダークオフセットのときの反射光ノイズオフセット(active_noise_offset[0])と、飽和閾値相当のときの反射光ノイズオフセット(active_noise_offset[1])とを設定し、両者間で反射光ノイズオフセットを線形に遷移させる制御が行われる。このように、反射光ノイズオフセットについて適応的な制御を行うことにより、屋内と屋外でノイズの大きさが異なったとしても、ノイズの大きさの影響を受けることなく、良好なＡＥ制御を行うことができる。
　以上説明したことから明らかなように、本開示の第１実施形態に係るＡＥ制御によれば、光源２０から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘ってＡＥ制御が効くようになる。ここで、「ＡＥ制御が効く」とは、次のことを意味する。
・露光時間（発光時間）を制御することによって信頼値（Confidence）が一定になる。
・飽和閾値を超えないように制御することができる。
　すなわち、本開示の第１実施形態に係るＡＥ制御によれば、あるシーン（被写体までの距離、被写体の形状、被写体の反射率、環境光の光量、などの条件）で飽和閾値を超える可能性があったとしても、飽和閾値を超えないように制御することができる。
　また、本開示の第１実施形態に係るＡＥ制御によれば、近景については、遠景とは別制御とすることで、本測距装置１を、例えば後述するように、スマートフォン等のモバイル機器に搭載した場合に、ジェスチャーアプリケーションなどで重要な測距区間について、ＳＮ比を維持できるようになる、という効果を得ることができる。
（ＡＥ制御の具体的な処理の流れについて）
　本開示の第１実施形態に係るＡＥ制御の具体的な処理の流れについて、図１７のフローチャートを用いて説明する。ここに例示するＡＥ制御の処理は、図２に示すＡＥ制御部４０における処理である。図２では、ＡＥ制御部４０が次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２から成る構成としたが、次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２の各機能をプロセッサによって実現する構成とすることもできる。
　以下では、次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２の各機能をプロセッサによって実現する構成の場合において、ＡＥ制御部４０を構成するプロセッサによる制御の下に、ＡＥ制御の処理が実行されることとする。
　ＡＥ制御部４０を構成するプロセッサ（以下、単に「プロセッサ」と記述する）は、ＡＥ制御処理の終了か否かを判断し（ステップＳ１１）、終了でなければ（Ｓ１１のＮＯ）、現フレームのＲＡＷ撮像データ、及び、発光・露光条件を光検出部３０から取得する（ステップＳ１２）。現フレームのＲＡＷ撮像データ、及び、発光・露光条件は、現フレームの撮像時における光源２０の発光時間や発光強度、及び、光検出部３０の露光時間である。
　次に、プロセッサは、取得した現フレームのＲＡＷ撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を計算する（ステップＳ１３）。次フレームの発光・露光条件は、次フレームの撮像時における光源２０の発光時間や発光強度、及び、光検出部３０の露光時間である。ステップＳ１３の具体的な処理の詳細については後述する。
　次に、プロセッサは、ステップＳ１３の処理で算出された次フレームの発光・露光条件を光源２０に通知し（ステップＳ１４）、ステップＳ１１に戻って、ステップＳ１１からステップＳ１４までの処理を、ステップＳ１１の処理において、ＡＥ制御処理が終了と判断するまで繰り返して実行する。そして、プロセッサは、ステップＳ１１の処理において、ＡＥ制御処理が終了（Ｓ１１のＹＥＳ）であれば、ＡＥ制御のための上述した一連の処理を終了する。
　続いて、ステップＳ１３の具体的な処理、即ち、現フレームのＲＡＷ撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を計算する処理の詳細について、図１８のフローチャートを用いて説明する。
　プロセッサは、図１７のステップＳ１２の処理で取得した現フレームのＲＡＷ撮像データに基づいて、最適化したい所定の関心領域（ＲＯＩ）における総画素数に対する飽和画素の比率である飽和画素率を計算する（ステップＳ２１）。次に、プロセッサは、飽和画素率が、あらかじめ設定した比率を上回るか否かを判断し（ステップＳ２２）、上回ると判定した場合（Ｓ２２のＹＥＳ）、飽和時の次フレームの発光・露光条件を計算する（ステップＳ２３）。飽和画素率があらかじめ設定した比率を上回る場合、即ち、飽和画素が相対的に多い場合は、リニアリティが崩れ、最適な露光時間を計算することが難しくなるため、ステップＳ２３では単純に露光時間を短くする処理が行われる。
　プロセッサは、飽和画素率があらかじめ設定した比率を上回らないと判定した場合（Ｓ２２のＮＯ）、図１７のステップＳ１２の処理で取得した現フレームの発光・露光条件に基づいて、次フレームの発光・露光条件を計算する（ステップＳ２４）。ステップＳ２４の処理では、先述した「露光時間の計算処理について」及び、「距離に応じたＡＥ制御の仕組みについて」の項で述べた処理の下に、最適な露光時間（発光時間）の計算及び距離に応じたＡＥ制御が行われる。
　プロセッサは、ステップＳ２３の処理後、又は、ステップＳ２４の処理後、図１７のフローに戻り、ステップＳ１４の処理に移行する。
（発光・露光条件の制御について）
　発光・露光条件を制御する具体例としては、次の２つを例示することができる。
・発光時間（露光時間）を制御する例
　図１９は、発光時間（露光時間）を制御する例を示すタイミングチャートである。この制御例では、図１９に示すように、発光間隔を制御することによって発光・露光条件を制御することができる。
・発光振幅（発光強度）を制御する例
　図２０は、発光振幅（発光強度）を制御する例を示すタイミングチャートである。この制御例では、図２０に示すように、発光振幅、即ち、発光強度を制御することによって発光・露光条件を制御することができる。
＜第２実施形態に係るＡＥ制御＞
　ところで、ＴｏＦ方式の測距装置では、非常に近距離に測距対象外の物体（例えば、障害物）が存在している状態で測距を行おうとすると、測距対象の被写体が存在していない領域でも、近距離の測距対象外の物体からの散乱光を受光してしまい、当該散乱光に起因して誤検出が発生する場合がある。
　そこで、第２実施形態では、散乱光の影響が発生してしまうような極めて近距離（例えば、２０ｃｍ程度の距離）に、測距対象外の物体が存在する環境においても、測距対象の被写体及びその背景について、正確な測距を可能とするＡＥ制御を行うようにする。具体的には、第２実施形態に係るＡＥ制御では、被写体までの距離が、測距対象外の物体の存在によって散乱光の影響が発生するような極めて近距離である超近景の制御においては、信頼値の上限を第２信頼値（制御パラメータ／閾値）として定義し、当該第２信頼値を維持するようにＡＥ制御を行うようにする。
　ここで、制御パラメータ／閾値としての第２信頼値については、一例として、第１実施形態に係るＡＥ制御における遠景の制御の場合の第１信頼値よりも高い信頼値とする（第１信頼値＜第２信頼値）。そして、超近景の制御においては、近距離の測距対象外の物体からの散乱光の光量を抑制するように、露光時間（又は、発光強度）に制御を反映させるようにする。第２実施形態に係るＡＥ制御についてのＡＥ線図を図２１に示す。
　尚、ここでは、第２信頼値として、第１信頼値よりも高い信頼値を指定するとしたが、使用ケースに応じて（例えば、遠距離の制御が不要な場合）、第１信頼値＝第２信頼値としてもよい。
　第２実施形態に係るＡＥ制御の処理の流れについて、図２２のフローチャートを用いて説明する。ここに例示するＡＥ制御の処理は、図２に示すＡＥ制御部４０における処理である。以下では、ＡＥ制御部４０の機能をプロセッサによって実現する構成の場合において、ＡＥ制御部４０を構成するプロセッサによる制御の下に、第２実施形態に係るＡＥ制御の処理が実行されることとする。
　ＡＥ制御部４０を構成するプロセッサ（以下、単に「プロセッサ」と記述する）は、先ず、次フレームの露光時間を計算し（ステップＳ３１）、次いで、算出した露光時間が、指定した代表値（ｔｙｐｉｃａｌ）を下回るか否かを判断する（ステップＳ３２）。
　プロセッサは、ステップＳ３１で算出した露光時間が代表値以上であると判断した場合には（Ｓ３２のＮＯ）、次フレームの露光時間としてステップＳ３１での計算結果を採用する（ステップＳ３３）。この制御は、区間Ａ（遠景）の制御となる。そして、この遠景の制御により、制御パラメータ（閾値）として指定した第１信頼値を維持し、最低限のＳＮ比の距離画像を得るための処理が行われる。具体的には、区間Ａにおける信号値－露光時間の特性が、図２１に記載の式で与えられる勾配slopの直線となるように制御が行われる。
　プロセッサは、ステップＳ３１で算出した露光時間が代表値を下回ると判断した場合には（Ｓ３２のＹＥＳ）、続いて、信頼値が、制御パラメータである閾値（＝第２信頼値）以上であるか否かを判断する（ステップＳ３４）。
　プロセッサは、信頼値が閾値を下回ると判断した場合（Ｓ３４のＮＯ）、次フレームの露光時間に代表値を適用する（ステップＳ３５）。この制御は、区間Ｂ（近景）の制御となる。この近景の制御により、代表値として指定した露光時間を維持し、高ＳＮ比の距離画像を得るための処理、即ち、信号値（距離）に対して一定の露光時間となるような処理が行われる。これにより、近景が重要なアプリケーションに対して、指定した最低値以上の信頼値を確保することができる。
　プロセッサは、信頼値が閾値以上と判断した場合（Ｓ３４のＹＥＳ）、次フレームの露光時間を補正する、具体的には、露光時間を短くする制御を行う（ステップＳ３６）。この制御は、区間Ｃ’の制御、即ち、超近景の制御となる。超近景については、被写体までの距離（即ち、測距装置と被写体との間の距離）が、測距対象外の物体の存在によって散乱光の影響が発生するような近い距離とすることができる。
　そして、超近景の制御では、制御パラメータ（閾値）として指定した第２信頼値を維持するように、露光時間を再び短くする露光制御が行われる。区間Ｃ’（超近景）の場合の露光時間の勾配slopは、区間Ａ（遠景）の制御の場合の勾配slopと同じである。この超近景の制御により、散乱光の影響が発生してしまうような極めて近距離に、測距対象外の物体が存在する環境において、当該物体からの散乱光の光量を抑制することができる。
　測距対象外の物体が近くに存在する環境下では、散乱光の影響を受けるが、画面全体の信頼値を適切に制御することにより、散乱光の相対強度が低下する。従って、測距対象外の物体の存在によって散乱光の影響が発生するような超近景では、信頼値の上限を第２信頼値として定義し、当該第２信頼値を維持するようにＡＥ制御を行うことで、測距対象外の物体からの散乱光の影響を抑えつつ、測距対象の被写体及びその背景について、正確な測距を行うことができる。
　上述した第２実施形態に係るＡＥ制御については、１撮像フレームの情報に基づいて実行される。通常、散乱光が発生しているのか、散乱光が発生している環境に実際に被写体が存在しているのかを、１撮像フレームの情報から判定することは困難であり、複数枚撮像を行ったり、散乱光除去フィルタを用いたりすることになる。
　第２実施形態に係るＡＥ制御によれば、測距対象外の物体の存在によって散乱光の影響が発生するような超近景においても、複数枚撮像を行ったり、散乱光除去フィルタを用いたりすることなく、測距対象外の物体からの散乱光の影響を抑えつつ、適切な測距性能を維持することができる。超近景以外では、露光時間は長い方が、ＳＮ比を確保できるメリットがある。
＜変形例＞
　以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、第１実施形態では、測距装置１と被写体（測定対象物）との間の距離に応じて制御を分けるに当たり、遠景、近景、超近景の３区間の制御としたが、これに限られるものではない。具体的には、大きくは、遠景、近景の２区間の制御とすることもできるし、遠景、近景を更に細分化して４区間以上の制御とすることもできる。
＜応用例＞
　上記の各実施形態では、本開示の測距装置について、距離画像（深度マップ）を取得する手段として用いる場合を例に挙げて説明したが、単に距離画像を取得する手段として用いるだけでなく、自動的にカメラの焦点（ピント）を合わせるオートフォーカスに応用することができる。
＜本開示の電子機器＞
　以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。ここでは、本開示の測距装置を搭載することができる電子機器（本開示の電子機器）の具体例として、スマートフォンを例示する。
　本開示の電子機器の具体例に係るスマートフォンについて、正面側から見た外観図を図２３Ａに示し、裏面側から見た外観図を図２３Ｂに示す。本具体例に係るスマートフォン１００は、筐体１１０の正面側に表示部１２０を備えている。また、スマートフォン１００は、例えば、筐体１１０の裏面側の上方部に撮像部１３０を備えている。
　先述した本開示の第１実施形態又は第２実施形態に係る測距装置１は、例えば、上記の構成のモバイル機器の一例であるスマートフォン１００に搭載して用いることができる。この場合、測距装置１の光源２０及び光検出部３０については、例えば図２３Ｂに示すように、撮像部１３０の近傍に配置することができる。但し、図２３Ｂに示す光源２０及び光検出部３０の配置例は、一例であって、この配置例に限られるものではない。
　上述したように、本具体例に係るスマートフォン１００は、本開示の第１実施形態又は第２実施形態に係る測距装置１を搭載することによって作製される。そして、本具体例に係るスマートフォン１００は、上記の測距装置１を搭載することにより、測距範囲のより広い区間に亘って、良好な距離画像（深度マップ）を取得することができるとともに、散乱光が発生してしまうような近距離に、測距対象外の被写体が存在する環境においても、測距対象の被写体の正確な測距を行うことができる。
＜本開示がとることができる構成＞
　尚、本開示は、以下のような構成をとることもできる。
≪Ａ．測距装置≫
［Ａ－１］被写体に対して光を照射する光源、
　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
　測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
　測距装置。
［Ａ－２］制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
　上記［Ａ－１］に記載の測距装置。
［Ａ－３］制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
　上記［Ａ－２］に記載の測距装置。
［Ａ－４］制御部は、相対的に遠景の制御においては、指定した第１信頼値を維持するように露光制御を行う、
　上記［Ａ－３］に記載の測距装置。
［Ａ－５］制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
　上記［Ａ－３］に記載の測距装置。
［Ａ－６］制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
　上記［Ａ－４］又は上記［Ａ－５］に記載の測距装置。
［Ａ－７］制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
　上記［Ａ－６］に記載の測距装置。
［Ａ－８］制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
　上記［Ａ－２］に記載の測距装置。
［Ａ－９］光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
　上記［Ａ－１］乃至上記［Ａ－８］のいずれかに記載の測距装置。
［Ａ－１０］制御部は、相対的に超近景の制御においては、指定した第２信頼値を維持するように露光制御を行う、
　上記［Ａ－３］に記載の測距装置。
［Ａ－１１］超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
　上記［Ａ－１０］に記載の測距装置。
≪Ｂ．電子機器≫
［Ｂ－１］被写体に対して光を照射する光源、
　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
　測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
　測距装置を有する電子機器。
［Ｂ－２］制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
　上記［Ｂ－１］に記載の電子機器。
［Ｂ－３］制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
　上記［Ｂ－２］に記載の電子機器。
［Ｂ－４］制御部は、相対的に遠景の制御においては、指定した第１信頼値を維持するように露光制御を行う、
　上記［Ｂ－３］に記載の電子機器。
［Ｂ－５］制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
　上記［Ｂ－３］に記載の電子機器。
［Ｂ－６］制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
　上記［Ｂ－４］又は上記［Ｂ－５］に記載の電子機器。
［Ｂ－７］制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
　上記［Ｂ－６］に記載の電子機器。
［Ｂ－８］制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
　上記［Ｂ－２］に記載の電子機器。
［Ｂ－９］光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
　上記［Ｂ－１］乃至上記［Ｂ－８］のいずれかに記載の電子機器。
［Ｂ－１０］制御部は、相対的に超近景の制御においては、指定した第２信頼値を維持するように露光制御を行う、
　上記［Ｂ－３］に記載の電子機器。
［Ｂ－１１］超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
　上記［Ｂ－１０］に記載の電子機器。
　１・・・測距装置、１０・・・被写体（測定対象物）、２０・・・光源、３０・・・光検出部、４０・・・ＡＥ制御部、４１・・・次フレーム発光・露光条件計算部、４２・・・次フレーム発光・露光制御部、５０・・・測距部、５１・・・距離画像計算部

Claims (13)

  1. 　被写体に対して光を照射する光源、
    　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
    　測距装置と被写体との間の距離に応じて露光制御を行う制御部、
    　を備える測距装置。
  2. 　制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
    　請求項１に記載の測距装置。
  3. 　制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
    　請求項２に記載の測距装置。
  4. 　制御部は、相対的に遠景の制御においては、指定した第１信頼値を維持するように露光制御を行う、
    　請求項３に記載の測距装置。
  5. 　制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
    　請求項３に記載の測距装置。
  6. 　制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
    　請求項４に記載の測距装置。
  7. 　制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
    　請求項６に記載の測距装置。
  8. 　制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
    　請求項２に記載の測距装置。
  9. 　光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
    　請求項１に記載の測距装置。
  10. 　制御部は、相対的に超近景の制御においては、指定した第２信頼値を維持するように露光制御を行う、
    　請求項３に記載の測距装置。
  11. 　超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
    　請求項１０に記載の測距装置。
  12. 　被写体に対して光を照射する光源、及び、
    　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、
    　を備える測距装置の制御に当たって、
    　測距装置と被写体との間の距離に応じて露光制御を行う、
    　測距装置の制御方法。
  13. 　被写体に対して光を照射する光源、
    　光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
    　測距装置と被写体との間の距離に応じて露光制御を行う制御部、
    　を備える測距装置を有する電子機器。
PCT/JP2020/005818 2019-02-22 2020-02-14 測距装置及び測距装置の制御方法、並びに、電子機器 WO2020170969A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/430,653 US20220146648A1 (en) 2019-02-22 2020-02-14 Distance measuring device, method for controlling distance measuring device, and electronic device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-030134 2019-02-22
JP2019030134 2019-02-22
JP2019-173702 2019-09-25
JP2019173702A JP2020139937A (ja) 2019-02-22 2019-09-25 測距装置及び電子機器

Publications (1)

Publication Number Publication Date
WO2020170969A1 true WO2020170969A1 (ja) 2020-08-27

Family

ID=72143541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005818 WO2020170969A1 (ja) 2019-02-22 2020-02-14 測距装置及び測距装置の制御方法、並びに、電子機器

Country Status (2)

Country Link
US (1) US20220146648A1 (ja)
WO (1) WO2020170969A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075039A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023119918A1 (ja) * 2021-12-23 2023-06-29 ソニーセミコンダクタソリューションズ株式会社 測距装置および電子機器
WO2023189910A1 (ja) * 2022-03-28 2023-10-05 パナソニックＩｐマネジメント株式会社 距離測定システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US20180224545A1 (en) * 2017-02-03 2018-08-09 Microsoft Technology Licensing, Llc Active Illumination Management Through Contextual Information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US20180224545A1 (en) * 2017-02-03 2018-08-09 Microsoft Technology Licensing, Llc Active Illumination Management Through Contextual Information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075039A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023119918A1 (ja) * 2021-12-23 2023-06-29 ソニーセミコンダクタソリューションズ株式会社 測距装置および電子機器
WO2023189910A1 (ja) * 2022-03-28 2023-10-05 パナソニックＩｐマネジメント株式会社 距離測定システム

Also Published As

Publication number Publication date
US20220146648A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
EP3357234B1 (en) High dynamic range solid state image sensor and camera system
WO2020170969A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
US11165982B1 (en) Spatial derivative pixel array with adaptive quantization
TWI424742B (zh) 用於像素單元之高動態運作之方法及裝置
US7920193B2 (en) Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
US20190124285A1 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US10931905B2 (en) Pixel array included in three-dimensional image sensor and method of operating three-dimensional image sensor
US9100603B2 (en) Image pickup device and camera system
JP2014030147A (ja) 撮影装置およびその制御方法
US9967499B2 (en) Readout circuit for image sensors
JP2017107132A (ja) 電子機器
WO2018012068A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP6362511B2 (ja) 撮像装置及びその制御方法
US10051216B2 (en) Imaging apparatus and imaging method thereof using correlated double sampling
US20150070545A1 (en) Solid-state imaging device
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
US20180295307A1 (en) Image sensing apparatus and control method therefor
CN114424522A (zh) 图像处理装置、电子设备、图像处理方法与程序
JP2020139937A (ja) 測距装置及び電子機器
JP2016184868A (ja) 撮像装置及び撮像装置の駆動方法
WO2021059699A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP6268563B2 (ja) 撮像装置、及び固体撮像装置
WO2023119918A1 (ja) 測距装置および電子機器
JP2009010627A (ja) 固体撮像装置およびこれを用いたカメラ
WO2021059698A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20758434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20758434

Country of ref document: EP

Kind code of ref document: A1