WO2020209079A1 - 測距センサ、信号処理方法、および、測距モジュール - Google Patents

測距センサ、信号処理方法、および、測距モジュール Download PDF

Info

Publication number
WO2020209079A1
WO2020209079A1 PCT/JP2020/013572 JP2020013572W WO2020209079A1 WO 2020209079 A1 WO2020209079 A1 WO 2020209079A1 JP 2020013572 W JP2020013572 W JP 2020013572W WO 2020209079 A1 WO2020209079 A1 WO 2020209079A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
ambient light
distance measuring
light
Prior art date
Application number
PCT/JP2020/013572
Other languages
English (en)
French (fr)
Inventor
小野　博明
弘長 佐野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080026590.9A priority Critical patent/CN113677955A/zh
Priority to US17/594,030 priority patent/US20220155459A1/en
Publication of WO2020209079A1 publication Critical patent/WO2020209079A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers

Definitions

  • the present technology relates to a distance measuring sensor, a signal processing method, and a distance measuring module, and in particular, a distance measuring sensor, a signal processing method, which enables calculation of distance information and outdoor judgment by the distance measuring sensor alone. And about the ranging module.
  • a distance measuring module is mounted on a mobile terminal such as a so-called smartphone, which is a small information processing device having a communication function.
  • the distance measuring method in the distance measuring module includes, for example, the Indirect ToF (Time of Flight) method and the Structured Light method.
  • IndirectToF method light is emitted toward an object to detect the light reflected on the surface of the object, and the distance to the object is calculated based on the measured value obtained by measuring the flight time of the light.
  • the Structured Light method the distance to the object is calculated based on the image obtained by irradiating the object with pattern light and capturing the distortion of the pattern on the surface of the object.
  • Distance measurement methods such as the Indirect ToF method and Structured Light method, which irradiate an object with active light and receive the reflected light, are easily affected by ambient light such as sunlight, so the measurement location is outdoors. It would be useful to be able to determine whether it is indoors or indoors.
  • Patent Document 1 there is an image pickup device in which an outdoor detection sensor is provided separately from the image pickup element to detect that it is outdoors.
  • This technology was made in view of such a situation, and enables the distance measurement sensor alone to calculate distance information and perform outdoor judgment.
  • the distance measuring sensor on the first side surface of the present technology is from a signal obtained by a light receiving unit that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from a predetermined light emitting source to the object.
  • the distance measuring sensor uses a signal obtained by a light receiving unit that receives the reflected light that is reflected by an object and returned from the irradiation light emitted from a predetermined light emitting source. , The distance information to the object is calculated, the ambient light component contained in the signal obtained by the light receiving unit is calculated, and the outdoor information is calculated based on the ambient light component.
  • the distance measuring module on the third side of the present technology includes a predetermined light emitting source and a distance measuring sensor, and the distance measuring sensor returns the irradiation light emitted from the light emitting source by being reflected by an object.
  • a ranging unit that calculates distance information to the object from a signal obtained by a light receiving unit that receives reflected light, and an ambient light calculation unit that calculates an ambient light component contained in the signal obtained by the light receiving unit.
  • an outdoor information calculation unit that calculates outdoor information based on the ambient light component.
  • the distance information is calculated, the ambient light component included in the signal obtained by the light receiving unit is calculated, and the outdoor information is calculated based on the ambient light component.
  • the distance measuring sensor and the distance measuring module may be independent devices or modules incorporated in other devices.
  • FIG. 1 is a block diagram showing a schematic configuration example according to a first embodiment of a distance measuring module to which the present technology is applied.
  • the distance measuring module 11 shown in FIG. 1 is a distance measuring module that performs distance measuring by the Indirect ToF method, and has a light emitting source 12, a light emitting control unit 13, and a distance measuring sensor 14.
  • the ranging module 11 irradiates a predetermined object as a subject with light, and the light (irradiation light) receives the light (reflected light) reflected by the object, thereby providing distance information to the object.
  • the depth value and reliability of are measured and output.
  • the light emitting source 12 has, for example, an infrared laser diode or the like as a light source, emits light while modulating at a timing corresponding to a light emitting control signal supplied from the light emitting control unit 13, and irradiates an object with irradiation light.
  • the light emission control unit 13 controls the light emission source 12 by supplying a light emission control signal of a predetermined frequency (for example, 20 MHz or the like) to the light emission source 12. Further, the light emission control unit 13 also supplies a light emission control signal to the distance measuring sensor 14 in order to drive the light receiving unit 21 in accordance with the timing of light emission in the light emitting source 12.
  • a light emission control signal of a predetermined frequency for example, 20 MHz or the like
  • the distance measuring sensor 14 is described in detail later with reference to FIG. 2, but the pixel array unit 32 in which a plurality of pixels 31 are two-dimensionally arranged receives the reflected light from the object. Then, the distance measuring sensor 14 generates and outputs a depth value and a reliability in the unit of the pixel 31 of the pixel array unit 32.
  • the distance measuring sensor 14 has a light receiving unit 21 shown in FIG.
  • the light receiving unit 21 generates a charge corresponding to the amount of received light, and a pixel array unit 32 and a pixel array in which pixels 31 that output a signal corresponding to the charge are two-dimensionally arranged in a matrix in the row direction and the column direction. It has a drive control circuit 33 arranged in a peripheral region of the unit 32.
  • the drive control circuit 33 has, for example, a control signal for controlling the drive of the pixel 31 based on a light emission control signal supplied from the light emission control unit 13 (for example, a distribution signal DIMIX described later, a selection signal ADDRESS DECODE, etc. Reset signal RST, etc.) is output.
  • a control signal for controlling the drive of the pixel 31 based on a light emission control signal supplied from the light emission control unit 13 (for example, a distribution signal DIMIX described later, a selection signal ADDRESS DECODE, etc. Reset signal RST, etc.) is output.
  • the pixel 31 has a photodiode 51 and a first tap 52A and a second tap 52B that detect the charge photoelectrically converted by the photodiode 51.
  • the electric charge generated by one photodiode 51 is distributed to the first tap 52A or the second tap 52B.
  • the charges distributed to the first tap 52A are output as a detection signal A from the signal line 53A
  • the charges distributed to the second tap 52B are detected signals B from the signal line 53B. Is output as.
  • the first tap 52A is composed of a transfer transistor 41A, an FD (Floating Diffusion) unit 42A, a selection transistor 43A, and a reset transistor 44A.
  • the second tap 52B is composed of a transfer transistor 41B, an FD unit 42B, a selection transistor 43B, and a reset transistor 44B.
  • the reflected light is received by the photodiode 51 with a delay of ⁇ T.
  • the distribution signal DIMIX_A controls the on / off of the transfer transistor 41A
  • the distribution signal DIMIX_B controls the on / off of the transfer transistor 41B.
  • the distribution signal DIMIX_A is a signal having the same phase as the irradiation light
  • the distribution signal DIMIX_B has a phase in which the distribution signal DIMIX_A is inverted.
  • the charge generated by the photodiode 51 receiving the reflected light is transferred to the FD unit 42A according to the distribution signal DIMIX_A while the transfer transistor 41A is on, and is transferred to the transfer transistor according to the distribution signal DIMIX_B. While 41B is on, it is transferred to the FD unit 42B.
  • the charges transferred via the transfer transistor 41A are sequentially accumulated in the FD section 42A and transferred via the transfer transistor 41B during a predetermined period in which the irradiation light of the irradiation time T is periodically irradiated.
  • the electric charge is sequentially accumulated in the FD unit 42B.
  • the selection transistor 43A is turned on according to the selection signal ADDRESS DECODE_A after the period for accumulating the electric charge
  • the electric charge accumulated in the FD unit 42A is read out via the signal line 53A and corresponds to the amount of the electric charge.
  • the detection signal A is output from the light receiving unit 21.
  • the selection transistor 43B is turned on according to the selection signal ADDRESS DECODE_B
  • the electric charge accumulated in the FD unit 42B is read out via the signal line 53B, and the detection signal B corresponding to the amount of the electric charge is transmitted from the light receiving unit 21. It is output.
  • the electric charge stored in the FD section 42A is discharged when the reset transistor 44A is turned on according to the reset signal RST_A, and the electric charge stored in the FD section 42B is discharged when the reset transistor 44B is turned on according to the reset signal RST_B. Will be done.
  • the pixel 31 distributes the electric charge generated by the reflected light received by the photodiode 51 to the first tap 52A or the second tap 52B according to the delay time ⁇ T, and outputs the detection signal A and the detection signal B.
  • the delay time ⁇ T corresponds to the time when the light emitted from the light emitting source 12 flies to the object, is reflected by the object, and then flies to the light receiving unit 21, that is, the distance to the object. Therefore, the distance measuring module 11 can obtain the distance (depth value) to the object according to the delay time ⁇ T based on the detection signal A and the detection signal B.
  • the detection signal A and the detection signal A have different effects for each pixel 31 due to the deviation (sensitivity difference) of the characteristics of each element of the pixel transistor such as the photodiode 51 and the transfer transistor 41 of each pixel 31. It may be given to signal B. Therefore, in the Indirect ToF type ranging module 11, the sensitivity difference between the taps of each pixel is removed by acquiring the detection signal A and the detection signal B that receive the reflected light by changing the phase in the same pixel 31. , A method to improve the SN ratio is adopted.
  • the light receiving unit 21 receives the reflected light at the light receiving timings shifted by 0 °, 90 °, 180 °, and 270 ° with respect to the irradiation timing of the irradiation light. More specifically, the light receiving unit 21 receives light with the phase set to 0 ° with respect to the irradiation timing of the irradiation light in a certain frame period, and receives light with the phase set to 90 ° in the next frame period. In the frame period, the phase is set to 180 ° to receive light, and in the next frame period, the phase is set to 270 ° to receive light, and so on, the reflected light is received by changing the phase in a time division manner.
  • FIG. 5 is a diagram showing the exposure periods of the first tap 52A of the pixel 31 in each phase of 0 °, 90 °, 180 °, and 270 ° side by side so that the phase difference can be easily understood.
  • the detection signal A obtained by receiving light in the same phase (phase 0 °) as the irradiation light is the detection signal A 0 , and the phase (phase) shifted by 90 degrees from the irradiation light.
  • the detection signal A obtained by receiving light at 90 °) is detected by detection signal A 90
  • the detection signal A obtained by receiving light in a phase (phase 180 °) shifted by 180 degrees from the irradiation light is detected by detection signal A 180 , irradiation light and 270.
  • the detection signal A obtained by receiving light in a shifted phase (phase 270 °) is referred to as a detection signal A 270 .
  • the detection signal B obtained by receiving light at the second tap 52B in the same phase (phase 0 °) as the irradiation light is shifted by 90 degrees from the detection signal B 0 and the irradiation light (phase).
  • the detection signal B obtained by receiving light at 90 °) is detected by detection signal B 90
  • the detection signal B obtained by receiving light in a phase (phase 180 °) shifted by 180 degrees from the irradiation light is detected by detection signal B 180 , irradiation light and 270.
  • the detection signal B obtained by receiving light in a shifted phase (phase 270 °) is referred to as a detection signal B 270 .
  • FIG. 6 is a diagram for explaining the calculation method of the depth value and the reliability by the 2Phase method and the 4Phase method.
  • the depth value d can be obtained by the following equation (1).
  • equation (1) c is the speed of light
  • ⁇ T is the delay time
  • f is the modulation frequency of light.
  • ⁇ in the equation (1) represents the phase shift amount [rad] of the reflected light, and is represented by the following equation (2).
  • the detection signals A 0 to A 270 and the detection signals B 0 to B 270 obtained by setting the phases of I and Q in the formula (2) to 0 °, 90 °, 180 ° and 270 ° are used. It is calculated by the following equation (3).
  • I and Q are signals obtained by converting the phase of the cos wave from polar coordinates to a Cartesian coordinate system (IQ plane), assuming that the change in brightness of the irradiation light is a cos wave.
  • the 2Phase method two of the detection signals A 0 to A 270 and the detection signals B 0 to B 270 obtained by setting the phases to 0 °, 90 °, 180 ° and 270 ° are orthogonal to each other.
  • the depth value d to the object can be obtained using only the phase.
  • the I and Q of the equation (2) become the following equation (4).
  • the I and Q of the equation (2) become the following equation (5).
  • the characteristic variation between taps existing in each pixel cannot be removed, but the depth value d to the object can be obtained only from the detection signals of the two phases, so the frame is twice that of the 4Phase method.
  • Distance measurement can be performed at a rate.
  • the characteristic variation between taps can be adjusted by correction parameters such as gain and offset.
  • the reliability cnf can be obtained by the following equation (6).
  • the ranging module 11 is either an I signal or a Q signal corresponding to the delay time ⁇ T calculated by the 4 Phase method or an I signal or the Q signal corresponding to the delay time ⁇ T calculated by the 2 Phase method. It does not matter whether the depth value d and the reliability cnf are used with. Either the 4Phase method or the 2Phase method may be used in a fixed manner, or may be, for example, a method of appropriately selecting or blending according to the movement of an object or the like. In the following, for the sake of simplicity, the 4Phase method will be adopted.
  • FIG. 7 is a block diagram of the distance measuring module 11 including the detailed configuration of the distance measuring sensor 14.
  • the distance measuring sensor 14 includes a distance measuring unit 22, an ambient light calculation unit 23, an ambient light normalization unit 24, an outdoor information calculation unit 25, and a filter unit 26. There is.
  • the ranging module 11 irradiates an object with light, and the light (irradiation light) receives the light (reflected light) reflected by the object, so that the depth value and reliability as distance information to the object are obtained. Measure the degree and output.
  • the light receiving unit 21 uses each pixel 31 of the pixel array unit 32 as a measurement target pixel, and emits RAW data, which is a detection signal according to the amount of reflected light received by the measurement target pixel, as a light emission control unit 13. , The distance measuring unit 22 and the ambient light calculation unit 23.
  • the light emission control unit 13 controls the light emission source 12 by supplying a light emission control signal of a predetermined frequency to the light emission source 12, but controls the exposure time based on the RAW data of the light receiving unit 21 to obtain the set exposure time. Generates a light emission control signal. Therefore, the light emission control unit 13 has an AE function (automatic exposure function) based on the RAW data of the light receiving unit 21, and supplies the set exposure time to the ambient light normalization unit 24.
  • AE function automatic exposure function
  • the distance measuring unit 22 calculates the depth value d, which is the distance information from the distance measuring module 11 to the object in the measurement target pixel, and its reliability cnf, based on the RAW data of the measurement target pixel supplied from the light receiving unit 21. Then, it is supplied to the filter unit 26.
  • the calculation method of the depth value d and its reliability cnf is as described above.
  • the ambient light calculation unit 23 calculates the ambient light component included in the RAW data of the measurement target pixel supplied from the light receiving unit 21, and supplies it to the ambient light normalization unit 24.
  • FIG. 8 shows the configuration of RAW data (detection signal) obtained by one pixel.
  • RAW data is composed of active component acv, ambient light component amb, and dark current component drk.
  • the active component acv is a light component in which the irradiation light from the light emitting source 12 is reflected by an object and returned.
  • the ambient light component amb is a light component due to ambient light such as sunlight.
  • the dark current component drk is a noise component due to the dark current generated in the light receiving unit 21 regardless of the light reception.
  • the ambient light component amb can be obtained by the following equation (7).
  • the dark current component drk is a fixed value acquired in advance by acquiring the detection signals A and B in a state where the light receiving unit 21 is shielded from light, for example.
  • Equation (7) is a formula for obtaining the ambient light component amb in 4Phase method, even in 2Phase method, omitting the measurement is not detected signals A i and B i, by changing the denominator of the fraction to 4, It can be calculated in the same way.
  • the ambient light normalization unit 24 normalizes the ambient light component amb of the measurement target pixel supplied from the ambient light calculation unit 23 by using the number of pixels and the exposure time.
  • the ambient light normalization unit 24 normalizes the ambient light component amb of the measurement target pixel supplied from the ambient light calculation unit 23 by the equation (8), thereby normalizing the ambient light component amb norm. Is calculated.
  • ⁇ amb represents the sum of the ambient light component amb of all the pixels of the pixel array unit 32
  • pix_n represents the number of pixels of the pixel array unit 32.
  • base_exp_time represents the base exposure time preset as an initial value
  • current_exp_time represents the current exposure time of the measurement target pixel supplied from the light emission control unit 13.
  • the ambient light normalization unit 24 may acquire the depth value d of the pixel to be measured from the distance measuring unit 22 and normalize the ambient light component amb using the number of pixels, the exposure time, and the depth value. ..
  • the normalized ambient light component amb norm is calculated by the following equation (9).
  • the ambient light normalization unit 24 supplies the calculated normalized ambient light component amb norm to the outdoor information calculation unit 25.
  • the outdoor information calculation unit 25 determines whether the current environment measured by the distance measuring module 11 is outdoors based on the normalized ambient light component amb norm supplied from the ambient light normalization unit 24.
  • the outdoor information is calculated and supplied to the filter unit 26.
  • the outdoor information may be a probability of being outdoors (hereinafter referred to as an outdoor probability), or may be a binary value indicating whether it is outdoors or indoors. When it is expressed as a binary value, it may be determined outdoors with 50% as a threshold value.
  • the outdoor information calculation unit 25 will be described as calculating and outputting the outdoor probability as outdoor information.
  • the outdoor information calculation unit 25 calculates the outdoor probability ⁇ (0 ⁇ ⁇ ⁇ 1) of the measurement target pixel by the following formula (10).
  • ⁇ a ⁇ amb norm + b ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (10)
  • a and b of the formula (10) are predetermined constants determined in advance.
  • the filter unit 26 performs the optimum filter processing on the distance measurement result from the distance measurement unit 22 based on the outdoor probability ⁇ as the outdoor information supplied from the outdoor information calculation unit 25.
  • the filter unit 26 receives the measurement target pixel.
  • the depth value d'and the reliability cnf' after filtering are calculated by the following equation (11).
  • d' ⁇ ⁇ f 1 (d) + (1- ⁇ ) ⁇ f 2 (d)
  • cnf' ⁇ ⁇ g 1 (cnf) + (1- ⁇ ) ⁇ g 2 (cnf) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (11)
  • f 1 () represents a parameter set of an outdoor filter having a depth value d as an input
  • f 2 () represents a parameter set of an indoor filter having a depth value d as an input
  • g 1 () represents the parameter set of the outdoor filter with the reliability cnf as the input
  • g 2 () represents the parameter set of the indoor filter with the reliability cnf as the input.
  • An outdoor filter or an indoor filter is a filter obtained by adjusting an arbitrary filter for outdoor or indoor use, for example, a filter for noise reduction, a filter for sharpening the boundary of an object, and the like.
  • ⁇ is 1 or 0, so either an outdoor filter or an indoor filter is selected.
  • the filter unit 26 outputs the depth value d'and the reliability cnf' after the filter processing as the depth value and the reliability of the pixel to be measured to the outside of the distance measuring module 11.
  • the filter unit 26 may generate map data in which the depth value d'or the reliability cnf' is stored as the pixel value of each pixel 31 of the pixel array unit 32 and output it to the subsequent stage.
  • map data in which the depth value d'is stored as the pixel value of each pixel 31 of the pixel array unit 32 and a reliability map in which the reliability cnf'is stored as the pixel value of each pixel 31 of the pixel array unit 32.
  • Depth value calculation process The depth value calculation process by the distance measuring module 11 will be described with reference to the flowchart of FIG. This process is started, for example, when a light emission control signal is supplied from the light emission control unit 13 to the light emission source 12 and the distance measuring sensor 14.
  • the light receiving unit 21 receives the reflected light based on the light emission control signal from the light emission control unit 13. Specifically, in the light receiving unit 21, the light receiving timing of each pixel 31 of the pixel array unit 32 is set to each phase of 0 °, 90 °, 180 °, and 270 ° with respect to the irradiation timing of the irradiation light. The reflected light is received by changing the phase in a time division manner.
  • the detection signals A 0 to A 270 and the detection signals B 0 to B 270 of each pixel obtained by sequentially setting the phases to 0 °, 90 °, 180 °, and 270 ° are the light emission control units 13 as RAW data. , It is supplied to the distance measuring unit 22 and the ambient light calculation unit 23.
  • step S2 the distance measuring unit 22 sequentially uses each pixel 31 of the pixel array unit 32 as a measurement target pixel, and based on the RAW data of the measurement target pixel supplied from the light receiving unit 21, the depth value of the measurement target pixel.
  • d and the reliability cnf are calculated and supplied to the filter unit 26.
  • the depth value d can be calculated by the equation (1)
  • the reliability cnf can be calculated by the equation (6).
  • step S3 the ambient light calculation unit 23 calculates the ambient light component amb included in the RAW data of the measurement target pixel supplied from the light receiving unit 21, and supplies it to the ambient light normalization unit 24.
  • the ambient light component amb can be calculated by the following equation (7).
  • step S4 the ambient light normalization unit 24 normalizes the ambient light component amb of the measurement target pixel supplied from the ambient light calculation unit 23 by using the number of pixels and the exposure time.
  • the ambient light normalization unit 24 calculates the normalized ambient light component amb norm by the equation (8) and supplies it to the outdoor information calculation unit 25.
  • the normalized ambient light component amb norm can also be calculated by the equation (9).
  • step S5 the outdoor information calculation unit 25 measures the current environment outdoors by the distance measuring module 11 based on the normalized ambient light component amb norm supplied from the ambient light normalization unit 24.
  • the outdoor information about the presence is calculated and supplied to the filter unit 26.
  • the outdoor information calculation unit 25 calculates the outdoor probability ⁇ of the pixel to be measured by the above equation (10).
  • step S6 the filter unit 26 performs the optimum filter processing on the distance measurement result from the distance measurement unit 22 according to the outdoor probability ⁇ as the outdoor information supplied from the outdoor information calculation unit 25. Specifically, the filter unit 26 uses the equation (11) with respect to the depth value d and the reliability cnf of the pixel to be measured from the distance measuring unit 22, and the depth value d'and the reliability after filtering. Calculate cnf'. The depth value d'and the reliability cnf' after the filtering process are output to the outside of the distance measuring module 11 as the depth value and the reliability of the pixel to be measured.
  • steps S2 to S6 is executed for all the pixels 31 of the pixel array unit 32, with each pixel 31 of the pixel array unit 32 being sequentially set as a measurement target pixel.
  • step S7 the light emission control unit 13 sets the next exposure time based on the RAW data supplied from the light receiving unit 21.
  • the process of step S7 can be executed in parallel with steps S2 to S6.
  • both the distance information to the object (depth value d, reliability cnf) and the outdoor information are calculated from the detection signal obtained by each pixel 31 of the pixel array unit 32, and the distance information is obtained.
  • the calculated outdoor information may be output to the outside in addition to the distance information.
  • the distance measuring sensor 14 can also operate to output only one of the distance information and the outdoor information.
  • the distance measuring sensor 14 calculates the distance information and outputs only the distance information as the operation mode, which is the first operation mode for calculating both the distance information and the outdoor information, without calculating the outdoor information. It includes a second operation mode and a third operation mode in which only outdoor information is calculated without calculating distance information, and processing is performed according to the operation mode specified by the setting screen or the setting control signal.
  • the distance measuring sensor 14 executes the depth value calculation process described with reference to FIG.
  • the distance measuring sensor 14 operates the light receiving unit 21, the distance measuring unit 22, and the filter unit 26 shown by the solid line in FIG. 11, and calculates the distance information without calculating the outdoor information. , Outputs only distance information.
  • the filter unit 26 performs, for example, a predetermined filter process determined in advance.
  • the distance measuring sensor 14 operates the light receiving unit 21, the ambient light calculation unit 23, the ambient light normalization unit 24, and the outdoor information calculation unit 25 shown by the solid line in FIG. 12, and the distance information.
  • the outdoor information is calculated without calculating.
  • the distance measuring sensor 14 operates as an outdoor determination sensor. Compared with an outdoor judgment sensor that uses an RGB sensor that receives general RGB light, the resolution of the pixel array unit 32 can be made lower, so driving power can be suppressed and outdoor with low power consumption. The judgment can be realized.
  • the distance information can be calculated and the outdoor determination can be performed by the distance measurement sensor alone. Since the distance information can be calculated and the outdoor determination can be performed by the distance measurement sensor 14 and the distance measurement module 11 as a single unit, it is possible to reduce the power consumption and the mounting volume. Since the distance measuring sensor 14 receives infrared light that cannot be captured by the RGB camera, the presence of the sun can be detected with higher accuracy than that captured by the RGB camera.
  • FIG. 13 shows a block diagram of a second embodiment of the ranging module.
  • FIG. 13 the parts corresponding to those in FIG. 7 in the first embodiment are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • FIG. 7 It is configured in the same manner as the first embodiment shown in 1.
  • the depth value d and the reliability cnf of each pixel 31 of the pixel array unit 32 are supplied to the subject area detection unit 81 from the distance measuring unit 22.
  • the subject area detection unit 81 generates a reliability map in which the reliability cnf is stored as the pixel value of each pixel 31 of the pixel array unit 32. Then, the subject area detection unit 81 is a subject area that includes a subject (object) in the entire pixel area (hereinafter, also referred to as a light receiving area) of the pixel array unit 32 based on the generated reliability map. Is detected, and the detected subject region is supplied to the ambient light calculation unit 82 as ROI (Region Of Interest) information indicating the region of interest, which is the region of interest in the light receiving region.
  • ROI Region Of Interest
  • the subject area detection unit 81 may also generate a depth map in which the depth value d is stored as the pixel value of each pixel 31 of the pixel array unit 32, and may detect the subject area by using the depth map as well. By also using the distance information, the subject area can be detected more accurately. Alternatively, the subject area may be detected using only the depth map without using the reliability map.
  • the ambient light calculation unit 82 performs the same processing as in the first embodiment for the region of interest indicated by the ROI information supplied from the subject region detection unit 81 in the light receiving region. That is, the ambient light calculation unit 82 calculates the ambient light component amb included in the RAW data for each pixel 31 in the region of interest and supplies it to the ambient light normalization unit 24.
  • the ambient light calculation unit 82 can also receive ROI information indicating the region of interest from the outside of the distance measuring sensor 14. When the ROI information is supplied, the ambient light calculation unit 82 calculates the ambient light component amb included in the RAW data for the region of interest indicated by the ROI information in the light receiving region, and supplies it to the ambient light normalization unit 24. To do.
  • FIG. 14 is a diagram illustrating the processing of the ambient light calculation unit 82.
  • a in FIG. 14 shows an example of a reliability map in which the reliability cnf of each pixel 31 supplied from the distance measuring unit 22 is stored. Since the reliability map is actually a grayscale image, A in FIG. 14 is an image diagram of the reliability map.
  • the area information showing the area 91 of B in FIG. 14 is supplied as ROI information.
  • the area information indicating the area 91 is the subject area detected by the subject area detection unit 81
  • the area 91 can change dynamically according to the movement of the subject.
  • the area information indicating the area 91 is ROI information supplied from the outside, the area 91 is fixed unless the ROI information is updated.
  • the ambient light calculation unit 82 calculates the ambient light component amb of all the pixels in the region 91 out of the entire region of the reliability map. Alternatively, the ambient light calculation unit 82 may calculate the ambient light component amb only for the predetermined sampling pixels 92 in the region 91. The sampling pixel 92 in this case is determined in advance by a parameter or the like.
  • the ambient light calculation unit 82 acquires ROI information indicating a part of the region of interest in the entire region of the light receiving region, calculates the ambient light component amb of the region of interest, and is the ambient light normalization unit. Supply to 24.
  • the ambient light normalization unit 24 and the outdoor information calculation unit 25 of FIG. 13 perform the same processing as in the first embodiment for the region of interest. That is, the ambient light normalization unit 24 normalizes the ambient light component amb of each pixel 31 in the region of interest, and supplies the normalized ambient light component amb norm to the outdoor information calculation unit 25.
  • the outdoor information calculation unit 25 calculates the outdoor information of each pixel 31 in the region of interest and supplies it to the filter unit 26.
  • the filter unit 26 performs the same processing as in the first embodiment for the region of interest. That is, the filter unit 26 performs the optimum filter processing on the distance measurement result from the distance measurement unit 22 based on the outdoor information of each pixel 31 in the region of interest.
  • the region other than the region of interest may be the value from the ranging unit 22 as it is, or may be processed according to the filter processing of the region of interest, for example, each pixel of the region of interest is subjected to processing.
  • the average filtering process may be performed.
  • the depth value calculation process in the second embodiment is basically the same as the depth value calculation process in the first embodiment described with reference to FIG. 10, detailed description thereof will be omitted.
  • the subject area detection process by the subject area detection unit 81 or the ambient light calculation unit 82 acquires ROI information from the outside between steps S2 and S3 in FIG. Processing is added. Then, in steps S4 to S6, the ambient light component amb is calculated for the pixels 31 in the region of interest, the calculated ambient light component amb is normalized, and the outdoor information is calculated. Others are the same as the depth value calculation process of the first embodiment described with reference to FIG.
  • FIG. 15 shows a block diagram of a third embodiment of the ranging module.
  • FIG. 15 the parts corresponding to the second embodiment shown in FIG. 13 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • an image sensor 101 is provided in addition to the distance measuring module 11.
  • the image sensor 101 is an image sensor that receives light having an RGB wavelength and generates an image of a subject (RGB image).
  • the ranging module 11 and the imaging sensor 101 of FIG. 15 form a ranging system (imaging system).
  • the image sensor 101 is composed of a light receiving unit 111 and a signal processing unit 112, and the signal processing unit 112 has a demosaic processing unit 121, an ROI determination unit 122, and a filter unit 123.
  • the distance measuring module 11 shown in FIG. 15 is different from the distance measuring module 11 of the second embodiment shown in FIG. 13 in that the subject area detection unit 81 is omitted.
  • the ambient light calculation unit 82 is supplied with the ROI information generated by the ROI determination unit 122 of the image sensor 101. Further, the outdoor information generated by the outdoor information calculation unit 25 is supplied to the filter unit 26 and also to the filter unit 123 of the image sensor 101.
  • Other points of the ranging module 11 of the third embodiment are the same as those of the second embodiment described above.
  • the light receiving unit 111 has a pixel array unit in which each pixel in which R (Red), G (Green), or B (Blue) color fills are arranged in a Bayer arrangement or the like is arranged two-dimensionally, and each pixel receives light.
  • the signal obtained by photoelectrically converting the light having a wavelength of R, G, or B is supplied to the demosaic processing unit 121 as an imaging signal.
  • the demosaic processing unit 121 performs color information interpolation processing or the like using any of the pixel signals of the R signal, the G signal, or the B signal supplied from the light receiving unit 111, so that the R signal, An image signal composed of a pixel signal of a G signal and a B signal is generated and supplied to the ROI determination unit 122 and the filter unit 123.
  • the ROI determination unit 122 executes the attention area determination process for determining the attention area with respect to the image signal supplied from the demosaic processing unit 121.
  • the ROI determination unit 122 performs the same processing as the subject area detection unit 81, except that the image to be processed is not a grayscale image but an RGB image.
  • the ROI determination unit 122 may determine the region of interest by a process different from that of the subject area detection unit 81.
  • the ROI determination unit 122 supplies ROI information indicating the region of interest obtained as a result of the region of interest determination processing to the filter unit 123 and the ambient light calculation unit 82 of the distance measuring sensor 14.
  • An image signal is supplied to the filter unit 123 from the demosaic processing unit 121, and ROI information is supplied from the ROI determination unit 122.
  • outdoor information is also supplied to the filter unit 123 from the outdoor information calculation unit 25 of the distance measuring sensor 14.
  • the filter unit 123 performs optimum filter processing on the image signal in the region of interest among the image signals from the demosaic processing unit 121 based on the outdoor information in the region of interest.
  • the regions other than the region of interest may be left as they are, or may be processed according to the filter processing of the region of interest, for example, the average of the filter processing applied to each pixel of the region of interest. Filtering may be performed.
  • the filter unit 123 outputs at least the filtered image signal obtained by applying a predetermined filter process to the region of interest to the outside.
  • the ranging module 11 calculates the ambient light component amb based on the ROI information detected by the image sensor 101 that generates the image captured by receiving RGB light. Then, the depth value d'and the reliability cnf' can be output. Further, since the filter unit 123 of the image sensor 101 performs appropriate filter processing on the RGB image signal based on outdoor information, for example, the adjustment of color and edge is optimally controlled according to the scene and the like. It becomes possible to do.
  • the ranging module 11 of FIG. 1 can be applied to, for example, an in-vehicle system mounted on a vehicle and measuring a distance to an object outside the vehicle. Further, for example, the distance measuring module 11 of FIG. 1 can be applied to a gesture recognition system that measures the distance to an object such as a user's hand and recognizes the user's gesture based on the measurement result. ..
  • the distance measuring module 11 described above can be mounted on an electronic device such as a smartphone, a tablet terminal, a mobile phone, a personal computer, a game machine, a television receiver, a wearable terminal, a digital still camera, or a digital video camera.
  • an electronic device such as a smartphone, a tablet terminal, a mobile phone, a personal computer, a game machine, a television receiver, a wearable terminal, a digital still camera, or a digital video camera.
  • FIG. 16 is a block diagram showing a configuration example of a smartphone as an electronic device equipped with a ranging module.
  • the control unit 210 has functions as an application processing unit 221 and an operation system processing unit 222 by executing a program by the CPU.
  • the distance measuring module 11 of FIG. 1 is applied to the distance measuring module 202.
  • the distance measuring module 202 is arranged in front of the smartphone 201, and by performing distance measurement for the user of the smartphone 201, the depth value of the surface shape of the user's face, hand, finger, etc. is measured. Can be output as.
  • the image pickup device 203 is arranged in front of the smartphone 201, and by taking an image of the user of the smartphone 201 as a subject, the image taken by the user is acquired. Although not shown, the image pickup device 203 may be arranged on the back surface of the smartphone 201.
  • the display 204 displays an operation screen for performing processing by the application processing unit 221 and the operation system processing unit 222, an image captured by the image pickup device 203, and the like.
  • the speaker 205 and the microphone 206 for example, output the voice of the other party and collect the voice of the user when making a call by the smartphone 201.
  • the communication module 207 communicates via the communication network.
  • the sensor unit 208 senses speed, acceleration, proximity, etc., and the touch panel 209 acquires a touch operation by the user on the operation screen displayed on the display 204.
  • the application processing unit 221 performs processing for providing various services by the smartphone 201.
  • the application processing unit 221 can create a face by computer graphics that virtually reproduces the user's facial expression based on the depth supplied from the distance measuring module 202, and can perform a process of displaying the face on the display 204.
  • the application processing unit 221 can perform a process of creating, for example, three-dimensional shape data of an arbitrary three-dimensional object based on the depth supplied from the distance measuring module 202.
  • the operation system processing unit 222 performs processing for realizing the basic functions and operations of the smartphone 201.
  • the operation system processing unit 222 can perform a process of authenticating the user's face and unlocking the smartphone 201 based on the depth value supplied from the distance measuring module 202.
  • the operation system processing unit 222 performs, for example, a process of recognizing a user's gesture based on the depth value supplied from the distance measuring module 202, and performs a process of inputting various operations according to the gesture. Can be done.
  • the smartphone 201 configured in this way, by applying the distance measuring module 11 described above, for example, the distance measurement information can be calculated and the outdoor determination can be performed at the same time. As a result, the smartphone 201 can detect the distance measurement information more accurately.
  • FIG. 17 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 301 performs the above-mentioned series of processes by, for example, loading the programs stored in the ROM 302 and the EEPROM 304 into the RAM 303 via the bus 305 and executing the programs. Further, the program executed by the computer (CPU301) can be written in advance in the ROM 302, and can be installed or updated in the EEPROM 304 from the outside via the input / output interface 306.
  • the CPU 301 performs the processing according to the above-mentioned flowchart or the processing performed according to the above-mentioned block diagram configuration. Then, the CPU 301 can output the processing result to the outside via, for example, the input / output interface 306, if necessary.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 18 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • an imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 19 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as imaging units 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 19 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the vehicle exterior information detection unit 12030 and the vehicle interior information detection unit 12040 among the configurations described above.
  • processing for recognizing the driver's gesture is performed, and various types according to the gesture (for example, It can perform operations on audio systems, navigation systems, air conditioning systems) and detect the driver's condition more accurately.
  • the distance measurement by the distance measurement module 11 can be used to recognize the unevenness of the road surface and reflect it in the control of the suspension.
  • the structure of the photodiode 51 of the light receiving unit 21 includes a distance measuring sensor having a CAPD (Current Assisted Photonic Demodulator) structure, a gate type distance measuring sensor that alternately applies an electric charge of the photodiode to two gates, and the like. It can be applied to a distance measuring sensor having a structure that distributes charges to two charge storage units. Further, this technique may be applied to a Structured Light type ranging sensor.
  • CAPD Current Assisted Photonic Demodulator
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • the present technology can have the following configurations.
  • a distance measuring unit that calculates distance information to the object from a signal obtained by a light receiving unit that receives the reflected light that is reflected by an object and the irradiation light emitted from a predetermined light emitting source is received.
  • An ambient light calculation unit that calculates an ambient light component contained in the signal obtained by the light receiving unit, and an ambient light calculation unit.
  • a distance measuring sensor including an outdoor information calculation unit that calculates outdoor information based on the ambient light component.
  • a first operation mode that calculates both the distance information and the outdoor information A second operation mode in which the distance information is calculated without calculating the outdoor information, or The distance measuring sensor according to any one of (1) to (6), further comprising a third operation mode for calculating the outdoor information without calculating the distance information.
  • the ambient light calculation unit acquires region information indicating the region of interest detected by an imaging sensor that generates an image captured by receiving RGB light, and calculates the ambient light component of the region of interest (9). ).
  • the distance measuring unit further calculates reliability information.
  • a region detection unit for detecting the region of interest using at least one of the distance information and the reliability information is further provided.
  • a filter unit that performs a predetermined filter process on the distance information is further provided.
  • the distance measuring sensor according to any one of (1) to (11), wherein the filter unit performs the predetermined filter processing based on the outdoor information.
  • the distance measuring sensor according to any one of (1) to (12), further comprising a control unit that controls an exposure time based on the signal obtained by the light receiving unit.
  • the distance measuring sensor according to any one of (1) to (13), wherein the outdoor information calculation unit calculates whether the outdoor information is outdoors or indoors.
  • the distance measuring sensor according to any one of (1) to (13), wherein the outdoor information calculation unit calculates the probability of being outdoors as the outdoor information.
  • Distance measurement sensor The distance information to the object is calculated from the signal obtained by the light receiving unit that receives the reflected light that is reflected by the object and the irradiation light emitted from the predetermined light emitting source is received. The ambient light component contained in the signal obtained by the light receiving unit is calculated.
  • a signal processing method that calculates outdoor information based on the ambient light component.
  • the distance measuring sensor is A distance measuring unit that calculates distance information to the object from a signal obtained by a light receiving unit that receives the reflected light that is reflected by the object and the irradiation light emitted from the light emitting source is received.
  • An ambient light calculation unit that calculates an ambient light component contained in the signal obtained by the light receiving unit, and an ambient light calculation unit.
  • a distance measuring module including an outdoor information calculation unit that calculates outdoor information based on the ambient light component.
  • 11 distance measurement module 12 light emission source, 13 light emission control unit, 14 distance measurement sensor, 21 light receiving unit, 22 distance measurement unit, 23 ambient light calculation unit, 24 ambient light normalization unit, 25 outdoor information calculation unit, 26 filter unit , 81 Subject area detection unit, 82 Ambient light calculation unit, 91 area, 101 image sensor, 111 light receiving unit, 112 signal processing unit, 121 demosaic processing unit, 122 ROI determination unit, 123 filter unit, 201 smartphone, 202 ranging module , 301 CPU, 302 ROM, 303 RAM

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにする測距センサ、信号処理方法、および、測距モジュールに関する。 測距センサは、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、物体までの距離情報を算出する測距部と、受光部で得られた信号に含まれる環境光成分を算出する環境光算出部と、環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。本技術は、例えば、例えば、被写体までの距離を測定する測距モジュール等に適用できる。

Description

測距センサ、信号処理方法、および、測距モジュール
　本技術は、測距センサ、信号処理方法、および、測距モジュールに関し、特に、測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにした測距センサ、信号処理方法、および、測距モジュールに関する。
　近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
　測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式や、Structured Light方式などがある。Indirect ToF方式では、光を物体に向かって照射して物体の表面で反射してくる光を検出し、その光の飛行時間を測定した測定値に基づいて物体までの距離が算出される。Structured Light方式では、パターン光を物体に向かって照射し、物体の表面におけるパターンの歪みを撮像した画像に基づいて物体までの距離が算出される。
　Indirect ToF方式やStructured Light方式のように、アクティブ光を物体に照射して反射されてきた反射光を受光する測距方式では、太陽光などの環境光の影響を受けやすいため、測定場所が屋外か屋内かを判定することができれば有用である。
　例えば、撮像素子とは別に、屋外検出センサを設け、屋外であることを検知するようにした撮像装置がある（例えば、特許文献１）。
特開２００５－１７５８８８号公報
　しかしながら、屋外検出センサを別に設けるのではなく、測距用のセンサ単体で、距離情報を取得しつつ、屋外判定を行うことが望ましい。
　本技術は、このような状況に鑑みてなされたものであり、測距センサ単体で、距離情報の算出と屋外判定を行うことができるようにするものである。
　本技術の第１の側面の測距センサは、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。
　本技術の第２の側面の信号処理方法は、測距センサが、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、前記受光部で得られた前記信号に含まれる環境光成分を算出し、前記環境光成分に基づいて、屋外情報を算出する。
　本技術の第３の側面の測距モジュールは、所定の発光源と、測距センサとを備え、前記測距センサは、前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部とを備える。
　本技術の第１乃至第３の側面においては、所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報が算出され、前記受光部で得られた前記信号に含まれる環境光成分が算出され、前記環境光成分に基づいて、屋外情報が算出される。
　測距センサ及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距モジュールの第１の実施の形態における概略の構成例を示すブロック図である。 測距センサの動作を説明する図である。 ４Phase方式による画素の動作を説明する図である。 ４Phase方式を説明する図である。 ４Phase方式を説明する図である。 ２Phase方式と４Phase方式によるデプス値の算出方法を説明する図である。 測距センサの詳細構成を含む測距モジュールのブロック図である。 １画素で得られるRAWデータの構成を示す図である。 ４Phase方式によるRAWデータの例を示す図である。 測距モジュールによるデプス値算出処理を説明するフローチャートである。 測距モジュールの第２の動作モードを説明する図である。 測距モジュールの第３の動作モードを説明する図である。 測距モジュールの第２の実施の形態のブロック図である。 第２の実施の形態の環境光算出部の処理を説明する図である。 測距モジュールの第３の実施の形態のブロック図である。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの概略構成例
２．Indirect ToF方式による測距センサの動作
３．測距センサの詳細構成例
４．デプス値算出処理
５．第２の実施の形態
６．第３の実施の形態
７．電子機器の構成例
８．コンピュータの構成例
９．移動体への応用例
＜１．測距モジュールの概略構成例＞
　図１は、本技術を適用した測距モジュールの第１の実施の形態における概略の構成例を示すブロック図である。
　図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光源１２、発光制御部１３、および、測距センサ１４を有する。
　測距モジュール１１は、被写体としての所定の物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプス値と信頼度を測定して出力する。
　発光源１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。
　発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光源１２に供給することにより、発光源１２を制御する。また、発光制御部１３は、発光源１２における発光のタイミングに合わせて受光部２１を駆動させるために、発光制御信号を測距センサ１４にも供給する。
　測距センサ１４は、詳細は図２を参照して後述するが、複数の画素３１が２次元配置された画素アレイ部３２で、物体からの反射光を受光する。そして、測距センサ１４は、画素アレイ部３２の画素３１の単位に、デプス値と信頼度を生成して出力する。
＜２．Indirect ToF方式による測距センサの動作＞
　次に、図２乃至図６を参照して、測距センサ１４の動作について説明する。
　測距センサ１４は、図２に示される受光部２１を有している。
　受光部２１は、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素３１が行方向および列方向の行列状に２次元配置された画素アレイ部３２と、画素アレイ部３２の周辺領域に配置された駆動制御回路３３とを有する。
　駆動制御回路３３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素３１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。
　画素３１は、フォトダイオード５１と、フォトダイオード５１で光電変換された電荷を検出する第１タップ５２Aおよび第２タップ５２Bとを有する。画素３１では、１つのフォトダイオード５１で発生した電荷が、第１タップ５２Aまたは第２タップ５２Bに振り分けられる。そして、フォトダイオード５１で発生した電荷のうち、第１タップ５２Aに振り分けられた電荷が信号線５３Aから検出信号Aとして出力され、第２タップ５２Bに振り分けられた電荷が信号線５３Bから検出信号Bとして出力される。
　第１タップ５２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ５２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。
　画素３１の動作について説明する。
　発光源１２から、図３に示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード５１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。
　従って、図２において、フォトダイオード５１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。
　そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線５３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部２１から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線５３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部２１から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。
　このように、画素３１は、フォトダイオード５１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ５２Aまたは第２タップ５２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。そして、遅延時間ΔTは、発光源１２で発光した光が物体まで飛行し、物体で反射した後に受光部２１まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Aおよび検出信号Bに基づき、遅延時間ΔTに従って物体までの距離（デプス値）を求めることができる。
　ただし、画素アレイ部３２では、個々の画素３１が有するフォトダイオード５１や転送トランジスタ４１等の画素トランジスタの各素子の特性のズレ（感度差）によって、画素３１ごとに異なる影響が検出信号Aおよび検出信号Bに与えられる場合がある。そのため、Indirect ToF方式の測距モジュール１１では、同一の画素３１で位相を変えて反射光を受光した検出信号Aおよび検出信号Bを取得することにより、各画素のタップ間の感度差を除去し、SN比を向上させる手法が採用される。
　位相を変えて反射光を受光し、デプス値を算出する方式として、例えば、２Phaseによる検出方式（２Phase方式）と、４Phaseによる検出方式（４Phase方式）とについて説明する。
　受光部２１は、図４に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部２１は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。
　図５は、０°、９０°、１８０°、および、２７０°の各位相における画素３１の第１タップ５２Aの露光期間を、位相差が分かり易いように並べて示した図である。
　図５に示されるように、第１タップ５２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A２７０、と呼ぶことにする。
　また、図示は省略するが、第２タップ５２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B０、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B９０、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B１８０、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B２７０、と呼ぶことにする。
　図６は、２Phase方式と４Phase方式によるデプス値と信頼度の算出方法を説明する図である。
　Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　４Phase方式では、式（２）のI,Qが、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A０乃至A２７０および検出信号B０乃至B２７０を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
　I＝ｃ０－ｃ１８０＝（A０－B０）－（A１８０－B１８０）
　Q＝ｃ９０－ｃ２７０＝（A９０－B９０）－（A２７０－B２７０）　　・・・・・・・・・・（３）
　４Phase方式では、例えば、式（３）の“A０－A１８０”や“A９０－A２７０”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、固定パターンノイズを除去することができる。
　一方、２Phase方式では、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A０乃至A２７０および検出信号B０乃至B２７０のうち、直交関係にある２つの位相のみを用いて、物体までのデプス値dを求めることができる。例えば、位相０°の検出信号A０およびB０と、位相９０°の検出信号A９０およびB９０を用いた場合、式（２）のI,Qは次式（４）となる。
　I＝ｃ０－ｃ１８０＝（A０－B０）
　Q＝ｃ９０－ｃ２７０＝（A９０－B９０）　　・・・・・・・・・・（４）
　例えば、位相１８０°の検出信号A１８０およびB１８０と、位相２７０°の検出信号A２７０およびB２７０を用いた場合、式（２）のI,Qは次式（５）となる。
　I＝ｃ０－ｃ１８０＝－（A１８０－B１８０）
　Q＝ｃ９０－ｃ２７０＝－（A２７０－B２７０）　　・・・・・・・・・・（５）
　２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。タップ間の特性ばらつきは、ゲインやオフセット等の補正パラメータで調整することができる。
　２Phase方式と４Phase方式において、信頼度cnfは、次式（６）で求めることができる。
Figure JPOXMLDOC01-appb-M000003
　本実施の形態において、測距モジュール１１は、４Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号と、２Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号のいずれを用いてデプス値dおよび信頼度cnfを用いるかは問わない。４Phase方式または２Phase方式のいずれか一方が固定的に用いられてもよいし、例えば、物体の動き等に応じて適切に選択またはブレンドする方法でもよい。以下では、簡単のため、４Phase方式が採用されることとする。
＜３．測距センサの詳細構成例＞
　図７は、測距センサ１４の詳細構成を含む測距モジュール１１のブロック図である。
　測距センサ１４は、図２に示した受光部２１に加え、測距部２２、環境光算出部２３、環境光正規化部２４、屋外情報算出部２５、および、フィルタ部２６を有している。
　測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプス値と信頼度を測定して出力する。
　具体的には、受光部２１は、画素アレイ部３２の各画素３１を測定対象画素として、測定対象画素が受光した反射光の受光量に応じた検出信号であるRAWデータを、発光制御部１３、測距部２２、および、環境光算出部２３に供給する。
　発光制御部１３は、所定の周波数の発光制御信号を発光源１２に供給することにより発光源１２を制御するが、受光部２１のRAWデータに基づいて露光時間を制御し、設定した露光時間となる発光制御信号を生成する。したがって、発光制御部１３は、受光部２１のRAWデータに基づくAE機能（自動露出機能）を有しており、設定した露光時間を、環境光正規化部２４に供給する。
　測距部２２は、受光部２１から供給される測定対象画素のRAWデータに基づいて、測定対象画素における測距モジュール１１から物体までの距離情報であるデプス値dと、その信頼度cnfを算出して、フィルタ部２６へ供給する。デプス値dと、その信頼度cnfの算出方法は、上述した通りである。
　環境光算出部２３は、受光部２１から供給される測定対象画素のRAWデータに含まれる環境光成分を算出し、環境光正規化部２４に供給する。
　図８は、１画素で得られるRAWデータ（検出信号）の構成を示している。
　RAWデータは、アクティブ成分acv、環境光成分amb、および、暗電流成分drkを含んで構成される。アクティブ成分acvは、発光源１２からの照射光が物体で反射され、返ってきた光成分である。環境光成分ambは、太陽光などの環境光による光成分である。暗電流成分drkは、受光と関係なく、受光部２１で発生した暗電流によるノイズ成分である。
　図９は、測距センサ１４が異なる距離D1および距離D2を測定した場合の検出信号AｉおよびBｉ（i＝0,90,180,270のいずれか）におけるアクティブ成分acv、環境光成分amb、および、暗電流成分drkの構成を示している。
　ここで、環境光成分ambは、次式（７）で求めることができる。
Figure JPOXMLDOC01-appb-M000004
 　暗電流成分drkは、例えば、受光部２１を遮光した状態で検出信号AおよびBを取得することにより、事前に取得される固定値である。
　式（７）は、４Phase方式における環境光成分ambを求める式であるが、２Phase方式においても、測定がない検出信号AｉおよびBｉを省略し、分数の分母を４に変更することにより、同様に計算できる。
　図７に戻り、環境光正規化部２４は、環境光算出部２３から供給される測定対象画素の環境光成分ambを、画素数および露光時間を用いて正規化する。
　具体的には、環境光正規化部２４は、環境光算出部２３から供給される測定対象画素の環境光成分ambを式（８）により正規化することで、正規化した環境光成分ambnormを算出する。
Figure JPOXMLDOC01-appb-M000005
　式（８）において、Σambは、画素アレイ部３２の全画素の環境光成分ambの和を表し、pix_nは、画素アレイ部３２の画素数を表す。また、base_exp_timeは、初期値として予め設定されるベースの露光時間を表し、current_exp_timeは、発光制御部１３から供給された測定対象画素の現在の露光時間を表す。
　また、環境光正規化部２４は、測定対象画素のデプス値dを測距部２２から取得し、画素数、露光時間、および、デプス値を用いて、環境光成分ambを正規化してもよい。この場合、正規化した環境光成分ambnormは、次式（９）により算出される。
Figure JPOXMLDOC01-appb-M000006
　環境光成分ambを正規化することにより、画素数、露光時間、または、距離などによる個別の調整が不要となる。環境光正規化部２４は、算出した正規化後の環境光成分ambnormを、屋外情報算出部２５に供給する。
　屋外情報算出部２５は、環境光正規化部２４から供給される、正規化後の環境光成分ambnormに基づいて、測距モジュール１１が測定している現在の環境が屋外であるかについての屋外情報を算出し、フィルタ部２６に供給する。屋外情報は、屋外である確率（以下、屋外確率と称する。）でもよいし、屋外か、または、屋内かを表す２値でもよい。２値で表す場合には、５０％を閾値として屋外判定すればよい。本実施の形態では、屋外情報算出部２５は、屋外情報として屋外確率を算出して出力するとして説明する。
　例えば、屋外情報算出部２５は、測定対象画素の屋外確率α（０≦α≦１）を、以下の式（１０）により算出する。
　α＝ａ×ambnorm＋ｂ　　　　　　　　　・・・・・・・・・・（１０）
　式（１０）のａ，ｂは、予め決定された所定の定数である。
　フィルタ部２６は、屋外情報算出部２５から供給される屋外情報としての屋外確率αに基づいて、測距部２２からの測距結果に最適なフィルタ処理を施す。
　具体的には、測定対象画素について、屋外情報算出部２５から屋外情報としての屋外確率αが供給され、測距部２２から、デプス値dと信頼度cnfが供給されると、フィルタ部２６は、以下の式（１１）により、フィルタ処理後のデプス値d’と信頼度cnf’を算出する。
　ｄ’＝α・ｆ1(ｄ)＋（１－α）・ｆ2(ｄ)
　cnf’＝α・ｇ1(cnf)＋（１－α）・ｇ2(cnf) 　　・・・・・・・・・・（１１）
　ここで、ｆ1（）は、デプス値dを入力とする屋外用フィルタのパラメータセットを表し、ｆ2（）は、デプス値dを入力とする屋内用フィルタのパラメータセットを表す。ｇ1（）は、信頼度cnfを入力とする屋外用フィルタのパラメータセットを表し、ｇ2（）は、信頼度cnfを入力とする屋内用フィルタのパラメータセットを表す。屋外用フィルタまたは屋内用フィルタは、例えば、ノイズリダクション用のフィルタ、物体の境界部を鮮明にするフィルタなど、任意のフィルタを、屋外用または屋内用に調整したフィルタである。屋外情報が、屋外か、または、屋内かを表す２値である場合には、αが１または０となるので、屋外用フィルタまたは屋内用フィルタのいずれか一方が選択される。
　フィルタ部２６は、フィルタ処理後のデプス値d’と信頼度cnf’を、測定対象画素のデプス値および信頼度として、測距モジュール１１の外部へ出力する。
　なお、フィルタ部２６は、画素アレイ部３２の各画素３１の画素値としてデプス値d’または信頼度cnf’が格納されたマップデータを生成し、後段に出力してもよい。この場合、画素アレイ部３２の各画素３１の画素値としてデプス値d’が格納されたデプスマップと、画素アレイ部３２の各画素３１の画素値として信頼度cnf’が格納された信頼度マップが、生成され、出力される。
＜４．デプス値算出処理＞
　図１０のフローチャートを参照して、測距モジュール１１によるデプス値算出処理を説明する。この処理は、例えば、発光制御部１３から発光源１２および測距センサ１４に発光制御信号が供給されたとき、開始される。
　初めに、ステップＳ１において、受光部２１は、発光制御部１３からの発光制御信号に基づいて反射光を受光する。具体的には、受光部２１は、画素アレイ部３２の各画素３１の受光タイミングが、照射光の照射タイミングに対して０°、９０°、１８０°、および、２７０°の各位相となるように時分割で位相を変えて反射光を受光する。位相を０°、９０°、１８０°、および２７０°に順次設定して得られた各画素の検出信号A０乃至A２７０および検出信号B０乃至B２７０が、RAWデータとして、発光制御部１３、測距部２２、および、環境光算出部２３に供給される。
　ステップＳ２において、測距部２２は、画素アレイ部３２の各画素３１を、順次、測定対象画素として、受光部２１から供給された測定対象画素のRAWデータに基づいて、測定対象画素のデプス値dと信頼度cnfを算出して、フィルタ部２６へ供給する。デプス値dは、式（１）により、信頼度cnfは、式（６）により、それぞれ算出することができる。
　ステップＳ３において、環境光算出部２３は、受光部２１から供給された測定対象画素のRAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。環境光成分ambは、次式（７）で求めることができる。
　ステップＳ４において、環境光正規化部２４は、環境光算出部２３から供給された測定対象画素の環境光成分ambを、画素数および露光時間を用いて正規化する。例えば、環境光正規化部２４は、式（８）により正規化後の環境光成分ambnormを算出し、屋外情報算出部２５に供給する。なお、上述したように、式（９）により、正規化後の環境光成分ambnormを算出することもできる。
　ステップＳ５において、屋外情報算出部２５は、環境光正規化部２４から供給される、正規化後の環境光成分ambnormに基づいて、測距モジュール１１が測定している現在の環境が屋外であるかについての屋外情報を算出し、フィルタ部２６に供給する。例えば、屋外情報算出部２５は、測定対象画素の屋外確率αを、上述した式（１０）により算出する。
　ステップＳ６において、フィルタ部２６は、屋外情報算出部２５から供給された屋外情報としての屋外確率αに応じて、測距部２２からの測距結果に最適なフィルタ処理を施す。具体的には、フィルタ部２６は、測距部２２からの測定対象画素のデプス値dと信頼度cnfに対して、式（１１）を用いて、フィルタ処理後のデプス値d’と信頼度cnf’を算出する。フィルタ処理後のデプス値d’と信頼度cnf’は、測定対象画素のデプス値および信頼度として、測距モジュール１１の外部へ出力される。
　ステップＳ２乃至Ｓ６の処理は、画素アレイ部３２の各画素３１を、順次、測定対象画素として、画素アレイ部３２の全ての画素３１について実行される。
　ステップＳ７において、発光制御部１３は、受光部２１から供給されたRAWデータに基づいて、次の露光時間を設定する。このステップＳ７の処理は、ステップＳ２乃至Ｓ６と並行して実行することができる。
　以上で、測距モジュール１１によるデプス値算出処理が終了する。
　上述したデプス値算出処理では、画素アレイ部３２の各画素３１で得られた検出信号から、物体までの距離情報（デプス値d、信頼度cnf）と、屋外情報の両方を算出し、距離情報に屋外情報（屋外確率）を反映させる処理を実行したが、距離情報に加えて、算出した屋外情報も、外部へ出力してもよい。
　また、測距センサ１４は、距離情報と屋外情報のいずれか一方のみを出力する動作も可能である。
　具体的には、測距センサ１４は、動作モードとして、距離情報と屋外情報の両方を算出する第１の動作モード、屋外情報を算出せず、距離情報を算出し、距離情報のみを出力する第２の動作モード、および、距離情報を算出せず、屋外情報のみを算出する第３の動作モードとを備え、設定画面または設定制御信号により指定された動作モードによる処理を行う。
　第１の動作モードでは、測距センサ１４は、図１０で説明したデプス値算出処理を実行する。
　第２の動作モードでは、測距センサ１４は、図１１において実線で示される受光部２１、測距部２２、および、フィルタ部２６を動作させ、屋外情報を算出せず、距離情報を算出し、距離情報のみを出力する。フィルタ部２６は、例えば、予め決定された所定のフィルタ処理を行う。
　第３の動作モードでは、測距センサ１４は、図１２において実線で示される受光部２１、環境光算出部２３、環境光正規化部２４、および、屋外情報算出部２５を動作させ、距離情報を算出せず、屋外情報を算出する。この場合、測距センサ１４は、屋外判定センサとして動作する。一般的なRGBの光を受光するRGBセンサを用いた屋外判定センサと比較すると、画素アレイ部３２の解像度を低解像度とすることができるので、駆動電力を抑えることができ、低消費電力で屋外判定を実現することができる。
　以上のように、測距センサ１４および測距モジュール１１によれば、測距センサ単体で、距離情報の算出と屋外判定を行うことができる。単体の測距センサ１４および測距モジュール１１で距離情報の算出と屋外判定を行うことができるので、消費電力の低減、および、実装体積の縮小が可能である。測距センサ１４は、RGBカメラで撮像できない赤外光を受光するので、太陽の存在を、RGBカメラによる撮像よりも高精度に検出することができる。
＜５．第２の実施の形態＞
　図１３は、測距モジュールの第２の実施の形態のブロック図を示している。
　図１３において、第１の実施の形態における図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１３の第２の実施の形態では、被写体領域検出部８１が新たに設けられている点、および、環境光算出部２３が環境光算出部８２に変更されている点を除いて、図７に示した第１の実施の形態と同様に構成されている。
　被写体領域検出部８１には、画素アレイ部３２の各画素３１のデプス値dと信頼度cnfが、測距部２２から供給される。
　被写体領域検出部８１は、画素アレイ部３２の各画素３１の画素値として信頼度cnfが格納された信頼度マップを生成する。そして、被写体領域検出部８１は、生成した信頼度マップに基づいて、画素アレイ部３２の全画素領域（以下、受光領域とも称する。）のなかで被写体（物体）が含まれる領域である被写体領域を検出し、検出した被写体領域を、受光領域内で注目する領域である注目領域を示すROI（Region Of Interest）情報として環境光算出部８２に供給する。
　なお、被写体領域検出部８１は、画素アレイ部３２の各画素３１の画素値としてデプス値dが格納されたデプスマップも生成し、デプスマップも用いて、被写体領域を検出してもよい。距離情報も用いることにより、より正確に被写体領域を検出することができる。あるいはまた、信頼度マップを用いずに、デプスマップのみを用いて、被写体領域を検出してもよい。
　環境光算出部８２は、受光領域のうち、被写体領域検出部８１から供給されたROI情報が示す注目領域について、第１の実施の形態と同様の処理を行う。すなわち、環境光算出部８２は、注目領域の各画素３１について、RAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。
　また、環境光算出部８２は、測距センサ１４の外部などから、注目領域を示すROI情報を受け付けることもできる。ROI情報が供給された場合、環境光算出部８２は、受光領域のなかの、ROI情報が示す注目領域について、RAWデータに含まれる環境光成分ambを算出し、環境光正規化部２４に供給する。
　図１４は、環境光算出部８２の処理を説明する図である。
　図１４のAは、測距部２２から供給された各画素３１の信頼度cnfが格納された信頼度マップの例を示している。なお、信頼度マップは、実際には、グレースケールの画像となるため、図１４のAは、信頼度マップのイメージ図である。
　図１４のAに示される信頼度マップに対して、例えば、図１４のBの領域９１を示す領域情報が、ROI情報として供給される。領域９１を示す領域情報が、被写体領域検出部８１で検出された被写体領域である場合、領域９１は、被写体の動きに応じて動的に変わり得る。あるいはまた、領域９１を示す領域情報が、外部から供給されたROI情報である場合、領域９１は、ROI情報が更新されない限り、固定である。
　環境光算出部８２は、信頼度マップの全領域のうち、領域９１の全画素の環境光成分ambを算出する。あるいはまた、環境光算出部８２は、領域９１の所定のサンプリング画素９２についてのみ、環境光成分ambを算出してもよい。この場合のサンプリング画素９２は、パラメータ等で予め決定される。
　以上のように、環境光算出部８２は、受光領域の全領域のうち、一部の注目領域を示すROI情報を取得して、注目領域の環境光成分ambを算出し、環境光正規化部２４に供給する。
　図１３の環境光正規化部２４および屋外情報算出部２５は、注目領域について、第１の実施の形態と同様の処理を行う。すなわち、環境光正規化部２４は、注目領域の各画素３１の環境光成分ambを正規化し、正規化後の環境光成分ambnormを、屋外情報算出部２５に供給する。屋外情報算出部２５は、注目領域の各画素３１の屋外情報を算出して、フィルタ部２６に供給する。
　フィルタ部２６は、注目領域について、第１の実施の形態と同様の処理を行う。すなわち、フィルタ部２６は、注目領域の各画素３１の屋外情報に基づいて、測距部２２からの測距結果に最適なフィルタ処理を施す。なお、受光領域の全領域のうち、注目領域以外の領域については、測距部２２からの値そのままでもよいし、注目領域のフィルタ処理に合わせた処理、例えば、注目領域の各画素に施されたフィルタ処理の平均的なフィルタ処理などを施してもよい。
　第２の実施の形態におけるデプス値算出処理は、図１０を参照して説明した第１の実施の形態のデプス値算出処理と、基本的に同様であるので、詳細な説明は省略する。第２の実施の形態におけるデプス値算出処理では、図１０のステップＳ２とＳ３の間に、被写体領域検出部８１による被写体領域検出処理、または、外部からのROI情報を環境光算出部８２が取得する処理が追加される。そして、ステップＳ４乃至Ｓ６において、注目領域の画素３１に対して、環境光成分ambが算出され、算出された環境光成分ambが正規化され、屋外情報が算出される。その他は、図１０を参照して説明した第１の実施の形態のデプス値算出処理と同様である。
＜６．第３の実施の形態＞
　図１５は、測距モジュールの第３の実施の形態のブロック図を示している。
　図１５において、図１３に示した第２の実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１５の第３の実施の形態においては、測距モジュール１１の他に、撮像センサ１０１が設けられている。撮像センサ１０１は、RGBの波長の光を受光し、被写体の画像（RGB画像）を生成するイメージセンサである。図１５の測距モジュール１１と撮像センサ１０１とは、測距システム（撮像システム）を構成する。
　撮像センサ１０１は、受光部１１１および信号処理部１１２で構成され、信号処理部１１２は、デモザイク処理部１２１、ROI決定部１２２、および、フィルタ部１２３を有する。
　図１５に示される測距モジュール１１は、図１３に示した第２の実施の形態の測距モジュール１１と、被写体領域検出部８１が省略されている点が異なる。環境光算出部８２には、撮像センサ１０１のROI決定部１２２で生成されたROI情報が供給される。また、屋外情報算出部２５で生成された屋外情報が、フィルタ部２６に供給される他、撮像センサ１０１のフィルタ部１２３にも供給される。第３の実施の形態の測距モジュール１１のその他の点は、上述した第２の実施の形態と同様である。
　受光部１１１は、R(Red)、G(Green)、または、B(Blue)のカラーフィルをベイヤ配列等で配置した各画素が２次元配置された画素アレイ部を有し、各画素が受光したR,G,またはBの波長の光を光電変換した信号を、撮像信号としてデモザイク処理部１２１に供給する。
　デモザイク処理部１２１は、受光部１１１から供給される、R信号,G信号,またはB信号のいずれかの画素信号を用いて色情報の補間処理等を行うことにより、画素ごとに、R信号,G信号,およびB信号の画素信号からなる画像信号を生成し、ROI決定部１２２およびフィルタ部１２３に供給する。
　ROI決定部１２２は、デモザイク処理部１２１から供給される画像信号に対して、注目領域を決定する注目領域決定処理を実行する。ROI決定部１２２は、処理対象画像がグレースケールの画像ではなく、RGB画像である点を除いて、被写体領域検出部８１と同様の処理を行う。勿論、ROI決定部１２２は、被写体領域検出部８１と異なる処理により、注目領域を決定してもよい。ROI決定部１２２は、注目領域決定処理の結果得られた注目領域を示すROI情報を、フィルタ部１２３と、測距センサ１４の環境光算出部８２に供給する。
　フィルタ部１２３には、デモザイク処理部１２１から画像信号が供給されるとともに、ROI決定部１２２からROI情報が供給される。また、フィルタ部１２３には、測距センサ１４の屋外情報算出部２５から、屋外情報も供給される。
　フィルタ部１２３は、注目領域の屋外情報に基づいて、デモザイク処理部１２１からの画像信号のうち、注目領域の画像信号に最適なフィルタ処理を施す。なお、受光部１１１が撮像した画像のうち、注目領域以外の領域については、そのままでもよいし、注目領域のフィルタ処理に合わせた処理、例えば、注目領域の各画素に施されたフィルタ処理の平均的なフィルタ処理などを施してもよい。
　フィルタ部１２３は、少なくとも注目領域に所定のフィルタ処理を施したフィルタ処理後の画像信号を、外部に出力する。
　測距モジュール１１のデプス値算出処理は、上述した第２の実施の形態のデプス値算出処理と同様であるので、説明は省略する。
　以上のように、第３の実施の形態によれば、測距モジュール１１は、RGBの光を受光した撮像画像を生成する撮像センサ１０１で検出されたROI情報に基づいて環境光成分ambを算出し、デプス値d’と信頼度cnf’を出力することができる。また、撮像センサ１０１のフィルタ部１２３は、RGBの画像信号に対して、屋外情報に基づいて適切なフィルタ処理を行うので、例えば、色味やエッジの調整を、シーン等に応じて最適に制御することが可能となる。
　図１の測距モジュール１１は、例えば、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムに適用することができる。また例えば、図１の測距モジュール１１は、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。
＜７．電子機器の構成例＞
　上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
　図１６は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
　図１６に示すように、スマートフォン２０１は、測距モジュール２０２、撮像装置２０３、ディスプレイ２０４、スピーカ２０５、マイクロフォン２０６、通信モジュール２０７、センサユニット２０８、タッチパネル２０９、および制御ユニット２１０が、バス２１１を介して接続されて構成される。また、制御ユニット２１０では、CPUがプログラムを実行することによって、アプリケーション処理部２２１およびオペレーションシステム処理部２２２としての機能を備える。
　測距モジュール２０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール２０２は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
　撮像装置２０３は、スマートフォン２０１の前面に配置され、スマートフォン２０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン２０１の背面にも撮像装置２０３が配置された構成としてもよい。
　ディスプレイ２０４は、アプリケーション処理部２２１およびオペレーションシステム処理部２２２による処理を行うための操作画面や、撮像装置２０３が撮像した画像などを表示する。スピーカ２０５およびマイクロフォン２０６は、例えば、スマートフォン２０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
　通信モジュール２０７は、通信ネットワークを介した通信を行う。センサユニット２０８は、速度や加速度、近接などをセンシングし、タッチパネル２０９は、ディスプレイ２０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
　アプリケーション処理部２２１は、スマートフォン２０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ２０４に表示する処理を行うことができる。また、アプリケーション処理部２２１は、測距モジュール２０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
　オペレーションシステム処理部２２２は、スマートフォン２０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン２０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部２２２は、測距モジュール２０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
　このように構成されているスマートフォン２０１では、上述した測距モジュール１１を適用することで、例えば、測距情報の算出と屋外判定を同時に行うことができる。これにより、スマートフォン２０１は、測距情報をより正確に検出することができる。
＜８．コンピュータの構成例＞
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）３０４は、バス３０５により相互に接続されている。バス３０５には、さらに、入出力インタフェース３０６が接続されており、入出力インタフェース３０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、ROM３０２およびEEPROM３０４に記憶されているプログラムを、バス３０５を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU３０１）が実行するプログラムは、ROM３０２に予め書き込んでおく他、入出力インタフェース３０６を介して外部からEEPROM３０４にインストールしたり、更新したりすることができる。
　これにより、CPU３０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース３０６を介して、外部へ出力することができる。
　本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１９は、撮像部１２０３１の設置位置の例を示す図である。
　図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
　なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部２１のフォトダイオード５１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。また、本技術は、Structured Light方式の測距センサに適用してもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
　前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
　前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
　を備える測距センサ。
（２）
　前記環境光算出部により算出された前記環境光成分を正規化する正規化部をさらに備え、
　前記屋外情報算出部は、正規化後の前記環境光成分に基づいて、前記屋外情報を推定する
　前記（１）に記載の測距センサ。
（３）
　前記正規化部は、露光時間と画素数を用いて、前記環境光成分を正規化する
　前記（２）に記載の測距センサ。
（４）
　前記正規化部は、露光時間、画素数、および、前記距離情報を用いて、前記環境光成分を正規化する
　前記（２）に記載の測距センサ。
（５）
　前記環境光算出部は、前記受光部で得られた前記信号から暗電流成分を減算し、前記環境光成分を算出する
　前記（１）乃至（４）のいずれかに記載の測距センサ。
（６）
　前記受光部で得られた信号を用いて、前記距離情報と前記屋外情報の両方が算出される
　前記（１）乃至（５）のいずれかに記載の測距センサ。
（７）
　動作モードとして、
　前記距離情報と前記屋外情報との両方を算出する第１の動作モード、
　前記屋外情報を算出せず、前記距離情報を算出する第２の動作モード、または、
　前記距離情報を算出せず、前記屋外情報を算出する第３の動作モードを備える
　前記（１）乃至（６）のいずれかに記載の測距センサ。
（８）
　前記環境光算出部は、前記受光部の受光領域の一部である注目領域の前記環境光成分を算出する
　前記（１）乃至（７）のいずれかに記載の測距センサ。
（９）
　前記環境光算出部は、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
　前記（８）に記載の測距センサ。
（１０）
　前記環境光算出部は、RGBの光を受光した撮像画像を生成する撮像センサで検出された、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
　前記（９）に記載の測距センサ。
（１１）
　前記測距部は、前記距離情報に加えて、信頼度情報もさらに算出し、
　前記距離情報または前記信頼度情報の少なくとも一方を用いて、前記注目領域を検出する領域検出部をさらに備え、
　前記環境光算出部は、前記注目領域の前記環境光成分を算出する
　前記（８）に記載の測距センサ。
（１２）
　前記距離情報に所定のフィルタ処理を行うフィルタ部をさらに備え、
　前記フィルタ部は、前記屋外情報に基づいて前記所定のフィルタ処理を行う
　前記（１）乃至（１１）のいずれかに記載の測距センサ。
（１３）
　前記受光部で得られた前記信号に基づき、露光時間を制御する制御部をさらに備える
　前記（１）乃至（１２）のいずれかに記載の測距センサ。
（１４）
　前記屋外情報算出部は、前記屋外情報として、前記屋外か、または、屋内かを算出する
　前記（１）乃至（１３）のいずれかに記載の測距センサ。
（１５）
　前記屋外情報算出部は、前記屋外情報として、前記屋外である確率を算出する
　前記（１）乃至（１３）のいずれかに記載の測距センサ。
（１６）
　測距センサが、
　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、
　前記受光部で得られた前記信号に含まれる環境光成分を算出し、
　前記環境光成分に基づいて、屋外情報を算出する
　信号処理方法。
（１７）
　所定の発光源と、
　測距センサと
　を備え、
　前記測距センサは、
　　前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
　　前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
　　前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
　を備える
　測距モジュール。
　１１　測距モジュール，　１２　発光源，　１３　発光制御部，　１４　測距センサ，　２１　受光部，　２２　測距部，　２３　環境光算出部，　２４　環境光正規化部，　２５　屋外情報算出部，　２６　フィルタ部，　８１　被写体領域検出部，　８２　環境光算出部，　９１　領域，　１０１　撮像センサ，　１１１　受光部，　１１２　信号処理部，　１２１　デモザイク処理部，　１２２　ROI決定部，　１２３　フィルタ部，　２０１　スマートフォン，　２０２　測距モジュール，　３０１　CPU，　３０２　ROM，　３０３　RAM

Claims (17)

  1. 　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
    　前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
    　前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
    　を備える測距センサ。
  2. 　前記環境光算出部により算出された前記環境光成分を正規化する正規化部をさらに備え、
    　前記屋外情報算出部は、正規化後の前記環境光成分に基づいて、前記屋外情報を推定する
    　請求項１に記載の測距センサ。
  3. 　前記正規化部は、露光時間と画素数を用いて、前記環境光成分を正規化する
    　請求項２に記載の測距センサ。
  4. 　前記正規化部は、露光時間、画素数、および、前記距離情報を用いて、前記環境光成分を正規化する
    　請求項２に記載の測距センサ。
  5. 　前記環境光算出部は、前記受光部で得られた前記信号から暗電流成分を減算し、前記環境光成分を算出する
    　請求項１に記載の測距センサ。
  6. 　前記受光部で得られた信号を用いて、前記距離情報と前記屋外情報の両方が算出される
    　請求項１に記載の測距センサ。
  7. 　動作モードとして、
    　前記距離情報と前記屋外情報との両方を算出する第１の動作モード、
    　前記屋外情報を算出せず、前記距離情報を算出する第２の動作モード、または、
    　前記距離情報を算出せず、前記屋外情報を算出する第３の動作モードを備える
    　請求項１に記載の測距センサ。
  8. 　前記環境光算出部は、前記受光部の受光領域の一部である注目領域の前記環境光成分を算出する
    　請求項１に記載の測距センサ。
  9. 　前記環境光算出部は、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
    　請求項８に記載の測距センサ。
  10. 　前記環境光算出部は、RGBの光を受光した撮像画像を生成する撮像センサで検出された、前記注目領域を示す領域情報を取得し、前記注目領域の前記環境光成分を算出する
    　請求項９に記載の測距センサ。
  11. 　前記測距部は、前記距離情報に加えて、信頼度情報もさらに算出し、
    　前記距離情報または前記信頼度情報の少なくとも一方を用いて、前記注目領域を検出する領域検出部をさらに備え、
    　前記環境光算出部は、前記注目領域の前記環境光成分を算出する
    　請求項８に記載の測距センサ。
  12. 　前記距離情報に所定のフィルタ処理を行うフィルタ部をさらに備え、
    　前記フィルタ部は、前記屋外情報に基づいて前記所定のフィルタ処理を行う
    　請求項１に記載の測距センサ。
  13. 　前記受光部で得られた前記信号に基づき、露光時間を制御する制御部をさらに備える
    　請求項１に記載の測距センサ。
  14. 　前記屋外情報算出部は、前記屋外情報として、前記屋外か、または、屋内かを算出する
    　請求項１に記載の測距センサ。
  15. 　前記屋外情報算出部は、前記屋外情報として、前記屋外である確率を算出する
    　請求項１に記載の測距センサ。
  16. 　測距センサが、
    　所定の発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出し、
    　前記受光部で得られた前記信号に含まれる環境光成分を算出し、
    　前記環境光成分に基づいて、屋外情報を算出する
    　信号処理方法。
  17. 　所定の発光源と、
    　測距センサと
    　を備え、
    　前記測距センサは、
    　　前記発光源から照射された照射光が物体で反射されて返ってきた反射光を受光する受光部で得られた信号から、前記物体までの距離情報を算出する測距部と、
    　　前記受光部で得られた前記信号に含まれる環境光成分を算出する環境光算出部と、
    　　前記環境光成分に基づいて、屋外情報を算出する屋外情報算出部と
    　を備える
    　測距モジュール。
PCT/JP2020/013572 2019-04-09 2020-03-26 測距センサ、信号処理方法、および、測距モジュール WO2020209079A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080026590.9A CN113677955A (zh) 2019-04-09 2020-03-26 距离测量传感器、信号处理方法和距离测量模块
US17/594,030 US20220155459A1 (en) 2019-04-09 2020-03-26 Distance measuring sensor, signal processing method, and distance measuring module

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019073959A JP2020173128A (ja) 2019-04-09 2019-04-09 測距センサ、信号処理方法、および、測距モジュール
JP2019-073959 2019-04-09

Publications (1)

Publication Number Publication Date
WO2020209079A1 true WO2020209079A1 (ja) 2020-10-15

Family

ID=72751094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013572 WO2020209079A1 (ja) 2019-04-09 2020-03-26 測距センサ、信号処理方法、および、測距モジュール

Country Status (4)

Country Link
US (1) US20220155459A1 (ja)
JP (1) JP2020173128A (ja)
CN (1) CN113677955A (ja)
WO (1) WO2020209079A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279620A1 (zh) * 2021-07-07 2023-01-12 奥比中光科技集团股份有限公司 一种itof测距系统及其相对精度的确定方法、装置、设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7294302B2 (ja) * 2020-10-29 2023-06-20 トヨタ自動車株式会社 物体検出装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009074855A (ja) * 2007-09-19 2009-04-09 Oki Semiconductor Co Ltd 光検出装置
JP2012145545A (ja) * 2011-01-14 2012-08-02 Hosiden Corp 物体検知センサ及び噴霧装置
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
JP2014096000A (ja) * 2012-11-08 2014-05-22 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2016502657A (ja) * 2012-11-08 2016-01-28 ブルーテックニックス ゲーエムベーハー 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2017159312A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011247872A (ja) * 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009074855A (ja) * 2007-09-19 2009-04-09 Oki Semiconductor Co Ltd 光検出装置
JP2012145545A (ja) * 2011-01-14 2012-08-02 Hosiden Corp 物体検知センサ及び噴霧装置
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
JP2014096000A (ja) * 2012-11-08 2014-05-22 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2016502657A (ja) * 2012-11-08 2016-01-28 ブルーテックニックス ゲーエムベーハー 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法
WO2016151918A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
WO2017159312A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023279620A1 (zh) * 2021-07-07 2023-01-12 奥比中光科技集团股份有限公司 一种itof测距系统及其相对精度的确定方法、装置、设备

Also Published As

Publication number Publication date
CN113677955A (zh) 2021-11-19
JP2020173128A (ja) 2020-10-22
US20220155459A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US11561303B2 (en) Ranging processing device, ranging module, ranging processing method, and program
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2022004441A1 (ja) 測距装置および測距方法
JP7517349B2 (ja) 信号処理装置、信号処理方法、および、測距装置
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021039458A1 (ja) 測距センサおよびその駆動方法、並びに、測距モジュール
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器
WO2022190848A1 (ja) 測距装置、測距システム及び測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20786707

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20786707

Country of ref document: EP

Kind code of ref document: A1