WO2020203331A1 - 信号処理装置、信号処理方法、および、測距モジュール - Google Patents

信号処理装置、信号処理方法、および、測距モジュール Download PDF

Info

Publication number
WO2020203331A1
WO2020203331A1 PCT/JP2020/012199 JP2020012199W WO2020203331A1 WO 2020203331 A1 WO2020203331 A1 WO 2020203331A1 JP 2020012199 W JP2020012199 W JP 2020012199W WO 2020203331 A1 WO2020203331 A1 WO 2020203331A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
tap
phase
detection signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/012199
Other languages
English (en)
French (fr)
Inventor
俊 海津
基 三原
神谷　拓郎
峻太郎 青竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Priority to CN202080025690.XA priority Critical patent/CN113646662B/zh
Priority to US17/599,218 priority patent/US12405377B2/en
Priority to JP2021511436A priority patent/JP7476170B2/ja
Priority to DE112020001760.5T priority patent/DE112020001760T5/de
Publication of WO2020203331A1 publication Critical patent/WO2020203331A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes

Definitions

  • the present technology relates to a signal processing device, a signal processing method, and a distance measuring module, and particularly to a signal processing device, a signal processing method, and a distance measuring module capable of improving distance measuring accuracy.
  • a distance measuring module is mounted on a mobile terminal such as a so-called smartphone, which is a small information processing device having a communication function.
  • the distance measuring method in the distance measuring module includes, for example, the Indirect ToF (Time of Flight) method and the Structured Light method.
  • IndirectToF method light is emitted toward an object to detect the light reflected on the surface of the object, and the distance to the object is calculated based on the measured value obtained by measuring the flight time of the light.
  • the Structured Light method the distance to the object is calculated based on the image obtained by irradiating the object with pattern light and capturing the distortion of the pattern on the surface of the object.
  • Patent Document 1 discloses a technique for accurately measuring a distance by determining the movement of an object within a detection period in a distance measuring module that measures a distance by the Indirect ToF method.
  • Indirect ToF type distance measurement modules are required to further improve distance measurement accuracy.
  • This disclosure has been made in view of such a situation, and is intended to enable improvement in distance measurement accuracy.
  • the signal processing device on the first aspect of the present technology has a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit.
  • the first to fourth detection signals obtained by detecting the reflected light reflected by the object with respect to the irradiation light in the first to fourth phases with respect to the irradiation light are used. It includes an estimation unit that estimates the sensitivity difference between the tap and the tap of the second tap.
  • the signal processing device detects the first tap that detects the photoelectrically converted charge by the photoelectric conversion unit and the photoelectrically converted charge by the photoelectric conversion unit.
  • the reflected light reflected by the object is detected by the first to fourth detection signals in the first to fourth phases with respect to the irradiation light. , Estimate the sensitivity difference between the taps of the first tap and the taps of the second tap.
  • the ranging module on the third side of the present technology has a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit.
  • the light receiving unit in which the pixels having the above are arranged in two dimensions, and the first to fourth phases in which the reflected light reflected by the object in the pixels is detected in the first to fourth phases with respect to the irradiation light. It includes a signal processing unit having an estimation unit that estimates a sensitivity difference between the first tap and the tap of the second tap using the detection signal of 4.
  • a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit are used.
  • the sensitivity difference between the tap and the tap of the second tap is estimated.
  • the signal processing device and the ranging module may be independent devices or may be modules incorporated in other devices.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a ranging module to which the present technology is applied.
  • the distance measuring module 11 shown in FIG. 1 is a distance measuring module that performs distance measurement by the Indirect ToF method, and has a light emitting unit 12, a light emitting control unit 13, a light receiving unit 14, and a signal processing unit 15.
  • the ranging module 11 irradiates an object with light, and the light (irradiation light) receives the light reflected by the object (reflected light) to measure the depth value as distance information to the object. Output the depth map.
  • the light emitting unit 12 has, for example, an infrared laser diode or the like as a light source, and emits light while being modulated at a timing corresponding to the light emission control signal supplied from the light emission control unit 13 according to the control by the light emission control unit 13 to the object. And irradiate the irradiation light.
  • the light emitting control unit 13 controls the light emission of the light emitting unit 12 by supplying a light emitting control signal of a predetermined frequency (for example, 20 MHz or the like) to the light emitting unit 12. Further, in order to drive the light receiving unit 14 in accordance with the timing of light emission in the light emitting unit 12, the light emitting control unit 13 also supplies a light emitting control signal to the light receiving unit 14.
  • a predetermined frequency for example, 20 MHz or the like
  • the light receiving unit 14 is provided with a pixel array unit 22 in which pixels 21 that generate an electric charge according to the amount of received light and output a signal corresponding to the electric charge are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the drive control circuit 23 is arranged in the peripheral region of the pixel array unit 22.
  • the light receiving unit 14 is a pixel array unit 22 in which a plurality of pixels 21 are two-dimensionally arranged, and receives reflected light from an object. Then, the light receiving unit 14 supplies the signal processing unit 15 with pixel data composed of detection signals corresponding to the amount of reflected light received by each pixel 21 of the pixel array unit 22.
  • the signal processing unit 15 calculates the depth value, which is the distance from the distance measuring module 11 to the object, for each pixel 21 of the pixel array unit 22 based on the pixel data supplied from the light receiving unit 14, and controls the subsequent stage. It is output to a unit (for example, the application processing unit 121 or the operation system processing unit 122 of FIG. 16). Alternatively, the signal processing unit 15 may generate a depth map in which the depth value is stored as the pixel value of each pixel 21 of the pixel array unit 22 and output it to the subsequent stage. The detailed configuration of the signal processing unit 15 will be described later with reference to FIG. 7.
  • the drive control circuit 23 has, for example, a control signal for controlling the drive of the pixel 21 based on a light emission control signal supplied from the light emission control unit 13 (for example, a distribution signal DIMIX described later, a selection signal ADDRESS DECODE, etc. Reset signal RST, etc.) is output.
  • a control signal for controlling the drive of the pixel 21 based on a light emission control signal supplied from the light emission control unit 13 (for example, a distribution signal DIMIX described later, a selection signal ADDRESS DECODE, etc. Reset signal RST, etc.) is output.
  • the pixel 21 has a photodiode 31 and a first tap 32A and a second tap 32B that detect the charge photoelectrically converted by the photodiode 31.
  • the electric charge generated by one photodiode 31 is distributed to the first tap 32A or the second tap 32B.
  • the charges distributed to the first tap 32A are output as a detection signal A from the signal line 33A
  • the charges distributed to the second tap 32B are detected signals B from the signal line 33B. Is output as.
  • the first tap 32A is composed of a transfer transistor 41A, an FD (Floating Diffusion) unit 42A, a selection transistor 43A, and a reset transistor 44A.
  • the second tap 32B is composed of a transfer transistor 41B, an FD section 42B, a selection transistor 43B, and a reset transistor 44B.
  • the reflected light is received by the photodiode 31 with a delay of only one.
  • the distribution signal DIMIX_A controls the on / off of the transfer transistor 41A
  • the distribution signal DIMIX_B controls the on / off of the transfer transistor 41B.
  • the distribution signal DIMIX_A is a signal having the same phase as the irradiation light
  • the distribution signal DIMIX_B has a phase in which the distribution signal DIMIX_A is inverted.
  • the electric charge generated by the photodiode 31 receiving the reflected light is transferred to the FD unit 42A while the transfer transistor 41A is on according to the distribution signal DIMIX_A, and the transfer transistor 41B is turned on according to the distribution signal DIMIX_B. While it is, it is transferred to the FD unit 42B.
  • the charges transferred via the transfer transistor 41A are sequentially accumulated in the FD section 42A and transferred via the transfer transistor 41B during a predetermined period in which the irradiation light of the irradiation time T is periodically irradiated.
  • the electric charge is sequentially accumulated in the FD unit 42B.
  • the selection transistor 43A is turned on according to the selection signal ADDRESS DECODE_A after the end of the period for accumulating the electric charge
  • the electric charge accumulated in the FD unit 42A is read out via the signal line 33A and corresponds to the amount of the electric charge.
  • the detection signal A is output from the light receiving unit 14.
  • the selection transistor 43B is turned on according to the selection signal ADDRESS DECODE_B
  • the electric charge accumulated in the FD unit 42B is read out via the signal line 33B, and the detection signal B according to the amount of the electric charge is transmitted from the light receiving unit 14. It is output.
  • the electric charge stored in the FD section 42A is discharged when the reset transistor 44A is turned on according to the reset signal RST_A, and the electric charge stored in the FD section 42B is discharged when the reset transistor 44B is turned on according to the reset signal RST_B. Will be done.
  • the pixel 21 distributes the electric charge generated by the reflected light received by the photodiode 31 to the first tap 32A or the second tap 32B according to the delay time ⁇ T, and outputs the detection signal A and the detection signal B.
  • the delay time ⁇ T corresponds to the time during which the light emitted by the light emitting unit 12 flies to the object, is reflected by the object, and then flies to the light receiving unit 14, that is, the distance to the object. Therefore, the distance measuring module 11 can obtain the distance (depth value) to the object according to the delay time ⁇ T based on the detection signal A and the detection signal B.
  • the detection signal A and the detection signal A have different effects for each pixel 21 due to the deviation (sensitivity difference) of the characteristics of each element of the pixel transistor such as the photodiode 31 and the transfer transistor 41 of each pixel 21. It may be given to signal B. Therefore, in the Indirect ToF type ranging module 11, the detection signal A and the detection signal B that receive the reflected light by changing the phase of the same pixel 21 are acquired, and the taps as fixed pattern noise of each pixel are acquired. A method of removing the sensitivity difference and improving the SN ratio is adopted.
  • the light receiving unit 14 receives the reflected light at the light receiving timings whose phases are shifted by 0 °, 90 °, 180 °, and 270 ° with respect to the irradiation timing of the irradiation light. More specifically, the light receiving unit 14 receives light with the phase set to 0 ° with respect to the irradiation timing of the irradiation light in a certain frame period, and receives light with the phase set to 90 ° in the next frame period. In the frame period, the phase is set to 180 ° to receive light, and in the next frame period, the phase is set to 270 ° to receive light, and so on, the reflected light is received by changing the phase in a time division manner.
  • FIG. 4 is a diagram showing the light receiving period (exposure period) of the first tap 32A of the pixel 21 in each phase of 0 °, 90 °, 180 °, and 270 ° side by side so that the phase difference can be easily understood. ..
  • the detection signal A obtained by receiving light in the same phase (phase 0 °) as the irradiation light is shifted by 90 degrees from the detection signal A0 and the irradiation light (phase 90).
  • the detection signal A obtained by receiving light at (°) is shifted by 270 degrees from the detection signal A1 and the irradiation light by 180 degrees out of phase (phase 180 °).
  • the detection signal A obtained by receiving light in a phase (phase 270 °) is referred to as a detection signal A3.
  • the detection signal B obtained by receiving light in the second tap 32B in the same phase (phase 0 °) as the irradiation light is shifted by 90 degrees from the detection signal B0 and the irradiation light (phase 90).
  • the detection signal B obtained by receiving light at (°) is shifted by 270 degrees from the detection signal B1 and the irradiation light by 270 degrees from the detection signal B1 and the detection signal B obtained by receiving the light in a phase (phase 180 °) shifted by 180 degrees.
  • the detection signal B obtained by receiving light in the phase (phase 270 °) is referred to as a detection signal B3.
  • FIG. 5 is a diagram illustrating a method of calculating the depth value d by the 2Phase method and the 4Phase method.
  • the depth value d can be obtained by the following equation (1).
  • equation (1) c is the speed of light
  • ⁇ T is the delay time
  • f is the modulation frequency of light.
  • ⁇ in the equation (1) represents the phase shift amount [rad] of the reflected light, and is represented by the following equation (2).
  • I and Q of the equation (2) are described below by using the detection signals A0 to A3 and the detection signals B0 to B3 obtained by setting the phases to 0 °, 90 °, 180 ° and 270 °. It is calculated by the formula (3).
  • I and Q are signals obtained by converting the phase of the cos wave from polar coordinates to a Cartesian coordinate system (IQ plane), assuming that the change in brightness of the irradiation light is a cos wave.
  • the 2Phase method only two phases having an orthogonal relationship among the detection signals A0 to A3 and the detection signals B0 to B3 obtained by setting the phases to 0 °, 90 °, 180 ° and 270 ° are used.
  • the depth value d to the object can be obtained.
  • the I and Q of the equation (2) become the following equation (4).
  • the I and Q of the equation (2) become the following equation (5).
  • the characteristic variation between taps existing in each pixel cannot be removed, but the depth value d to the object can be obtained only from the detection signals of the two phases, so the frame is twice that of the 4Phase method.
  • Distance measurement can be performed at a rate.
  • the signal processing unit 15 of the ranging module 11 displays the I signal and Q signal corresponding to the delay time ⁇ T calculated by the 4 Phase method and the I signal and Q signal corresponding to the delay time ⁇ T calculated by the 2 Phase method. Signal processing is performed to appropriately select or blend according to the movement of, the depth value d is calculated using the result, and the depth map is output.
  • FIG. 6 shows the drive of the light receiving unit 14 of the ranging module 11 and the output timing of the depth map.
  • the light receiving unit 14 of the distance measuring module 11 receives the reflected light by changing the phase in the order of phase 0 °, phase 90 °, phase 180 °, and phase 270 ° in a time division manner. Although it is driven, it is driven continuously with two phases for which the depth value d is calculated by the 2 Phase method as one set.
  • the light receiving unit 14 continuously receives light with a phase of 0 ° and light with a phase of 90 ° from time t1, and after a waiting period from time t2 to time t3, time t3. Therefore, the light receiving with a phase of 180 ° and the light receiving with a phase of 270 ° are continuously performed.
  • the light receiving unit 14 continuously receives light with a phase of 180 ° and light with a phase of 270 ° from time t5, and from time t6 to time t7.
  • the light receiving with the phase 0 ° and the light receiving with the phase 90 ° are continuously performed.
  • the light receiving operation of each phase is a reset operation in which the reset transistors 44A and 44B are turned on to reset the electric charge, an integration operation in which the electric charge is accumulated in the FD units 42A and 42B, and a readout operation in which the electric charge accumulated in the FD units 42A and 42B is read out. It consists of actions.
  • the signal processing unit 15 calculates the depth value using the pixel data for four phases, but outputs the depth map in units of two phases.
  • the signal processing unit 15 generates and outputs a depth map Depth # 1 using pixel data for four phases from time t1 to time t4 at time t4, and at the next time t6, the time Depth map Depth # 2 is generated and output using pixel data for four phases from t3 to time t6.
  • the signal processing unit 15 At the next time t8, the signal processing unit 15 generates and outputs a depth map Depth # 3 using pixel data for four phases from time t5 to time t8.
  • FIG. 7 is a block diagram showing a detailed configuration of the signal processing unit 15.
  • the signal processing unit 15 includes a correction processing unit 61, a 2 phase processing unit 62, a 4 phase processing unit 63, a motion estimation unit 64, an amplitude estimation unit 65, a fixed pattern estimation unit 66, a blend processing unit 67, and a phase calculation unit 68. To be equipped.
  • the signal processing unit 15 is sequentially supplied with the detection signals A0 to A3 and the detection signals B0 to B3 of each pixel of the pixel array unit 22 from the light receiving unit 14.
  • the detection signals A0 to A3 are detection signals A obtained by sequentially setting the phases to 0 °, 90 °, 180 °, and 270 ° with the first tap 32A
  • the detection signals B0 to B3 are the second detection signals B0 to B3.
  • the signal processing unit 15 has the latest detection signals A0 to A3 and detection signals B0 to B0 to 80 ° in phase, 90 ° in phase, 180 ° in phase, and 270 ° in phase for each pixel.
  • a depth map is generated and output using B3, and the combination of the detection signals A0 to A3 and the detection signals B0 to B3 is 2 with a phase of 180 ° and a phase of 270 °, as shown in A in FIG.
  • the phase detection signal is the latest detection signal and cases where the two-phase detection signal having a phase of 0 ° and a phase of 90 ° is the latest detection signal, as shown in FIG. 8B.
  • the combination of the detection signals A0 to A3 and the detection signals B0 to B3 supplied from the light receiving unit 14 to the signal processing unit 15 is shown in A of FIG.
  • Each process of the signal processing unit 15 will be described by taking as an example the case where the two-phase detection signal having a phase of 270 ° and 270 ° is the latest detection signal.
  • phase 0 ° and phase 90 ° When the two-phase detection signal of phase 0 ° and phase 90 ° is the latest detection signal, the phase is 180 °, the phase is 270 °, the phase is 0 °, and the phase is as shown in FIG. 8B.
  • the 90 ° detection signal is regarded as the detection signals A0 to A3 and the detection signals B0 to B3, and the codes can be inverted to perform the same processing.
  • the signal processing unit 15 sequentially uses the detection signals A0 to A3 and the detection signals B0 to B3 of each pixel of the pixel array unit 22 supplied from the light receiving unit 14 as the processing target pixels for each pixel. Perform the same processing. Therefore, in the following, each process of the signal processing unit 15 will be described as the process of one pixel set as the pixel to be processed.
  • the detection signals A0 to A3 and the detection signals B0 to B3 of the predetermined pixels 21 as the processing target pixels supplied from the light receiving unit 14 to the signal processing unit 15 are the four-phase processing unit 63, the motion estimation unit 64, and the amplitude estimation unit 65. , And is supplied to the fixed pattern estimation unit 66. Further, the latest two-phase detection signals A2 and A3 and B2 and B3 having a phase of 180 ° and a phase of 270 ° are supplied to the correction processing unit 61.
  • the correction processing unit 61 uses the correction parameters supplied from the fixed pattern estimation unit 66 to vary the characteristics between the taps of the detection signal A of the first tap 32A and the detection signal B of the second tap 32B of the pixel to be processed. Performs processing to correct (sensitivity difference).
  • the detection signal B of the second tap 32B of the pixel to be processed is matched with the detection signal A of the first tap 32A, and the correction processing unit 61 performs the detection signal A of the phase 180 ° and the phase 270 ( The following correction processing is performed for each of A2, A3) and B (B2, B3).
  • c0 and c1 are correction parameters supplied from the fixed pattern estimation unit 66, c0 represents the offset of the detection signal B with respect to the detection signal A, and c1 represents the gain of the detection signal B with respect to the detection signal A. Represent.
  • the detection signals A'and B'in the formula (6) represent the detection signals after the correction process.
  • the detection signal A of the first tap 32A may be matched with the detection signal B of the second tap 32B of the pixel to be processed, or may be matched between the detection signals A and B.
  • the correction processing unit 61 supplies the detection signals A2'and B2'with a phase of 180 ° and the detection signals A3'and B3'with a phase of 270 ° after the correction processing to the two-phase processing unit 62.
  • the two-phase processing unit 62 uses the detection signals A2'and B2'with a phase of 180 ° from the correction processing unit 61 and the detection signals A3'and B3'with a phase of 270 °, and uses the two-phase method according to the equation (5). Calculate the I signal and Q signal.
  • the 2Phase type I signal and Q signal will be referred to as the I2 signal and the Q2 signal in order to distinguish them from the 4Phase type I signal and Q signal calculated by the 4-phase processing unit 63.
  • the two-phase processing unit 62 supplies the two-phase I2 signal and the Q2 signal calculated by the equation (5) to the blend processing unit 67.
  • the four-phase processing unit 63 calculates the 4Phase type I signal and Q signal according to the equation (3) using the detection signals A0 to A3 and the detection signals B0 to B3 of the processing target pixel supplied from the light receiving unit 14.
  • the 4Phase type I signal and Q signal will be referred to as an I4 signal and a Q4 signal to distinguish them from the 2Phase type I2 signal and Q2 signal.
  • the 4-phase processing unit 63 supplies the 4Phase type I4 signal and Q4 signal calculated by the equation (3) to the blend processing unit 67.
  • the motion estimation unit 64 uses the detection signals A0 to A3 and the detection signals B0 to B3 of the pixel to be processed to form an object between a set of phase 0 ° and phase 90 ° and a set of phase 180 ° and phase 270 °. Estimate (calculate) the movement amount diff of.
  • the motion estimation unit 64 can adopt any of the following diff0 to diff2 as the motion amount diff of the object between sets.
  • diff0
  • diff1
  • diff2 sqrt (
  • Diff0 is an expression that calculates the amount of movement based on the difference in the sum of the I signal and Q signal between sets.
  • diff1 is an equation that calculates the amount of movement based on the difference in the I signal between sets.
  • diff2 is an equation that calculates the amount of movement based on the distance between sets on the IQ plane. Which of the movement amounts diff0 and diff2 is adopted may be fixedly determined, or may be selected (switched) by a setting signal or the like.
  • the motion estimation unit 64 supplies the estimated motion amount diff of the object to the fixed pattern estimation unit 66 and the blend processing unit 67.
  • the amplitude estimation unit 65 estimates (calculates) the amplitude amp of the detection signal of the pixel to be processed supplied from the light receiving unit 14.
  • the amplitude here represents the difference between the detection signals between the two phases caused by the modulated irradiation light.
  • the amplitude amp is large, it means that the irradiation light is sufficiently reflected from the object and is incident on the pixel to be processed.
  • a small amplitude amp indicates a large amount of noise.
  • the amplitude estimation unit 65 can adopt any of the following amp0 to amp3 as the amplitude amp of the detection signal.
  • amp0
  • amp1 sqrt (
  • amp2
  • amp3 sqrt (
  • amp0 and amp1 are equations that calculate the amplitude using only the detection signals of the latest two phases, that is, phase 180 ° and phase 270 °
  • amp2 and amp3 are the equations that calculate the amplitude using only the latest two phases, that is, phase 0 °
  • This is an equation for calculating the amplitude using the detection signals of phase 90 °, phase 180 °, and phase 270 °.
  • the amplitude estimation unit 65 supplies the amplitude amp of the estimated detection signal to the fixed pattern estimation unit 66 and the blend processing unit 67.
  • the fixed pattern estimation unit 66 includes detection signals A0 to A3 and detection signals B0 to B3 of the pixel to be processed, an object movement amount diff supplied from the motion estimation unit 64, and an amplitude amp supplied from the amplitude estimation unit 65.
  • the offset c0 and the gain c1 which are the correction parameters for correcting the characteristic variation (sensitivity difference) between taps are estimated (calculated) by using and.
  • the fixed pattern estimation unit 66 sets the current offset c0 and gain c1 according to the motion amount diff of the object supplied from the motion estimation unit 64 and the amplitude amp supplied from the amplitude estimation unit 65. It is held or updated to the newly calculated offset c0 and gain c1, but the details will be described later with reference to FIG.
  • the blend processing unit 67 combines the 2Phase type I2 signal and Q2 signal supplied from the 2-phase processing unit 62 and the 4-Phase type I4 signal and Q4 signal supplied from the 4-phase processing unit 63 with the amount of motion diff and amplitude. Blending is performed according to amp, and the blended I signal and Q signal are calculated and supplied to the phase calculation unit 68.
  • the blend processing unit 67 calculates the blend ratio ⁇ _diff based on the motion amount diff by the following equation (11) based on the motion amount diff of the object supplied from the motion estimation unit 64.
  • the blend processing unit 67 calculates the blend ratio ⁇ _amp based on the amplitude amp by the following equation (12) based on the amplitude amp supplied from the amplitude estimation unit 65.
  • the blend processing unit 67 determines the final blend ratio ⁇ from the blend ratio ⁇ _diff based on the movement amount diff and the blend ratio ⁇ _amp based on the amplitude amp by either of the following formulas (12A) or (12B). calculate.
  • ⁇ min ( ⁇ _diff, ⁇ _amp) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (12A)
  • ⁇ ⁇ ⁇ ⁇ _diff + (1- ⁇ ) ⁇ ⁇ _amp ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (12B)
  • ⁇ in the formula (12B) is a blend coefficient for blending the blend rate ⁇ _diff and the blend rate ⁇ _amp, and is set in advance, for example.
  • the blend processing unit 67 uses the calculated final blend ratio ⁇ to blend the 2Phase I2 signal and Q2 signal with the 4Phase I4 signal and Q4 signal according to the equation (13).
  • the signal is calculated and supplied to the phase calculation unit 68.
  • I ⁇ ⁇ I2 + (1- ⁇ ) ⁇ I4
  • Q ⁇ ⁇ Q2 + (1- ⁇ ) ⁇ I4 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (13)
  • the blend processing unit 67 increases the ratio of the I2 signal and the Q2 signal of the 2Phase method, and when the amount of motion diff is small, increases the ratio of the I4 signal and the Q4 signal of the 4Phase method with less noise. Blend to make it larger. Further, when the amplitude amp is small (the noise is large), the blend processing unit 67 blends so as to increase the ratio of the I4 signal and the Q4 signal of the 4Phase method so that the SN ratio is improved.
  • the phase calculation unit 68 of FIG. 7 uses the I signal and the Q signal supplied from the blend processing unit 67 to obtain a depth value d which is distance information to the object by the above equations (1) and (2). calculate. As described with reference to FIG. 6, the phase calculation unit 68 uses the latest four-phase detection signals A and B every time the two-phase detection signals A and B are updated to provide a depth value d ( Depth map) is calculated and output.
  • FIG. 10 is a block diagram showing a detailed configuration example of the fixed pattern estimation unit 66.
  • the fixed pattern estimation unit 66 includes a coefficient calculation unit 81, a coefficient update unit 82, and a coefficient storage unit 83.
  • the detection signals A0 to A3 and the detection signals B0 to B3 of the pixel to be processed from the light receiving unit 14 are supplied to the coefficient calculation unit 81, and the movement amount diff of the object from the motion estimation unit 64 and the detection from the amplitude estimation unit 65.
  • the signal amplitude amp is supplied to the coefficient updating unit 82.
  • the coefficient calculation unit 81 calculates the matrix x, that is, the offset c0 and the gain c1 by the above equation (10).
  • the coefficient calculation unit 81 supplies the calculated offset c0 and gain c1 to the coefficient update unit 82 as new offset next_c0 and new gain next_c1 as update candidates.
  • the coefficient updating unit 82 calculates the blend ratio u_diff based on the motion amount diff by the following equation (14) based on the motion amount diff of the object supplied from the motion estimation unit 64.
  • the blend ratio u_diff 1 and the second
  • the coefficient updating unit 82 calculates the blend ratio u_amp based on the amplitude amp by the following equation (15) based on the amplitude amp supplied from the amplitude estimation unit 65.
  • the coefficient updating unit 82 calculates the final blend rate u from the blend rate u_diff based on the movement amount diff and the blend rate u_amp based on the amplitude amp by the following equation (16).
  • u min (u_diff, u_amp) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (16)
  • the coefficient updating unit 82 uses the following equation (17) to obtain a new offset next_c0 and a new gain next_c1 from the coefficient calculation unit 81, and a current offset prev_c0 from the coefficient storage unit 83. And gain prev_c1 are blended to calculate the updated offset c0 and gain c1.
  • c0 u ⁇ next_c0 + (1-u)
  • prev_c0 u ⁇ next_c1 + (1-u) ⁇ prev_c1 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (17)
  • the coefficient updating unit 82 supplies the calculated updated offset c0 and gain c1 to the correction processing unit 61 (FIG. 7) and stores them in the coefficient storage unit 83.
  • the coefficient storage unit 83 stores the offset c0 and the gain c1 supplied from the coefficient update unit 82. Then, the offset c0 and the gain c1 stored in the coefficient storage unit 83 are the current offset prev_c0 before the update at the timing when the next new offset next_c0 and the new gain next_c1 are supplied from the coefficient calculation unit 81 to the coefficient update unit 82. And as a gain prev_c1, it is supplied to the coefficient update unit 82.
  • the new offset next_c0 and the new gain next_c1 calculated by the coefficient calculation unit 81 can be calculated most accurately when the amplitude amp is sufficiently large and the amount of motion diff is small.
  • the coefficient update unit 82 updates by increasing the blend ratio of the new offset next_c0 and the new gain next_c1, and the amplitude amp is small or the movement amount is small. If the diff is large, increase the blend ratio of the current offset prev_c0 and gain prev_c1, set the blend ratio u to retain the current offset prev_c0 and gain prev_c1, and set the updated offset c0 and gain c1. calculate.
  • the coefficient updating unit 82 updates the offset c0 and the gain c1 by using both the motion amount diff supplied from the motion estimation unit 64 and the amplitude amp supplied from the amplitude estimation unit 65.
  • the offset c0 and the gain c1 may be updated by using only one of the motion amount diff and the amplitude amp. In that case, the blend rate u_diff based on the amount of motion diff or the blend rate u_amp based on the amplitude amp is substituted as the blend rate u in the equation (17).
  • step S1 the four-phase processing unit 63 uses the detection signals A0 to A3 and the detection signals B0 to B3 of the pixel to be processed supplied from the light receiving unit 14, and the four-phase I4 signal according to the equation (3). And calculate the Q4 signal.
  • the calculated 4Phase type I4 signal and Q4 signal are supplied to the blend processing unit 67.
  • step S2 the motion estimation unit 64 uses the detection signals A0 to A3 and the detection signals B0 to B3 of the pixel to be processed to set a phase of 0 ° and a phase of 90 ° and a set of a phase of 180 ° and a phase of 270 °. Estimate the amount of movement diff of the object between sets. For example, one of diff0 to diff2 in the equation (7) is calculated as a movement amount diff.
  • the motion estimation unit 64 supplies the estimated motion amount diff of the object to the fixed pattern estimation unit 66 and the blend processing unit 67.
  • step S3 the amplitude estimation unit 65 estimates the amplitude amp of the detection signal of the pixel to be processed by calculating any of amp0 to amp3 of the equation (8).
  • the amplitude estimation unit 65 supplies the amplitude amp of the estimated detection signal to the fixed pattern estimation unit 66 and the blend processing unit 67.
  • Steps S1 to S3 may be processed in different orders, or may be processed at the same time.
  • step S4 the fixed pattern estimation unit 66 supplies the detection signals A0 to A3 and the detection signals B0 to B3 of the pixel to be processed, the motion amount diff of the object supplied from the motion estimation unit 64, and the amplitude estimation unit 65.
  • the offset c0 and the gain c1 which are the correction parameters for correcting the characteristic variation between taps are estimated by using the amplitude amp of the detected detection signal.
  • the estimated offset c0 and gain c1 are supplied to the correction processing unit 61.
  • step S5 the correction processing unit 61 taps the detection signal A of the first tap 32A and the detection signal B of the second tap 32B of the pixel to be processed by using the correction parameter supplied from the fixed pattern estimation unit 66. Performs processing to correct the characteristic variation between. Specifically, the correction processing unit 61 uses the equation (6) using the offset c0 and the gain c1 which are the correction parameters supplied from the fixed pattern estimation unit 66 to detect the detection signal B of the second tap 32B of the pixel to be processed. Is matched with the detection signal A of the first tap 32A. The 180 ° phase detection signals A2'and B2'and the 270 ° phase detection signals A3'and B3' after the correction processing are supplied to the two-phase processing unit 62.
  • step S6 the two-phase processing unit 62 uses the detection signals A2'and B2'with a phase of 180 ° and the detection signals A3'and B3'with a phase of 270 ° after the correction processing, and uses the two phases according to the equation (5). Calculate the I2 signal and Q2 signal of the method. The calculated I2 signal and Q2 signal are supplied to the blend processing unit 67.
  • step S7 the blend processing unit 67 moves the 2Phase type I2 signal and Q2 signal supplied from the 2 phase processing unit 62 and the 4Phase type I4 signal and Q4 signal supplied from the 4 phase processing unit 63. It is blended according to the amount diff and the amplitude amp, the I signal and the Q signal after blending are calculated, and are supplied to the phase calculation unit 68.
  • step S8 the phase calculation unit 68 calculates the depth value d to the object by the above equations (1) and (2) using the I signal and the Q signal supplied from the blend processing unit 67. Output to the latter stage.
  • steps S1 to S8 described above is sequentially executed with each pixel of the pixel array unit 22 supplied from the light receiving unit 14 as the processing target pixel.
  • the I2 signal and Q2 signal of the 2Phase method and the 4 phase processing unit 63 are supplied from the 4 phase processing unit 63 with different blend ratios ⁇ for each pixel.
  • the 4 Phase I4 signal and Q4 signal are blended to calculate the I signal and Q signal.
  • the depth value d is calculated by giving priority to the I2 signal and the Q2 signal of the 2Phase method, the movement amount diff is small, and the object is stationary.
  • the depth value d is calculated by giving priority to the I4 signal and the Q4 signal of the 4Phase method.
  • the characteristic variation (sensitivity difference) between taps which is a fixed pattern noise, is estimated from the four-phase detection signal and corrected by the correction processing unit 61, the two-phase processing I2 signal and Q2 signal are highly accurate. Can be calculated with. As a result, the SN ratio can be improved. That is, the distance measurement accuracy can be improved.
  • the signal processing unit 15 Since the signal processing unit 15 outputs a depth value (depth map) each time it receives a two-phase detection signal, it is possible to realize a high frame rate with a high SN ratio.
  • a in FIG. 13 shows a first modification of driving the distance measuring module 11.
  • the light emitting control unit 13 supplies a single frequency light emitting control signal such as 20 MHz to the light emitting unit 12, and the light emitting unit 12 irradiates the object with the modulated light of a single frequency. did.
  • the light emitting control unit 13 can irradiate the light emitting unit 12 with irradiation light at a plurality of frequencies, and the light receiving unit 14 can receive the light.
  • "HIGH FREQ.” And “LOW FREQ.” Have different frequencies of the modulated light emitted by the light emitting unit 12, and "HIGH FREQ.” Is a high frequency such as 100 MHz.
  • "LOW FREQ.” Is a low frequency such as 20MHz.
  • the light receiving unit 14 receives the first modulated light emitted at a high frequency and the second modulated light emitted at a low frequency in two phases, phase 0 ° and phase 90 °, in order. Next, the light receiving unit 14 receives the first modulated light emitted at a high frequency and the second modulated light emitted at a low frequency in two phases, a phase of 180 ° and a phase of 270 °, in that order.
  • the method of calculating the depth value at each frequency is the same as that of the above-described embodiment.
  • the distance measuring module 11 causes the light emitting unit 12 to emit light at a plurality of frequencies, causes the light receiving unit 14 to receive light, and the signal processing unit 15 performs the depth value calculation process described above.
  • the signal processing unit 15 performs the depth value calculation process described above.
  • FIG. 13B shows a second modification of driving the ranging module 11.
  • the light receiving period (exposure period) in which each pixel 21 of the light receiving unit 14 receives the modulated light is set to a single time.
  • each pixel 21 can receive the modulated light by setting a plurality of light receiving periods (exposure periods).
  • "HIGH SENSITIVITY” and “LOW SENSITIVITY” have different light receiving periods
  • "HIGH SENSITIVITY” has a high sensitivity in which the light receiving period is set to the first light receiving period
  • "LOW SENSITIVITY” is The low sensitivity is set to the second light receiving period in which the light receiving period is shorter than the first light receiving period.
  • the light receiving unit 14 receives the modulated light emitted at a predetermined frequency in two phases, phase 0 ° and phase 90 °, in order of high sensitivity and low sensitivity. Next, the light receiving unit 14 receives the modulated light emitted at a predetermined frequency in two phases, a phase of 180 ° and a phase of 270 °, in order of high sensitivity and low sensitivity.
  • the method of calculating the depth value at each frequency is the same as that of the above-described embodiment.
  • the distance measuring module 11 causes the light emitting unit 12 to emit light at a predetermined frequency, causes the light receiving unit 14 to receive light with two types of sensitivities, high sensitivity and low sensitivity, and the signal processing unit 15 performs the depth value calculation process described above.
  • High-sensitivity light reception enables measurement over long distances, but low-sensitivity light reception tends to saturate.
  • the measurement range of the distance can be expanded.
  • high sensitivity and low sensitivity were detected in the same two phases, but high sensitivity and low sensitivity may be detected in two different phases. Specifically, first, light is received in two phases of phase 0 ° and phase 90 ° with high sensitivity, light is received in two phases of phase 180 ° and phase 270 ° with low sensitivity, and then phase 180 with high sensitivity. It may be driven so that it receives light in two phases of ° and phase 270 ° and receives light in two phases of phase 0 ° and phase 90 ° with low sensitivity.
  • Both the first modification of the drive described with reference to A in FIG. 13 and the second modification of the drive described with reference to B in FIG. 13 have a phase of 0 ° and a phase of 90 °, respectively, at multiple frequencies or multiple sensitivities. Although four phases of 180 ° and 270 ° are detected, only two phases may be detected for either a plurality of frequencies or a plurality of sensitivities.
  • B of FIG. 14 omits the light reception of two phases of 180 ° and 270 ° of the phase at low sensitivity, and detects four phases only at high sensitivity. An example of how to do it is shown.
  • the frame rate can be improved by detecting only two phases for either a plurality of frequencies or a plurality of sensitivities.
  • FIG. 15 shows a third modification of driving the ranging module 11.
  • all the pixels 21 of the pixel array unit 22 of the light receiving unit 14 have the same phase of 0 °, phase of 90 °, phase of 180 °, or phase of 270 ° at a predetermined timing. It was driven to detect in phase.
  • each pixel 21 of the pixel array unit 22 is classified into pixel 21X and pixel 21Y in a checkered pattern, and the pixel 21X and the pixel 21Y have different phases. It may be driven to detect.
  • the light receiving unit 14 of the distance measuring module 11 detects the pixel 21X of the pixel array unit 22 at a phase of 0 ° and the pixel 21Y at a phase of 90 ° during a certain frame period. It can be driven to detect, and in the next frame period, the pixel 21X of the pixel array unit 22 can be driven to detect at a phase of 180 °, and the pixel 21Y can be driven to detect at a phase of 270 °. Then, the depth value is calculated by the above-mentioned depth value calculation process using the four-phase detection signals obtained in the two frame periods.
  • the ranging module 11 of FIG. 1 can be applied to, for example, an in-vehicle system mounted on a vehicle and measuring a distance to an object outside the vehicle. Further, for example, the distance measuring module 11 of FIG. 1 can be applied to a gesture recognition system that measures the distance to an object such as a user's hand and recognizes the user's gesture based on the measurement result. ..
  • the distance measuring module 11 described above can be mounted on electronic devices such as smartphones, tablet terminals, mobile phones, personal computers, game machines, television receivers, wearable terminals, digital still cameras, and digital video cameras.
  • FIG. 16 is a block diagram showing a configuration example of a smartphone as an electronic device equipped with a ranging module.
  • the distance measuring module 102, the image pickup device 103, the display 104, the speaker 105, the microphone 106, the communication module 107, the sensor unit 108, the touch panel 109, and the control unit 110 are connected via the bus 111. Is connected and configured. Further, the control unit 110 has functions as an application processing unit 121 and an operation system processing unit 122 by executing a program by the CPU.
  • the distance measuring module 11 of FIG. 1 is applied to the distance measuring module 102.
  • the distance measuring module 102 is arranged in front of the smartphone 101, and by performing distance measurement for the user of the smartphone 101, the depth value of the surface shape of the user's face, hand, finger, etc. is measured. Can be output as.
  • the image pickup device 103 is arranged in front of the smartphone 101, and by taking an image of the user of the smartphone 101 as a subject, the image taken by the user is acquired. Although not shown, the image pickup device 103 may be arranged on the back surface of the smartphone 101.
  • the display 104 displays an operation screen for performing processing by the application processing unit 121 and the operation system processing unit 122, an image captured by the image pickup device 103, and the like.
  • the speaker 105 and the microphone 106 for example, output the voice of the other party and collect the voice of the user when the smartphone 101 makes a call.
  • the communication module 107 communicates via the communication network.
  • the sensor unit 108 senses speed, acceleration, proximity, etc., and the touch panel 109 acquires a touch operation by the user on the operation screen displayed on the display 104.
  • the application processing unit 121 performs processing for providing various services by the smartphone 101.
  • the application processing unit 121 can create a face by computer graphics that virtually reproduces the user's facial expression based on the depth supplied from the distance measuring module 102, and can perform a process of displaying the face on the display 104.
  • the application processing unit 121 can perform a process of creating, for example, three-dimensional shape data of an arbitrary three-dimensional object based on the depth supplied from the distance measuring module 102.
  • the operation system processing unit 122 performs processing for realizing the basic functions and operations of the smartphone 101. For example, the operation system processing unit 122 can perform a process of authenticating the user's face and unlocking the smartphone 101 based on the depth value supplied from the distance measuring module 102. Further, the operation system processing unit 122 performs a process of recognizing a user's gesture based on the depth value supplied from the distance measuring module 102, and performs a process of inputting various operations according to the gesture. Can be done.
  • the smartphone 101 configured in this way, by applying the distance measuring module 11 described above, for example, it is possible to improve the frame rate, reduce the power consumption, and reduce the data transfer band. As a result, the smartphone 101 can create a face that moves more smoothly with computer graphics, perform face recognition with high accuracy, suppress battery consumption, and perform data transfer in a narrow band.
  • FIG. 17 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 201 performs the above-mentioned series of processes by, for example, loading the programs stored in the ROM 202 and the EEPROM 204 into the RAM 203 via the bus 205 and executing the programs. Further, the program executed by the computer (CPU201) can be written in the ROM 202 in advance, and can be installed or updated in the EEPROM 204 from the outside via the input / output interface 206.
  • the CPU 201 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 201 can output the processing result to the outside via, for example, the input / output interface 206, if necessary.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 18 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • an imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 19 is a diagram showing an example of the installation position of the imaging unit 12031.
  • vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as imaging units 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 19 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the vehicle exterior information detection unit 12030 and the vehicle interior information detection unit 12040 among the configurations described above.
  • processing for recognizing the driver's gesture is performed, and various types according to the gesture (for example, It can perform operations on audio systems, navigation systems, air conditioning systems) and detect the driver's condition more accurately.
  • the distance measurement by the distance measurement module 11 can be used to recognize the unevenness of the road surface and reflect it in the control of the suspension.
  • the structure of the photodiode 31 of the light receiving unit 14 includes a distance measuring sensor having a CAPD (Current Assisted Photonic Demodulator) structure, a gate type distance measuring sensor that alternately applies an electric charge of the photodiode to two gates, and the like. It can be applied to a distance measuring sensor having a structure that distributes charges to two charge storage units.
  • CAPD Current Assisted Photonic Demodulator
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • the present technology can have the following configurations.
  • (1) The irradiation light is reflected by an object in a pixel having a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit. Sensitivity difference between the taps of the first tap and the taps of the second tap using the first to fourth detection signals in which the reflected light is detected in the first to fourth phases with respect to the irradiation light.
  • a signal processing device including an estimation unit for estimating.
  • the estimation unit calculates the offset and gain of the second tap with respect to the first tap on condition that the phases of the first tap and the second tap are 180 degrees out of phase (2). ).
  • the signal processing device (4)
  • An amplitude estimation unit for estimating the amplitude of the first to fourth detection signals is further provided.
  • the estimator updates the offset and gain by blending the calculated offset and gain with the current offset and gain based on the estimated amplitude.
  • a motion amount estimation unit for estimating the motion amount of the object in the pixel is further provided.
  • the estimation unit updates the offset and gain by blending the calculated offset and gain with the current offset and gain based on the estimated amplitude and movement amount (2) to.
  • the signal processing device according to any one of (4).
  • a correction processing unit that performs correction processing for correcting the first and second detection signals, which are the latest two of the first to fourth detection signals, using the parameter for estimating the sensitivity difference.
  • the signal processing device according to any one of (1) to (5) above.
  • a two-phase processing unit that calculates the I signal and Q signal of the 2 Phase method using the first and second detection signals after the correction processing, and Using the first to fourth detection signals, a four-phase processing unit that calculates the I signal and Q signal of the 4 Phase method, and A blend processing unit that blends the 2Phase type I signal and Q signal with the 4Phase type I signal and Q signal and calculates the blended I signal and Q signal.
  • the signal processing device further comprising a calculation unit that calculates distance information to the object based on the I signal and the Q signal after blending.
  • the blend processing unit includes the 2Phase type I signal and Q signal, and the 4Phase type I signal and The signal processing device according to (7) above, which blends with a Q signal.
  • the calculation unit according to the above (7) or (8), which calculates the distance information to the object each time the detection signals of two phases in the first to fourth detection signals are updated. Signal processing device.
  • the signal processing device The irradiation light is reflected by an object in a pixel having a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit. Sensitivity difference between the taps of the first tap and the taps of the second tap using the first to fourth detection signals in which the reflected light is detected in the first to fourth phases with respect to the irradiation light. Signal processing method to estimate.
  • (11) A light receiving unit in which pixels having a first tap for detecting the charge photoelectrically converted by the photoelectric conversion unit and a second tap for detecting the charge photoelectrically converted by the photoelectric conversion unit are two-dimensionally arranged.
  • a distance measuring module including a signal processing unit having an estimation unit for estimating a sensitivity difference between taps of the second tap.
  • the pixel receives the reflected light that emits the irradiation light at a plurality of frequencies, and receives the reflected light.
  • the distance measuring module according to (11), wherein the estimation unit estimates a sensitivity difference between the taps at each of the plurality of frequencies.
  • the pixel receives the reflected light that caused the irradiation light to be emitted at a plurality of exposure times.
  • the distance measuring module according to (11) or (12), wherein the estimation unit estimates a sensitivity difference between the taps for each of the plurality of exposure times.
  • the light receiving unit is driven so that the first pixel receives the reflected light in the first phase and at the same time the second pixel receives the reflected light in the second phase. At the same time that the first pixel receives the reflected light in the third phase, the second pixel is driven so as to receive the reflected light in the fourth phase.
  • the estimation unit estimates the sensitivity difference between the taps of the first tap and the taps of the second tap by using the first to fourth detection signals detected in the first to fourth phases.
  • the ranging module according to any one of 11) to (13).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、測距精度を向上させることができるようにする信号処理装置、信号処理方法、および、測距モジュールに関する。 信号処理装置は、光電変換部にて光電変換された電荷を検出する第１のタップと、光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、第１のタップと第２のタップのタップ間の感度差を推定する推定部を備える。本技術は、例えば、Indirect ToF方式による測距を行う測距モジュール等に適用できる。

Description

信号処理装置、信号処理方法、および、測距モジュール
　本技術は、信号処理装置、信号処理方法、および、測距モジュールに関し、特に、測距精度を向上させることができるようにした信号処理装置、信号処理方法、および、測距モジュールに関する。
　近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
　測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式や、Structured Light方式などがある。Indirect ToF方式では、光を物体に向かって照射して物体の表面で反射してくる光を検出し、その光の飛行時間を測定した測定値に基づいて物体までの距離が算出される。Structured Light方式では、パターン光を物体に向かって照射し、物体の表面におけるパターンの歪みを撮像した画像に基づいて物体までの距離が算出される。
　例えば、特許文献１には、Indirect ToF方式で測距する測距モジュールにおいて、検出期間内における物体の移動を判定することにより、距離を正確に測定する技術が開示されている。
特開２０１７－１５０８９３号公報
　Indirect ToF方式の測距モジュールにおいては、さらなる測距精度の向上が求められている。
　本開示は、このような状況に鑑みてなされたものであり、測距精度を向上させることができるようにするものである。
　本技術の第１の側面の信号処理装置は、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を備える。
　本技術の第２の側面の信号処理方法は、信号処理装置が、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する。
　本技術の第３の側面の測距モジュールは、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、前記画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を有する信号処理部とを備える。
　本技術の第１乃至第３の側面においては、光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差が推定される。
　信号処理装置及び測距モジュールは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。 Indirect ToF方式における画素の動作を説明する図である。 ４Phaseによる検出方式を説明する図である。 ４Phaseによる検出方式を説明する図である。 ２Phase方式と４Phase方式によるデプス値の算出方法を説明する図である。 測距モジュールの受光部の駆動とデプスマップの出力タイミングを説明する図である。 信号処理部の詳細構成を示すブロック図である。 ４位相の検出信号を説明する図である。 動き量と振幅に基づくブレンド率を説明する図である。 固定パターン推定部の詳細構成例を示すブロック図である。 動き量と振幅に基づく係数更新のブレンド率を説明する図である。 信号処理部による処理対象画素のデプス値算出処理を説明するフローチャートである。 駆動の第１変形例及び第２変形例を説明する図である。 駆動の第１変形例及び第２変形例を説明する図である。 駆動の第３変形例を説明する図である。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの構成例
２．Indirect ToF方式の画素動作
３．デプスマップの出力タイミング
４．信号処理部の詳細構成例
５．信号処理部のデプス値算出処理
６．測距モジュールによる駆動の変形例
７．電子機器の構成例
８．コンピュータの構成例
９．移動体への応用例
＜１．測距モジュールの構成例＞
　図１は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。
　図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光部１２、発光制御部１３、受光部１４、および信号処理部１５を有する。測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射した光（反射光）を受光することにより、物体までの距離情報としてのデプス値を測定し、デプスマップを出力する。
　発光部１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３による制御に従って、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。
　発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光部１２に供給することにより、発光部１２の発光を制御する。また、発光部１２における発光のタイミングに合わせて受光部１４を駆動させるために、発光制御部１３は、受光部１４にも発光制御信号を供給する。
　受光部１４には、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素２１が行方向および列方向の行列状に２次元配置された画素アレイ部２２が設けられており、画素アレイ部２２の周辺領域に駆動制御回路２３が配置されている。
　受光部１４は、複数の画素２１が２次元配置された画素アレイ部２２で、物体からの反射光を受光する。そして、受光部１４は、画素アレイ部２２の各画素２１が受光した反射光の受光量に応じた検出信号で構成される画素データを信号処理部１５に供給する。
　信号処理部１５は、画素アレイ部２２の画素２１ごとに、受光部１４から供給される画素データに基づいて、測距モジュール１１から物体までの距離であるデプス値を算出して、後段の制御ユニット（例えば、図１６のアプリケーション処理部１２１やオペレーションシステム処理部１２２など）へ出力する。あるいはまた、信号処理部１５は、画素アレイ部２２の各画素２１の画素値としてデプス値が格納されたデプスマップを生成して、後段へ出力してもよい。なお、信号処理部１５の詳細な構成については、図７を参照して後述する。
　駆動制御回路２３は、例えば、発光制御部１３から供給される発光制御信号などに基づいて、画素２１の駆動を制御するための制御信号（例えば、後述する振り分け信号DIMIXや、選択信号ADDRESS DECODE、リセット信号RSTなど）を出力する。
　画素２１は、フォトダイオード３１と、フォトダイオード３１で光電変換された電荷を検出する第１タップ３２Aおよび第２タップ３２Bとを有する。画素２１では、１つのフォトダイオード３１で発生した電荷が、第１タップ３２Aまたは第２タップ３２Bに振り分けられる。そして、フォトダイオード３１で発生した電荷のうち、第１タップ３２Aに振り分けられた電荷が信号線３３Aから検出信号Aとして出力され、第２タップ３２Bに振り分けられた電荷が信号線３３Bから検出信号Bとして出力される。
　第１タップ３２Aは、転送トランジスタ４１A、FD（Floating Diffusion）部４２A、選択トランジスタ４３A、およびリセットトランジスタ４４Aにより構成される。同様に、第２タップ３２Bは、転送トランジスタ４１B、FD部４２B、選択トランジスタ４３B、およびリセットトランジスタ４４Bにより構成される。
＜２．Indirect ToF方式の画素動作＞
　図２を参照して、Indirect ToF方式における画素２１の動作について説明する。
　図２に示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が発光部１２から出力され、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード３１において反射光が受光される。また、振り分け信号DIMIX_Aは、転送トランジスタ４１Aのオン／オフを制御し、振り分け信号DIMIX_Bは、転送トランジスタ４１Bのオン／オフを制御する。振り分け信号DIMIX_Aは、照射光と同一位相の信号であり、振り分け信号DIMIX_Bは、振り分け信号DIMIX_Aを反転した位相となっている。
　従って、フォトダイオード３１が反射光を受光することにより発生する電荷は、振り分け信号DIMIX_Aに従って転送トランジスタ４１Aがオンとなっている間ではFD部４２Aに転送され、振り分け信号DIMIX_Bに従って転送トランジスタ４１Bがオンとなっている間ではFD部４２Bに転送される。これにより、照射時間Ｔの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ４１Aを介して転送された電荷はFD部４２Aに順次蓄積され、転送トランジスタ４１Bを介して転送された電荷はFD部４２Bに順次蓄積される。
　そして、電荷を蓄積する期間の終了後、選択信号ADDRESS DECODE_Aに従って選択トランジスタ４３Aがオンとなると、FD部４２Aに蓄積されている電荷が信号線３３Aを介して読み出され、その電荷量に応じた検出信号Aが受光部１４から出力される。同様に、選択信号ADDRESS DECODE_Bに従って選択トランジスタ４３Bがオンとなると、FD部４２Bに蓄積されている電荷が信号線３３Bを介して読み出され、その電荷量に応じた検出信号Bが受光部１４から出力される。また、FD部４２Aに蓄積されている電荷は、リセット信号RST_Aに従ってリセットトランジスタ４４Aがオンになると排出され、FD部４２Bに蓄積されている電荷は、リセット信号RST_Bに従ってリセットトランジスタ４４Bがオンになると排出される。
　このように、画素２１は、フォトダイオード３１が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第１タップ３２Aまたは第２タップ３２Bに振り分けて、検出信号Aおよび検出信号Bを出力する。そして、遅延時間ΔTは、発光部１２で発光した光が物体まで飛行し、物体で反射した後に受光部１４まで飛行する時間に応じたもの、即ち、物体までの距離に応じたものである。従って、測距モジュール１１は、検出信号Aおよび検出信号Bに基づき、遅延時間ΔTに従って物体までの距離（デプス値）を求めることができる。
　ただし、画素アレイ部２２では、個々の画素２１が有するフォトダイオード３１や転送トランジスタ４１等の画素トランジスタの各素子の特性のズレ（感度差）によって、画素２１ごとに異なる影響が検出信号Aおよび検出信号Bに与えられる場合がある。そのため、Indirect ToF方式の測距モジュール１１では、同一の画素２１で位相を変えて反射光を受光した検出信号Aおよび検出信号Bを取得することにより、各画素の固定パターンノイズとしてのタップ間の感度差を除去し、SN比を向上させる手法が採用される。
　位相を変えて反射光を受光し、デプス値を算出する方式として、例えば、２Phaseによる検出方式（２Phase方式）と、４Phaseによる検出方式（４Phase方式）とについて説明する。
　受光部１４は、図３に示されるように、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部１４は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。
　図４は、０°、９０°、１８０°、および、２７０°の各位相における画素２１の第１タップ３２Aの受光期間（露光期間）を、位相差が分かり易いように並べて示した図である。
　図４に示されるように、第１タップ３２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A3、と呼ぶことにする。
　また、図示は省略するが、第２タップ３２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B3、と呼ぶことにする。
　図５は、２Phase方式と４Phase方式によるデプス値dの算出方法を説明する図である。
　Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。
Figure JPOXMLDOC01-appb-M000002
　４Phase方式では、式（２）のI,Qが、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
　I＝ｃ０－ｃ１８０＝（A0－B0）－（A2－B2）
　Q＝ｃ９０－ｃ２７０＝（A1－B1）－（A3－B3）　　・・・・・・・・・・（３）
　４Phase方式では、例えば、式（３）の“A0－A2”や“A1－A3”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、固定パターンノイズを除去することができる。
　一方、２Phase方式では、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3のうち、直交関係にある２つの位相のみを用いて、物体までのデプス値dを求めることができる。例えば、位相０°の検出信号A0およびB0と、位相９０°の検出信号A1およびB１を用いた場合、式（２）のI,Qは次式（４）となる。
　I＝ｃ０－ｃ１８０＝（A0－B0）
　Q＝ｃ９０－ｃ２７０＝（A1－B1）　　・・・・・・・・・・（４）
　例えば、位相１８０°の検出信号A2およびB2と、位相２７０°の検出信号A3およびB3を用いた場合、式（２）のI,Qは次式（５）となる。
　I＝ｃ０－ｃ１８０＝－（A2－B2）
　Q＝ｃ９０－ｃ２７０＝－（A3－B3）　　・・・・・・・・・・（５）
　２Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、２つの位相の検出信号のみで物体までのデプス値dを求めることができるので、４Phase方式の２倍のフレームレートで測距を行うことができる。
　測距モジュール１１の信号処理部１５は、４Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号と、２Phase方式で算出された遅延時間ΔTに対応するI信号およびQ信号を、物体の動き等に応じて適切に選択またはブレンドする信号処理を行い、その結果を用いてデプス値dを算出し、デプスマップを出力する。
＜３．デプスマップの出力タイミング＞
　次に、測距モジュール１１が生成するデプスマップの出力タイミングについて説明する。
　図６は、測距モジュール１１の受光部１４の駆動と、デプスマップの出力タイミングを示している。
　測距モジュール１１の受光部１４は、上述したように、位相０°、位相９０°、位相１８０°、および、位相２７０°の順番で、時分割で位相を変えて反射光を受光するように駆動するが、２Phase方式でデプス値dを算出する２つの位相を１セットとして連続して駆動する。
　すなわち、受光部１４は、図６に示すように、時刻ｔ１から、位相０°の受光と位相９０°の受光とを連続して行い、時刻ｔ２から時刻ｔ３までの待機期間の後、時刻ｔ３から、位相１８０°の受光と位相２７０°の受光とを連続して行う。次に、時刻ｔ４から時刻ｔ５までの所定の待機期間の後、受光部１４は、時刻ｔ５から、位相１８０°の受光と位相２７０°の受光とを連続して行い、時刻ｔ６から時刻ｔ７までの待機期間の後、時刻ｔ７から、位相０°の受光と位相９０°の受光とを連続して行う。
　各位相の受光動作は、リセットトランジスタ４４Aおよび４４Bをオンし、電荷をリセットするリセット動作、FD部４２Aおよび４２Bに電荷を蓄積するインテグレーション動作、FD部４２Aおよび４２Bに蓄積された電荷を読み出すリードアウト動作とで構成される。
　信号処理部１５は、４位相分の画素データを用いてデプス値を算出するが、２位相単位でデプスマップを出力する。
　具体的には、信号処理部１５は、時刻ｔ４において、時刻ｔ１から時刻ｔ４までの４位相分の画素データを用いてデプスマップDepth#1を生成して出力し、次の時刻ｔ６において、時刻ｔ３から時刻ｔ６までの４位相分の画素データを用いてデプスマップDepth#2を生成して出力する。信号処理部１５は、次の時刻ｔ８において、時刻ｔ５から時刻ｔ８までの４位相分の画素データを用いてデプスマップDepth#3を生成して出力する。
　このように２つの位相を１セットとして連続して駆動することで、物体が動いている場合に、２Phase方式で算出するデプス値において、物体の動きによる影響を抑制することができる。
＜４．信号処理部の詳細構成例＞
　図７は、信号処理部１５の詳細構成を示すブロック図である。
　信号処理部１５は、補正処理部６１、２位相処理部６２、４位相処理部６３、動き推定部６４、振幅推定部６５、固定パターン推定部６６、ブレンド処理部６７、および、位相算出部６８を備える。
　信号処理部１５には、受光部１４から、画素アレイ部２２の各画素の検出信号A0乃至A3と検出信号B0乃至B3が順次供給される。検出信号A0乃至A3は、第１タップ３２Aで位相を０°、９０°、１８０°、および、２７０°に順次設定して得られた検出信号Aであり、検出信号B0乃至B3は、第２タップ３２Bで位相を０°、９０°、１８０°、および、２７０°に順次設定して得られた検出信号Bである。
　信号処理部１５は、図６を参照して説明したように、画素ごとに、位相０°、位相９０°、位相１８０°、および位相２７０°の最新の検出信号A0乃至A3と検出信号B0乃至B3を用いて、デプスマップを生成して出力するが、検出信号A0乃至A3と検出信号B0乃至B3の組合せとしては、図８のAに示されるように、位相１８０°と位相２７０°の２位相の検出信号が最新の検出信号である場合と、図８のBに示されるように、位相０°と位相９０°の２位相の検出信号が最新の検出信号である場合とがある。
　以下の説明では、説明を簡単にするため、受光部１４から信号処理部１５に供給される検出信号A0乃至A3と検出信号B0乃至B3の組合せが、図８のAに示される、位相１８０°と位相２７０°の２位相の検出信号が最新の検出信号である場合を例に、信号処理部１５の各処理について説明する。
　なお、位相０°と位相９０°の２位相の検出信号が最新の検出信号である場合は、図８のBに示されるように、位相１８０°、位相２７０°、位相０°、および、位相９０°の検出信号を、検出信号A0乃至A3と検出信号B0乃至B3とみなし、符号を反転させることで、同様に処理することができる。
　図７の説明に戻り、信号処理部１５は、受光部１４から供給される画素アレイ部２２の各画素の検出信号A0乃至A3と検出信号B0乃至B3を、順次、処理対象画素として、画素毎に同様の処理を行う。したがって、以下では、処理対象画素とされた１画素の処理として、信号処理部１５の各処理について説明する。
　受光部１４から信号処理部１５に供給される処理対象画素としての所定の画素２１の検出信号A0乃至A3と検出信号B0乃至B3は、４位相処理部６３、動き推定部６４、振幅推定部６５、および、固定パターン推定部６６に供給される。また、最新の位相１８０°と位相２７０°の２位相の検出信号A2およびA3並びにB2およびB3が、補正処理部６１に供給される。
　補正処理部６１は、固定パターン推定部６６から供給される補正パラメータを用いて、処理対象画素の第１タップ３２Aの検出信号Aと、第２タップ３２Bの検出信号Bとのタップ間の特性ばらつき（感度差）を補正する処理を行う。
　本実施の形態では、処理対象画素の第２タップ３２Bの検出信号Bを、第１タップ３２Aの検出信号Aに合わせることとして、補正処理部６１は、位相１８０°と位相２７０の検出信号A（A2,A3）およびB（B2,B3）それぞれについて、以下の補正処理を行う。
　　A’＝A
　　B’＝c0＋c1・B 　　・・・・・・・・・・（６）
　ここで、c0およびc1は、固定パターン推定部６６から供給される補正パラメータであり、c0は、検出信号Aに対する検出信号Bのオフセットを表し、c1は、検出信号Aに対する検出信号Bのゲインを表す。
　式（６）の検出信号A’およびB’が、補正処理後の検出信号を表す。なお、補正処理は、第１タップ３２Aの検出信号Aを、処理対象画素の第２タップ３２Bの検出信号Bに合わせることもできるし、検出信号AとBの中間に合わせるようにしてもよい。
　補正処理部６１は、補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’を、２位相処理部６２に供給する。
　２位相処理部６２は、補正処理部６１からの位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’とを用いて、式（５）による２Phase方式のI信号およびQ信号を算出する。
　なお、以下では、４位相処理部６３によって算出された４Phase方式のI信号およびQ信号と区別するため、２Phase方式のI信号およびQ信号をI2信号およびQ2信号と記述する。
　２位相処理部６２は、式（５）により算出した２Phase方式のI2信号およびQ2信号を、ブレンド処理部６７に供給する。
　４位相処理部６３は、受光部１４から供給される処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、式（３）による４Phase方式のI信号およびQ信号を算出する。以下では、２Phase方式のI2信号およびQ2信号と区別して、４Phase方式のI信号およびQ信号を、I4信号およびQ4信号と記述する。
　４位相処理部６３は、式（３）により算出した４Phase方式のI4信号およびQ4信号を、ブレンド処理部６７に供給する。
　動き推定部６４は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、位相０°と位相９０°のセットと、位相１８０°と位相２７０°のセットのセット間における物体の動き量diffを推定（算出）する。
　動き推定部６４は、セット間における物体の動き量diffとして、以下のdiff0乃至diff2のいずれかを採用することができる。
　　diff0 = |(A0+B0+A1+B1)-(A2+B2+A3+B3)|
　　diff1 = |(A0+B0)-(A2+B2)|+|(A1+B1)-(A3+B3)| 　　　　　・・・・・（７）
　　diff2 = sqrt(|(A0+B0)-(A2+B2)|2+|(A1+B1)-(A3+B3)|2)
　diff0は、セット間におけるI信号およびQ信号の総和の差によって動き量を算出する式である。diff1は、セット間におけるI信号の差によって動き量を算出する式である。diff2は、IQ平面上のセット間の距離によって動き量を算出する式である。動き量diff0乃至diff2のいずれを採用するかは、固定的に決定されてもよいし、設定信号等で選択（切替え）してもよい。
　動き推定部６４は、推定した物体の動き量diffを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。
　振幅推定部６５は、受光部１４から供給される処理対象画素の検出信号の振幅ampを推定（算出）する。ここでの振幅とは、変調された照射光により生じる２つの位相間の検出信号の差を表す。振幅ampが大きいことは、照射光が物体から十分に反射して処理対象画素に入射されていることを表す。振幅ampが小さいことは、ノイズが大きいことを表す。
　振幅推定部６５は、検出信号の振幅ampとして、以下のamp0乃至amp3のいずれかを採用することができる。
　　amp0 = |A2-B2)-(A3-B3)|
　　amp1 = sqrt(|(A2-B2)|2+|(A3-B3)|2)
　　amp2 = |(A0-B0)-(A2-B2)|+|(A1-B1)-(A3-B3)|) 　　　　　　・・・・・（８）
　　amp3 = sqrt(|(A0-B0)-(A2-B2)|2+|(A1-B1)-(A3-B3)|2) 
　amp0およびamp1は、最新の２つの位相、すなわち位相１８０°と位相２７０°の検出信号のみを用いて振幅を算出する式であり、amp2およびamp3は、最新の４つの位相、すなわち位相０°、位相９０°、位相１８０°、および、位相２７０°の検出信号を用いて振幅を算出する式である。
　振幅推定部６５は、推定した検出信号の振幅ampを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。
　固定パターン推定部６６は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3と、動き推定部６４から供給される物体の動き量diff、および、振幅推定部６５から供給される振幅ampとを用いて、タップ間の特性ばらつき（感度差）を補正する補正パラメータであるオフセットc0とゲインc1を推定（算出）する。
　処理対象画素としての所定の画素２１の第１タップ３２Aと第２タップ３２Bの受光期間は、１８０°位相がずれていることから、オフセットc0とゲインc1と、検出信号A0乃至A3および検出信号B0乃至B3との間には、理想条件では以下の関係が成り立つ。
　　B0 = c0+ c1・A2
　　B1 = c0+ c1・A3
　　B2 = c0+ c1・A0　　　　　・・・・・（９）
　　B3 = c0+ c1・A1
　行列A、ｘ、およびｙを、以下のように置くと、
Figure JPOXMLDOC01-appb-M000003
 式（９）は、ｙ＝Aｘと表現することができるので、最小二乗法により、次式（１０）により、行列ｘ、すなわち、オフセットc0とゲインc1を算出することができる。
Figure JPOXMLDOC01-appb-M000004
　より厳密には、固定パターン推定部６６は、動き推定部６４から供給される物体の動き量diffと、振幅推定部６５から供給される振幅ampとに応じて、現在のオフセットc0とゲインc1を保持したり、新たに算出したオフセットc0とゲインc1に更新したりするが、詳細については、図１０を参照して後述する。
　ブレンド処理部６７は、２位相処理部６２から供給される２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給される４Phase方式のI4信号およびQ4信号とを、動き量diffおよび振幅ampに応じてブレンドし、ブレンド後のI信号およびQ信号を算出して、位相算出部６８に供給する。
　具体的には、ブレンド処理部６７は、動き推定部６４から供給される物体の動き量diffに基づいて、次式（１１）により、動き量diffに基づくブレンド率α_diffを算出する。
Figure JPOXMLDOC01-appb-M000005
　式（１１）によれば、図９のAに示されるように、動き推定部６４から供給される動き量diffが、第１の閾値dth0より小さい場合にブレンド率α_diff＝０とされ、第２の閾値dth1以上である場合にブレンド率α_diff＝１とされ、第１の閾値dth0以上第２の閾値dth1未満においては、ブレンド率α_diffが０＜α_diff＜１の範囲で線形に決定される。
　また、ブレンド処理部６７は、振幅推定部６５から供給される振幅ampに基づいて、次式（１２）により、振幅ampに基づくブレンド率α_ampを算出する。
Figure JPOXMLDOC01-appb-M000006
　式（１２）によれば、図９のBに示されるように、振幅推定部６５から供給される振幅ampが、第１の閾値ath0より小さい場合にブレンド率α_amp＝０とされ、第２の閾値ath1以上である場合にブレンド率α_amp＝１とされ、第１の閾値ath0以上第２の閾値ath1未満においては、ブレンド率α_ampが０＜α_amp＜１の範囲で線形に決定される。
　そして、ブレンド処理部６７は、動き量diffに基づくブレンド率α_diffと、振幅ampに基づくブレンド率α_ampとから、最終的なブレンド率αを、以下の式（１２A）または（１２B）のいずれかにより算出する。
　　α＝ｍｉｎ（α_diff，α_amp）　　　　　・・・・・・・・・・（１２A）
　　α＝β・α_diff＋（１－β）・α_amp　　・・・・・・・・・・（１２B）
　なお、式（１２B）のβは、ブレンド率α_diffとブレンド率α_ampとをブレンドするブレンド係数であり、例えば、予め設定される。
　ブレンド処理部６７は、算出した最終的なブレンド率αを用いて、式（１３）により、２Phase方式のI2信号およびQ2信号と、４Phase方式のI4信号およびQ4信号とをブレンドしたI信号およびQ信号を算出して、位相算出部６８に供給する。
　I＝α・I2＋（１－α）・I4
　Q＝α・Q2＋（１－α）・I4　　・・・・・・・・・・（１３）
　ブレンド処理部６７は、動き量diffが大きい場合は、２Phase方式のI2信号およびQ2信号の比率を大きくし、動き量diffが小さい場合は、ノイズの少ない４Phase方式のI4信号およびQ4信号の比率を大きくするようにブレンドする。また、ブレンド処理部６７は、振幅ampが小さい（ノイズが大きい）場合は、SN比が向上するように４Phase方式のI4信号およびQ4信号の比率を大きくするようにブレンドする。
　図７の位相算出部６８は、ブレンド処理部６７から供給されるI信号およびQ信号を用いて、上述した式（１）および式（２）により、物体までの距離情報であるデプス値dを算出する。図６を参照して説明したように、位相算出部６８は、２つの位相の検出信号AおよびBが更新されるごとに、最新の４位相の検出信号AおよびBを用いてデプス値d（デプスマップ）を算出して出力する。
　図１０は、固定パターン推定部６６の詳細構成例を示すブロック図である。
　固定パターン推定部６６は、係数算出部８１、係数更新部８２、および、係数記憶部８３を備える。
　受光部１４からの処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3は、係数算出部８１に供給され、動き推定部６４からの物体の動き量diffと、振幅推定部６５からの検出信号の振幅ampは、係数更新部８２に供給される。
　係数算出部８１は、上述した式（１０）により、行列ｘ、すなわち、オフセットc0とゲインc1を算出する。係数算出部８１は、算出したオフセットc0とゲインc1を、更新候補としての新オフセットnext_c0および新ゲインnext_c1として、係数更新部８２に供給する。
　係数更新部８２は、動き推定部６４から供給される物体の動き量diffに基づいて、次式（１４）により、動き量diffに基づくブレンド率u_diffを算出する。
Figure JPOXMLDOC01-appb-M000007
　式（１４）によれば、図１１のAに示されるように、動き推定部６４から供給される動き量diffが、第１の閾値uth0より小さい場合にブレンド率u_diff＝１とされ、第２の閾値uth1以上である場合にブレンド率u_diff＝０とされ、第１の閾値uth0以上第２の閾値uth1未満においては、ブレンド率u_diffが０＜u_diff＜１の範囲で線形に決定される。
　また、係数更新部８２は、振幅推定部６５から供給される振幅ampに基づいて、次式（１５）により、振幅ampに基づくブレンド率u_ampを算出する。
Figure JPOXMLDOC01-appb-M000008
　式（１５）によれば、図１１のBに示されるように、振幅推定部６５から供給される振幅ampが、第１の閾値vth0より小さい場合にブレンド率u_amp＝０とされ、第２の閾値vth1以上である場合にブレンド率u_amp＝１とされ、第１の閾値vth0以上第２の閾値vth1未満においては、ブレンド率u_amが０＜u_amp＜１の範囲で線形に決定される。
　そして、係数更新部８２は、動き量diffに基づくブレンド率u_diffと、振幅ampに基づくブレンド率u_ampとから、最終的なブレンド率uを、以下の式（１６）により算出する。
　　u＝ｍｉｎ（u_diff，u_amp）　　　　　・・・・・・・・・・（１６）
　係数更新部８２は、算出した最終的なブレンド率uを用いて、次式（１７）により、係数算出部８１からの新オフセットnext_c0および新ゲインnext_c1と、係数記憶部８３からの現在のオフセットprev_c0およびゲインprev_c1とをブレンドして、更新後のオフセットc0およびゲインc1を算出する。
　c0＝u・next_c0＋（１－u）・prev_c0
　c1＝u・next_c1＋（１－u）・prev_c1　　・・・・・・・・・・（１７）
　係数更新部８２は、算出した更新後のオフセットc0およびゲインc1を、補正処理部６１（図７）に供給するとともに、係数記憶部８３に記憶させる。
　係数記憶部８３は、係数更新部８２から供給されるオフセットc0およびゲインc1を記憶する。そして、係数記憶部８３に記憶されたオフセットc0およびゲインc1は、係数算出部８１から係数更新部８２に次の新オフセットnext_c0および新ゲインnext_c1が供給されるタイミングで、更新前の現在のオフセットprev_c0およびゲインprev_c1として、係数更新部８２に供給される。
　係数算出部８１で算出される新オフセットnext_c0および新ゲインnext_c1は、振幅ampが十分に大きく、かつ、動き量diffが少ない場合に、最も精度よく算出することができる。係数更新部８２は、振幅ampが十分に大きく、かつ、動き量diffが少ない場合には、新オフセットnext_c0および新ゲインnext_c1のブレンド率を大きくして更新し、振幅ampが小さい、または、動き量diffが大きい場合には、現在のオフセットprev_c0およびゲインprev_c1のブレンド率を大きくして、現在のオフセットprev_c0およびゲインprev_c1を保持するようにブレンド率uを設定し、更新後のオフセットc0およびゲインc1を算出する。
　なお、上述の例では、係数更新部８２は、動き推定部６４から供給される動き量diffと、振幅推定部６５から供給される振幅ampの両方を用いて、オフセットc0およびゲインc1を更新するようにしたが、動き量diffまたは振幅ampのどちらか一方のみを用いて、オフセットc0およびゲインc1を更新するようにしてもよい。その場合、式（１７）のブレンド率uとして、動き量diffに基づくブレンド率u_diffか、または、振幅ampに基づくブレンド率u_ampが代入される。
＜５．信号処理部のデプス値算出処理＞
　次に、図１２のフローチャートを参照して、信号処理部１５による処理対象画素のデプス値を算出するデプス値算出処理について説明する。この処理は、例えば、処理対象画素としての画素アレイ部２２内の所定の画素２１の検出信号A0乃至A3と検出信号B0乃至B3が供給されたとき開始される。
　初めに、ステップＳ１において、４位相処理部６３は、受光部１４から供給された処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、式（３）による４Phase方式のI4信号およびQ4信号を算出する。算出した４Phase方式のI4信号およびQ4信号は、ブレンド処理部６７に供給される。
　ステップＳ２において、動き推定部６４は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3を用いて、位相０°と位相９０°のセットと、位相１８０°と位相２７０°のセットのセット間における物体の動き量diffを推定する。例えば、式（７）のdiff0乃至diff2の一つが、動き量diffとして算出される。動き推定部６４は、推定した物体の動き量diffを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。
　ステップＳ３において、振幅推定部６５は、式（８）のamp0乃至amp3のいずれかを算出することにより、処理対象画素の検出信号の振幅ampを推定する。振幅推定部６５は、推定した検出信号の振幅ampを、固定パターン推定部６６、および、ブレンド処理部６７に供給する。
　ステップＳ１乃至Ｓ３は、異なる順番で処理してもよく、また同時に処理することもできる。
　ステップＳ４において、固定パターン推定部６６は、処理対象画素の検出信号A0乃至A3と検出信号B0乃至B3と、動き推定部６４から供給された物体の動き量diff、および、振幅推定部６５から供給された検出信号の振幅ampとを用いて、タップ間の特性ばらつきを補正する補正パラメータであるオフセットc0とゲインc1を推定する。推定したオフセットc0とゲインc1は、補正処理部６１に供給される。
　ステップＳ５において、補正処理部６１は、固定パターン推定部６６から供給された補正パラメータを用いて、処理対象画素の第１タップ３２Aの検出信号Aと、第２タップ３２Bの検出信号Bとのタップ間の特性ばらつきを補正する処理を行う。具体的には、補正処理部６１は、固定パターン推定部６６から供給された補正パラメータであるオフセットc0とゲインc1を用いた式（６）により、処理対象画素の第２タップ３２Bの検出信号Bを、第１タップ３２Aの検出信号Aに合わせる処理を行う。補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’が、２位相処理部６２に供給される。
　ステップＳ６において、２位相処理部６２は、補正処理後の位相１８０°の検出信号A2’およびB2’と、位相２７０°の検出信号A3’およびB3’とを用いて、式（５）による２Phase方式のI2信号およびQ2信号を算出する。算出されたI2信号およびQ2信号は、ブレンド処理部６７に供給される。
　ステップＳ７において、ブレンド処理部６７は、２位相処理部６２から供給された２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給された４Phase方式のI4信号およびQ4信号とを、動き量diffおよび振幅ampに応じてブレンドし、ブレンド後のI信号およびQ信号を算出して、位相算出部６８に供給する。
　ステップＳ８において、位相算出部６８は、ブレンド処理部６７から供給されたI信号およびQ信号を用いて、上述した式（１）および式（２）により、物体までのデプス値dを算出し、後段へ出力する。
　上述したステップＳ１乃至Ｓ８の処理が、受光部１４から供給される画素アレイ部２２の各画素を処理対象画素として順次実行される。
　画素アレイ部２２の画素毎に、物体の動き量diffや検出信号の振幅ampは異なるので、画素毎に異なるブレンド率αで２Phase方式のI2信号およびQ2信号と、４位相処理部６３から供給される４Phase方式のI4信号およびQ4信号とがブレンドされ、I信号およびQ信号が算出される。
　上述したデプス値算出処理によれば、物体の動き量diffが大きい場合には、２Phase方式のI2信号およびQ2信号を優先してデプス値dが算出され、動き量diffが小さく、物体が静止しているような場合には、４Phase方式のI4信号およびQ4信号を優先してデプス値dが算出される。また、４位相の検出信号から、固定パターンノイズとなる、タップ間の特性ばらつき（感度差）が推定され、補正処理部６１で補正されるので、２位相処理のI2信号およびQ2信号を高精度で算出することができる。これにより、SN比を向上させることができる。すなわち、測距精度を向上させることができる。
　信号処理部１５は、２位相の検出信号を受光するごとに、デプス値（デプスマップ）を出力するので、高SN比で、高フレームレートを実現することができる。
＜６．測距モジュールによる駆動の変形例＞
　図１３乃至図１５を参照して、測距モジュール１１の駆動の変形例について説明する。測距モジュール１１は、上述した駆動のほか、以下の第１変形例乃至第３変形例の駆動を選択的に実行することができる。
　図１３のAは、測距モジュール１１の駆動の第１変形例を示している。
　上述した実施の形態では、発光制御部１３が、例えば、20MHzなどの単一周波数の発光制御信号を発光部１２に供給し、発光部１２が単一周波数の変調光を物体に照射することとした。
　これに対して、図１３のAに示されるように、発光制御部１３が、発光部１２に複数の周波数で照射光を照射させ、受光部１４に受光させることができる。図１３のAにおいて、「HIGH FREQ.」と「LOW FREQ.」とは、発光部１２に発光させる変調光の周波数が異なり、「HIGH FREQ.」が、例えば100MHｚなどの高周波数であり、「LOW FREQ.」が、例えば20MHzなどの低周波数である。
　受光部１４は、高周波数で発光させた第１変調光と低周波数で発光させた第２変調光を、順番に、位相０°と位相９０°の２つの位相で受光する。次に、受光部１４は、高周波数で発光させた第１変調光と低周波数で発光させた第２変調光を、順番に、位相１８０°と位相２７０°の２つの位相で受光する。各周波数におけるデプス値の算出方法は、上述した実施の形態と同様である。
　測距モジュール１１は、発光部１２に複数の周波数で発光させ、受光部１４に受光させ、信号処理部１５が、上述したデプス値算出処理を行う。複数の周波数を用いてデプス値を算出することで、変調周波数に応じた複数の距離を同じと判断してしまう現象（デプスエイリアシング）を解消することができる。
　図１３のBは、測距モジュール１１の駆動の第２変形例を示している。
　上述した実施の形態では、受光部１４の各画素２１が変調光を受光する受光期間（露光期間）は単一の時間とされていた。
　これに対して、図１３のBに示されるように、各画素２１が変調光を受光する受光期間（露光期間）を複数に設定して受光させることができる。図１３のBにおいて、「HIGH SENSITIVITY」と「LOW SENSITIVITY」とは、受光期間が異なり、「HIGH SENSITIVITY」が、受光期間が第１受光期間に設定された高感度であり、「LOW SENSITIVITY」が、受光期間が第１受光期間より短い第２受光期間に設定された低感度である。
　受光部１４は、所定の周波数で発光させた変調光を高感度と低感度とで順番に、位相０°と位相９０°の２つの位相で受光する。次に、受光部１４は、所定の周波数で発光させた変調光を高感度と低感度とで順番に、位相１８０°と位相２７０°の２つの位相で受光する。各周波数におけるデプス値の算出方法は、上述した実施の形態と同様である。
　測距モジュール１１は、発光部１２に所定の周波数で発光させ、受光部１４に高感度と低感度の２種類の感度で受光させ、信号処理部１５が、上述したデプス値算出処理を行う。高感度による受光では、遠距離までの測定が可能となるが、低感度による受光では、飽和しやすくなる。複数の感度を用いてデプス値を算出することで、距離の測定範囲を拡大することができる。
　図１３のBの例では、高感度と低感度を同じ２つの位相で検出したが、高感度と低感度を異なる２つの位相で検出してもよい。具体的には、最初に、高感度で位相０°と位相９０°の２つの位相で受光し、低感度で位相１８０°と位相２７０°の２つの位相で受光した後、高感度で位相１８０°と位相２７０°の２つの位相で受光し、低感度で位相０°と位相９０°の２つの位相で受光するように駆動してもよい。
　図１３のAで説明した駆動の第１変形例、および、図１３のBで説明した駆動の第２変形例のいずれも、複数周波数または複数感度で、それぞれ、位相０°、位相９０°、位相１８０°、位相２７０°の４位相の検出を行うようにしたが、複数周波数または複数感度の一方は、２位相の検出のみ行うようにしてもよい。
　例えば、図１４のAは、図１３のAに示した複数周波数の駆動において、低周波数で発光させる第２変調光については、位相１８０°と位相２７０°の２位相の受光を省略し、高周波数でのみ４位相の検出を行うようにした例を示している。
　また、図１４のBは、図１３のBに示した複数感度の駆動において、低感度での位相１８０°と位相２７０°の２位相の受光を省略し、高感度でのみ４位相の検出を行うようにした例を示している。
　このように、複数周波数または複数感度の一方は、２位相の検出のみ行うようにすることで、フレームレートを向上させることができる。
　図１５は、測距モジュール１１の駆動の第３変形例を示している。
　上述した実施の形態では、受光部１４の画素アレイ部２２の全ての画素２１が、所定のタイミングにおいては、位相０°、位相９０°、位相１８０°、または、位相２７０°のいずれかの同じ位相で検出するように駆動されていた。
　これに対して、図１５のAに示されるように、画素アレイ部２２の各画素２１を、市松模様状に画素２１Xと画素２１Yとに分類し、画素２１Xと画素２１Yとで、異なる位相で検出するように駆動させてもよい。
　例えば、測距モジュール１１の受光部１４は、図１５のCに示されるように、あるフレーム期間では、画素アレイ部２２の画素２１Xでは位相０°で検出すると同時に、画素２１Yでは位相９０°で検出するように駆動させ、次のフレーム期間では、画素アレイ部２２の画素２１Xでは位相１８０°で検出すると同時に、画素２１Yでは位相２７０°で検出するように駆動することができる。そして、２つのフレーム期間で得られた４位相の検出信号を用いて、上述したデプス値算出処理により、デプス値が算出される。
　図１の測距モジュール１１は、例えば、車両に搭載され、車外にある対象物までの距離を測定する車載用のシステムに適用することができる。また例えば、図１の測距モジュール１１は、ユーザの手等の対象物までの距離を測定し、その測定結果に基づいてユーザのジェスチャを認識するジェスチャ認識用のシステムなどに適用することができる。
＜７．電子機器の構成例＞
　上述した測距モジュール１１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
　図１６は、測距モジュールを搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
　図１６に示すように、スマートフォン１０１は、測距モジュール１０２、撮像装置１０３、ディスプレイ１０４、スピーカ１０５、マイクロフォン１０６、通信モジュール１０７、センサユニット１０８、タッチパネル１０９、および制御ユニット１１０が、バス１１１を介して接続されて構成される。また、制御ユニット１１０では、CPUがプログラムを実行することによって、アプリケーション処理部１２１およびオペレーションシステム処理部１２２としての機能を備える。
　測距モジュール１０２には、図１の測距モジュール１１が適用される。例えば、測距モジュール１０２は、スマートフォン１０１の前面に配置され、スマートフォン１０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
　撮像装置１０３は、スマートフォン１０１の前面に配置され、スマートフォン１０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン１０１の背面にも撮像装置１０３が配置された構成としてもよい。
　ディスプレイ１０４は、アプリケーション処理部１２１およびオペレーションシステム処理部１２２による処理を行うための操作画面や、撮像装置１０３が撮像した画像などを表示する。スピーカ１０５およびマイクロフォン１０６は、例えば、スマートフォン１０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
　通信モジュール１０７は、通信ネットワークを介した通信を行う。センサユニット１０８は、速度や加速度、近接などをセンシングし、タッチパネル１０９は、ディスプレイ１０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
　アプリケーション処理部１２１は、スマートフォン１０１によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ１０４に表示する処理を行うことができる。また、アプリケーション処理部１２１は、測距モジュール１０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
　オペレーションシステム処理部１２２は、スマートフォン１０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン１０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部１２２は、測距モジュール１０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
　このように構成されているスマートフォン１０１では、上述した測距モジュール１１を適用することで、例えば、フレームレートの向上や、消費電力の低減、データ転送帯域の削減を実現することができる。これにより、スマートフォン１０１は、より滑らかに動く顔をコンピュータグラフィックスで作成したり、高精度に顔認証を行ったり、バッテリの消費を抑制したり、データ転送を狭帯域で行うことができる。
＜８．コンピュータの構成例＞
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。
　これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０６を介して、外部へ出力することができる。
　本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
＜９．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１９は、撮像部１２０３１の設置位置の例を示す図である。
　図１９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距モジュール１１による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距モジュール１１による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
　なお、本技術は、Indirect ToF方式の中でもContinuous-Wave方式と称する、物体へ投射する光を振幅変調する方式に適用することができる。また、受光部１４のフォトダイオード３１の構造としては、CAPD（Current Assisted Photonic Demodulator）構造の測距センサや、フォトダイオードの電荷を２つのゲートに交互にパルスを加えるゲート方式の測距センサなど、２つの電荷蓄積部に電荷を振り分ける構造の測距センサに適用することができる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を備える
　信号処理装置。
（２）
　前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
　前記（１）に記載の信号処理装置。
（３）
　前記推定部は、前記第１のタップと前記第２のタップの位相が１８０度ずれていることを条件として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
　前記（２）に記載の信号処理装置。
（４）
　前記第１乃至第４の検出信号の振幅を推定する振幅推定部をさらに備え、
　前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
　前記（２）または（３）に記載の信号処理装置。
（５）
　前記画素における前記物体の動き量を推定する動き量推定部をさらに備え、
　前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
　前記（２）乃至（４）のいずれかに記載の信号処理装置。
（６）
　前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行う補正処理部をさらに備える
　前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
　補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出する２位相処理部と、
　前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出する４位相処理部と、
　前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出するブレンド処理部と、
　前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出する算出部と
　をさらに備える
　前記（６）に記載の信号処理装置。
（８）
　前記ブレンド処理部は、前記第１乃至第４の検出信号の振幅と、前記画素における前記物体の動き量とに基づいて、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドする
　前記（７）に記載の信号処理装置。
（９）
　前記算出部は、前記第１乃至第４の検出信号のなかの２つの位相の検出信号が更新されるごとに、前記物体までの距離情報を算出する
　前記（７）または（８）に記載の信号処理装置。
（１０）
　信号処理装置が、
　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
　信号処理方法。
（１１）
　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、
　前記画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を有する信号処理部と
　を備える測距モジュール。
（１２）
　前記画素は、複数の周波数で前記照射光を発光させた前記反射光を受光し、
　前記推定部は、前記複数の周波数それぞれの前記タップ間の感度差を推定する
　前記（１１）に記載の測距モジュール。
（１３）
　前記画素は、前記照射光を発光させた前記反射光を複数の露光時間で受光し、
　前記推定部は、前記複数の露光時間それぞれの前記タップ間の感度差を推定する
　前記（１１）または（１２）に記載の測距モジュール。
（１４）
　前記受光部は、第１の画素で前記第１の位相で前記反射光を受光すると同時に、第２の画素で前記第２の位相で前記反射光を受光するように駆動し、次に、前記第１の画素で前記第３の位相で前記反射光を受光すると同時に、前記第２の画素で前記第４の位相で前記反射光を受光するように駆動し、
　前記推定部は、前記第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
　前記（１１）乃至（１３）のいずれかに記載の測距モジュール。
　１１　測距モジュール，　１３　発光制御部，　１４　受光部，　１５　信号処理部，　２１　画素，　１８　参照信号生成部，　１８a，１８ｂ　DAC，　１８ｃ　制御部，　２１　画素，　２２　画素アレイ部，　２３　駆動制御回路，　３１　フォトダイオード，　３２A　第１タップ，　３２B　第２タップ，　６１　補正処理部，　６２　２位相処理部，　６３　４位相処理部，　６４　動き推定部，　６５　振幅推定部，　６６　固定パターン推定部，　６７　ブレンド処理部，　６８　位相算出部，　８１　係数算出部，　８２　係数更新部，　８３　係数記憶部，　１０１　スマートフォン，　１０２　測距モジュール，　２０１　CPU，　２０２　ROM，　２０３　RAM

Claims (14)

  1. 　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を備える
    　信号処理装置。
  2. 　前記推定部は、前記タップ間の感度差として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
    　請求項１に記載の信号処理装置。
  3. 　前記推定部は、前記第１のタップと前記第２のタップの位相が１８０度ずれていることを条件として、前記第１のタップに対する前記第２のタップのオフセットとゲインを算出する
    　請求項２に記載の信号処理装置。
  4. 　前記第１乃至第４の検出信号の振幅を推定する振幅推定部をさらに備え、
    　前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
    　請求項２に記載の信号処理装置。
  5. 　前記画素における前記物体の動き量を推定する動き量推定部をさらに備え、
    　前記推定部は、算出された前記オフセットおよびゲインを、推定された前記振幅と前記動き量に基づいて現在の前記オフセットおよびゲインとブレンドすることにより、前記オフセットおよびゲインを更新する
    　請求項４に記載の信号処理装置。
  6. 　前記感度差を推定したパラメータを用いて、前記第１乃至第４の検出信号のうちの最新の２つである前記第１および第２の検出信号を補正する補正処理を行う補正処理部をさらに備える
    　請求項１に記載の信号処理装置。
  7. 　補正処理後の前記第１および第２の検出信号を用いて、２Phase方式のI信号およびQ信号を算出する２位相処理部と、
    　前記第１乃至第４の検出信号を用いて、４Phase方式のI信号およびQ信号を算出する４位相処理部と、
    　前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドし、ブレンド後のI信号およびQ信号を算出するブレンド処理部と、
    　前記ブレンド後のI信号およびQ信号に基づいて、前記物体までの距離情報を算出する算出部と
    　をさらに備える
    　請求項６に記載の信号処理装置。
  8. 　前記ブレンド処理部は、前記第１乃至第４の検出信号の振幅と、前記画素における前記物体の動き量とに基づいて、前記２Phase方式のI信号およびQ信号と、前記４Phase方式のI信号およびQ信号とをブレンドする
    　請求項７に記載の信号処理装置。
  9. 　前記算出部は、前記第１乃至第４の検出信号のなかの２つの位相の検出信号が更新されるごとに、前記物体までの距離情報を算出する
    　請求項７に記載の信号処理装置。
  10. 　信号処理装置が、
    　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
    　信号処理方法。
  11. 　光電変換部にて光電変換された電荷を検出する第１のタップと、前記光電変換部にて光電変換された電荷を検出する第２のタップとを有する画素が２次元配置された受光部と、
    　前記画素において、照射光が物体で反射された反射光を、前記照射光に対して第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する推定部を有する信号処理部と
    　を備える測距モジュール。
  12. 　前記画素は、複数の周波数で前記照射光を発光させた前記反射光を受光し、
    　前記推定部は、前記複数の周波数それぞれの前記タップ間の感度差を推定する
    　請求項１１に記載の測距モジュール。
  13. 　前記画素は、前記照射光を発光させた前記反射光を複数の露光時間で受光し、
    　前記推定部は、前記複数の露光時間それぞれの前記タップ間の感度差を推定する
    　請求項１１に記載の測距モジュール。
  14. 　前記受光部は、第１の画素で前記第１の位相で前記反射光を受光すると同時に、第２の画素で前記第２の位相で前記反射光を受光するように駆動し、次に、前記第１の画素で前記第３の位相で前記反射光を受光すると同時に、前記第２の画素で前記第４の位相で前記反射光を受光するように駆動し、
    　前記推定部は、前記第１乃至第４の位相で検出した第１乃至第４の検出信号を用いて、前記第１のタップと前記第２のタップのタップ間の感度差を推定する
    　請求項１１に記載の測距モジュール。
PCT/JP2020/012199 2019-04-05 2020-03-19 信号処理装置、信号処理方法、および、測距モジュール Ceased WO2020203331A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080025690.XA CN113646662B (zh) 2019-04-05 2020-03-19 信号处理装置、信号处理方法和距离测量模块
US17/599,218 US12405377B2 (en) 2019-04-05 2020-03-19 Signal processing device, signal processing method, and distance-measuring module
JP2021511436A JP7476170B2 (ja) 2019-04-05 2020-03-19 信号処理装置、信号処理方法、および、測距モジュール
DE112020001760.5T DE112020001760T5 (de) 2019-04-05 2020-03-19 Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren undentfernungsmessmodul

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-072688 2019-04-05
JP2019072688 2019-04-05

Publications (1)

Publication Number Publication Date
WO2020203331A1 true WO2020203331A1 (ja) 2020-10-08

Family

ID=72668388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012199 Ceased WO2020203331A1 (ja) 2019-04-05 2020-03-19 信号処理装置、信号処理方法、および、測距モジュール

Country Status (5)

Country Link
US (1) US12405377B2 (ja)
JP (1) JP7476170B2 (ja)
CN (1) CN113646662B (ja)
DE (1) DE112020001760T5 (ja)
WO (1) WO2020203331A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062650B (zh) * 2022-04-01 2025-06-06 上海傅里叶半导体有限公司 一种线性谐振马达参数辨识方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173184A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
US8786678B2 (en) * 2011-01-12 2014-07-22 Sony Corporation 3D time-of-flight camera and method
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2019054099A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60130274A (ja) * 1983-12-19 1985-07-11 Toshiba Corp 固体撮像装置
JP4979916B2 (ja) 2005-09-12 2012-07-18 株式会社トプコン 測量装置及び測量方法
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
KR101788032B1 (ko) 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
JP2012234921A (ja) * 2011-04-28 2012-11-29 Mitsubishi Electric Corp 固体撮像装置
KR101536129B1 (ko) 2011-10-04 2015-07-14 엘지디스플레이 주식회사 유기발광 표시장치
US20130258099A1 (en) * 2012-03-29 2013-10-03 Samsung Electronics Co., Ltd. Depth Estimation Device And Operating Method Using The Depth Estimation Device
JP6039212B2 (ja) 2012-03-29 2016-12-07 キヤノン株式会社 像ブレ補正装置、撮像装置及び像ブレ補正装置の制御方法
US9277136B2 (en) * 2013-11-25 2016-03-01 Samsung Electronics Co., Ltd. Imaging systems and methods with pixel sensitivity adjustments by adjusting demodulation signal
CN108027238B (zh) * 2016-09-01 2022-06-14 索尼半导体解决方案公司 成像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173184A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
US8786678B2 (en) * 2011-01-12 2014-07-22 Sony Corporation 3D time-of-flight camera and method
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2019054099A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHMIDT,M. ET AL.: "High Frame Rate for 3D Time-of-Flight Cameras by Dynamic Sensor Calibration", 2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY, 8 April 2011 (2011-04-08), pages 1 - 8, XP031943266, DOI: 10.1109/ICCPHOT.2011.5753121 *

Also Published As

Publication number Publication date
US12405377B2 (en) 2025-09-02
US20220179072A1 (en) 2022-06-09
CN113646662A (zh) 2021-11-12
DE112020001760T5 (de) 2022-01-13
JP7476170B2 (ja) 2024-04-30
CN113646662B (zh) 2025-03-07
JPWO2020203331A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JPWO2017057043A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7517335B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
CN113677955B (zh) 距离测量传感器、信号处理方法和距离测量模块
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
US12498479B2 (en) Distance measuring device and distance measuring method
WO2021039458A1 (ja) 測距センサおよびその駆動方法、並びに、測距モジュール
WO2022004441A1 (ja) 測距装置および測距方法
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP7476170B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
WO2021177045A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
JP2021099271A (ja) 測距装置およびその制御方法、並びに、電子機器
US20240168159A1 (en) Distance measuring device, distance measuring system, and distance measuring method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783978

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511436

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20783978

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080025690.X

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 17599218

Country of ref document: US