WO2014207983A1 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
WO2014207983A1
WO2014207983A1 PCT/JP2014/002514 JP2014002514W WO2014207983A1 WO 2014207983 A1 WO2014207983 A1 WO 2014207983A1 JP 2014002514 W JP2014002514 W JP 2014002514W WO 2014207983 A1 WO2014207983 A1 WO 2014207983A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
timing signal
measuring device
light
distance measuring
Prior art date
Application number
PCT/JP2014/002514
Other languages
English (en)
French (fr)
Inventor
川村 信
朋史 永田
遥 高野
充彦 大谷
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2015523831A priority Critical patent/JP6296401B2/ja
Priority to EP14817491.5A priority patent/EP3015882B1/en
Publication of WO2014207983A1 publication Critical patent/WO2014207983A1/ja
Priority to US14/977,579 priority patent/US10422859B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions

Definitions

  • the present disclosure relates to a distance measuring device, and more particularly, to a distance measuring device that measures a distance using a light delay by a light source and a fixed imaging device.
  • an imaging signal processing unit includes a frame memory, and digital image data that has been corrected for shading or the like is stored in the frame memory.
  • the digital image data in the frame memory is output via the interface unit in response to a request from the image signal processing unit.
  • the image signal processing unit receives the reflected light of the light applied to the subject, measures the time of flight using the optical time-of-flight measurement method (TOF: Time) of Flight), and determines the subject based on the time of light flight. Or a three-dimensional image of the subject is obtained.
  • TOF Time-of-flight measurement method
  • the conventional distance measuring device has a frame memory in order to store the difference due to the change in the exposure amount. Therefore, there is a problem that the distance measuring device becomes large and expensive.
  • an object of the present disclosure is to provide a distance measurement device that can measure a distance with high accuracy under various conditions at low cost.
  • a distance measuring device using a TOF (Time of Flight) method includes a light source that emits light according to a light emission timing signal, and the light emission timing signal and an exposure timing corresponding thereto according to a predetermined measurement condition.
  • TOF Time of Flight
  • a drive control unit that generates a signal and a pixel group arranged in a matrix, and the pixel group is divided into a plurality of regions in units of lines, and selectively for each region according to the exposure timing signal
  • the drive control comprising: a solid-state imaging device that performs exposure and outputs the charge accumulated in the pixel group as a signal; and an imaging signal processing unit that calculates a signal output from the solid-state imaging device and obtains distance information
  • the unit outputs the light emission timing signal and the exposure timing signal to a plurality of regions in the solid-state imaging device according to measurement conditions different from each other. It is formed.
  • light emission and exposure can be performed on a plurality of regions of the solid-state imaging device according to different measurement conditions, and the charge of the obtained pixel group is given to the imaging signal processing unit as a signal. For this reason, the calculation of the distance under a plurality of measurement conditions can be performed in the same frame. Therefore, a frame memory for storing a change in exposure amount due to a difference in measurement conditions becomes unnecessary, and the size and cost of the distance measuring device can be reduced.
  • a distance measuring device using a TOF (Time of Flight) method includes a light source that emits light in synchronization with a light emission timing signal, and the light emission timing signal and the light emission timing signal according to a predetermined measurement condition.
  • TOF Time of Flight
  • a drive control unit that generates a corresponding exposure timing signal, a solid-state imaging device that has a pixel group arranged in a matrix, performs exposure according to the exposure timing signal, and outputs charges accumulated in the pixel group;
  • An image signal processing unit that calculates a signal output from the solid-state image sensor and obtains distance information, the light source and the solid-state image sensor are arranged apart from each other, and an irradiation direction of the light source However, it is inclined obliquely from the front front of the distance measuring device toward the solid-state imaging device.
  • the time until the light irradiated from the light source is reflected by the measurement object and enters the solid-state imaging device is substantially equal to the entire measurement object. Therefore, accurate distance measurement can be performed.
  • a small and low-cost distance measuring device can be provided.
  • FIG. 6 is a diagram illustrating an example of changing measurement conditions in Embodiment 1.
  • FIG. It is a figure which shows the other example of the pixel arrangement
  • FIG. 1 is a block diagram showing the configuration of the distance measuring apparatus according to the first embodiment.
  • the distance measuring apparatus shown in FIG. 1 uses a time of flight (TOF) method, and includes an imaging signal processing unit 101, a light source driver 102, a drive control unit 103, a light source 104, and a solid-state imaging element 109.
  • the imaging signal processing unit 101 includes an AFE (analog front end) 110, a signal correction processing unit 111, line memories 112, 113, and 114, a synthesis unit 115, and a TOF calculation unit 116.
  • AFE analog front end
  • the drive control unit 103 generates a light emission timing signal SG1 and an exposure timing signal SG2 corresponding thereto according to a predetermined condition.
  • the light source driver 102 is controlled by the light emission timing signal SG1, and the light source 104 emits the light L1 toward the object OB.
  • the irradiation light L1 is light having a pulse waveform having a predetermined emission width.
  • the irradiation light L1 is reflected by the object OB, and the solid-state image sensor 109 receives this reflected light L2.
  • the solid-state image sensor 109 has a group of pixels arranged in a matrix, performs exposure according to the exposure timing signal SG2, and outputs the charge accumulated in the group of pixels as a signal to the imaging signal processing unit 101.
  • the charge signal input to the imaging signal processing unit 101 is AD converted by the AFE 110, and the converted digital data is input to the signal correction processing unit 111.
  • the signal correction processing unit 111 performs level correction and filter processing.
  • data is held in the line memory 112 in units of lines in the pixel group of the solid-state image sensor 109.
  • the data held in the line memory 112 is sequentially transferred to the line memories 113 and 114 in line units.
  • the combining unit 115 performs an interpolation combining process using the output of the signal correction processing unit 111 and the output of each line memory 112, 113, 114.
  • the TOF calculation unit 116 calculates the distance using the data output from the synthesis unit 115, and outputs the distance data D0 obtained as a result of the calculation.
  • the distance measurement method of the TOF method will be described with reference to FIGS.
  • S0 exposure that receives all reflected light of light emitted from the light source S1 exposure that receives a part of reflected light emitted from the light source, and only background light without causing the light source to emit light.
  • BG exposure to receive light is performed. These three types of exposure are each repeated once or a plurality of times to accumulate charges, and the accumulated amount of charges is converted into digital values (S0, S1, BG). Then, (S0-BG) and (S1-BG) are calculated, and the distance is calculated from these ratios.
  • the emission pulse width is T0 and the speed of light is c
  • the end time of the exposure signal of S1 exposure is within the pulse period of the reflected light as shown in FIG.
  • the exposure signal start time of the S1 exposure may exist within the pulse period of the reflected light as shown in FIG.
  • the pixel group of the solid-state image sensor 109 is divided into a plurality of regions in units of lines.
  • the solid-state image sensor 109 selectively performs exposure for each region in accordance with the exposure timing signal SG2.
  • the drive control unit 103 can generate a light emission timing signal SG1 and an exposure timing signal SG2 for a plurality of regions in the solid-state image sensor 109 according to different measurement conditions.
  • FIG. 4 is an example of pixel arrangement and area division in the fixed image sensor 109.
  • the pixel group of the fixed image sensor 109 is divided into three regions AR1, AR2, AR3 in line units. Note that the size and number of regions are not limited to those shown in FIG.
  • FIGS. 5A and 5B are diagrams showing an example of changing the measurement conditions.
  • the number of repeated exposures in the above-described S0 exposure and S1 exposure is changed depending on conditions.
  • the exposure is repeated 6 times, and under the condition of FIG. 5B, the exposure is repeated 3 times. If the number of exposure repetitions is large, more charges can be stored, and a more accurate distance calculation can be performed. However, when the amount of stored charge exceeds the saturation upper limit, the calculation cannot be performed correctly. Therefore, in each area, for example, the areas AR1, AR2, and AR3 in FIG. 5, the exposure can be performed with the maximum light amount that is not saturated in each area by adjusting the number of exposures. Therefore, highly accurate measurement can be performed.
  • the present invention is not limited to this.
  • the emission width of the irradiation light or the phase of the exposure timing signal that forms a pair with respect to the emission timing signal may be changed depending on the measurement conditions. In this case, an accurate measurement can be performed by selecting and using a measurement result under an optimal condition according to the distance to be measured.
  • the number of repetitions of the exposure, the emission width of the irradiation light, or the combination of the phase of the exposure timing signal with respect to the emission timing signal may be changed depending on the measurement conditions.
  • FIG. 6 (a) and 6 (b) are diagrams showing another example of changing measurement conditions.
  • the emission width of the irradiation light in the above-described S0 exposure and S1 exposure is changed depending on conditions.
  • the reflected light does not return during the exposure period, and the distance cannot be measured correctly. Therefore, for example, measurement is performed from the measurement result under the condition of FIG. 6A having a large emission width to a long distance, and from the obtained distance, the measurement object is sufficiently measured even under the condition of FIG. 6B having a small emission width.
  • the maximum distance that can be measured is when the delay of the reflected light is equal to the emission width, and the shorter the emission width, the shorter the measurable distance.
  • the delay of the reflected light is equal to or greater than the emission width, the amount of received light is always equal to the background light, so there is no change due to the distance and the distance cannot be measured.
  • the measurable distance becomes shorter, the resolution becomes higher and finer measurement can be performed. Thereby, it becomes possible to perform distance measurement with an optimum light emission width according to the distance.
  • FIGS. 7A, 7B and 8 are diagrams showing another example of changing the measurement conditions.
  • the phase of the paired exposure timing signal with respect to the light emission timing signal in the S0 exposure and S1 exposure described above is changed depending on the conditions.
  • the phase difference between the light emission and the exposure timing of the pair is made relatively small
  • the phase difference between the light emission and the exposure timing of the pair is compared.
  • the object can be measured under the condition that the phase difference between light emission and exposure is relatively small as shown in FIG.
  • the optical system such as a lens has high strength. Reflected light from a short-range and highly reflective measurement object is mixed with reflected light from a long-distance and low-reflection measurement object with low intensity.
  • the interference light components (S0n, S1n) of the S0 exposure and S1 exposure by the short distance and high reflection measurement object are added to the expected light components (S0a, S1a) of the distance and low reflection measurement object of S0 exposure and S1 exposure.
  • the error is greatly measured as a distance closer than the actual distance.
  • the S0 exposure signal a phase that receives all the reflected light from the short distance and high reflection measurement object and does not receive the reflection light from the long distance and low reflection measurement object, and a long distance and low reflection measurement object.
  • a S1 exposure signal a part of the reflected light from the short-range and highly reflective measurement object is obtained as two conditions of the phase that receives all the reflected light from the light source and does not receive the reflected light from the short-range and highly reflective measurement object.
  • Light reception is performed under the two conditions of the phase where the reflected light is not received.
  • the expected light components (S0a, S1a) of the S0 exposure and S1 exposure of the long-distance and low-reflection measurement object are changed to the interference light components (S0n, S1n) of the S0 exposure and S1 exposure by the short-distance and high-reflection measurement object. ) are not added, and the distance can be accurately measured without error.
  • the number of measurement conditions to be changed is not limited to two, and may be three or more.
  • the change of the measurement conditions for example, when there are a plurality of light emitters that change the emitted pulse light, the light emitter to be emitted is changed. In S0 exposure, the first half of the reflected light is received, and S1 In the exposure, the latter half of the reflected light may be received.
  • the pixel group is divided into a first region composed of even lines and a second region composed of odd lines, and the light emission and exposure conditions are changed between the even lines and the odd lines. Measurement may be performed. In this case, since the measurement conditions are different for each line, interpolation can be easily performed in the vertical direction from the upper and lower lines.
  • FIG. 9 is a diagram showing another example of the pixel array and area division of the solid-state image sensor 109.
  • the solid-state imaging device 109 performs imaging for distance measurement in an even-numbered line and an odd-numbered line by time division.
  • the drive control unit 103 generates the light emission timing signal SG1 and the exposure timing signal SG2 in accordance with the first condition shown in FIG. 5A, for example, for the first region composed of even lines, and the second region composed of odd lines.
  • the light emission timing signal SG1 and the exposure timing signal SG2 are generated according to the second condition shown in FIG.
  • the solid-state image sensor 109 continuously transfers charges for each pixel obtained by imaging under two conditions in units of frames.
  • the signal (S0, S1, BG) under the first condition and the signal (S0, S1) under the second condition for all pixels. , BG) signal can be obtained.
  • the odd-numbered pixels P1X having only the measurement result under the second condition are replaced with the surrounding six pixels P1A, P1B, P1C, P1D, P1E, and P1F having the measurement result under the first condition.
  • the line memories 112, 113, and 114 are used for performing this arithmetic processing. Since data flows in line order, a horizontal line in which the pixels P1A, P1B, and P1C exist is stored in the line memory 114 through the line memories 112 and 113. At this time, the horizontal line in which the pixel P1X exists is stored in the line memory 113 through the line memory 112, and the horizontal line in which the pixels P1D, P1E, and P1F exist is stored in the line memory 112.
  • the synthesizer 115 performs an interpolation calculation using the pixel data read from the line memories 112, 113, and 114.
  • P1X (P1A + 2 ⁇ P1B + P1C + P1D + 2 ⁇ P1E + P1F) / 8
  • the symbol in the above formula means the data of the pixel.
  • the results of both the first condition and the second condition can be obtained for all the pixels. Therefore, for example, the result of the second condition with a small number of exposures is adopted for a pixel in which the S0 signal is saturated under the first condition with a large number of exposures, and the result of the first condition is adopted for other pixels. . As a result, it is possible to select the result under the optimum conditions for all the pixels, so that the accuracy can be improved.
  • pixels may be arranged so as to be shifted by half a pixel in the line direction between even lines and odd lines.
  • interpolation can be easily performed from the four pixels at the upper right, upper left, lower right, and lower left of the interpolated pixel.
  • FIG. 10 is a diagram showing another example of the pixel arrangement and area division of the solid-state image sensor 109.
  • the results of both the first condition and the second condition can be obtained for all the pixels by simple calculation, and the horizontal resolution is further increased. Can do.
  • the odd-numbered line P2X having only the measurement result under the second condition is interpolated by the surrounding four pixels P2A, P2B, P2C, and P2D having the measurement result under the first condition.
  • the symbol in the above formula means the data of the pixel.
  • the result of both the first condition and the second condition can be obtained for all the pixels by the simple calculation of taking the average of the four pixel data.
  • the measurement result can be corrected by comparing the measurement results based on a plurality of measurement conditions.
  • FIG. 11 is a conceptual diagram showing an example in which a plurality of measurement conditions are applied to the same region.
  • the distance is calculated at the same measurement point from the measurement results of Condition 1 and Condition 2, and correction is performed by comparing the results.
  • the distance should be the same for the same measurement object. For this reason, the distances calculated from the calculation results must be the same except when the measurement is not performed correctly due to sensor saturation or the like. Therefore, the parameters are calculated so that the distance calculation results are the same.
  • calculation values V11 and V12 under condition 1 and calculation values V21 and V22 under condition 2 are obtained at measurement points D01 and D02 in FIG.
  • the distance calculated with the calculated value V11 and the distance calculated with the calculated value V21 must be the same, and the distance calculated with the calculated value V12 and the distance calculated with the calculated value V22 Must be identical.
  • the function of distance and a calculated value can be calculated
  • the variable of this function corresponds to the parameter described above. Thereby, distance can be measured while performing calibration in real time.
  • a configuration may be used in which a background image captured without causing a light source to emit light is commonly used for calculations under a plurality of conditions. According to this configuration, it is not necessary to take a background image for each condition, and the imaging time can be shortened.
  • FIG. 12 is a conceptual diagram showing an example of common exposure of background light under a plurality of measurement conditions.
  • the background light exposure does not involve light emission from the light source, so that the ratio is constant even if the exposure conditions change. For this reason, the background light can be measured by exposing all the pixels at once by calculating the exposure ratio. Therefore, for example, as shown in FIG. 12, the BG exposure is shared between the measurement under the first condition and the measurement under the second condition. By sharing, the exposure of the background light is only required once. Thereby, the exposure time of background light can be reduced and the frame rate can be increased.
  • the exposure and light emission conditions may be changed according to the calculation result of the output value of the solid-state imaging device. According to this configuration, it is possible to reflect the measurement conditions optimum for the object and the measurement environment in real time, and it is possible to perform measurement with higher accuracy.
  • the distance measuring device changes the measurement conditions based on the measurement result.
  • FIG. 13 is a block diagram showing a part of the configuration of the distance measuring apparatus according to the second embodiment. In some cases, redundant description of substantially the same configuration as in the first embodiment may be omitted.
  • the combining unit 115 performs an operation for measurement under a plurality of conditions, and instructs the drive control unit 103 to adjust the measurement conditions by the control signal SC based on the results. To do. Thereby, the distance can be measured while changing the measurement conditions in real time, and the measurement conditions optimum for the object and the measurement environment can be reflected in real time. Therefore, more accurate measurement can be performed.
  • the emission width of irradiation light is adjusted, or the number of exposures is adjusted.
  • the drive control unit 103 is irradiated with the control signal SC so that the light emission width is optimal for accurately measuring the distance to the measurement target. Is instructed to shorten the light emission width.
  • the drive control unit 103 is irradiated with the control signal SC so that the light emission width is optimal for accurately measuring the distance to the measurement target. Instructs to increase the emission width.
  • the presence or absence of saturation or the saturation area is monitored, and the number of exposures is adjusted based on the monitoring result. For example, under conditions where the number of exposures is large, the maximum value of the S0 signal is monitored, and the combining unit 115 instructs the drive control unit 103 to adjust the number of exposures by the control signal SC so that saturation does not occur.
  • the area of the saturation region of the S0 signal is monitored under the condition that the number of exposures is small, and when this area exceeds a predetermined value, the combining unit 115 instructs the drive control unit 103 to reduce the number of exposures by the control signal SC. To do.
  • the synthesizing unit 115 instructs the drive control unit 103 to increase the number of exposures by the control signal SC.
  • Such control makes it possible to set measurement conditions suitable for the object and measurement environment, for example, the light emission width and the number of exposures, so that more accurate measurement can be performed.
  • Embodiment 3 Depending on the form of use of the distance measuring device, it may be difficult to arrange the light source and the solid-state imaging device in front of the measurement object. For example, when a screen operation is used for a device that performs gestures, a monitor is arranged in front of the operator. Therefore, the distance measuring device for detecting the movement of the finger pointing to the screen, the shape of the hand, etc. Difficult to put in front of.
  • the light source and the solid-state imaging device are arranged separately. Then, it is assumed that the irradiation direction of the light source is inclined obliquely from the front front of the distance measuring device toward the solid-state imaging device. That is, the light source is arranged so that the irradiation light strikes from the diagonal of the measurement object, and the fixed imaging element is arranged in the direction in which the irradiation light is reflected. With this configuration, the time until the light irradiated from the light source is reflected by the measurement object and enters the solid-state imaging device becomes substantially equal to the entire measurement object. Therefore, accurate distance measurement can be performed.
  • FIG. 14 is a block diagram showing a configuration example of the distance measuring apparatus according to the third embodiment. In some cases, redundant description of substantially the same configuration as in the first embodiment may be omitted.
  • the light source 104 and the solid-state image sensor 109 are arranged apart from each other. Then, the irradiation direction of the light source 104 is inclined from the front front of the distance measuring device toward the solid-state image sensor 109 so that the irradiation light L1 of the light source 104 strikes the object OB obliquely.
  • the solid-state image sensor 109 receives the reflected light L2 reflected by the object OB.
  • the time from when the irradiation light L1 is emitted from the light source 104 to when it is reflected by the object OB and when the reflected light L2 reaches the solid-state image sensor 109 is substantially equal throughout the object OB.
  • FIG. 15 shows a case where the light source and the solid-state imaging device are not spaced apart and are substantially at the same position.
  • FIG. 15A in the case of the region B1 close to the light source 1, both the distance until the irradiated light hits the subject A and the distance until the reflected light returns to the solid-state imaging device 2 are short.
  • FIG. 15B in the case of the region B2 far from the light source 1, both the distance until the irradiated light hits the subject A and the distance until the reflected light returns to the solid-state image sensor 2 are both. long. That is, a large difference occurs in the measurement range due to the difference in the area of the subject A.
  • FIG. 16 shows a case where the light source and the solid-state imaging device are arranged apart from each other.
  • the distance until the irradiated light hits the subject A is short, but the distance until the reflected light returns to the solid-state imaging device 2 is long.
  • the distance until the irradiated light hits the subject A is long, but the distance until the reflected light returns to the solid-state imaging device 2 is short.
  • the distance measurement range can be narrowed down and the setting specialized for the distance measurement range may be set, so that accurate distance measurement can be performed.
  • the present embodiment can also be applied to a distance measuring device other than the first embodiment.
  • the present disclosure is useful for downsizing, cost reduction, and the like of a distance measuring device that measures the distance and shape of a measurement object, and can be applied to an input device that detects a human finger and performs gesture input, for example. .
  • Imaging signal processing unit 103 Drive control unit 104
  • Light source 109 Solid-state imaging device SG1 Light emission timing signal SG2 Exposure timing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

 距離測定装置において、駆動制御部(103)は測定条件に従って、発光タイミング信号(SG1)と露光タイミング信号(SG2)とを生成する。光源(104)は発光タイミング信号(SG1)に従って光を照射する。固体撮像素子(109)は、行列状に配置されライン単位で複数の領域に分割された画素群を有し、露光タイミング信号(SG2)に従って領域毎に選択的に露光を行う。撮像信号処理部(101)は固体撮像素子(109)から出力された信号を演算し、距離情報を得る。駆動制御部(103)は、固体撮像素子(109)の各領域に対して、互いに異なる測定条件を適用する。

Description

距離測定装置
 本開示は、距離測定装置に関し、特に、光源と固定撮像素子により光の遅延を用いて距離を測定する距離測定装置に関する。
 近年、マイクロソフト社のKINECTの登場により、距離や形状を測定する3D測距装置が注目されている。さらに、低価格化に対応するため、1つのセンサにより近距離から遠距離、明部から暗部等の様々な条件で、距離を測定したいという要求が高まってきている。それを解決するために、複数回の露光を用いて距離を測定する方法が検討されているが、条件を変えて測定を行うためにフレームメモリを持ち、セットとしてのコストが増大しがちである。
 特許文献1では、例えば、撮像信号処理部がフレームメモリを備えており、シェーディング等の補正がされたデジタル画像データが、フレームメモリに蓄積される。フレームメモリ内のデジタル画像データは、画像信号処理部からの要求に応じて,インタフェース部を経由して出力される。画像信号処理部は例えば、被写体へ照射した光の反射光を受光することにより光飛行時間計測法(TOF:Time of Flight)を用いて光飛行時間を測定し、光飛行時間に基づいて被写体までの距離を測定したり、被写体の3次元画像を得る。
特開2012-195734号公報(図19)
 しかしながら、従来の距離測定装置は、露光量の変化による違いを記憶するため、フレームメモリを持ち、このため、距離測定装置が大型化かつ高価になるという問題がある。
 そこで、本開示では、安価かつ様々な条件で高精度に距離を測定することができる距離測定装置を提供することを目的とする。
 本開示の一態様では、TOF(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に従って光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する。
 この態様によると、固体撮像素子の複数の領域に対して、それぞれ異なる測定条件に従って発光と露光を行うことができ、得られた画素群の電荷が、信号として撮像信号処理部に与えられる。このため、複数の測定条件における距離の演算を、同一フレームで行うことができる。したがって、測定条件の違いによる露光量の変化を記憶するためのフレームメモリが不要となり、距離測定装置のサイズやコストを低減することができる。
 本開示の別の態様では、TOF(Time of Flight)方式を利用した距離測定装置は、発光タイミング信号に同期して光を照射する光源と、所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている。
 この態様によると、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
 本開示によると、小型かつ低コストの距離測定装置を提供することができる。
実施の形態1に係る距離測定装置の構成例を示す図である。 TOF方式の動作を示す図である。 TOF方式の動作を示す図である。 固定撮像素子の画素配列および領域分割の例を示す図である。 (a),(b)は実施の形態1における測定条件の変更の例を示す図である。 (a),(b)は実施の形態1における測定条件の変更の例を示す図である。 (a),(b)は実施の形態1における測定条件の変更の例を示す図である。 実施の形態1における測定条件の変更の例を示す図である。 固定撮像素子の画素配列および領域分割の他の例を示す図である。 固定撮像素子の画素配列および領域分割の他の例を示す図である。 同一領域に複数の測定条件を適用する例を示す概念図である。 背景光の露光を共通化する例を示す概念図である。 実施の形態2に係る距離測定装置の構成例の一部を示す図である。 実施の形態3に係る距離測定装置の構成例を示す図である。 実施の形態3における効果を説明するための図である。 実施の形態3における効果を説明するための図である。
 以下、実施形態について、図面を参照しながら詳細に説明する。
 (実施の形態1)
 図1は実施の形態1に係る距離測定装置の構成を示すブロック図である。図1に示す距離測定装置は、TOF(Time of Flight)方式を利用するものであり、撮像信号処理部101、光源ドライバ102、駆動制御部103、光源104、および固体撮像素子109を備えている。撮像信号処理部101は、AFE(アナログフロントエンド)110、信号補正処理部111、ラインメモリ112,113,114、合成部115、およびTOF演算部116を備えている。
 駆動制御部103は、所定の条件に従って、発光タイミング信号SG1と、これに対応する露光タイミング信号SG2とを生成する。発光タイミング信号SG1により光源ドライバ102が制御され、光源104が対象物OBに向かって光L1を照射する。照射光L1は所定の発光幅を持つパルス波形の光である。
 照射光L1は対象物OBによって反射し、この反射光L2は固体撮像素子109が受光する。固体撮像素子109は行列状に配置された画素群を有しており、露光タイミング信号SG2に従って露光を行い、画素群に蓄積された電荷を信号として撮像信号処理部101に出力する。
 撮像信号処理部101に入力された電荷信号はAFE110でAD変換され、変換後のデジタルデータが信号補正処理部111に入力される。信号補正処理部111では、レベル補正、フィルタ処理が行われる。そして本実施形態では、固体撮像素子109の画素群におけるライン単位で、ラインメモリ112にデータが保持される。ラインメモリ112に保持されたデータは、ライン単位で、ラインメモリ113、114に順次転送される。合成部115は、信号補正処理部111の出力と各ラインメモリ112,113,114の出力を用いて、補間合成処理を行う。TOF演算部116は、合成部115から出力されたデータを用いて距離の計算を行い、計算の結果得られた距離データD0を出力する。
 図2および図3を用いてTOF方式の距離測定法を説明する。TOF方式では、光源から照射される光の反射光を全て受光するS0露光、光源から照射される光の一部の反射光を受光するS1露光、および、光源を発光させずに背景光のみを受光するBG露光を行う。これらの3種類の露光をそれぞれ1回もしくは複数回ずつ繰り返して電荷を蓄積し、その蓄積した電荷量をデジタル値(S0、S1、BG)に変換する。そして、(S0-BG)と(S1-BG)を計算し、これらの比より距離を計算する。その距離計算式は、発光パルス幅をT0、光の速度をcとすると、露光信号のタイミングとして図2のように、S1露光の露光信号の終了時間が反射光のパルス期間内に存在する場合、
Figure JPOXMLDOC01-appb-M000001
となる。また、露光信号のタイミングとして図3のように、S1露光の露光信号の開始時間が反射光のパルス期間内に存在してもよく、その場合、距離計算式は、
Figure JPOXMLDOC01-appb-M000002
となる。
 本実施形態では、固体撮像素子109の画素群は、ライン単位で複数の領域に分割されているものとする。そして固体撮像素子109は、露光タイミング信号SG2に従って、領域毎に選択的に露光を行う。駆動制御部103は、固体撮像素子109における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、発光タイミング信号SG1および露光タイミング信号SG2を生成することができる。
 図4は固定撮像素子109における画素配列および領域分割の一例である。図4では、固定撮像素子109の画素群は、ライン単位で、3個の領域AR1,AR2,AR3に分割されている。なお、領域のサイズや個数は図4に示したものに限られるものではない。
 図5(a),(b)は測定条件の変更の例を示す図である。図5の例では、上述したS0露光およびS1露光における露光の繰り返し回数を、条件によって変えている。図5(a)の条件では、露光を6回ずつ繰り返しており、図5(b)の条件では、露光を3回ずつ繰り返している。露光の繰り返し回数が多ければ、それだけ多くの電荷を貯めることができ、より正確な距離の計算を行うことができる。ところが、貯めた電荷量が飽和上限を超えた場合は、正しく計算を行うことができない。したがって、各領域、例えば図5の領域AR1,AR2,AR3において、それぞれ露光回数を調整することにより、各領域内で飽和しない最大光量で露光することができる。したがって精度の高い測定を行うことができる。
 なお、上述の説明では、測定条件において露光の繰り返し回数を変える例について説明したが、これに限られるものではない。例えば、照射光の発光幅、または、発光タイミング信号に対する、その対となる露光タイミング信号の位相を、測定条件によって変えてもよい。この場合、測定対象の距離に応じて最適な条件の測定結果を選択して使用し、正確な測定を行うことができる。さらに、これら露光の繰り返し回数、照射光の発光幅、または発光タイミング信号に対する露光タイミング信号の位相の組み合わせを、測定条件によって変えてもよい。
 図6(a),(b)は測定条件の変更の他の例を示す図である。図6の例では、上述したS0露光およびS1露光における照射光の発光幅を、条件によって変えている。露光期間が短く、かつ測定対象までの距離が遠い場合は、露光期間中に反射光が戻らず、正しく距離を測定することができない。そこで例えば、発光幅が大きい図6(a)の条件による測定結果から遠距離までを測定し、そこで得られた距離から、測定対象が、発光幅が小さい図6(b)の条件でも十分測定が可能な近距離であると判断したとき、図6(b)の条件での測定結果を採用する。
 測定できる最大距離は反射光の遅延が発光幅と等しくなる場合であり、発光幅が短いほど測定可能距離は短くなる。反射光の遅延が、発光幅以上となると常に受光量が背景光と等しくなるため距離による変化がなくなり距離を測定できない。一方、測定可能距離が短くなると分解能が高くなり、より細かい測定ができる。これにより、距離に応じて最適な発光幅での距離測定を行うことができるようになる。
 図7(a),(b)および図8は測定条件の変更の他の例を示す図である。図7および図8の例では、上述したS0露光およびS1露光における発光タイミング信号に対する、その対となる露光タイミング信号の位相を、条件によって変えている。図7(a)の条件では、発光とその対となる露光タイミングとの位相差を比較的小さくし、図7(b)の条件では、発光とその対となる露光タイミングとの位相差を比較的大きくして、距離の測定を行っている。距離が近い対象物の場合、反射光が戻ってくるまでの時間が短いので、図7(a)のような発光と露光との位相差が比較的小さい条件で測定でき、距離が遠い対象物の場合、反射光が戻ってくるまでの時間が長いので、図7(b)のような発光と露光との位相差が比較的大きい条件で測定できる。この2つの条件の結果を合成することで、近距離から遠距離まで正確に距離の測定を行うことができる。また距離測定の分解能は受光信号量に依存するので、発光と露光との位相差が比較的大きい条件において、発光幅を大きくする、あるいは発光・露光回数を大きくすることによって、距離が遠い対象物からの反射光の強度が小さくなることによる受光量低下を防ぐことができる。これにより、近距離だけでなく遠距離でも分解能が高く精度が高い距離の測定を行うことができる。
 また図8に示すような、測定対象物の中に、近距離かつ高反射測定対象物と、遠距離かつ低反射測定対象物の両方が存在する場合、レンズ等の光学系において、強度の強い近距離かつ高反射測定対象物からの反射光が、強度の弱い遠距離かつ低反射測定対象物からの反射光に混入するため、同一の発光とその対となる露光タイミング位相で受光すると、遠距離かつ低反射測定対象物のS0露光及びS1露光の期待光成分(S0a,S1a)に、近距離かつ高反射測定対象物によるS0露光及びS1露光の妨害光成分(S0n,S1n)が加算され、実際よりも近い距離として誤差が大きく測定されてしまう。そこで、S0露光信号として、近距離かつ高反射測定対象物からの反射光を全て受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光を全て受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の2条件、S1露光信号として、近距離かつ高反射測定対象物からの反射光の一部を受光しかつ遠距離かつ低反射測定対象物からの反射光を受光しない位相と、遠距離かつ低反射測定対象物からの反射光の一部を受光しかつ近距離かつ高反射測定対象物からの反射光を受光しない位相の2条件、で受光を行う。これにより、遠距離かつ低反射測定対象物のS0露光及びS1露光の期待光成分(S0a,S1a)に、近距離かつ高反射測定対象物によるS0露光及びS1露光の妨害光成分(S0n,S1n)が加算されることはなく、誤差なく正確に距離の測定を行うことができる。
 なお、変更する測定条件の数は、2条件に限らず、3条件以上あってもよい。また、測定条件の変更に関しては、他にも例えば、発光するパルス光を変更する、複数の発光体がある場合、発光させる発光体を変更する、S0露光では反射光の前半を受光し、S1露光では反射光の後半を受光する、などであってもよい。
 また、固体撮像素子109において、画素群が、偶数ラインからなる第1領域と、奇数ラインからなる第2領域とに分割されており、偶数ラインと奇数ラインとで発光と露光の条件を変えて測定を行うようにしてもよい。この場合、1ラインごとに測定条件が異なるため、上下のラインより、垂直方向に容易に補間を行うことができる。
 図9は固体撮像素子109の画素配列および領域分割の他の例を示す図である。例えば、固体撮像素子109は、距離測定のための撮像を、偶数ラインと奇数ラインとで時分割で行う。駆動制御部103は、偶数ラインからなる第1領域に対して例えば図5(a)に示す第1条件に従って、発光タイミング信号SG1および露光タイミング信号SG2を生成し、奇数ラインからなる第2領域に対して例えば図5(b)に示す第2条件に従って、発光タイミング信号SG1および露光タイミング信号SG2を生成する。この結果、偶数ラインでは露光回数が多い第1条件で撮像され、奇数ラインでは露光回数が少ない第2条件で撮像される。固体撮像素子109は、2つの条件での撮像によって得られた画素ごとの電荷をフレーム単位で連続して転送する。
 そして、偶数ラインにおける測定値と奇数ラインにおける測定値とを互いに補間しあうことにより、全ての画素について、第1条件における信号(S0,S1,BG)と、第2条件における信号(S0,S1,BG)信号を得ることができる。
 図9に示す例では、第2条件での測定結果しか持たない奇数ラインの画素P1Xを、第1条件での測定結果を持つ周囲の6個の画素P1A,P1B,P1C,P1D,P1E,P1Fにより補間する。この演算処理を行うにあたり、ラインメモリ112,113,114が用いられる。データはライン順に流れるため、画素P1A,P1B,P1Cが存在する水平ラインが、ラインメモリ112,113を通ってラインメモリ114に格納される。このとき、画素P1Xが存在する水平ラインはラインメモリ112を通ってラインメモリ113に格納され、画素P1D,P1E,P1Fが存在する水平ラインはラインメモリ112に格納される。
 合成部115は、ラインメモリ112,113,114から読み出された画素データを用いて、補間演算を行う。例えば、
 P1X=(P1A+2×P1B+P1C+P1D+2×P1E+P1F)/8
とする。なお、上式の記号は当該画素のデータを意味している。
 このような計算により、全ての画素において、第1条件と第2条件との両方の結果を得ることができる。そこで例えば、露光回数が多い第1条件でS0信号が飽和している画素については、露光回数が少ない第2条件の結果を採用し、それ以外の画素については、第1条件の結果を採用する。これにより、全画素において最適な条件での結果を選択することができるため、精度を高めることができる。
 また、固体撮像素子109は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されていてもよい。この場合、被補間画素の右上、左上、右下、左下の4画素より、容易に補間を行うことができる。
 図10は固体撮像素子109の画素配列および領域分割の他の例を示図である。図10のような画素配列の場合、図9の画素配列と比較すると、平易な計算で全ての画素において第1条件と第2条件の両方の結果を得ることができ、さらに水平解像度も高めることができる。
 例えば、第2条件での測定結果しか持たない奇数ラインのP2Xを、第1条件での測定結果を持つ周囲の4個の画素P2A,P2B,P2C,P2Dにより補間する。補間演算は、例えば、
 P2X=(P2A+P2B+P2C+P2D)/4
とする。なお、上式の記号は当該画素のデータを意味している。
 このように、4個の画素データの平均をとるという平易な計算によって、全て画素について、第1条件と第2条件の両方の結果を得ることができる。
 また、上述の距離測定装置において、固体撮像素子109の同一領域に対して、複数の測定条件を適用する構成にしてもよい。この構成によれば、複数の測定条件による測定結果を比較することにより、測定結果の補正を行うことができる。
 図11は同一領域に複数の測定条件を適用する例を示す概念図である。ここでは、条件1と条件2の測定結果から、同じ測定点においてそれぞれ距離を算出し、その結果を比較することにより、補正を行う。複数の条件で測定を行った場合、同じ測定対象では、距離が同一になるはずである。このため、センサの飽和などにより正しく測定されていない場合を除いて、演算結果から計算される距離は同一にならなければいけない。そこで、距離の演算結果が同一になるように、パラメータを計算する。
 具体的には例えば、図11における測定点D01,D02において、条件1における演算値V11,V12と、条件2における演算値V21,V22とを得る。ここで、演算値V11で計算される距離と演算値V21で計算される距離とは同一にならなければならず、また、演算値V12で計算される距離と演算値V22で計算される距離とは同一にならなければならない。このため、これらの測定結果から、距離と演算値の関数を求めることができる。この関数の変数が上述のパラメータに相当する。これにより、リアルタイムにキャリブレーションを行いながら、距離の測定を行うことができる。
 また、上述の距離測定装置において、光源を発光させないで撮影する背景画像を複数の条件での演算に共通して用いる構成にしてもよい。この構成によれば、背景画像の撮影を条件ごとに行わなくてもよくなり、撮像時間を短くすることができる。
 図12は複数の測定条件において背景光の露光を共通化する例を示す概念図である。背景光の露光は、光源の発光を伴わないため、露光条件が変わっても一定の比率となる。このため、露光の比で計算することにより、1度にすべての画素を露光することにより背景光を測定することができる。そこで例えば、図12に示すように、第1条件での測定と第2条件での測定とにおいてBG露光を共有する。共有することにより、背景光の露光は1回で済む。これにより、背景光の露光時間を減らすことができ、フレームレートを上げることができる。
 (実施の形態2)
 距離測定装置において、固体撮像素子の出力値の演算結果により、露光や発光の条件を変更してもよい。この構成によれば、対象物や測定環境に最適な測定条件をリアルタイムに反映することができ、さらに精度のよい測定を行うことができる。実施の形態2では、距離測定装置は、測定した結果より測定条件を変更する。
 図13は実施の形態2に係る距離測定装置の構成の一部を示すブロック図である。なお、実施の形態1と実質的に同一の構成に対する重複説明を省略する場合がある。図13において、撮像信号処理部101Aでは、合成部115が、複数の条件による測定について演算を行い、その結果を基にして、制御信号SCによって、駆動制御部103に測定条件を調整するよう指示する。これにより、リアルタイムに測定条件を変更しながら距離の測定を行うことができ、対象物や測定環境に最適な測定条件をリアルタイムに反映することができる。したがって、さらに精度のよい測定を行うことができる。
 具体的には例えば、照射光の発光幅を調整したり、露光回数を調整したりする。例えば、合成部115で演算された距離が想定した距離より近い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号SCによって、駆動制御部103に照射光の発光幅を短くするよう指示する。一方、合成部115で演算された距離が想定した距離より遠い場合、測定対象との距離を正確に測るために最適な発光幅となるように、制御信号SCによって、駆動制御部103に照射光の発光幅を長くするよう指示する。
 あるいは、飽和の有無、または、飽和面積を監視し、この監視結果に基づいて、露光回数を調整する。例えば、露光回数が多い条件において、S0信号の最大値を監視し、飽和が起こらないように、合成部115は制御信号SCによって駆動制御部103に露光回数の調整を指示する。または、露光回数が少ない条件において、S0信号の飽和領域の面積を監視し、この面積が所定値を超えたとき、合成部115は制御信号SCによって駆動制御部103に露光回数を少なくするよう指示する。一方、逆に飽和領域の面積が他の所定値より小さいとき、合成部115は制御信号SCによって駆動制御部103に露光回数を多くするよう指示する。
 このような制御により、対象物や測定環境にあった測定条件、例えば発光幅や露光回数を設定することができるので、さらに精度のよい測定を行うことができる。
 (実施の形態3)
 距離測定装置の利用形態によっては、測定対象物の正面に光源および固体撮像素子を配置することが困難な場合がある。例えば、画面操作をジェスチャーで行う装置に利用する場合、操作者の正面にはモニタが配置されるため、画面を指す指の動きや手の形などを検出するための距離測定装置は、操作者の正面に置くことが困難である。
 実施の形態3では、距離測定装置において、光源と固体撮像素子とを離間して配置するものとする。そして、光源の照射方向を、距離測定装置の前方正面から固体撮像素子の側に斜めに傾けているものとする。すなわち、測定対象物の斜めから照射光が当たるように光源を配置し、その照射光が反射する方向に固定撮像素子を配置する。この構成により、光源から照射された光が測定対象物において反射して固体撮像素子に入るまでの時間が、測定対象物の全体に対してほぼ等しくなる。したがって、精度のよい距離の測定を行うことができる。
 図14は実施の形態3に係る距離測定装置の構成例を示すブロック図である。なお、実施の形態1と実質的に同一の構成に対する重複説明を省略する場合がある。図14の構成では、光源104と固体撮像素子109とが離間して配置されている。そして、光源104の照射光L1が対象物OBに斜めから当たるように、光源104の照射方向が、距離測定装置の前方正面から固体撮像素子109の方に傾けられている。そして、固体撮像素子109は、対象物OBで反射した反射光L2を受光する。この構成によって、照射光L1が光源104を出てから、対象物OBで反射し、反射光L2が固体撮像素子109に届くまでの時間が、対象物OBの全体においてほぼ等しくなる。 
 これについて、図15および図16を用いて説明する。図15は光源と固体撮像素子が離間せずほぼ同じ位置にある場合を示している。図15(a)に示すように、光源1に近い領域B1の場合は、照射光が被写体Aに当たるまでの距離と、その反射光が固体撮像素子2に戻るまでの距離とが両方とも短い。一方、図15(b)に示すように、光源1から遠い領域B2の場合は、照射光が被写体Aに当たるまでの距離と、その反射光が固体撮像素子2に戻るまでの距離とが両方とも長い。すなわち、被写体Aにおける領域の違いによって、測定範囲に大きな違いが生じる。
 図16は光源と固体撮像素子が離間して配置された場合を示している。図16(a)に示すように、光源1に近い領域B1の場合は、照射光が被写体Aに当たるまでの距離は短いが、その反射光が固体撮像素子2に戻るまでの距離は長い。一方、図16(b)に示すように、光源1から遠い領域B2の場合は、照射光が被写体Aに当たるまでの距離は長いが、その反射光が固体撮像素子2に戻るまでの距離は短くなる。すなわち、被写体Aにおける領域が異なっても測定範囲に大きな違いは生じない。したがって、測距範囲を絞ることができ、その測距範囲に特化した設定にすればよいので、精度のよい距離測定を行うことができる。
 なお、本実施形態は、実施形態1以外の距離測定装置にも適用することが可能である。
 本開示は、測定対象物との距離や形状の測定を行う距離測定装置の小型化やコストダウン等に有用であり、例えば、人の指を検知してジェスチャー入力を行う入力装置等に適用できる。
101 撮像信号処理部
103 駆動制御部
104 光源
109 固体撮像素子
SG1 発光タイミング信号
SG2 露光タイミング信号

Claims (10)

  1.  TOF(Time of Flight)方式を利用した距離測定装置であって、
     発光タイミング信号に従って光を照射する光源と、
     所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
     行列状に配置された画素群を有し、前記画素群はライン単位で複数の領域に分割されており、前記露光タイミング信号に従って前記領域毎に選択的に露光を行い、前記画素群に蓄積された電荷を信号として出力する固体撮像素子と、
     前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
     前記駆動制御部は、前記固体撮像素子における複数の領域に対して、それぞれ、互いに異なる測定条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
    ことを特徴とする距離測定装置。
  2.  請求項1記載の距離測定装置において、
     前記固体撮像素子は、前記画素群が、偶数ラインからなる第1領域と、奇数ラインからなる第2領域とに分割されており、
     前記駆動制御部は、前記第1領域に対して第1条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成し、前記第2領域に対して、前記第1条件とは異なる第2条件に従って、前記発光タイミング信号および前記露光タイミング信号を生成する
    ことを特徴とする距離測定装置。
  3.  請求項2記載の距離測定装置において、
     前記固体撮像素子は、偶数ラインと奇数ラインとにおいて、画素がライン方向に半画素ずらして配置されている
    ことを特徴とする距離測定装置。
  4.  請求項1記載の距離測定装置において、
     前記駆動制御部は、前記互いに異なる測定条件として、露光回数、照射光の発光幅、または、前記発光タイミング信号に対する前記露光タイミング信号の位相、のうち少なくとも1つが異なる条件を用いる
    ことを特徴とする距離測定装置。
  5.  請求項1記載の距離測定装置において、
     前記固体撮像素子の同一領域に対して、複数の測定条件に従って距離測定を行い、
     前記撮像信号処理部は、前記複数の条件における演算結果から、距離情報の補正を行う
    ことを特徴とする距離測定装置。
  6.  請求項1記載の距離測定装置において、
     複数の測定条件における距離測定において、前記光源を発光させないで撮影する背景光露光を、共通に行う
    ことを特徴とする距離測定装置。
  7.  請求項1記載の距離測定装置において、
     前記撮像信号処理部は、演算結果を基にして、前記駆動制御部に測定条件を調整するよう指示する
    ことを特徴とする距離測定装置。
  8.  請求項7記載の距離測定装置において、
     前記撮像信号処理部は、演算結果から得られた距離情報が第1の所定距離よりも近いとき、照射光の発光幅を短くなるように、または、演算結果から得られた距離情報が第2の所定距離よりも遠いとき、照射光の発光幅を長くするように、前記駆動制御部に指示する
    ことを特徴とする距離測定装置。
  9.  請求項7記載の距離測定装置において、
     前記撮像信号処理部は、前記固体撮像素子の出力から、飽和の有無、または、飽和領域の面積を監視し、この監視結果に基づいて、露光回数を調整するよう、前記駆動制御部に指示する
    ことを特徴とする距離測定装置。
  10.  TOF(Time of Flight)方式を利用した距離測定装置であって、
     発光タイミング信号に同期して光を照射する光源と、
     所定の測定条件に従って、前記発光タイミング信号とこれに対応する露光タイミング信号とを生成する駆動制御部と、
     行列状に配置された画素群を有し、前記露光タイミング信号に従って露光を行い、前記画素群に蓄積された電荷を出力する固体撮像素子と、
     前記固体撮像素子から出力された信号を演算し、距離情報を得る撮像信号処理部とを備え、
     前記光源と前記固体撮像素子とは離間して配置されており、かつ、前記光源の照射方向が、前記距離測定装置の前方正面から前記固体撮像素子の側に斜めに向いている
    ことを特徴とする距離測定装置。
PCT/JP2014/002514 2013-06-27 2014-05-13 距離測定装置 WO2014207983A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015523831A JP6296401B2 (ja) 2013-06-27 2014-05-13 距離測定装置および固体撮像素子
EP14817491.5A EP3015882B1 (en) 2013-06-27 2014-05-13 Distance measuring device
US14/977,579 US10422859B2 (en) 2013-06-27 2015-12-21 Distance measuring device and solid-state image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-135379 2013-06-27
JP2013135379 2013-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/977,579 Continuation US10422859B2 (en) 2013-06-27 2015-12-21 Distance measuring device and solid-state image sensor

Publications (1)

Publication Number Publication Date
WO2014207983A1 true WO2014207983A1 (ja) 2014-12-31

Family

ID=52141360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002514 WO2014207983A1 (ja) 2013-06-27 2014-05-13 距離測定装置

Country Status (4)

Country Link
US (1) US10422859B2 (ja)
EP (1) EP3015882B1 (ja)
JP (1) JP6296401B2 (ja)
WO (1) WO2014207983A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
WO2017013857A1 (ja) * 2015-07-22 2017-01-26 パナソニックIpマネジメント株式会社 測距装置
WO2017183114A1 (ja) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ 距離画像生成装置および距離画像生成方法
JP2017219447A (ja) * 2016-06-08 2017-12-14 アイシン精機株式会社 測距装置
CN108139482A (zh) * 2015-10-09 2018-06-08 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
CN108369275A (zh) * 2015-11-16 2018-08-03 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
CN108474843A (zh) * 2016-01-29 2018-08-31 松下知识产权经营株式会社 距离测量装置
WO2018159289A1 (ja) * 2017-02-28 2018-09-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および測距システム
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
WO2019026589A1 (ja) * 2017-07-31 2019-02-07 パナソニックIpマネジメント株式会社 測距制御装置および測距システム
WO2019181384A1 (en) 2018-03-20 2019-09-26 Sony Semiconductor Solutions Corporation Distance sensor and distance measurement device
CN110297254A (zh) * 2018-03-21 2019-10-01 三星电子株式会社 飞行时间传感器、使用其的三维成像设备及其驱动方法
WO2020008962A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
WO2020021914A1 (ja) * 2018-07-23 2020-01-30 パナソニックIpマネジメント株式会社 距離測定装置および信頼性判定方法
JP2021507262A (ja) * 2017-12-15 2021-02-22 イベオ オートモーティヴ システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツングIbeo Automotive Systems GmbH Lidar測定システム
US11388372B2 (en) 2018-07-23 2022-07-12 Nuvoton Technology Corporation Japan Biological state detecting apparatus and biological state detection method
WO2022149466A1 (ja) * 2021-01-05 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023149335A1 (ja) * 2022-02-07 2023-08-10 ソニーグループ株式会社 測距装置及び測距方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法
JP6246911B2 (ja) 2014-05-02 2017-12-20 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
SG11201913642VA (en) * 2017-07-05 2020-01-30 Ouster Inc Light ranging device with electronically scanned emitter array and synchronized sensor array
CN109398731B (zh) 2017-08-18 2020-09-08 深圳市道通智能航空技术有限公司 一种提升3d图像深度信息的方法、装置及无人机
CN107608360A (zh) * 2017-10-26 2018-01-19 深圳市银星智能科技股份有限公司 移动机器人
JP7042453B2 (ja) * 2018-03-20 2022-03-28 パナソニックIpマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
US11092678B2 (en) 2018-06-21 2021-08-17 Analog Devices, Inc. Measuring and removing the corruption of time-of-flight depth images due to internal scattering
WO2020137908A1 (ja) * 2018-12-27 2020-07-02 株式会社小糸製作所 車両用灯具および車両
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
EP3945342A1 (en) * 2020-07-29 2022-02-02 Infineon Technologies AG Method and apparatus for time-of-flight sensing
CN113296114B (zh) * 2021-05-21 2024-05-14 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质
CN114895280A (zh) * 2022-04-27 2022-08-12 深圳玩智商科技有限公司 图像传感器、光学测距方法及装置
WO2024039160A1 (ko) * 2022-08-18 2024-02-22 삼성전자주식회사 Itof 센서에 기반한 라이다 센서 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2012168049A (ja) * 2011-02-15 2012-09-06 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2012195734A (ja) 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5110203A (en) * 1991-08-28 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Three dimensional range imaging system
EP1040366B1 (de) 1997-12-23 2003-10-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
US6717190B2 (en) * 2002-02-14 2004-04-06 Fuji Photo Film Co., Ltd. Solid-state image pick-up device
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法,プログラム
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> 3次元情報検出装置
US9516248B2 (en) * 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2012168049A (ja) * 2011-02-15 2012-09-06 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2012195734A (ja) 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3015882A4

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163043B2 (en) 2015-07-03 2021-11-02 Nuvoton Technology Corporation Japan Distance measuring device and distance image synthesizing method
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
CN107710015A (zh) * 2015-07-03 2018-02-16 松下知识产权经营株式会社 距离测量装置以及距离图像合成方法
JPWO2017006546A1 (ja) * 2015-07-03 2018-04-26 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
WO2017013857A1 (ja) * 2015-07-22 2017-01-26 パナソニックIpマネジメント株式会社 測距装置
JPWO2017013857A1 (ja) * 2015-07-22 2018-05-10 パナソニックIpマネジメント株式会社 測距装置
CN108139482B (zh) * 2015-10-09 2023-01-06 新唐科技日本株式会社 摄像装置、以及在其中使用的固体摄像元件
CN108139482A (zh) * 2015-10-09 2018-06-08 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
EP3361283A4 (en) * 2015-10-09 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and solid-state image element used for same
EP3379291A4 (en) * 2015-11-16 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same
CN108369275A (zh) * 2015-11-16 2018-08-03 松下知识产权经营株式会社 摄像装置、以及在其中使用的固体摄像元件
US20180259647A1 (en) * 2015-11-16 2018-09-13 Panasonic Intellectual Property Management Co., Ltd. Imaging device and solid-state imaging element used in same
CN108474843A (zh) * 2016-01-29 2018-08-31 松下知识产权经营株式会社 距离测量装置
CN108474843B (zh) * 2016-01-29 2022-06-28 松下知识产权经营株式会社 距离测量装置
US10928518B2 (en) 2016-04-19 2021-02-23 Hitachi-Lg Data Storage, Inc. Range image generation apparatus and range image generation method
CN109073754A (zh) * 2016-04-19 2018-12-21 日立乐金光科技株式会社 距离图像生成装置和距离图像生成方法
JPWO2017183114A1 (ja) * 2016-04-19 2019-02-28 株式会社日立エルジーデータストレージ 距離画像生成装置および距離画像生成方法
WO2017183114A1 (ja) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ 距離画像生成装置および距離画像生成方法
JP2017219447A (ja) * 2016-06-08 2017-12-14 アイシン精機株式会社 測距装置
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックIpマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
JP7027403B2 (ja) 2017-02-28 2022-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法
JPWO2018159289A1 (ja) * 2017-02-28 2019-12-19 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および測距システム
WO2018159289A1 (ja) * 2017-02-28 2018-09-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および測距システム
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
WO2019026589A1 (ja) * 2017-07-31 2019-02-07 パナソニックIpマネジメント株式会社 測距制御装置および測距システム
US11686822B2 (en) 2017-12-15 2023-06-27 Microvision, Inc. LIDAR measurement system
JP2021507262A (ja) * 2017-12-15 2021-02-22 イベオ オートモーティヴ システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツングIbeo Automotive Systems GmbH Lidar測定システム
JP7074875B2 (ja) 2017-12-15 2022-05-24 イベオ オートモーティヴ システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツング Lidar測定システム
WO2019181384A1 (en) 2018-03-20 2019-09-26 Sony Semiconductor Solutions Corporation Distance sensor and distance measurement device
CN110297254A (zh) * 2018-03-21 2019-10-01 三星电子株式会社 飞行时间传感器、使用其的三维成像设备及其驱动方法
JP7347942B2 (ja) 2018-03-21 2023-09-20 三星電子株式会社 3次元映像装置
JP2019168448A (ja) * 2018-03-21 2019-10-03 三星電子株式会社Samsung Electronics Co.,Ltd. ToFセンサー
WO2020008962A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
JPWO2020008962A1 (ja) * 2018-07-02 2021-08-02 株式会社ブルックマンテクノロジ 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
JP7363782B2 (ja) 2018-07-02 2023-10-18 Toppanホールディングス株式会社 測距装置、カメラ、検査調整装置、測距装置の駆動調整方法及び検査調整方法
US11388372B2 (en) 2018-07-23 2022-07-12 Nuvoton Technology Corporation Japan Biological state detecting apparatus and biological state detection method
WO2020021914A1 (ja) * 2018-07-23 2020-01-30 パナソニックIpマネジメント株式会社 距離測定装置および信頼性判定方法
JPWO2020021914A1 (ja) * 2018-07-23 2021-09-24 ヌヴォトンテクノロジージャパン株式会社 距離測定装置および信頼性判定方法
JP7402160B2 (ja) 2018-07-23 2023-12-20 ヌヴォトンテクノロジージャパン株式会社 距離測定装置および信頼性判定方法
WO2022149466A1 (ja) * 2021-01-05 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023149335A1 (ja) * 2022-02-07 2023-08-10 ソニーグループ株式会社 測距装置及び測距方法

Also Published As

Publication number Publication date
US10422859B2 (en) 2019-09-24
EP3015882B1 (en) 2020-12-09
EP3015882A4 (en) 2016-06-29
JP6296401B2 (ja) 2018-03-20
EP3015882A1 (en) 2016-05-04
JPWO2014207983A1 (ja) 2017-02-23
US20160178734A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
JP6296401B2 (ja) 距離測定装置および固体撮像素子
JP6764863B2 (ja) 距離測定装置
JP6626132B2 (ja) 距離画像取得装置及びその応用
US7812969B2 (en) Three-dimensional shape measuring apparatus
WO2017213052A1 (ja) 測距システム及び測距方法
WO2015190015A1 (ja) 測距装置
JP2011257402A (ja) 飛行時間撮像装置
TWI582397B (zh) 配光特性測量裝置以及配光特性測量方法
KR20130032368A (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
JP2016008875A (ja) 距離測定装置
JP2014081462A (ja) 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP5587756B2 (ja) 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム
JP5482032B2 (ja) 距離計測装置および距離計測方法
KR102122275B1 (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
CN112241012A (zh) 测距传感器
US11468586B2 (en) Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP7275941B2 (ja) 3次元情報取得装置及び3次元情報取得方法
JPWO2018079030A1 (ja) 距離計測装置、距離計測方法、及び距離計測プログラム
US20210003705A1 (en) Three-dimensional distance measurement device
JP2021124429A (ja) 走査測定方法及び走査測定装置
JP4317300B2 (ja) レンジファインダ装置
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP2013174446A (ja) 3次元情報検出装置および3次元情報検出方法
JP6439412B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817491

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015523831

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014817491

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE