WO2014097539A1 - 3次元測定装置および3次元測定方法 - Google Patents

3次元測定装置および3次元測定方法 Download PDF

Info

Publication number
WO2014097539A1
WO2014097539A1 PCT/JP2013/006819 JP2013006819W WO2014097539A1 WO 2014097539 A1 WO2014097539 A1 WO 2014097539A1 JP 2013006819 W JP2013006819 W JP 2013006819W WO 2014097539 A1 WO2014097539 A1 WO 2014097539A1
Authority
WO
WIPO (PCT)
Prior art keywords
irradiation
light
region
dimensional
signal
Prior art date
Application number
PCT/JP2013/006819
Other languages
English (en)
French (fr)
Inventor
遥 高野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014552897A priority Critical patent/JP6241793B2/ja
Publication of WO2014097539A1 publication Critical patent/WO2014097539A1/ja
Priority to US14/708,577 priority patent/US9921312B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Definitions

  • the present disclosure relates to a three-dimensional measurement technique for obtaining position information of an object by irradiating light and receiving reflected light.
  • TOF three-dimensional measurement
  • TOF Time Of Flight
  • Patent Document 1 As a method for suppressing the decrease in distance measurement accuracy, in Patent Document 1, pulsed light irradiation is repeated at a constant cycle, and the amount of reflected pulsed light that has returned is made constant and incident on the imaging area sensor.
  • the exposure amount in a predetermined period is proportional to the number of reflected pulsed light (number of pulses), and decreases as the distance of flight increases. In this way, by making the amount of the reflected pulse light constant, three-dimensional measurement independent of the reflectance of the target object becomes possible.
  • Patent Document 2 distance measurement using the TOF method with a uniform light distribution is performed in the long-distance mode, and two types of light distributions are alternately changed in the short-distance mode, and the intensity of the two incident lights is changed. Ranging using the triangulation method is performed according to the ratio. As a result, highly accurate three-dimensional measurement can be performed over a wider distance range.
  • the light receiving unit When measuring the object to be measured using the TOF method, in addition to the direct light from the light source unit, another direct light is scattered by the surrounding environment such as a wall (hereinafter referred to as scattered light), The object to be measured is irradiated.
  • the light receiving unit In addition to direct light reflection (hereinafter referred to as direct reflected light), the light receiving unit also receives reflection due to scattered light (hereinafter referred to as unnecessary reflected light). At this time, the amount of electric charge obtained by the light receiving unit adds an unnecessary reflected light component to a directly reflected light component, so that the ranging accuracy of the three-dimensional measurement of the distance measuring object is greatly deteriorated depending on the surrounding environment. there is a possibility.
  • Patent Documents 1 and 2 no measures are taken for the measurement error due to the influence of unnecessary reflected light, and the influence of unnecessary reflected light cannot be removed.
  • the present disclosure in the three-dimensional measurement using the TOF method, it is possible to remove / suppress the component of unnecessary reflected light generated by the surrounding environment to be measured, and realize high-precision three-dimensional measurement. With the goal.
  • the three-dimensional measurement apparatus using the TOF (Time-of-Flight) method irradiates light according to the timing indicated by the light emission control signal, and irradiates the amount of light for each of at least two irradiation regions.
  • TOF Time-of-Flight
  • a light source configured to be adjustable, a region including the target object, exposure according to the timing indicated by the exposure control signal, and a light receiving unit that obtains three-dimensional information from the sum of exposure amounts, and a light receiving unit
  • An image processing unit that generates a distance image based on the three-dimensional information, and outputs the light emission control signal, the exposure control signal, and an area light quantity signal indicating an irradiation pattern that is a setting of an irradiation light quantity in each irradiation area.
  • a light source unit that irradiates light according to an irradiation pattern indicated by the area light amount signal.
  • the light source unit is configured to be able to adjust the irradiation light amount for each of at least two irradiation regions, and performs light irradiation according to the irradiation pattern indicated by the region light amount signal.
  • the image processing unit reflects reflected light of irradiation light in a certain irradiation region based on the relationship between the irradiation pattern indicated by the region light amount signal and the three-dimensional information obtained by the light receiving unit during irradiation according to the irradiation pattern. It becomes possible to remove the influence of components.
  • control unit can reduce the light amount of the irradiation region that does not include the region where the target object exists, by the region light amount signal. Therefore, even when unnecessary reflected light generated by the surrounding environment to be measured is directly mixed in the reflected light, it is possible to remove the component of the unnecessary reflected light.
  • the unnecessary reflected light component can be removed, and the distance measurement calculation can be performed using only the direct reflected light component of the measurement target. Can be done. As a result, highly accurate three-dimensional measurement of the measurement object can be realized without depending on the surrounding environment.
  • FIG. 1 is a diagram illustrating the configuration of the three-dimensional measurement apparatus according to the first embodiment.
  • the three-dimensional measuring apparatus 10 in FIG. 1 uses a TOF (Time of Flight) method, and includes a light source unit 1, a light receiving unit 2, an image processing unit 3, and a control unit 4.
  • TOF Time of Flight
  • the light source unit 1 irradiates light toward the target object OB according to the timing indicated by the light emission control signal.
  • the light receiving unit 2 performs exposure on the region including the target object OB according to the timing indicated by the exposure control signal, photoelectrically converts the total exposure amount during the exposure period by the imaging area sensor, and outputs the result as three-dimensional information.
  • the imaging area sensor of the light receiving unit 2 may be a CCD sensor or a CMOS sensor.
  • the image processing unit 3 generates and outputs a distance image based on the three-dimensional information output from the light receiving unit 2.
  • the control unit 4 outputs a light emission control signal and an exposure control signal.
  • the light emission control signal and the exposure control signal are assumed to be binary digital signals of “H” and “L”, and the light source unit 1 emits light and receives light when the light emission control signal is “H”. It is assumed that the unit 2 performs exposure while the exposure control signal is “H”. When the light emission control signal is “L”, the light source unit 1 does not emit light, and when the exposure control signal is “L”, the light receiving unit 2 does not perform exposure.
  • the light source unit 1 is configured to be able to adjust the irradiation light amount for each of at least two irradiation regions.
  • the control part 4 outputs the area
  • the light source unit 1 receives the area light amount signal and performs light irradiation according to the irradiation pattern indicated by the area light amount signal.
  • the region light quantity signal is also given to the image processing unit 3.
  • the change of the light amount for each irradiation region in the light source unit 1 may be realized by, for example, switching a plurality of light sources in which the irradiation region is determined. Alternatively, it may be controlled by liquid crystal like a projector, or the irradiation range may be made variable by changing the lens position in front of the light source. Or you may attach the filter corresponding to an irradiation pattern to several light sources, and may switch the light source to light-emit.
  • FIG. 2A is an example of a light emission control signal and an exposure control signal output from the control unit 4
  • FIG. 2B is an enlarged view showing an exposure amount in the UG period
  • FIG. 2C is an exposure amount in the G period. It is an enlarged view.
  • the light receiving unit 2 receives only the direct reflected light.
  • the UG period exposure is performed at a timing that includes all of the directly reflected light that is the reflected light of the light emitted from the light source unit 1.
  • the G period exposure is performed such that the exposure amount decreases as the directly reflected light is delayed with respect to the light emission timing.
  • the BG period light emission is not performed, exposure control is performed under the same conditions as in the UG period and the G period, and background light other than the direct reflected light is exposed.
  • the exposure amount of the direct reflection light in the UG period is UG
  • the exposure amount of the direct reflection light in the G period is G
  • the exposure amount of the background light in the BG period is BG
  • the pulse width of the direct light to be irradiated is T 0
  • the speed of light is c
  • the distance L can be calculated by the following equation (1).
  • unnecessary reflected light other than directly reflected light may enter the light receiving unit 2.
  • the unnecessary reflected light is light that is reflected by the target object OB and is scattered by the surrounding environment such as the wall WA.
  • FIG. 3 shows a case where there is unnecessary reflected light.
  • FIG. 3A shows an example of a light emission control signal and an exposure control signal output from the control unit 4 (same as FIG. 2A), and
  • FIG. 3B shows a UG period.
  • (C) is an enlarged view showing the exposure amount in the G period. As shown in FIGS. 3B and 3C, the exposure amount is increased by unnecessary reflected light.
  • an area light amount signal indicating an irradiation pattern that is a setting of the irradiation light intensity in each irradiation area is used.
  • the light source unit 1 sets the irradiation light amount in each irradiation region according to the irradiation pattern indicated by the region light amount signal output from the control unit 4, and performs light irradiation.
  • the image processing unit 3 removes the influence of the unnecessary reflected light component from the relationship between the irradiation pattern indicated by the area light amount signal and the three-dimensional information obtained during the light irradiation according to the irradiation pattern.
  • FIG. 4 is a diagram showing an example of an irradiation pattern, in which (a) is an example of a light emission control signal, an exposure control signal, and an area light quantity signal, (b) is an example of an irradiation pattern A, and (c) is an irradiation. It is an example of pattern B.
  • the light source unit 1 is configured to be able to adjust the irradiation light amount for each of the three irradiation regions a, b, and c, and the region light amount signal indicates the irradiation patterns A and B in time series.
  • the light amount 100 is set as the predetermined basic light amount in the irradiation regions a, b, and c, whereas in the irradiation pattern B, the light amount 100 is set in the irradiation regions a and c. However, the light quantity 50 is set in the irradiation area b.
  • FIG. 5 is a diagram illustrating an operation when the irradiation pattern A is irradiated.
  • the light source unit 1 irradiates the irradiation areas a, b, and c with 100 light amounts.
  • the exposure amount of the light receiving unit 2 is as shown in FIGS.
  • the total exposure during the UG period is (UG + ur)
  • the total amount of exposure in the G period is (G + gr) It becomes.
  • FIG. 6 is a diagram illustrating an operation when the irradiation pattern B is irradiated.
  • the light source unit 1 irradiates the irradiation areas a and c with 100 light amounts and the irradiation area b with 50 light amounts.
  • the exposure amount of the light receiving unit 2 is as shown in FIGS. 7A and 7B, and the exposure amount of unnecessary reflected light is half that of the irradiation pattern A.
  • the total exposure during the UG period is (UG + ur / 2)
  • the total exposure during the G period is (G + gr / 2) It becomes.
  • the ur obtained above is subtracted from the total exposure amount (UG + ur) in the UG period, and the gr obtained above is obtained from the total exposure amount (G + gr) in the G period.
  • the distance L without measurement error due to unnecessary reflected light can be calculated using the equation (2).
  • ur / 2 obtained above is subtracted from the total exposure amount in the UG period (UG + ur / 2), and the total exposure amount in the G period (G + gr / 2).
  • gr / 2 obtained above is obtained.
  • the light source unit 1 performs control to change the light amount for each irradiation region, and the image processing unit 3 calculates the light amount from the irradiation pattern information and the three-dimensional information related to the irradiation pattern.
  • the exposure amount of unnecessary reflected light from the irradiation area where the angle is changed is calculated. Thereby, unnecessary reflected light can be removed in the G period and the UG period, and highly accurate three-dimensional measurement can be performed regardless of the surrounding environment.
  • the image processing unit 3 may instruct the control unit 4 to reduce the light amount of the irradiation area b in the irradiation patterns A and B when the calculated reflected light components gr and ur are larger than predetermined values. . Thereby, the suppression effect of the light shot noise resulting from unnecessary reflected light and the suppression effect of dynamic range reduction are acquired.
  • the type of the irradiation pattern is not limited to this.
  • an irradiation pattern C in which the light amount in the irradiation region c is reduced and an irradiation pattern D in which the light amount in the irradiation region a is reduced are prepared.
  • the irradiation patterns A, B, C, and D may be used in time series.
  • irradiation pattern A may be continuously irradiated, irradiation pattern B may be irradiated thereafter, and irradiation pattern A may be continuously irradiated again.
  • the exposure amount of the unnecessary reflected light calculated using the irradiation pattern B is held, and while the irradiation pattern A continues, the three-dimensional information is corrected using the held exposure amount of the unnecessary reflection light. You may make it perform.
  • the light amount of the irradiation area is switched between “100” and “50”.
  • the present invention is not limited to this. For example, switching between “80” and “20” or “100” is possible. “0” may be switched.
  • the irradiation range is divided into three irradiation areas a, b, and c in one direction, but the number of irradiation areas and the division form are not limited to this.
  • a plurality of irradiation regions may be set in a lattice shape as shown in FIG. 9A, or a plurality of irradiation regions may be set in a concentric shape as shown in FIG. 9B. .
  • the irradiation range is divided into fine staggered regions a and b, and the irradiation pattern A in which the light amount in the region a is 100 and the light amount in the region b is 0, and the light amount in the region a is set.
  • FIG. In this case, for example, the component of unnecessary reflected light included in the three-dimensional information corresponding to the irradiation region a1 with the light amount 100 is changed to the three-dimensional information corresponding to the peripheral regions b1, b2, b3, and b4 with the light amount 0 (the region with the light amount 0). Therefore, the sum of the exposure amounts may be corrected from only the unnecessary reflected light component).
  • FIG. 11 is a diagram illustrating a configuration of the three-dimensional measurement apparatus according to the second embodiment.
  • the three-dimensional measuring apparatus 10B of FIG. 11 has a configuration substantially similar to that of the three-dimensional measuring apparatus 10 of the first embodiment, but differs in the following points. That is, the predetermined color arrangement pattern 5 is provided on the surface on the light irradiation side from the light source unit 1. This color arrangement pattern 5 is used to recognize the presence of a mirror.
  • the light receiving unit 2B is configured to be able to obtain two-dimensional RGB information in addition to the three-dimensional information.
  • the three-dimensional information and RGB information are sent to the image processing unit 3B.
  • the image processing unit 3B generates and outputs a two-dimensional color image in addition to the distance image based on the three-dimensional information and RGB information received from the light receiving unit 2B.
  • the image processing unit 3B further has a function of generating a detection area signal indicating an area where the target object OB exists and a mirror area signal indicating an area where the mirror MR exists. The detection area signal and the mirror area signal are sent to the control unit 4B.
  • the light source unit 1 performs the same operation as in the first embodiment.
  • the light receiving unit 2B exposes the direct reflected light reflected by the reference object OB only during the period when the exposure control signal is “H”, and outputs the signal photoelectrically converted by the imaging area sensor as three-dimensional information. Further, the color information is exposed at the same time as or near the same time as the exposure of the reflected light, and a signal photoelectrically converted by the imaging area sensor is output as RGB information.
  • the image processing unit 3B performs pattern recognition on the target of the target object OB (for example, a hand or a face) for RGB information that is two-dimensional color information as shown in FIG.
  • An area is detected from a pixel position recognized as a target, and a detection area signal indicating the detected area is output.
  • the control unit 4B receives the detection area signal, and sets the area light quantity signal so as to reduce the light quantity of the irradiation area that does not include the detected area of the target object OB, as shown in FIG.
  • FIG. 12C is an example of the irradiation pattern at this time, and the light amounts of the irradiation regions b and c other than the irradiation region a in which the target object OB is detected are reduced.
  • the image processing unit 3B performs pattern recognition of the color arrangement pattern 5 on the RGB information. If they match, the image processing unit 3B recognizes that there is a mirror and is recognized as a mirror. The mirror region is detected from the selected pixel position, and a mirror region signal indicating the detected region is output. The control unit 4B receives the mirror region signal, and reduces the amount of light in the irradiation region including the region where the mirror exists, as shown in FIG. FIG. 13C is an example of the irradiation pattern at this time, and the amount of light in the irradiation region b where the mirror MR is detected is greatly reduced.
  • the image processing unit 3B may calculate the distance to the mirror MR from the size occupied by the mirror area in the plane represented by the RGB information. That is, in the present embodiment, it is possible to measure the distance to the mirror MR in a system using the TOF method.
  • the influence of unnecessary reflected light on the target object is suppressed by recognizing the irradiation area where the object to be measured exists and reducing the amount of light in the other irradiation area.
  • highly accurate distance measurement is possible.
  • the distance L is calculated based on the ratio of G and UG, an irradiation area with a small amount of light can be measured with a small degree of accuracy.
  • the area light quantity signal may be output.
  • the color arrangement pattern 5 is not limited to the color arrangement, and may be a unique pattern with different reflectance such as near infrared light, a unique color arrangement pattern capable of self-light emission, or a unique light emission pattern. .
  • the shape of the color arrangement pattern 5 does not have to be rectangular, and may be, for example, a circle or a sphere.
  • a function capable of moving to the three-dimensional measuring apparatus 10B or the color arrangement pattern 5 may be added for recognizing the entire mirror area.
  • the mirror tilt is calculated from the aspect ratio of the color array pattern, and the mirror area signal is not output when the reflected light from the mirror does not affect the measurement target or when the distance to the mirror is long. May be.
  • the image processing unit 3B may output a sensing signal to the control unit 4B when there is a region whose distance is a predetermined value or less in the distance image. Then, when receiving the sensing signal, the control unit 4B sets the predetermined basic light amount in each irradiation region, and when not receiving the sensing signal, the control unit 4B reduces the predetermined basic light amount in at least one irradiation region.
  • the area light quantity signal may be set. At this time, the light quantity of at least one irradiation area may be set to zero.
  • the image processing unit 3B detects a target object at a distance closer than a predetermined threshold in the distance image corresponding to the region G, the image processing unit 3B outputs a sensing signal.
  • the control unit 4B may enter an active mode and output a region light amount signal so as to increase the light amount of all the regions A to I.
  • high-accuracy three-dimensional measurement of an object to be measured can be realized without depending on the surrounding environment, which is effective in improving the accuracy of three-dimensional measurement of, for example, a person or a building.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

 TOF方式を用いた測距システムにおいて、反射光の中に含まれる不要反射光の成分の抑制/除去を行う。光源部(1)は、発光制御信号が示すタイミングに従って光の照射を行い、少なくとも2つの照射領域毎に照射光量を調節可能に構成されている。受光部(2)は、対象物体(OB)を含む領域に対して露光を行い、露光量の総和から3次元情報を得る。画像処理部(3)は、受光部(2)から受けた3次元情報に基づいて、距離画像を生成する。光源部(1)は、領域光量信号が示す、各照射領域における照射光量の設定である照射パターンに従って、光の照射を行う。

Description

3次元測定装置および3次元測定方法
 本開示は、光を照射して反射光を受光することによって物体の位置情報を得る3次元測定技術に関する。
 光のパルスを送信し、物体で反射して戻ってきたパルスの受信までの飛行時間(TOF:Time Of Flight)が距離に依存することを利用して、3次元測定を行う方式(以下、TOF方式という)がある。TOF方式を用いて距離測定(以下、測距という)を行う場合、対象物体の反射率や周辺環境によって測距精度が低下するという問題がある。
 この測距精度の低下を抑制する方法として、特許文献1では、一定周期でパルス光の照射を繰り返し、戻った反射パルス光の光量を一定化して撮像エリアセンサに入射させる。所定期間における露光量は反射パルス光の個数(パルス数)に比例し、飛行時間が長い遠距離ほど少なくなる。このように反射パルス光の光量を一定化することにより、対象物体の反射率に依存しない3次元測定が可能となる。
 また、特許文献2では、遠距離モードでは均一な配光分布によるTOF方式を用いた測距を行い、近距離モードでは、2種類の配光分布を交互に変えて、2つの入射光の強度比により三角測距法を用いた測距を行う。これによって、より広い距離範囲にわたって高精度の3次元測定を行うことが可能となる。
特開平10-332827号公報 特開2001-337166号公報
 TOF方式を用いて測定対象物の測距を行う場合、光源部からの直接光以外に、別の直接光が壁等の周辺環境によって散乱された光マルチパス(以下、散乱光という)が、測距対象物に照射される。受光部は、直接光の反射(以下、直接反射光という)に加えて、散乱光による反射(以下、不要反射光という)も受光する。このとき受光部で得られる電荷量は、直接反射光の成分に不要反射光の成分が上乗せされてしまうため、周辺環境によっては、測距対象物の3次元測定の測距精度が大きく劣化する可能性がある。
 また、照射領域内に鏡がある場合、大きな光量の不要反射光が発生し、これが原因となって、測定対象の距離画像に大きな測定誤差が発生する。
 これに対して、特許文献1,2では、不要反射光の影響による測定誤差については何ら対策が講じられておらず、不要反射光の影響を除去することができない。
 前記の問題に鑑み、本開示では、TOF方式を用いた3次元測定において、測定する周辺環境によって発生する不要反射光の成分の除去/抑制を可能にし、高精度な3次元測定を実現することを目的とする。
 本開示の一態様では、TOF(Time of Flight)方式を用いた3次元測定装置は、発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に照射光量を調節可能に構成された光源部と、対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、前記受光部から受けた3次元情報に基づいて距離画像を生成する画像処理部と、前記発光制御信号、前記露光制御信号、および、前記各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する制御部とを備え、前記光源部は、前記領域光量信号が示す照射パターンに従って、光の照射を行う。
 この態様によると、光源部は、少なくとも2つの照射領域毎に照射光量を調節可能に構成されており、領域光量信号が示す照射パターンに従って、光の照射を行う。このため、例えば、画像処理部は、領域光量信号が示す照射パターンと、当該照射パターンに従った照射時に受光部によって得られた3次元情報との関係から、ある照射領域における照射光の反射光成分の影響を除去することが可能となる。あるいは、制御部は、領域光量信号によって、対象物体が存在する領域を含まない照射領域の光量を小さくすることが可能となる。したがって、測定する周辺環境によって発生する不要反射光が直接反射光に混入する場合でも、不要反射光の成分除去が可能になる。
 本開示によると、測定する周辺環境によって発生する不要反射光が直接反射光に混入する場合でも、不要反射光の成分除去が可能となり、測定対象物の直接反射光の成分のみで測距演算を行うことが可能となる。これによって、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できる。
実施形態1に係る3次元測定装置の構成を示す図 (a)発光制御信号と露光制御信号のタイミングチャート、(b)UG期間の露光量を示す拡大図、(c)G期間の露光量を示す拡大図 (a)発光制御信号と露光制御信号のタイミングチャート、(b)不要反射光があるときのUG期間の露光量を示す拡大図、(c)不要反射光があるときのG期間の露光量を示す拡大図 (a)発光制御信号、露光制御信号および領域光量信号のタイミングチャート、(b)照射パターンAの例、(c)照射パターンBの例 照射パターンAのときの動作を示す図 照射パターンBのときの動作を示す図 (a)照射パターンBのときのUG期間の露光量を示す拡大図、(b)照射パターンBのときのG期間の露光量を示す拡大図 (a)照射パターンCの例、(b)照射パターンDの例、(c)領域光量信号の例 (a),(b)照射パターンの他の例 照射パターンの他の例 実施形態2に係る3次元測定装置の構成を示す図 (a)~(c)検出領域信号による照射光量の制御の例 (a)~(c)鏡領域信号による照射光量の制御の例
 (実施形態1)
 図1は実施形態1に係る3次元測定装置の構成を示す図である。図1の3次元測定装置10は、TOF(Time of Flight)方式を用いたものであり、光源部1と、受光部2と、画像処理部3と、制御部4とを備えている。
 光源部1は、発光制御信号が示すタイミングに従って、対象物体OBに向けて光を照射する。受光部2は、対象物体OBを含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光期間における露光量の総和を撮像エリアセンサによって光電変換し、3次元情報として出力する。受光部2の撮像エリアセンサは、CCDセンサでもよいし、CMOSセンサでもよい。画像処理部3は、受光部2から出力された3次元情報に基づいて距離画像を生成し出力する。制御部4は、発光制御信号および露光制御信号を出力する。
 なお、ここでは、発光制御信号および露光制御信号は“H”“L”の2値のデジタル信号であるものとし、光源部1は発光制御信号が“H”のときに光を照射し、受光部2は露光制御信号が“H”の期間に露光を行うものとする。発光制御信号が“L”のときは光源部1は光を照射せず、露光制御信号が“L”のときは受光部2は露光を行わない。
 また、光源部1は、少なくとも2つの照射領域毎に、照射光量を調整可能に構成されている。そして制御部4は、各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する。光源部1は領域光量信号を受け、この領域光量信号が示す照射パターンに従って、光の照射を行う。また、この領域光量信号は画像処理部3にも与えられる。
 光源部1における照射領域毎の光量の変更は、具体的には例えば、照射領域が定まった複数の光源を切り替えることで実現すればよい。あるいは、プロジェクターのように液晶によって制御してもよいし、光源の前のレンズ位置の変更によって照射範囲を可変にしてもよい。あるいは、複数の光源に照射パターンに対応したフィルタをつけて、発光させる光源を切り替えてもよい。
 まず、本実施形態に係る3次元測定装置の基本動作、すなわち対象物体OBまでの距離Lの算出方法について、図2のタイミングチャートを用いて説明する。図2において、(a)は制御部4から出力される発光制御信号および露光制御信号の例、(b)はUG期間における露光量を示す拡大図、(c)はG期間における露光量を示す拡大図である。図2では受光部2が直接反射光のみを受光しているものとしている。
 UG期間では、光源部1から照射された光の反射光である直接反射光の全てを含むようなタイミングで、露光が行われる。G期間では、直接反射光が発光タイミングに対して遅延するほど、露光量が減少するような露光が行われる。BG期間では、発光を行わずに、UG期間およびG期間と同条件で露光制御を行い、直接反射光以外の背景光の露光を行っている。
 ここで、UG期間の直接反射光の露光量をUG、G期間の直接反射光の露光量をG、BG期間の背景光の露光量をBG、照射する直接光のパルス幅をT、光速(299,792,458m/s)をcとすると、距離Lは次の(1)式によって算出できる。
Figure JPOXMLDOC01-appb-M000001
また、単純化のために背景光がない場合を考え、BG=0とすると、距離Lは次の(2)式によって表すことができる。
Figure JPOXMLDOC01-appb-M000002
 ところが実際には、直接反射光以外の不要反射光が受光部2に入る場合がある。不要反射光とは、例えば図1に示すように、壁WA等の周辺環境によって散乱した光が対象物体OBで反射した光である。図3は不要反射光が有る場合を示しており、(a)は制御部4から出力される発光制御信号および露光制御信号の例(図2(a)と同じ)、(b)はUG期間における露光量を示す拡大図、(c)はG期間における露光量を示す拡大図である。図3(b),(c)に示すように、不要反射光によって露光量が増えている。
 ここで、UG期間の不要反射光の露光量をur、G期間の不要反射光の露光量をgrとすると、
 UG期間の露光量の総和は (UG+ur)
 G期間の露光量の総和は  (G+gr)
となり、これを上述の計算式(2)に当てはめると、次の式(3)のようになる。
Figure JPOXMLDOC01-appb-M000003
 ここで、gr/urは周辺環境に依存して変化するため、このまま距離Lを算出すると測定誤差が発生する。
 そこで本実施形態では、各照射領域における照射光量の設定である照射パターンを示す領域光量信号を用いる。光源部1は、制御部4から出力された領域光量信号が示す照射パターンに従って、各照射領域における照射光量を設定し、光の照射を行う。画像処理部3は、領域光量信号が示す照射パターンと、この照射パターンに従った光照射時に得られた3次元情報との関係から、不要反射光成分の影響を除去する。
 図4は照射パターンの一例を示す図であり、同図中、(a)は発光制御信号、露光制御信号および領域光量信号の一例、(b)は照射パターンAの例、(c)は照射パターンBの例である。図4の例では、光源部1は3つの照射領域a,b,c毎に照射光量を調節可能に構成されており、領域光量信号は照射パターンA,Bを時系列で示している。照射パターンAでは、照射領域a,b,cにはいずれも所定の基本光量として光量100が設定されているのに対して、照射パターンBでは、照射領域a,cには光量100が設定されているが照射領域bには光量50が設定されている。
 図5は照射パターンAが照射されたときの動作を示す図である。図5に示すように、光源部1は照射領域a,b,cにそれぞれ光量100の光を照射する。このとき、受光部2の露光量は図3(b),(c)に示すようになり、
 UG期間の露光量の総和は (UG+ur)
 G期間の露光量の総和は  (G+gr)
となる。
 図6は照射パターンBが照射されたときの動作を示す図である。図6に示すように、光源部1は照射領域a,cに光量100の光を、照射領域bに光量50の光を、それぞれ照射する。このとき、受光部2の露光量は図7(a),(b)に示すようになり、不要反射光の露光量が照射パターンAのときの半分になるため、
 UG期間の露光量の総和は (UG+ur/2)
 G期間の露光量の総和は  (G+gr/2)
となる。
 したがって、照射パターンAと照射パターンBとで、UG期間の露光量の総和の差分をとると、
 (UG+ur)-(UG+ur/2)=ur/2
となり、照射パターンBのUG期間に混入する不要反射光の露光成分ur/2が算出できる。また、これを2倍することによって、照射パターンAのUG期間に混入する不要反射光の露光成分urが算出できる。
 同様に、照射パターンAと照射パターンBとで、G期間の露光量の総和の差分をとると、
 (G+gr)-(G+gr/2)=gr/2
となり、照射パターンBのG期間に混入する不要反射光の露光成分gr/2が算出できる。また、これを2倍することによって、照射パターンAのG期間に混入する不要反射光の露光成分grが算出できる。
 ここで、例えば照射パターンAの照射時において、UG期間の露光量の総和(UG+ur)から上で求めたurを減算し、またG期間の露光量の総和(G+gr)から上で求めたgrを減算することによって、不要反射光の影響が除去された露光量UG,Gが得られる。これにより、例えば式(2)を用いて、不要反射光による測定誤差のない距離Lの算出が可能になる。また同様に、照射パターンBの照射時においても、UG期間の露光量の総和(UG+ur/2)から上で求めたur/2を減算し、またG期間の露光量の総和(G+gr/2)から上で求めたgr/2を減算することによって、不要反射光の影響が除去された露光量UG,Gが得られる。これにより、例えば式(2)を用いて、不要反射光による測定誤差のない距離Lの算出が可能になる。
 以上のように、本実施形態によると、光源部1によって照射領域毎に光量を変化させる制御を行い、画像処理部3によって、照射パターンの情報と当該照射パターンに係る3次元情報とから、光量を変化させた照射領域からの不要反射光の露光量を算出する。これにより、G期間およびUG期間における不要反射光の除去が可能となり、周辺環境によらず高精度な3次元測定が可能となる。
 なお、算出された不要反射光gr,urが所定の値より大きい場合には、照射領域b(光量を変化させた照射領域)の光量を照射パターンA,Bともに小さくするように制御してもよい。すなわち、画像処理部3は、算出した反射光成分gr,urが所定の値より大きいとき、照射パターンA,Bにおける照射領域bの光量を小さくするよう、制御部4に指示するものとしてもよい。これにより、不要反射光に起因する光ショットノイズの抑制、および、ダイナミックレンジ縮小の抑制効果が得られる。
 また、本実施形態では、照射パターンA,Bにおいて照射領域bの光量のみを変えるものとしたが、照射パターンの種類はこれに限られるものではない。例えば照射パターンA,Bに加えて、図8(a),(b)に示すような、照射領域cの光量を下げた照射パターンCと照射領域aの光量を下げた照射パターンDとを準備し、図8(c)に示すように、照射パターンA,B,C,Dを時系列で用いてもかまわない。
 また、照射パターンAを連続して照射し、その後照射パターンBを照射し、再び照射パターンAを連続して照射する、というようにしてもかまわない。この場合は、照射パターンBを用いて算出した不要反射光の露光量を保持しておき、照射パターンAが連続する間は、保持した不要反射光の露光量を用いて3次元情報の補正を行うようにしてもよい。
 また、本実施形態では、照射領域の光量を「100」と「50」で切り替えるものとしたが、これに限られるものではなく、例えば「80」と「20」の切り替えや、「100」と「0」の切り替えを行ってもよい。
 また、本実施形態では、照射範囲を一方向において3つの照射領域a,b,cに分けるものとしたが、照射領域の個数や分割形態はこれに限られるものではない。例えば、図9(a)に示すように複数の照射領域を格子状に設定してもよいし、図9(b)に示すように、複数の照射領域を同心円状に設定してもかまわない。
 また、図10に示すように、照射範囲を微細な千鳥配列の領域a,bに分けて、領域aの光量を100、領域bの光量を0とする照射パターンAと、領域aの光量を0、領域bの光量を100とする照射パターンBとを用いてもよい。この場合、例えば光量100の照射領域a1に該当する3次元情報に含まれる不要反射光の成分を、光量0の周辺領域b1,b2,b3,b4に該当する3次元情報(光量0の領域のため、露光量の総和は不要反射光成分のみ)から補正してもよい。
 (実施形態2)
 図11は実施形態2に係る3次元測定装置の構成を示す図である。図11の3次元測定装置10Bは、実施形態1の3次元測定装置10とほぼ同様の構成からなるが、次の点で異なっている。すなわち、光源部1から光を照射する側の表面に、所定の色配列パターン5が設けられている。この色配列パターン5は、鏡の存在を認識するために用いられる。また、受光部2Bが、3次元情報に加えて、2次元のRGB情報を得ることが可能なように構成されている。この3次元情報およびRGB情報は画像処理部3Bに送られる。画像処理部3Bは、受光部2Bから受けた3次元情報およびRGB情報に基づいて、距離画像に加えて、2次元色画像を生成し出力する。画像処理部3Bはさらに、対象物体OBが存在する領域を示す検出領域信号と、鏡MRが存在する領域を示す鏡領域信号とを生成する機能を有している。この検出領域信号および鏡領域信号は制御部4Bに送られる。
 光源部1は実施形態1と同様の動作を行う。受光部2Bは、対照物体OBに反射した直接反射光について露光制御信号が“H”の期間のみ露光を行い、撮像エリアセンサで光電変換された信号を3次元情報として出力する。また、反射光の露光と同時あるいは同時に近いタイミングで、色情報に対して露光を行い、撮像エリアセンサで光電変換された信号をRGB情報として出力する。
 画像処理部3Bは、図12(a)に示すような2次元の色情報であるRGB情報に対して、対象物体OBのターゲット(例えば手や顔)についてパターン認識を行い、一致する場合は、ターゲットと認識された画素位置から領域を検出し、検出した領域を示す検出領域信号を出力する。制御部4Bは、検出領域信号を受け、図12(b)に示すように、検出された対象物体OBの領域を含まない照射領域の光量を小さくするように、領域光量信号を設定する。図12(c)はこのときの照射パターンの一例であり、対象物体OBが検出された照射領域a以外の照射領域b,cの光量を小さくしている。
 また、画像処理部3Bは、図13(a)に示すように、RGB情報に対して、色配列パターン5のパターン認識を行い、一致する場合は、鏡が存在すると認識し、鏡と認識された画素位置から鏡の領域を検出し、検出した領域を示す鏡領域信号を出力する。制御部4Bは、鏡領域信号を受け、図13(b)に示すように、鏡が存在する領域を含む照射領域の光量を小さくする。図13(c)はこのときの照射パターンの一例であり、鏡MRが検出された照射領域bの光量を大幅に小さくしている。
 また、鏡と認識された領域の距離画像について、画像処理部3Bは、RGB情報が表す平面内において鏡領域が占める大きさから、鏡MRまでの距離を算出するようにしてもよい。すなわち、本実施形態では、TOF方式を用いたシステムにおいて、鏡MRまでの距離の測定も可能になっている。
 以上のように、本実施形態によると、測定の対象となる物体が存在する照射領域を認識し、それ以外の照射領域の光量を小さくすることによって、対象物体に与える不要反射光の影響を抑えて、高精度な測距が可能となる。また、(2)式に示すように、距離LはGとUGの比に基づいて算出されるため、光量を小さくした照射領域も多少の精度は落ちるが測距可能である。
 また、鏡のように反射率が高く表面が滑らかな対象物体の場合、TOF方式では対象物体までの距離の測定は困難である。本実施形態では、TOFの3次元情報の他に、既知の色配列とRGB情報を用いることによって、鏡のように照射した反射光が受光部に戻ってこない物体までの距離についても測定が可能となる。
 なお、測定対象のターゲットが含まれる領域の3次元情報から、測定対象のターゲットの反射率が低い、あるいは距離が長い場合には、測定対象のターゲットが含まれる領域の照射領域の光量を増大するように領域光量信号を出力してもよい。
 また、色配列パターン5は、色配列に限らず、近赤外光等の反射率が異なる固有パターンでもよく、自発光可能な固有の色配列パターンでもよく、固有の発光パターンであってもよい。または、色配列パターン5の形状は、矩形状である必要はなく、例えば円や球体であってもよい。
 また、鏡全体の領域の認識のために、3次元測定装置10Bまたは色配列パターン5に移動可能な機能を追加してもよい。
 また、色配列パターンの縦横の比率から、鏡の傾きを算出し、鏡の反射光が測定対象に影響がない場合、また鏡までの距離が遠い時等は、鏡領域信号を出力しないようにしてもよい。
 また、本実施形態において、画像処理部3Bは、距離画像において距離が所定値以下の領域が存在するとき、制御部4Bに感知信号を出力するようにしてもよい。そして、制御部4Bは、感知信号を受けたときは、各照射領域において所定の基本光量とする一方、感知信号を受けないときは、少なくとも1つの照射領域において所定の基本光量よりも下げるように、領域光量信号を設定するようにしてもよい。このとき、少なくとも1つの照射領域の光量をゼロにしてもよい。
 例えば、図9(a)のような照射領域が設定されているとき、スリープモードでは、領域Gのみ弱い光で照射を行い、その他の領域では光の照射を行わないようにする。そして、画像処理部3Bは、領域Gに該当する距離画像において所定の閾値より近い距離の対象物体を検出した場合は、感知信号を出力する。制御部4Bは、感知信号を受けたときは、アクティブモードになり、全領域A~Iの光量を増大するように領域光量信号を出力するようにしてもよい。
 本開示では、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できるため、例えば、人物、建物などの3次元測定の精度向上に有効である。
1 光源部
2,2B 受光部
3,3B 画像処理部
4,4B 制御部
5 色配列パターン
10,10B 3次元測定装置

Claims (12)

  1.  TOF(Timeof Flight)方式を用いた3次元測定装置であって、
     発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に、照射光量を調節可能に構成された光源部と、
     対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、
     前記受光部から受けた3次元情報に基づいて、距離画像を生成する画像処理部と、
     前記発光制御信号、前記露光制御信号、および、前記各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する制御部とを備え、
     前記光源部は、前記領域光量信号が示す照射パターンに従って、光の照射を行う
    ことを特徴とする3次元測定装置。
  2.  請求項1記載の3次元測定装置において、
     前記制御部は、前記領域光量信号として、前記各照射領域において所定の基本光量を照射光量として設定する第1照射パターンと、前記各照射領域の中の少なくとも1つである第1照射領域の照射光量が前記所定の基本光量と異なっている第2照射パターンとを、時系列で示す信号を出力する
    ことを特徴とする3次元測定装置。
  3.  請求項2記載の3次元測定装置において、
     前記第2照射パターンは、互いに異なる2種類以上の照射パターンを含む
    ことを特徴とする3次元測定装置。
  4.  請求項2記載の3次元測定装置において、
     前記画像処理部は、前記第1照射パターンに係る3次元情報と、前記第2照射パターンに係る3次元情報とから、前記第1照射領域における照射光量の反射光成分を算出し、この反射光成分を用いて3次元情報を補正する
    ことを特徴とする3次元測定装置。
  5.  請求項4記載の3次元測定装置において、
     前記画像処理部は、算出した反射光成分が所定の値より大きいとき、前記第1および第2照射パターンにおける前記第1照射領域の光量を小さくするよう、前記制御部に指示する
    ことを特徴とする3次元測定装置。
  6.  請求項1記載の3次元測定装置において、
     前記受光部は、前記3次元情報に加えて、2次元のRGB情報を得るものであり、
     前記画像処理部は、前記受光部から受けた前記3次元情報および前記RGB情報に基づいて、前記距離画像と2次元色画像とを生成する
    ことを特徴とする3次元測定装置。
  7.  請求項6記載の3次元測定装置において、
     前記画像処理部は、前記RGB情報から、前記対象物体が存在する領域を検出し、検出した領域を示す検出領域信号を出力するものであり、
     前記制御部は、前記検出領域信号を受け、この検出領域信号が示す領域を含まない前記照射領域の光量を小さくするように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  8.  請求項6記載の3次元測定装置において、
     前記3次元測定装置は、光を照射する側の表面に、所定の色配列パターンを有し、
     前記画像処理部は、前記RGB情報から、前記色配列パターンのパターン認識によって鏡の存在を認識し、前記鏡が存在する領域を示す鏡領域信号を出力するものであり、
     前記制御部は、前記鏡領域信号を受け、この鏡領域信号が示す領域を含む前記照射領域の光量を小さくするように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  9.  請求項8記載の3次元測定装置において、
     前記画像処理部は、前記RGB情報が表す平面内において前記鏡が存在する領域が占める大きさから、前記鏡までの距離を算出する
    ことを特徴とする3次元測定装置。
  10.  請求項1記載の3次元測定装置において、
     前記画像処理部は、前記距離画像において距離が所定値以下の領域が存在するとき、前記制御部に感知信号を出力し、
     前記制御部は、前記感知信号を受けたときは、前記各照射領域において所定の基本光量とする一方、前記感知信号を受けないときは、少なくとも1つの前記照射領域において前記所定の基本光量よりも下げるように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  11.  請求項10に記載の3次元測定装置において、
     前記制御部は、前記感知信号を受けないときは、少なくとも一つの前記照射領域の光量をゼロにする
    ことを特徴とする3次元測定装置。
  12.  TOF(Timeof Flight)方式を用いた3次元測定方法であって、
     発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に、照射光量を調節可能に構成された光源部と、
     対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、
     前記受光部から受けた3次元情報に基づいて、距離画像を生成する画像処理部とを用いて、
     前記光源部が、前記各照射領域において所定の基本光量を照射光量として設定する第1照射パターンに従って、光の照射を行い、
     前記光源部が、前記各照射領域の中の少なくとも1つである第1照射領域の照射光量が前記所定の基本光量と異なっている第2照射パターンに従って、光の照射を行い、
     前記画像処理部が、前記受光部から得られた前記第1照射パターンに係る3次元情報と前記第2照射パターンに係る3次元情報とから、前記第1照射領域における照射光量の反射光成分を算出し、この反射光成分を用いて3次元情報を補正する
    ことを特徴とする3次元測定方法。
PCT/JP2013/006819 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法 WO2014097539A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014552897A JP6241793B2 (ja) 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法
US14/708,577 US9921312B2 (en) 2012-12-20 2015-05-11 Three-dimensional measuring device and three-dimensional measuring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-277923 2012-12-20
JP2012277923 2012-12-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/708,577 Continuation US9921312B2 (en) 2012-12-20 2015-05-11 Three-dimensional measuring device and three-dimensional measuring method

Publications (1)

Publication Number Publication Date
WO2014097539A1 true WO2014097539A1 (ja) 2014-06-26

Family

ID=50977905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006819 WO2014097539A1 (ja) 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法

Country Status (3)

Country Link
US (1) US9921312B2 (ja)
JP (1) JP6241793B2 (ja)
WO (1) WO2014097539A1 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110418A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017138033A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
CN107850669A (zh) * 2015-07-31 2018-03-27 松下知识产权经营株式会社 测距摄像装置及固体摄像装置
JP2018066674A (ja) * 2016-10-20 2018-04-26 スタンレー電気株式会社 受発光システム
WO2019012770A1 (ja) * 2017-07-11 2019-01-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
JP2019105654A (ja) * 2019-03-26 2019-06-27 株式会社デンソー ノイズ除去方法および物体認識装置
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックIpマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JP2019219399A (ja) * 2016-01-15 2019-12-26 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 構造化光およびタイムオブフライトを用いた深度マッピング
WO2020129954A1 (ja) * 2018-12-18 2020-06-25 パナソニックセミコンダクターソリューションズ株式会社 測距撮像装置
US10951878B2 (en) 2015-06-17 2021-03-16 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2021085125A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距システム、駆動方法、および、電子機器
WO2021181785A1 (ja) * 2020-03-12 2021-09-16 オムロン株式会社 三次元形状計測装置
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
KR20220075283A (ko) * 2017-08-04 2022-06-08 엘지이노텍 주식회사 ToF 모듈
JP2022105771A (ja) * 2017-12-22 2022-07-14 株式会社デンソー 距離測定装置
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
DE102019006438B4 (de) 2018-09-19 2024-01-25 Fanuc Corporation Objektüberwachungssystem mit Abstandsmesseinrichtung
JP7468999B2 (ja) 2019-05-31 2024-04-16 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
JP7472325B2 (ja) 2020-07-07 2024-04-22 マイクロ‐エプシロン オプトロニク ゲーエムベーハー 閉ループ露光制御を用いる光学距離センサおよびそれに対応する方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10302768B2 (en) * 2016-05-09 2019-05-28 Microsoft Technology Licensing, Llc Multipath signal removal in time-of-flight camera apparatus
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US10223805B1 (en) 2017-08-07 2019-03-05 Facebook Technologies, Llc Coded tracking for head-mounted displays
JP7028588B2 (ja) * 2017-09-04 2022-03-02 株式会社日立エルジーデータストレージ 3次元距離測定装置
KR102429879B1 (ko) * 2017-09-13 2022-08-05 삼성전자주식회사 라이다 장치 및 이의 동작 방법
CN111492262B (zh) 2017-10-08 2024-06-28 魔眼公司 使用经向网格图案的距离测量
JP7228781B2 (ja) * 2017-10-31 2023-02-27 パナソニックIpマネジメント株式会社 浄化装置及び浄化方法
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
JP7354133B2 (ja) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP7025317B2 (ja) 2018-10-31 2022-02-24 ファナック株式会社 測距装置を有する物体監視システム
JP2020106339A (ja) * 2018-12-26 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
EP3719529A1 (en) * 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN110456370B (zh) * 2019-07-30 2021-11-05 炬佑智能科技(苏州)有限公司 飞行时间传感系统及其测距方法
JP2023504157A (ja) 2019-12-01 2023-02-01 マジック アイ インコーポレイテッド 飛行時間情報を用いた三角測量ベースの3次元距離測定の向上
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
JP7321956B2 (ja) * 2020-02-28 2023-08-07 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
CN111837053B (zh) * 2020-03-25 2024-04-26 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和测距系统
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
JP2023023989A (ja) * 2021-08-06 2023-02-16 株式会社日立エルジーデータストレージ 距離計測システム、距離計測装置、および、距離計測方法
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05297139A (ja) * 1992-04-15 1993-11-12 Nec Corp パルスレーザ測距装置
JPH05301550A (ja) * 1992-04-24 1993-11-16 Isuzu Motors Ltd レーザ・レーダ装置
JPH07167958A (ja) * 1993-12-14 1995-07-04 Mitsubishi Electric Corp 障害物検知装置
JP2002539434A (ja) * 1999-03-11 2002-11-19 フオルクスワーゲン・アクチエンゲゼルシヤフト 少なくとも1つのレーザセンサーを有する装置およびレーザセンサーを作動するための方法
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2007232687A (ja) * 2006-03-03 2007-09-13 Sharp Corp 光学式測距装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570160B2 (ja) 1997-05-30 2004-09-29 富士ゼロックス株式会社 距離測定方法及び装置
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
JP2002022426A (ja) 2000-07-12 2002-01-23 Asahi Optical Co Ltd 3次元画像入力装置
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法,プログラム
JP5180501B2 (ja) * 2007-03-23 2013-04-10 富士フイルム株式会社 測距装置及び測距方法
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
JP5431810B2 (ja) * 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
JP2012093189A (ja) * 2010-10-26 2012-05-17 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05297139A (ja) * 1992-04-15 1993-11-12 Nec Corp パルスレーザ測距装置
JPH05301550A (ja) * 1992-04-24 1993-11-16 Isuzu Motors Ltd レーザ・レーダ装置
JPH07167958A (ja) * 1993-12-14 1995-07-04 Mitsubishi Electric Corp 障害物検知装置
JP2002539434A (ja) * 1999-03-11 2002-11-19 フオルクスワーゲン・アクチエンゲゼルシヤフト 少なくとも1つのレーザセンサーを有する装置およびレーザセンサーを作動するための方法
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2007232687A (ja) * 2006-03-03 2007-09-13 Sharp Corp 光学式測距装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951878B2 (en) 2015-06-17 2021-03-16 Lg Electronics Inc. Mobile terminal and method for controlling the same
US11057607B2 (en) 2015-06-17 2021-07-06 Lg Electronics Inc. Mobile terminal and method for controlling the same
CN107850669A (zh) * 2015-07-31 2018-03-27 松下知识产权经营株式会社 测距摄像装置及固体摄像装置
JPWO2017110418A1 (ja) * 2015-12-21 2018-10-04 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2017110418A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
JP2019219399A (ja) * 2016-01-15 2019-12-26 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 構造化光およびタイムオブフライトを用いた深度マッピング
US11307296B2 (en) 2016-02-08 2022-04-19 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
WO2017138033A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
KR20180113525A (ko) 2016-02-08 2018-10-16 에스프로스 포토닉스 아게 다중 경로 오차를 검출하기 위한 비행 시간 거리 측정 디바이스 및 방법
JP2018066674A (ja) * 2016-10-20 2018-04-26 スタンレー電気株式会社 受発光システム
US11320536B2 (en) 2017-07-11 2022-05-03 Sony Semiconductor Solutions Corporation Imaging device and monitoring device
WO2019012770A1 (ja) * 2017-07-11 2019-01-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
KR20220075283A (ko) * 2017-08-04 2022-06-08 엘지이노텍 주식회사 ToF 모듈
KR102483462B1 (ko) 2017-08-04 2023-01-02 엘지이노텍 주식회사 ToF 모듈
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
JP2022105771A (ja) * 2017-12-22 2022-07-14 株式会社デンソー 距離測定装置
JP7347585B2 (ja) 2017-12-22 2023-09-20 株式会社デンソー 距離測定装置
JP7238343B2 (ja) 2017-12-22 2023-03-14 株式会社デンソー 距離測定装置及び距離測定方法
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックIpマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JPWO2019188348A1 (ja) * 2018-03-29 2021-03-25 ヌヴォトンテクノロジージャパン株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
DE102019006438B4 (de) 2018-09-19 2024-01-25 Fanuc Corporation Objektüberwachungssystem mit Abstandsmesseinrichtung
WO2020129954A1 (ja) * 2018-12-18 2020-06-25 パナソニックセミコンダクターソリューションズ株式会社 測距撮像装置
JPWO2020129954A1 (ja) * 2018-12-18 2021-11-04 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
JP2019105654A (ja) * 2019-03-26 2019-06-27 株式会社デンソー ノイズ除去方法および物体認識装置
JP7468999B2 (ja) 2019-05-31 2024-04-16 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
WO2021085125A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距システム、駆動方法、および、電子機器
WO2021181785A1 (ja) * 2020-03-12 2021-09-16 オムロン株式会社 三次元形状計測装置
JP2021143939A (ja) * 2020-03-12 2021-09-24 オムロン株式会社 三次元形状計測装置
JP7472325B2 (ja) 2020-07-07 2024-04-22 マイクロ‐エプシロン オプトロニク ゲーエムベーハー 閉ループ露光制御を用いる光学距離センサおよびそれに対応する方法
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
US20150241564A1 (en) 2015-08-27
JP6241793B2 (ja) 2017-12-06
US9921312B2 (en) 2018-03-20
JPWO2014097539A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6241793B2 (ja) 3次元測定装置および3次元測定方法
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
US10422859B2 (en) Distance measuring device and solid-state image sensor
JP6701199B2 (ja) 測距撮像装置
TWI518350B (zh) 飛航時間像化器及其測量物體深度映圖之方法
JP6120611B2 (ja) ビーム走査型表示装置
WO2015107869A1 (ja) 距離画像生成装置及び距離画像生成方法
WO2015001770A1 (ja) 複数の光源を有するモーションセンサ装置
Hussmann et al. Real-time motion artifact suppression in tof camera systems
WO2014208018A1 (ja) 測距システム
WO2014207992A1 (ja) 測距撮像装置及びその測距方法
JP2002131016A (ja) 距離測定装置、及び距離測定方法
CN110876006B (zh) 混合使用多次曝光获得的深度图像
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
CN112740065B (zh) 成像装置、用于成像的方法和用于深度映射的方法
JP2020160044A (ja) 測距装置および測距方法
US11914039B2 (en) Range finding device and range finding method
WO2019026589A1 (ja) 測距制御装置および測距システム
KR20140073117A (ko) 3차원 입력장치
JP6271278B2 (ja) 位置計測装置および位置計測方法
US20230078063A1 (en) Distance measurement device and distance measurement system
WO2015145599A1 (ja) 映像投影装置
JP2023106904A (ja) 測定装置及び測定方法
JP2020008483A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13866298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552897

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13866298

Country of ref document: EP

Kind code of ref document: A1