JPWO2014097539A1 - 3次元測定装置および3次元測定方法 - Google Patents

3次元測定装置および3次元測定方法 Download PDF

Info

Publication number
JPWO2014097539A1
JPWO2014097539A1 JP2014552897A JP2014552897A JPWO2014097539A1 JP WO2014097539 A1 JPWO2014097539 A1 JP WO2014097539A1 JP 2014552897 A JP2014552897 A JP 2014552897A JP 2014552897 A JP2014552897 A JP 2014552897A JP WO2014097539 A1 JPWO2014097539 A1 JP WO2014097539A1
Authority
JP
Japan
Prior art keywords
irradiation
light
region
dimensional
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014552897A
Other languages
English (en)
Other versions
JP6241793B2 (ja
Inventor
遥 高野
遥 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014097539A1 publication Critical patent/JPWO2014097539A1/ja
Application granted granted Critical
Publication of JP6241793B2 publication Critical patent/JP6241793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

TOF方式を用いた測距システムにおいて、反射光の中に含まれる不要反射光の成分の抑制/除去を行う。光源部(1)は、発光制御信号が示すタイミングに従って光の照射を行い、少なくとも2つの照射領域毎に照射光量を調節可能に構成されている。受光部(2)は、対象物体(OB)を含む領域に対して露光を行い、露光量の総和から3次元情報を得る。画像処理部(3)は、受光部(2)から受けた3次元情報に基づいて、距離画像を生成する。光源部(1)は、領域光量信号が示す、各照射領域における照射光量の設定である照射パターンに従って、光の照射を行う。

Description

本開示は、光を照射して反射光を受光することによって物体の位置情報を得る3次元測定技術に関する。
光のパルスを送信し、物体で反射して戻ってきたパルスの受信までの飛行時間(TOF:Time Of Flight)が距離に依存することを利用して、3次元測定を行う方式(以下、TOF方式という)がある。TOF方式を用いて距離測定(以下、測距という)を行う場合、対象物体の反射率や周辺環境によって測距精度が低下するという問題がある。
この測距精度の低下を抑制する方法として、特許文献1では、一定周期でパルス光の照射を繰り返し、戻った反射パルス光の光量を一定化して撮像エリアセンサに入射させる。所定期間における露光量は反射パルス光の個数(パルス数)に比例し、飛行時間が長い遠距離ほど少なくなる。このように反射パルス光の光量を一定化することにより、対象物体の反射率に依存しない3次元測定が可能となる。
また、特許文献2では、遠距離モードでは均一な配光分布によるTOF方式を用いた測距を行い、近距離モードでは、2種類の配光分布を交互に変えて、2つの入射光の強度比により三角測距法を用いた測距を行う。これによって、より広い距離範囲にわたって高精度の3次元測定を行うことが可能となる。
特開平10−332827号公報 特開2001−337166号公報
TOF方式を用いて測定対象物の測距を行う場合、光源部からの直接光以外に、別の直接光が壁等の周辺環境によって散乱された光マルチパス(以下、散乱光という)が、測距対象物に照射される。受光部は、直接光の反射(以下、直接反射光という)に加えて、散乱光による反射(以下、不要反射光という)も受光する。このとき受光部で得られる電荷量は、直接反射光の成分に不要反射光の成分が上乗せされてしまうため、周辺環境によっては、測距対象物の3次元測定の測距精度が大きく劣化する可能性がある。
また、照射領域内に鏡がある場合、大きな光量の不要反射光が発生し、これが原因となって、測定対象の距離画像に大きな測定誤差が発生する。
これに対して、特許文献1,2では、不要反射光の影響による測定誤差については何ら対策が講じられておらず、不要反射光の影響を除去することができない。
前記の問題に鑑み、本開示では、TOF方式を用いた3次元測定において、測定する周辺環境によって発生する不要反射光の成分の除去/抑制を可能にし、高精度な3次元測定を実現することを目的とする。
本開示の一態様では、TOF(Time of Flight)方式を用いた3次元測定装置は、発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に照射光量を調節可能に構成された光源部と、対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、前記受光部から受けた3次元情報に基づいて距離画像を生成する画像処理部と、前記発光制御信号、前記露光制御信号、および、前記各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する制御部とを備え、前記光源部は、前記領域光量信号が示す照射パターンに従って、光の照射を行う。
この態様によると、光源部は、少なくとも2つの照射領域毎に照射光量を調節可能に構成されており、領域光量信号が示す照射パターンに従って、光の照射を行う。このため、例えば、画像処理部は、領域光量信号が示す照射パターンと、当該照射パターンに従った照射時に受光部によって得られた3次元情報との関係から、ある照射領域における照射光の反射光成分の影響を除去することが可能となる。あるいは、制御部は、領域光量信号によって、対象物体が存在する領域を含まない照射領域の光量を小さくすることが可能となる。したがって、測定する周辺環境によって発生する不要反射光が直接反射光に混入する場合でも、不要反射光の成分除去が可能になる。
本開示によると、測定する周辺環境によって発生する不要反射光が直接反射光に混入する場合でも、不要反射光の成分除去が可能となり、測定対象物の直接反射光の成分のみで測距演算を行うことが可能となる。これによって、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できる。
実施形態1に係る3次元測定装置の構成を示す図 (a)発光制御信号と露光制御信号のタイミングチャート、(b)UG期間の露光量を示す拡大図、(c)G期間の露光量を示す拡大図 (a)発光制御信号と露光制御信号のタイミングチャート、(b)不要反射光があるときのUG期間の露光量を示す拡大図、(c)不要反射光があるときのG期間の露光量を示す拡大図 (a)発光制御信号、露光制御信号および領域光量信号のタイミングチャート、(b)照射パターンAの例、(c)照射パターンBの例 照射パターンAのときの動作を示す図 照射パターンBのときの動作を示す図 (a)照射パターンBのときのUG期間の露光量を示す拡大図、(b)照射パターンBのときのG期間の露光量を示す拡大図 (a)照射パターンCの例、(b)照射パターンDの例、(c)領域光量信号の例 (a),(b)照射パターンの他の例 照射パターンの他の例 実施形態2に係る3次元測定装置の構成を示す図 (a)〜(c)検出領域信号による照射光量の制御の例 (a)〜(c)鏡領域信号による照射光量の制御の例
(実施形態1)
図1は実施形態1に係る3次元測定装置の構成を示す図である。図1の3次元測定装置10は、TOF(Time of Flight)方式を用いたものであり、光源部1と、受光部2と、画像処理部3と、制御部4とを備えている。
光源部1は、発光制御信号が示すタイミングに従って、対象物体OBに向けて光を照射する。受光部2は、対象物体OBを含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光期間における露光量の総和を撮像エリアセンサによって光電変換し、3次元情報として出力する。受光部2の撮像エリアセンサは、CCDセンサでもよいし、CMOSセンサでもよい。画像処理部3は、受光部2から出力された3次元情報に基づいて距離画像を生成し出力する。制御部4は、発光制御信号および露光制御信号を出力する。
なお、ここでは、発光制御信号および露光制御信号は“H”“L”の2値のデジタル信号であるものとし、光源部1は発光制御信号が“H”のときに光を照射し、受光部2は露光制御信号が“H”の期間に露光を行うものとする。発光制御信号が“L”のときは光源部1は光を照射せず、露光制御信号が“L”のときは受光部2は露光を行わない。
また、光源部1は、少なくとも2つの照射領域毎に、照射光量を調整可能に構成されている。そして制御部4は、各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する。光源部1は領域光量信号を受け、この領域光量信号が示す照射パターンに従って、光の照射を行う。また、この領域光量信号は画像処理部3にも与えられる。
光源部1における照射領域毎の光量の変更は、具体的には例えば、照射領域が定まった複数の光源を切り替えることで実現すればよい。あるいは、プロジェクターのように液晶によって制御してもよいし、光源の前のレンズ位置の変更によって照射範囲を可変にしてもよい。あるいは、複数の光源に照射パターンに対応したフィルタをつけて、発光させる光源を切り替えてもよい。
まず、本実施形態に係る3次元測定装置の基本動作、すなわち対象物体OBまでの距離Lの算出方法について、図2のタイミングチャートを用いて説明する。図2において、(a)は制御部4から出力される発光制御信号および露光制御信号の例、(b)はUG期間における露光量を示す拡大図、(c)はG期間における露光量を示す拡大図である。図2では受光部2が直接反射光のみを受光しているものとしている。
UG期間では、光源部1から照射された光の反射光である直接反射光の全てを含むようなタイミングで、露光が行われる。G期間では、直接反射光が発光タイミングに対して遅延するほど、露光量が減少するような露光が行われる。BG期間では、発光を行わずに、UG期間およびG期間と同条件で露光制御を行い、直接反射光以外の背景光の露光を行っている。
ここで、UG期間の直接反射光の露光量をUG、G期間の直接反射光の露光量をG、BG期間の背景光の露光量をBG、照射する直接光のパルス幅をT、光速(299,792,458m/s)をcとすると、距離Lは次の(1)式によって算出できる。
また、単純化のために背景光がない場合を考え、BG=0とすると、距離Lは次の(2)式によって表すことができる。
ところが実際には、直接反射光以外の不要反射光が受光部2に入る場合がある。不要反射光とは、例えば図1に示すように、壁WA等の周辺環境によって散乱した光が対象物体OBで反射した光である。図3は不要反射光が有る場合を示しており、(a)は制御部4から出力される発光制御信号および露光制御信号の例(図2(a)と同じ)、(b)はUG期間における露光量を示す拡大図、(c)はG期間における露光量を示す拡大図である。図3(b),(c)に示すように、不要反射光によって露光量が増えている。
ここで、UG期間の不要反射光の露光量をur、G期間の不要反射光の露光量をgrとすると、
UG期間の露光量の総和は (UG+ur)
G期間の露光量の総和は (G+gr)
となり、これを上述の計算式(2)に当てはめると、次の式(3)のようになる。
ここで、gr/urは周辺環境に依存して変化するため、このまま距離Lを算出すると測定誤差が発生する。
そこで本実施形態では、各照射領域における照射光量の設定である照射パターンを示す領域光量信号を用いる。光源部1は、制御部4から出力された領域光量信号が示す照射パターンに従って、各照射領域における照射光量を設定し、光の照射を行う。画像処理部3は、領域光量信号が示す照射パターンと、この照射パターンに従った光照射時に得られた3次元情報との関係から、不要反射光成分の影響を除去する。
図4は照射パターンの一例を示す図であり、同図中、(a)は発光制御信号、露光制御信号および領域光量信号の一例、(b)は照射パターンAの例、(c)は照射パターンBの例である。図4の例では、光源部1は3つの照射領域a,b,c毎に照射光量を調節可能に構成されており、領域光量信号は照射パターンA,Bを時系列で示している。照射パターンAでは、照射領域a,b,cにはいずれも所定の基本光量として光量100が設定されているのに対して、照射パターンBでは、照射領域a,cには光量100が設定されているが照射領域bには光量50が設定されている。
図5は照射パターンAが照射されたときの動作を示す図である。図5に示すように、光源部1は照射領域a,b,cにそれぞれ光量100の光を照射する。このとき、受光部2の露光量は図3(b),(c)に示すようになり、
UG期間の露光量の総和は (UG+ur)
G期間の露光量の総和は (G+gr)
となる。
図6は照射パターンBが照射されたときの動作を示す図である。図6に示すように、光源部1は照射領域a,cに光量100の光を、照射領域bに光量50の光を、それぞれ照射する。このとき、受光部2の露光量は図7(a),(b)に示すようになり、不要反射光の露光量が照射パターンAのときの半分になるため、
UG期間の露光量の総和は (UG+ur/2)
G期間の露光量の総和は (G+gr/2)
となる。
したがって、照射パターンAと照射パターンBとで、UG期間の露光量の総和の差分をとると、
(UG+ur)−(UG+ur/2)=ur/2
となり、照射パターンBのUG期間に混入する不要反射光の露光成分ur/2が算出できる。また、これを2倍することによって、照射パターンAのUG期間に混入する不要反射光の露光成分urが算出できる。
同様に、照射パターンAと照射パターンBとで、G期間の露光量の総和の差分をとると、
(G+gr)−(G+gr/2)=gr/2
となり、照射パターンBのG期間に混入する不要反射光の露光成分gr/2が算出できる。また、これを2倍することによって、照射パターンAのG期間に混入する不要反射光の露光成分grが算出できる。
ここで、例えば照射パターンAの照射時において、UG期間の露光量の総和(UG+ur)から上で求めたurを減算し、またG期間の露光量の総和(G+gr)から上で求めたgrを減算することによって、不要反射光の影響が除去された露光量UG,Gが得られる。これにより、例えば式(2)を用いて、不要反射光による測定誤差のない距離Lの算出が可能になる。また同様に、照射パターンBの照射時においても、UG期間の露光量の総和(UG+ur/2)から上で求めたur/2を減算し、またG期間の露光量の総和(G+gr/2)から上で求めたgr/2を減算することによって、不要反射光の影響が除去された露光量UG,Gが得られる。これにより、例えば式(2)を用いて、不要反射光による測定誤差のない距離Lの算出が可能になる。
以上のように、本実施形態によると、光源部1によって照射領域毎に光量を変化させる制御を行い、画像処理部3によって、照射パターンの情報と当該照射パターンに係る3次元情報とから、光量を変化させた照射領域からの不要反射光の露光量を算出する。これにより、G期間およびUG期間における不要反射光の除去が可能となり、周辺環境によらず高精度な3次元測定が可能となる。
なお、算出された不要反射光gr,urが所定の値より大きい場合には、照射領域b(光量を変化させた照射領域)の光量を照射パターンA,Bともに小さくするように制御してもよい。すなわち、画像処理部3は、算出した反射光成分gr,urが所定の値より大きいとき、照射パターンA,Bにおける照射領域bの光量を小さくするよう、制御部4に指示するものとしてもよい。これにより、不要反射光に起因する光ショットノイズの抑制、および、ダイナミックレンジ縮小の抑制効果が得られる。
また、本実施形態では、照射パターンA,Bにおいて照射領域bの光量のみを変えるものとしたが、照射パターンの種類はこれに限られるものではない。例えば照射パターンA,Bに加えて、図8(a),(b)に示すような、照射領域cの光量を下げた照射パターンCと照射領域aの光量を下げた照射パターンDとを準備し、図8(c)に示すように、照射パターンA,B,C,Dを時系列で用いてもかまわない。
また、照射パターンAを連続して照射し、その後照射パターンBを照射し、再び照射パターンAを連続して照射する、というようにしてもかまわない。この場合は、照射パターンBを用いて算出した不要反射光の露光量を保持しておき、照射パターンAが連続する間は、保持した不要反射光の露光量を用いて3次元情報の補正を行うようにしてもよい。
また、本実施形態では、照射領域の光量を「100」と「50」で切り替えるものとしたが、これに限られるものではなく、例えば「80」と「20」の切り替えや、「100」と「0」の切り替えを行ってもよい。
また、本実施形態では、照射範囲を一方向において3つの照射領域a,b,cに分けるものとしたが、照射領域の個数や分割形態はこれに限られるものではない。例えば、図9(a)に示すように複数の照射領域を格子状に設定してもよいし、図9(b)に示すように、複数の照射領域を同心円状に設定してもかまわない。
また、図10に示すように、照射範囲を微細な千鳥配列の領域a,bに分けて、領域aの光量を100、領域bの光量を0とする照射パターンAと、領域aの光量を0、領域bの光量を100とする照射パターンBとを用いてもよい。この場合、例えば光量100の照射領域a1に該当する3次元情報に含まれる不要反射光の成分を、光量0の周辺領域b1,b2,b3,b4に該当する3次元情報(光量0の領域のため、露光量の総和は不要反射光成分のみ)から補正してもよい。
(実施形態2)
図11は実施形態2に係る3次元測定装置の構成を示す図である。図11の3次元測定装置10Bは、実施形態1の3次元測定装置10とほぼ同様の構成からなるが、次の点で異なっている。すなわち、光源部1から光を照射する側の表面に、所定の色配列パターン5が設けられている。この色配列パターン5は、鏡の存在を認識するために用いられる。また、受光部2Bが、3次元情報に加えて、2次元のRGB情報を得ることが可能なように構成されている。この3次元情報およびRGB情報は画像処理部3Bに送られる。画像処理部3Bは、受光部2Bから受けた3次元情報およびRGB情報に基づいて、距離画像に加えて、2次元色画像を生成し出力する。画像処理部3Bはさらに、対象物体OBが存在する領域を示す検出領域信号と、鏡MRが存在する領域を示す鏡領域信号とを生成する機能を有している。この検出領域信号および鏡領域信号は制御部4Bに送られる。
光源部1は実施形態1と同様の動作を行う。受光部2Bは、対照物体OBに反射した直接反射光について露光制御信号が“H”の期間のみ露光を行い、撮像エリアセンサで光電変換された信号を3次元情報として出力する。また、反射光の露光と同時あるいは同時に近いタイミングで、色情報に対して露光を行い、撮像エリアセンサで光電変換された信号をRGB情報として出力する。
画像処理部3Bは、図12(a)に示すような2次元の色情報であるRGB情報に対して、対象物体OBのターゲット(例えば手や顔)についてパターン認識を行い、一致する場合は、ターゲットと認識された画素位置から領域を検出し、検出した領域を示す検出領域信号を出力する。制御部4Bは、検出領域信号を受け、図12(b)に示すように、検出された対象物体OBの領域を含まない照射領域の光量を小さくするように、領域光量信号を設定する。図12(c)はこのときの照射パターンの一例であり、対象物体OBが検出された照射領域a以外の照射領域b,cの光量を小さくしている。
また、画像処理部3Bは、図13(a)に示すように、RGB情報に対して、色配列パターン5のパターン認識を行い、一致する場合は、鏡が存在すると認識し、鏡と認識された画素位置から鏡の領域を検出し、検出した領域を示す鏡領域信号を出力する。制御部4Bは、鏡領域信号を受け、図13(b)に示すように、鏡が存在する領域を含む照射領域の光量を小さくする。図13(c)はこのときの照射パターンの一例であり、鏡MRが検出された照射領域bの光量を大幅に小さくしている。
また、鏡と認識された領域の距離画像について、画像処理部3Bは、RGB情報が表す平面内において鏡領域が占める大きさから、鏡MRまでの距離を算出するようにしてもよい。すなわち、本実施形態では、TOF方式を用いたシステムにおいて、鏡MRまでの距離の測定も可能になっている。
以上のように、本実施形態によると、測定の対象となる物体が存在する照射領域を認識し、それ以外の照射領域の光量を小さくすることによって、対象物体に与える不要反射光の影響を抑えて、高精度な測距が可能となる。また、(2)式に示すように、距離LはGとUGの比に基づいて算出されるため、光量を小さくした照射領域も多少の精度は落ちるが測距可能である。
また、鏡のように反射率が高く表面が滑らかな対象物体の場合、TOF方式では対象物体までの距離の測定は困難である。本実施形態では、TOFの3次元情報の他に、既知の色配列とRGB情報を用いることによって、鏡のように照射した反射光が受光部に戻ってこない物体までの距離についても測定が可能となる。
なお、測定対象のターゲットが含まれる領域の3次元情報から、測定対象のターゲットの反射率が低い、あるいは距離が長い場合には、測定対象のターゲットが含まれる領域の照射領域の光量を増大するように領域光量信号を出力してもよい。
また、色配列パターン5は、色配列に限らず、近赤外光等の反射率が異なる固有パターンでもよく、自発光可能な固有の色配列パターンでもよく、固有の発光パターンであってもよい。または、色配列パターン5の形状は、矩形状である必要はなく、例えば円や球体であってもよい。
また、鏡全体の領域の認識のために、3次元測定装置10Bまたは色配列パターン5に移動可能な機能を追加してもよい。
また、色配列パターンの縦横の比率から、鏡の傾きを算出し、鏡の反射光が測定対象に影響がない場合、また鏡までの距離が遠い時等は、鏡領域信号を出力しないようにしてもよい。
また、本実施形態において、画像処理部3Bは、距離画像において距離が所定値以下の領域が存在するとき、制御部4Bに感知信号を出力するようにしてもよい。そして、制御部4Bは、感知信号を受けたときは、各照射領域において所定の基本光量とする一方、感知信号を受けないときは、少なくとも1つの照射領域において所定の基本光量よりも下げるように、領域光量信号を設定するようにしてもよい。このとき、少なくとも1つの照射領域の光量をゼロにしてもよい。
例えば、図9(a)のような照射領域が設定されているとき、スリープモードでは、領域Gのみ弱い光で照射を行い、その他の領域では光の照射を行わないようにする。そして、画像処理部3Bは、領域Gに該当する距離画像において所定の閾値より近い距離の対象物体を検出した場合は、感知信号を出力する。制御部4Bは、感知信号を受けたときは、アクティブモードになり、全領域A〜Iの光量を増大するように領域光量信号を出力するようにしてもよい。
本開示では、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できるため、例えば、人物、建物などの3次元測定の精度向上に有効である。
1 光源部
2,2B 受光部
3,3B 画像処理部
4,4B 制御部
5 色配列パターン
10,10B 3次元測定装置

Claims (12)

  1. TOF(Timeof Flight)方式を用いた3次元測定装置であって、
    発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に、照射光量を調節可能に構成された光源部と、
    対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、
    前記受光部から受けた3次元情報に基づいて、距離画像を生成する画像処理部と、
    前記発光制御信号、前記露光制御信号、および、前記各照射領域における照射光量の設定である照射パターンを示す領域光量信号を出力する制御部とを備え、
    前記光源部は、前記領域光量信号が示す照射パターンに従って、光の照射を行う
    ことを特徴とする3次元測定装置。
  2. 請求項1記載の3次元測定装置において、
    前記制御部は、前記領域光量信号として、前記各照射領域において所定の基本光量を照射光量として設定する第1照射パターンと、前記各照射領域の中の少なくとも1つである第1照射領域の照射光量が前記所定の基本光量と異なっている第2照射パターンとを、時系列で示す信号を出力する
    ことを特徴とする3次元測定装置。
  3. 請求項2記載の3次元測定装置において、
    前記第2照射パターンは、互いに異なる2種類以上の照射パターンを含む
    ことを特徴とする3次元測定装置。
  4. 請求項2記載の3次元測定装置において、
    前記画像処理部は、前記第1照射パターンに係る3次元情報と、前記第2照射パターンに係る3次元情報とから、前記第1照射領域における照射光量の反射光成分を算出し、この反射光成分を用いて3次元情報を補正する
    ことを特徴とする3次元測定装置。
  5. 請求項4記載の3次元測定装置において、
    前記画像処理部は、算出した反射光成分が所定の値より大きいとき、前記第1および第2照射パターンにおける前記第1照射領域の光量を小さくするよう、前記制御部に指示する
    ことを特徴とする3次元測定装置。
  6. 請求項1記載の3次元測定装置において、
    前記受光部は、前記3次元情報に加えて、2次元のRGB情報を得るものであり、
    前記画像処理部は、前記受光部から受けた前記3次元情報および前記RGB情報に基づいて、前記距離画像と2次元色画像とを生成する
    ことを特徴とする3次元測定装置。
  7. 請求項6記載の3次元測定装置において、
    前記画像処理部は、前記RGB情報から、前記対象物体が存在する領域を検出し、検出した領域を示す検出領域信号を出力するものであり、
    前記制御部は、前記検出領域信号を受け、この検出領域信号が示す領域を含まない前記照射領域の光量を小さくするように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  8. 請求項6記載の3次元測定装置において、
    前記3次元測定装置は、光を照射する側の表面に、所定の色配列パターンを有し、
    前記画像処理部は、前記RGB情報から、前記色配列パターンのパターン認識によって鏡の存在を認識し、前記鏡が存在する領域を示す鏡領域信号を出力するものであり、
    前記制御部は、前記鏡領域信号を受け、この鏡領域信号が示す領域を含む前記照射領域の光量を小さくするように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  9. 請求項8記載の3次元測定装置において、
    前記画像処理部は、前記RGB情報が表す平面内において前記鏡が存在する領域が占める大きさから、前記鏡までの距離を算出する
    ことを特徴とする3次元測定装置。
  10. 請求項1記載の3次元測定装置において、
    前記画像処理部は、前記距離画像において距離が所定値以下の領域が存在するとき、前記制御部に感知信号を出力し、
    前記制御部は、前記感知信号を受けたときは、前記各照射領域において所定の基本光量とする一方、前記感知信号を受けないときは、少なくとも1つの前記照射領域において前記所定の基本光量よりも下げるように、前記領域光量信号を設定する
    ことを特徴とする3次元測定装置。
  11. 請求項10に記載の3次元測定装置において、
    前記制御部は、前記感知信号を受けないときは、少なくとも一つの前記照射領域の光量をゼロにする
    ことを特徴とする3次元測定装置。
  12. TOF(Timeof Flight)方式を用いた3次元測定方法であって、
    発光制御信号が示すタイミングに従って光の照射を行うものであり、かつ、少なくとも2つの照射領域毎に、照射光量を調節可能に構成された光源部と、
    対象物体を含む領域に対して、露光制御信号が示すタイミングに従って露光を行い、露光量の総和から3次元情報を得る受光部と、
    前記受光部から受けた3次元情報に基づいて、距離画像を生成する画像処理部とを用いて、
    前記光源部が、前記各照射領域において所定の基本光量を照射光量として設定する第1照射パターンに従って、光の照射を行い、
    前記光源部が、前記各照射領域の中の少なくとも1つである第1照射領域の照射光量が前記所定の基本光量と異なっている第2照射パターンに従って、光の照射を行い、
    前記画像処理部が、前記受光部から得られた前記第1照射パターンに係る3次元情報と前記第2照射パターンに係る3次元情報とから、前記第1照射領域における照射光量の反射光成分を算出し、この反射光成分を用いて3次元情報を補正する
    ことを特徴とする3次元測定方法。
JP2014552897A 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法 Active JP6241793B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012277923 2012-12-20
JP2012277923 2012-12-20
PCT/JP2013/006819 WO2014097539A1 (ja) 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法

Publications (2)

Publication Number Publication Date
JPWO2014097539A1 true JPWO2014097539A1 (ja) 2017-01-12
JP6241793B2 JP6241793B2 (ja) 2017-12-06

Family

ID=50977905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014552897A Active JP6241793B2 (ja) 2012-12-20 2013-11-20 3次元測定装置および3次元測定方法

Country Status (3)

Country Link
US (1) US9921312B2 (ja)
JP (1) JP6241793B2 (ja)
WO (1) WO2014097539A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454721B2 (en) 2018-10-31 2022-09-27 Fanuc Corporation Object monitoring system including distance measuring device
US11846708B2 (en) 2018-09-19 2023-12-19 Fanuc Corporation Object monitoring system including distance measuring device

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
JP6851985B2 (ja) 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017110414A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
EP3396410A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
JP6631718B2 (ja) 2016-02-08 2020-01-15 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
US20170323429A1 (en) 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
JP2018066674A (ja) * 2016-10-20 2018-04-26 スタンレー電気株式会社 受発光システム
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
JP2019015706A (ja) 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
US10223805B1 (en) 2017-08-07 2019-03-05 Facebook Technologies, Llc Coded tracking for head-mounted displays
JP7028588B2 (ja) * 2017-09-04 2022-03-02 株式会社日立エルジーデータストレージ 3次元距離測定装置
KR102429879B1 (ko) * 2017-09-13 2022-08-05 삼성전자주식회사 라이다 장치 및 이의 동작 방법
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
JP7228781B2 (ja) * 2017-10-31 2023-02-27 パナソニックIpマネジメント株式会社 浄化装置及び浄化方法
US11662433B2 (en) * 2017-12-22 2023-05-30 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
JP7238343B2 (ja) * 2017-12-22 2023-03-14 株式会社デンソー 距離測定装置及び距離測定方法
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
JP6918210B2 (ja) * 2018-03-29 2021-08-11 ヌヴォトンテクノロジージャパン株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020129954A1 (ja) * 2018-12-18 2020-06-25 パナソニックセミコンダクターソリューションズ株式会社 測距撮像装置
JP2020106339A (ja) * 2018-12-26 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測定装置および測距装置
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
EP3719529A1 (en) * 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
JP6763992B2 (ja) * 2019-03-26 2020-09-30 株式会社デンソー ノイズ除去方法および物体認識装置
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド 3次元深度マップデータの2次元画像上へのマッピング
JP7468999B2 (ja) 2019-05-31 2024-04-16 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
CN110456370B (zh) * 2019-07-30 2021-11-05 炬佑智能科技(苏州)有限公司 飞行时间传感系统及其测距方法
EP4053591A4 (en) * 2019-10-28 2022-12-14 Sony Semiconductor Solutions Corporation DISTANCE MEASUREMENT SYSTEM, DRIVE METHOD AND ELECTRONIC DEVICE
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド 3次元座標と2次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
JP2021143939A (ja) * 2020-03-12 2021-09-24 オムロン株式会社 三次元形状計測装置
EP3923028A4 (en) * 2020-03-25 2022-04-13 Shenzhen Goodix Technology Co., Ltd. TIME-OF-FLIGHT BASED RANGE MEASURING PROCEDURE AND SYSTEM
DE102020209065B4 (de) 2020-07-07 2024-01-25 Micro-Epsilon Optronic Gmbh Optischer Abstandssensor mit Belichtungsregelung sowie entsprechendes Verfahren
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214743A (ja) * 2004-01-28 2005-08-11 Denso Corp 距離画像データ生成装置及び生成方法,プログラム
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2007232687A (ja) * 2006-03-03 2007-09-13 Sharp Corp 光学式測距装置
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2012501435A (ja) * 2008-08-27 2012-01-19 サムスン エレクトロニクス カンパニー リミテッド 深さ映像獲得装置および方法
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置
JP2012093189A (ja) * 2010-10-26 2012-05-17 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2946937B2 (ja) * 1992-04-15 1999-09-13 日本電気株式会社 パルスレーザ測距装置
JPH05301550A (ja) * 1992-04-24 1993-11-16 Isuzu Motors Ltd レーザ・レーダ装置
JP3183598B2 (ja) * 1993-12-14 2001-07-09 三菱電機株式会社 障害物検知装置
JP3570160B2 (ja) 1997-05-30 2004-09-29 富士ゼロックス株式会社 距離測定方法及び装置
DE19910667A1 (de) * 1999-03-11 2000-09-21 Volkswagen Ag Vorrichtung mit mindestens einem Lasersensor und Verfahren zum Betreiben eines Lasersensors
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
JP2002022426A (ja) 2000-07-12 2002-01-23 Asahi Optical Co Ltd 3次元画像入力装置
JP5180501B2 (ja) * 2007-03-23 2013-04-10 富士フイルム株式会社 測距装置及び測距方法
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214743A (ja) * 2004-01-28 2005-08-11 Denso Corp 距離画像データ生成装置及び生成方法,プログラム
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
JP2007232687A (ja) * 2006-03-03 2007-09-13 Sharp Corp 光学式測距装置
JP2012501435A (ja) * 2008-08-27 2012-01-19 サムスン エレクトロニクス カンパニー リミテッド 深さ映像獲得装置および方法
JP2011013138A (ja) * 2009-07-03 2011-01-20 Toyota Central R&D Labs Inc 画像センサとその画像センサに用いられる受光装置
JP2012029130A (ja) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置
JP2012093189A (ja) * 2010-10-26 2012-05-17 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11846708B2 (en) 2018-09-19 2023-12-19 Fanuc Corporation Object monitoring system including distance measuring device
US11454721B2 (en) 2018-10-31 2022-09-27 Fanuc Corporation Object monitoring system including distance measuring device

Also Published As

Publication number Publication date
US9921312B2 (en) 2018-03-20
US20150241564A1 (en) 2015-08-27
JP6241793B2 (ja) 2017-12-06
WO2014097539A1 (ja) 2014-06-26

Similar Documents

Publication Publication Date Title
JP6241793B2 (ja) 3次元測定装置および3次元測定方法
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
CN107037443B (zh) 基于三角测量原理来确定距离的方法和测距单元
US10422859B2 (en) Distance measuring device and solid-state image sensor
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
JP6701199B2 (ja) 測距撮像装置
JP6863342B2 (ja) 光測距装置
JP6120611B2 (ja) ビーム走査型表示装置
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
Hussmann et al. Real-time motion artifact suppression in tof camera systems
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
CN111742241A (zh) 光测距装置
JP2002131016A (ja) 距離測定装置、及び距離測定方法
CN110876006B (zh) 混合使用多次曝光获得的深度图像
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
JP2020160044A (ja) 測距装置および測距方法
US11914039B2 (en) Range finding device and range finding method
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
US9395178B2 (en) Position measuring device and position measuring method
WO2015145599A1 (ja) 映像投影装置
JP2023106904A (ja) 測定装置及び測定方法
WO2019026589A1 (ja) 測距制御装置および測距システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171027

R151 Written notification of patent or utility model registration

Ref document number: 6241793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250