JP6071363B2 - 距離計測装置及び方法 - Google Patents
距離計測装置及び方法 Download PDFInfo
- Publication number
- JP6071363B2 JP6071363B2 JP2012205582A JP2012205582A JP6071363B2 JP 6071363 B2 JP6071363 B2 JP 6071363B2 JP 2012205582 A JP2012205582 A JP 2012205582A JP 2012205582 A JP2012205582 A JP 2012205582A JP 6071363 B2 JP6071363 B2 JP 6071363B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distance
- imaging
- target object
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、以上の課題に鑑みてなされたものであり、簡単な処理の繰り返しによって、多重反射の影響を低減し計測精度を向上させることを目的とする。
第1の実施形態では、計測対象物体にパターン光を投影するパターン投影部(プロジェクタ)とパターン光が投影された計測対象物体を撮像する撮像部(カメラ)を用いて、計測対象物体の三次元計測を行う。本実施形態において、計測対象物体の三次元計測とは、撮像部または投影部から計測対象物体までの距離を計測することである。本実施形態では、2つの撮像部と1つの投影部を用いて三次元計測(計測対象物体までの距離計測)を行い、計測された距離が有効であるかを判断する。ここで、距離計測値が有効であるとは、計測された距離値が多重反射や画像ノイズによる影響が小さく、距離計測値として許容できる、すなわち、より正確な距離計測値が計測できている状態を示す。詳しくは後述するが、距離計測は、投影部の有する画素ごとに行われる。そのため、有効であるかの判断は、1画素ごとに行われる。いいかえると、投影部の表示素子の1画素に含まれる計測対象物体の領域ごとに、距離計測が行われ、有効かどうか判断される。そして、有効であると判断された領域は、その領域に対応する投影部の表示素子の画素を消光または減光し、投影部の表示素子の一部を消光または減光したパターンを用いて三次元計測を行うことを繰り返す。また、繰り返しの終了判定条件は任意に回数を指定する。
多重反射光が発生しない、あるいは、発生しても影響が顕在化しない場合には、上述の三角測量法で計測対象物体の距離計測を行うことができる。しかし、多重反射光が発生して影響が顕在化すると計測誤差を生じる。例えば図3に示すように、計測対象物体4に対して、パターン光Pt1を投影した場合、撮像部ではO1のように観測され、R1の部分に多重反射の影響が見られる。
工程S1では投影部1から計測対象物体4に対して計測用のパターン群を投影し、撮像部2Aおよび撮像部2Bによって計測対象物体4を撮像する。各撮像部で撮像が完了すると、計測用の次のパターンが投影されて撮像する。計測用のパターン群が全て投影・撮像されるまで繰り返される。計測用のパターンは例えばグレイコードが挙げられるが、これに限られるものではない。撮像されたデータは画像取得部32に送られる。
工程S2では撮像画像に基づいて、上述した三角測量法を用いて、領域ごとに投影部1と撮像部2A、投影部1と撮像部2B、撮像部2Aと撮像部2Bの合計3つの距離計測結果が算出される。
工程S3では3つの距離計測結果に基づいて、各領域における距離計測結果が有効であるかを判断する。各領域における3つの距離計測値が一致していれば、多重反射による影響などがなく、有効な距離計測結果であると判断することができる。なぜなら、光沢性が高い計測対象物体の多重反射の影響は、観測する視点の方向において異なるため、異なる撮像部(異なる視点)で観測すれば、多重反射の影響の有無が判別できるためである。また多重反射以外の影響、例えばランダムに発生した画像ノイズなどで、3つの距離計測値が一致しない場合は、距離計測結果が無効であると見なす。
工程S4では、有効性判断結果に基づいて、投影パターンのうち、距離計測値が有効であると見なされた領域に対応する部分を、消光または減光するように投影パターンを更新する。距離計測値が有効である領域に関しては、所望の距離計測値が得られているため、以降の繰り返し処理の中では処理を行う必要はない。そして、その領域を照らしているパターン光を、消光または減光する。その領域で反射したパターン光が、計測対象物体内の他の面を照らす多重反射の原因となっていた場合には、次の繰り返し処理で更新した投影パターンを投影することで、その多重反射の影響を取り除くことができる。ただし、投影パターンの更新方法は消光や減光に限らず、有効であると見なされた領域を照らす光の影響が、相対的に弱まる方法でありさえすればよい。例えば、距離計測値が有効ではないと判断された領域に対応する投影パターン部を増光させてもよい。
工程S5では、終了判定条件を満たすかどうかを判定し、満たす場合は工程S6へ進み、満たさない場合は工程S1へ戻り、工程S4で更新した投影パターンを用いて処理を繰り返す。す第1実施形態では終了判定条件を任意の指定回数N回繰り返していることとする。よって繰り返し回数がN−1回以下の場合は工程S1へ戻り、N回の場合は工程S6へ進む。複数回繰り返し処理を行うことによって、3次以上の多重反射の影響を取り除いたり、画像ノイズなどの影響を受けにくくしたりすることが可能である。また任意の回数(1回繰り返しを含む)に指定できるため、現場のタクトタイムに合わせて処理を行うことができる。
工程S6では、距離計測結果の統合を行う。繰り返し処理を行っている間、新たに距離計測値が有効であると見なされた領域における、距離計測値が得られるので、その値を保持しておく。一度有効であると見なされた領域は、その距離計測値を保持して対応付けられた後、繰り返しの間に処理が行われることはない。よってi番目の繰り返しの際に新たに距離計測値が有効であると見なされた領域への距離計測値を保持しておけば、工程S6では、N個の距離計測値のデータを統合すれば、計測対象物体の距離計測値が得られる。ただし、本発明はこれに限られるものではなく、繰り返し処理の間(例えば工程S5の終了判定条件を判定する時など)に、新たに距離計測値が有効であると判断された領域への距離計測値を、距離計測結果のデータに加えていってもよい。その場合は、工程S6に進んだ時点で距離計測結果は既に統合済みとなっている。
第2の実施形態では、有効性判断手段として、投影部2つと撮像部1つを用いて三次元計測を行い、計測された領域への距離が有効であるかを判断する。図7は第2の実施形態に係る距離計測装置の概略構成である。第1の実施形態で説明した図1とほぼ同様であるが、本実施形態では、投影部を2つ(投影部1Aおよび1B)、撮像部を1つ(撮像部2)を用いる点が異なる。第2の実施形態のフローチャートは、第1の実施形態で説明した図6とほぼ同様であるため、同様の処理に関しては説明を省略し、差異がある工程S1に関して説明する。
第3の実施形態では、有効性判断手段として、投影部1つと撮像部1つを用いて複数の異なる投影パターン群を投影して三次元計測を行い、計測された領域への距離が有効であるかを判断する。図8は第3の実施形態に係る距離計測装置の概略構成である。第1の実施形態で説明した図1および第2の実施形態で説明した図6とほぼ同様であるが、本実施形態では、投影部を1つ(投影部1)、撮像部を1つ(撮像部2)しか用いない点が異なる。第3の実施形態のフローチャートは、第1の実施形態で説明した図6とほぼ同様であるため、同様の処理に関しては説明を省略し、差異がある工程S1や工程S3に関して説明する。
M. Gupta, A. Agrawal, A. Veeraraghavan, and S. G. Narasimhan, “Structured light 3D scanning in the presence of global illumination,” CVPR2011, pp713−720, 2011
工程S3において、第1の実施形態ではキャリブレーション時の誤差によって3つの距離計測値が完全には一致しない場合について説明した。第3の実施形態においては、投影部と撮像部が1つずつしかないため、キャリブレーションの誤差によって一致しない場合は起こり得ない。そのため、算出された距離計測値そのものを用いて有効性の判断を行うことができる。
第4の実施形態では、有効性判断手段として、投影部1つと撮像部1つと1組の投影パターン群を投影して三次元計測を行い、計測対象物体の形状に関する情報を利用して、計測された領域への距離計測値が有効であるかを判断する。第4の実施形態に係る距離計測装置の概略構成は、第3の実施形態で説明した図8と同様であるため説明を省略する。第4の実施形態のフローチャートは第3の実施形態で説明した図6とほぼ同様であるため、同様の処理に関しては説明を省略し、差異がある工程S1と工程S3に関して説明する。
第5の実施形態では、有効性判断手段として、投影部1つと撮像部1つを用いて計測用投影パターンを投影して三次元計測を行った後、多重反射判定用パターンを投影して、多重反射が起きているかどうかを判定する。そして、計測された領域への距離計測値が有効であるかを判断する。第5の実施形態に係る距離計測装置の概略構成は、第3の実施形態で説明した図8と同様である。第5実施形態のフローチャートは第3実施形態で説明した図6とほぼ同様であるため、同様の処理に関しては説明を省略し、差異がある工程S1と工程S3に関して説明する。
第6の実施形態では、工程S5における終了判定条件として、任意の総計測時間Tを経過していることとする。よって計測時間Tを越えていなければ工程S1へ戻り、工程S4で更新した投影パターンを用いて処理を繰り返し、Tを越えていれば、工程S6へ進む。第6の実施形態に係る距離計測装置の概略構成は第1の実施形態で説明した図1と同様であり、フローチャートも第1の実施形態で説明した図6と同様であるため、説明を省略する。
第7の実施形態では、工程S5における終了判定条件として、指定された距離計測結果が得られていることとする。例えば、指定された領域の距離計測点の数が一定数を越えていなければ工程S1へ戻り、工程S4で更新した投影パターンを用いて処理を繰り返し、一定数を越えていれば、工程S6へ進む。第7の実施形態に係る距離計測装置の概略構成は第1の実施形態で説明した図1と同様であり、フローチャートも第1の実施形態で説明した図6と同様であるため、説明を省略する。
第8の実施形態では、工程S5における終了判定条件として、過去の距離計測結果と今回新たに計測した距離計測結果との比較に基づいて判定を行う。例えば、N回繰り返して得られた距離計測結果において、N−1回目の距離計測結果と比較して、新たに計測できた点の数や割合などが一定の基準を越えていれば工程S1へ戻り、工程S4で更新した投影パターンを用いて処理を繰り返す。一定の基準を下回り収束していると見なされれば、工程S6へ進む。第8の実施形態に係る距離計測装置の概略構成は第1の実施形態で説明した図1と同様であり、フローチャートも第1実施形態で説明した図6と同様であるため、説明を省略する。
前半に述べた第2〜5の実施形態は、いずれも有効性判断を行う方法に関する変形例である。一方、後半に述べた第6〜8の実施形態は、繰り返し計測における終了判定条件に関する変形例である。これらの有効性判断と終了判定条件は互いに独立に変更させることができるため、第1の実施形態に対して、第2〜5実施形態と第6〜8の実施形態を自由に組み合わせた例として実施してもよい。
よって、第1、第2実施形態において、計測用パターン群の最良の形態は、投影する計測用パターンを高周波な縞パターン群とすることである。つまり、多重反射の鏡面反射成分と拡散反射成分の両方の影響を低減しながら計測できる領域を拡大できるため、非常に本発明との相性が良い。
第1の実施形態では、投影部と複数の撮像部を用いて、多重反射領域の距離計測を行う。複数の撮像部で計測した結果から距離計測結果を複数求めることで、距離計測結果の有効性を判断する。距離計測値が有効であると判断された領域に対応する投影パターンを消光または減光することによって、次の計測時には、多重反射の影響を低減し、有効な距離計測を行える領域を拡大することができる。特に、第1の実施形態では撮像部を複数用いるため、多くの入力画像が得られ、ロバストかつ計測精度を上げることができる。
11 光源
12 照明光学系
13 表示素子
14 投影光学系
2A 撮像部
21A 撮像レンズ
22A 撮像素子
2B 撮像部
21B 撮像レンズ
22B 撮像素子
3 制御・計算処理部
31 投影パターン制御部
32 画像取得部
33 距離算出部
34 有効性判断部
35 繰り返し制御部
36 パラメータ記憶部
4 計測対象物体
Claims (12)
- 計測対象物体にパターンを投影する、少なくとも一つの投影手段と、
前記パターンが投影された前記計測対象物体を撮像する、少なくとも一つの撮像手段と、
前記撮像手段で撮像された画像に基づいて、前記投影手段または前記撮像手段から、前
記計測対象物体への距離を計測する計測手段と、
前記計測された距離が有効であるかを判断する判断手段と、
前記投影されたパターンのうち、前記判断手段によって距離が有効であると判断された領域に投影されたパターンの輝度値を低下させる制御手段とを備えることを特徴とする距離計測装置。 - 前記投影手段として、第1の投影手段と、該第1の投影手段とは異なる位置から投影を行う第2の投影手段とを備え、
前記計測手段は、前記第1の投影手段によりパターンが投影された前記計測対象物体を撮像した第1の撮像画像に基づいて前記計測対象物体までの距離を計測し、前記第2の投影手段によりパターンが投影された前記計測対象物体を撮像した第2の撮像画像に基づいて、前記計測対象物体までの距離を計測し、
前記判断手段は、前記第1の撮像画像に基づいて計測された前記計測対象物体までの距離と前記第2の撮像画像に基づいて計測された前記計測対象物体までの距離が一致しているかに基づいて、前記計測された距離が有効であるかを判断することを特徴とする請求項1に記載の距離計測装置。 - 前記撮像手段として、第1の撮像手段及び前記第1の撮像手段とは異なる位置で撮像を行う第2の撮像手段を備え、
前記計測手段は、前記投影手段によりパターンが投影された前記計測対象物体を前記第1の撮像手段により撮像した第1の撮像画像に基づいて前記計測対象物体までの距離を計測し、前記投影手段によりパターンが投影された前記計測対象物体を前記第2の撮像手段により撮像した第2の撮像画像に基づいて前記計測対象物体までの距離を計測し、
前記判断手段は、前記第1の撮像画像に基づいて計測された前記計測対象物体までの距離と前記第2の撮像画像に基づいて計測された前記計測対象物体までの距離が一致しているかに基づいて、前記計測された距離が有効であるかを判断することを特徴とする請求項1に記載の距離計測装置。 - 前記投影手段は、前記計測対象物体に、複数のパターンを順次投影し、
前記撮像手段は、前記パターンが順次投影された計測対象物体を、前記パターンごとに順次撮像し、
前記計測手段は、前記撮像されたそれぞれの画像に基づいて、前記計測対象物体への距離をそれぞれの画像ごとに計測し、
前記判断手段は、前記撮像されたそれぞれの画像ごとに計測された距離が一致しているかに基づいて、前記計測された距離が有効であるかを判断することを特徴とする請求項1に記載の距離計測装置。 - 前記判断手段は、前記計測対象物体の形状に関する情報に基づいて、前記計測対象物体までの距離が有効であるかを判断することを特徴とする請求項1に記載の距離計測装置。
- 更に、請求項1に記載の各手段を1回実行した後に、予め定められた終了判定条件を満たすかどうかを判定する終了判定手段を備え、前記終了判定手段によって終了判定条件を満たさないと判定された場合に、前記投影手段、前記撮像手段、前記計測手段、前記判断手段、前記制御手段、の一連の処理を少なくとも1回繰り返して実行することを特徴とする請求項1乃至5のいずれか1項に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記計測手段、前記判断手段、前記制御手段、により行われる一連の処理の繰り返し回数に基づいて、判定を行うことを特徴とする請求項6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記計測手段、前記判断手段、前記制御手段、により行われる一連の処理に要する時間に基づいて、判定を行うことを特徴とする請求項6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記計測手段、前記判断手段、前記制御手段、により行われる処理の結果に基づいて、判定を行うことを特徴とする請求項6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記計測手段、前記判断手段、前記制御手段、により行われた過去の計測結果と、今回の計測結果とに基づいて、判定を行うことを特徴とする請求項6に記載の距離計測装置。
- 投影手段と、撮影手段と、計測手段と、判断手段と、制御手段とを備える距離計測装置の制御方法であって、
投影手段が、計測対象物体にパターンを投影する投影工程と、
撮像手段が、前記パターンが投影された前記計測対象物体を撮像する撮像工程と、
計測手段が、前記撮像工程において撮像された画像に基づいて、前記計測対象物体までの距離を計測する計測工程と、
判断手段が、前記計測された距離が、有効であるかを判断する判断工程と、
制御手段が、前記投影されたパターンのうち、前記判断工程において計測された距離が有効であると判断された領域に投影されたパターンの輝度値を低下させる制御工程と、を有することを特徴とする距離計測装置の制御方法。 - 請求項11に記載の距離計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012205582A JP6071363B2 (ja) | 2012-09-19 | 2012-09-19 | 距離計測装置及び方法 |
US14/029,116 US9857166B2 (en) | 2012-09-19 | 2013-09-17 | Information processing apparatus and method for measuring a target object |
CN201310432409.6A CN103673925B (zh) | 2012-09-19 | 2013-09-22 | 用于测量对象物体的信息处理装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012205582A JP6071363B2 (ja) | 2012-09-19 | 2012-09-19 | 距離計測装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014059261A JP2014059261A (ja) | 2014-04-03 |
JP2014059261A5 JP2014059261A5 (ja) | 2015-11-12 |
JP6071363B2 true JP6071363B2 (ja) | 2017-02-01 |
Family
ID=50615844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012205582A Active JP6071363B2 (ja) | 2012-09-19 | 2012-09-19 | 距離計測装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6071363B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6059170B2 (ja) | 2013-04-30 | 2017-01-11 | 日本特殊陶業株式会社 | 温度センサ |
EP2955544B1 (en) * | 2014-06-11 | 2020-06-17 | Sony Depthsensing Solutions N.V. | A TOF camera system and a method for measuring a distance with the system |
JP6507653B2 (ja) * | 2015-01-13 | 2019-05-08 | オムロン株式会社 | 検査装置及び検査装置の制御方法 |
JP6540557B2 (ja) * | 2016-03-07 | 2019-07-10 | オムロン株式会社 | 画像計測システムおよびコントローラ |
JP6553586B2 (ja) * | 2016-12-16 | 2019-07-31 | 日本電信電話株式会社 | 計測十分度算出装置、方法、及びプログラム |
JP6673266B2 (ja) * | 2017-03-08 | 2020-03-25 | オムロン株式会社 | 相互反射検出装置、相互反射検出方法、およびプログラム |
US10529082B2 (en) * | 2017-06-20 | 2020-01-07 | Mitutoyo Corporation | Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method |
JP7219034B2 (ja) | 2018-09-14 | 2023-02-07 | 株式会社ミツトヨ | 三次元形状測定装置及び三次元形状測定方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4883517B2 (ja) * | 2004-11-19 | 2012-02-22 | 学校法人福岡工業大学 | 三次元計測装置および三次元計測方法並びに三次元計測プログラム |
JP4611782B2 (ja) * | 2005-03-28 | 2011-01-12 | シチズンホールディングス株式会社 | 3次元形状測定方法及び測定装置 |
JP2008309551A (ja) * | 2007-06-13 | 2008-12-25 | Nikon Corp | 形状測定方法、記憶媒体、および形状測定装置 |
JP2009019941A (ja) * | 2007-07-11 | 2009-01-29 | Nikon Corp | 形状測定方法 |
JP5448599B2 (ja) * | 2009-06-24 | 2014-03-19 | キヤノン株式会社 | 測定システム及び測定処理方法 |
JP2011021970A (ja) * | 2009-07-15 | 2011-02-03 | Nikon Corp | 三次元形状測定装置および三次元形状測定方法 |
-
2012
- 2012-09-19 JP JP2012205582A patent/JP6071363B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014059261A (ja) | 2014-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6071363B2 (ja) | 距離計測装置及び方法 | |
US9857166B2 (en) | Information processing apparatus and method for measuring a target object | |
US9835438B2 (en) | Distance measuring apparatus and method | |
JP5875352B2 (ja) | 画像処理装置、画像処理装置の制御方法、距離計測装置、およびプログラム | |
JP5055191B2 (ja) | 3次元形状計測方法および装置 | |
JP6351201B2 (ja) | 距離計測装置および方法 | |
CN102410832B (zh) | 位置姿势测量设备和位置姿势测量方法 | |
JP5576726B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
US20200278197A1 (en) | Measurement apparatus, measurement method, system, storage medium, and information processing apparatus | |
WO2018163530A1 (ja) | 3次元形状計測装置、3次元形状計測方法、及びプログラム | |
JP7413372B2 (ja) | 対向配置チャネルを有する三次元センサ | |
JP2009204343A (ja) | 3次元形状計測方法および装置 | |
US11640673B2 (en) | Method and system for measuring an object by means of stereoscopy | |
CN105960570A (zh) | 来自两个相机的曲线组的结构化光匹配 | |
JP2017531258A (ja) | カメラ画像で投影構造パターンの構造要素を特定する方法および装置 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
JP4379626B2 (ja) | 3次元形状計測方法及びその装置 | |
US9752870B2 (en) | Information processing apparatus, control method thereof and storage medium | |
JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6567199B2 (ja) | 距離計測装置、距離計測方法、及び距離計測プログラム | |
KR101750883B1 (ko) | 비전 검사 시스템의 3차원 형상 측정 방법 | |
JP7390239B2 (ja) | 三次元形状測定装置及び三次元形状測定方法 | |
JP2018087715A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Lilienblum et al. | Pattern optimization for 3D surface reconstruction with an active line scan camera system | |
CN111829456A (zh) | 三维形状测定装置以及三维形状测定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6071363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |