JP6016912B2

JP6016912B2 - ３次元計測装置と３次元計測方法

Info

Publication number: JP6016912B2
Application number: JP2014521235A
Authority: JP
Inventors: 一能岩井
Original assignee: Shima Seiki Manufacturing Ltd
Current assignee: Shima Seiki Manufacturing Ltd
Priority date: 2012-06-12
Filing date: 2013-05-22
Publication date: 2016-10-26
Anticipated expiration: 2033-05-22
Also published as: CN104380037A; JPWO2013187203A1; WO2013187203A1; EP2860490A1; US20150160005A1; EP2860490A4

Description

この発明は３次元計測に関し、特に位相シフト法で得られる位相の接続に関する。

プロジェクタから格子を計測対象物体に投影し、カメラで画像を撮影することにより、計測対象物体（以下単に「計測物体」という）の３次元形状を求めることが行われている（例えば特許文献１：特許3536097）。プロジェクタの前面に透光度が正弦波状に周期的に変化する格子を配置し、格子の位置を正弦波の周期の例えば1/4ずつシフトさせて、例えば４回撮影する。４枚の画像での同じ画素の輝度をＩ0〜Ｉ3とすると、（Ｉ1−Ｉ3）／（Ｉ0−Ｉ2）は格子に対する画素の位相を表し、位相はプロジェクタから見た計測物体の方向を表している。カメラから見た画素の方向は既知なので、プロジェクタから見た計測物体の方向が定まると、ステレオ測量の原理により、計測物体表面の３次元位置が定まる。格子の位相を用いるので、この方法は位相シフト法と呼ばれる。

位相シフト法で測定するのは０〜２πの位相である。高精度に３次元形状を測定するため、周期的に繰り返す格子を用いるので、何番目の格子に対する位相であるかを判別する必要がある。なお以下、格子の番号をｎ、０〜２πの位相をθとし、位相θに番号ｎを加えて２ｎπ＋θの位相に変換することを位相接続と呼ぶ。位相θが隣接した画素間で連続的に変化する場合、位相が連続的に変化するとの条件を加えて、２ｎπ＋θの位相に変換することが知られている。しかし隣接した画素間で位相θが大きくジャンプする場合、即ち位相θが不連続に変化する場合、位相接続は困難である。

この点について、特許文献１：特許3536097は、格子の空間周波数（格子のピッチの逆数）が周期的に変化する周波数変調格子を用いることを開示している。しかしながらこのような格子は作製が難しく、空間周波数が低い部分では位相の分解能が低下し、３次元計測の分解能も低下する。特許文献２：特許3500430は、ピッチの比がｍ：ｎの２種類の格子を合成した単色矩形波格子を用いることを提案しているが、ｍ×ｎ枚の画像が必要で撮影時間が長く、また格子のコントラストが低いため、位相θの測定精度が低下する。特許文献３：特許4170875は、格子をプロジェクタからの投影方向に沿って移動させることにより、複数の格子を投影したのと同じ結果を得ることを提案している。しかしこの方法では、格子をプロジェクタに対し垂直方向（投影方向）に移動させる機構が必要になる。

特許3536097 特許3500430 特許4170875

この発明の課題は、計測時間を著しく増さずに、かつ簡単に位相θを接続できるようにすることにある。

この発明の３次元計測装置は、計測対象の物体に格子をシフト自在に投影するプロジェクタと、計測対象の物体を撮影するカメラと、格子の位置をシフトさせた複数の画像から格子に対する計測対象の物体の位相を求めて、計測対象の物体の３次元形状へ変換するコンピュータ、とを備えている３次元計測装置において、
カメラから相対的に近い位置と相対的に遠い位置とに、前記プロジェクタが２台設けられ、
前記コンピュータは、
カメラから近い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の粗な位相を求めると共に、カメラから遠い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の精密な位相を求める位相解析部と、
前記精密な位相を、前記粗な位相により、カメラからの視線方向に沿っての、計測対象の物体の表面の位置を一意に定める位相へ変換する位相接続部、とを備えていることを特徴とする。

この発明の３次元計測方法は、３次元計測装置の位相解析部により、カメラから近い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の粗な位相を求めるステップと、
３次元計測装置の位相解析部により、カメラから遠い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の精密な位相を求めるステップと、
３次元計測装置の位相接続部により、前記精密な位相を、前記粗な位相により、カメラからの視線方向に沿っての、計測対象の物体の表面の位置を一意に表す位相へ変換するステップ、とを実行することを特徴とする。なお粗な位相を求めるステップと、精密な位相を求めるステップは、いずれを先に実行しても良い。

図６に示すように、カメラから近い側のプロジェクタで投影すると、カメラの視線方向に沿った位置を一意に表す位相（粗な位相）が得られるが、この位相は空間分解能が低い。一方カメラから遠い側のプロジェクタで投影すると、空間分解能が高いが、カメラの視線方向に沿った位置が一意に定まらない位相（精密な位相）が得られる。粗な位相から計測物体表面の３次元座標の概略値が分かり、これから精密な位相の概略値が分かる。また粗な位相が連続的に変化する場合、精密な位相も連続的に変化するので、精密な位相が取りうる範囲を制限できる。従って粗な位相を、カメラの視線方向に沿った位置を一意に定める精密な位相へ変換できる。そして精密な位相により、物体の３次元形状が正確に定まる。

この発明では、従来技術のようにｍ×ｎ枚の画像を撮影する必要がないので、短時間で計測を行える。また視線方向に沿って格子をシフトさせる必要が無く、さらに周波数変調格子を用いる必要もない。プロジェクタの台数は少なくとも２台で、カメラは少なくとも１台、好ましくは複数台設ける。この明細書において、３次元計測装置に関する記載は３次元計測方法にもそのまま当てはまり、逆に３次元計測方法に関する記載は３次元計測装置にもそのまま当てはまる。

好ましくは、格子は周期的な格子で、精密な位相は、格子の１周期を０以上２π未満とする際に、０≦θ＜２π であるθであり、位相接続部は、格子の基準点からの周期の数を n として、粗な位相からnを求めることにより、一意に定める位相として２nπ＋θ を求める。

好ましくは、カメラから相対的に近いプロジェクタが格子をシフトさせている間に、カメラから相対的に遠いプロジェクタから格子を投影し、カメラから相対的に遠いプロジェクタが格子をシフトさせている間に、カメラから相対的に近いプロジェクタから格子を投影するように、２台のプロジェクタを制御する制御手段を設ける。格子を投影した画像（以下単に画像ということがある）の取得に最も時間を要するのは、格子のシフトである。そして一方のプロジェクタが格子をシフトしている間に、他方のプロジェクタで投影しカメラで撮影するので、画像の取得に要する時間が実質的に増加せず、短時間で画像を取得できる。このため人体、動物、振動している物体等の形状を固定するのが難しい物体でも、３次元形状を容易に測定できる。

特に好ましくは、前記カメラを第１のカメラとして、第１のカメラから相対的に遠いプロジェクタの付近に第２のカメラを設け、第１のカメラから相対的に近いプロジェクタが投影するときも、相対的に遠いプロジェクタが投影するときも、第１のカメラと第２のカメラに共に計測対象の物体を撮影させるように、前記制御手段が構成されている。このようにすると、２台のカメラからの画像が得られ、３次元形状の測定での死角が減少する。第２のカメラは、第１のカメラから遠い側のプロジェクタに相対的に近く、第１のカメラから近い側のプロジェクタに相対的に遠いカメラである。

実施例の３次元計測装置のブロック図実施例での計測物体とユニットとを示す図実施例での計測用パーソナルコンピュータのブロック図実施例での３次元計測アルゴリズムを示すフローチャート実施例での、発光及び撮影と、格子のシフトとを示す図実施例での粗な位相と精密な位相とを説明する図実施例での位相接続を示す図実施例での計測結果を示す図

以下に、発明を実施するための最適実施例を示す。

図１〜図８に、実施例の３次元計測装置２と３次元計測方法とを示す。図１において、４は格子の投影と撮影用のユニットで、例えば計測対象の物体（以下計測物体）１の周囲に４台配置する。なお計測物体１は例えば人体、家具、機械、自動車、電子機器、建物等で、４台のユニット４を設けるのは計測物体１の全周を３次元計測するためである。全周を計測するには例えば３台以上６台以下のユニット４を設け、１面のみを計測するのであれば１ユニットでも良い。６はコントローラで、ユニット４での格子のシフト及びプロジェクタの発光とカメラによる撮影を制御し、ＬＡＮ７を介してこれらに関する指令をユニット４へ送出する。またユニット４は撮影した画像をＬＡＮ７を介してコントローラ６へ送出し、コントローラ６は画像を計測用パーソナルコンピュータ８へ転送する。パーソナルコンピュータ８はコントローラ６と一体、あるいはユニット４と一体でも良く、パーソナルコンピュータではなく他の種類のコンピュータを用いても良い。１０はモニタで、ユーザの入力と計測結果の表示等に用いる。

図２に示すように、ユニット４は上下２台のカメラＣ1，Ｃ2と上下２台のプロジェクタＰ1，Ｐ2を備え、添字１は上側を、２は下側を表す。プロジェクタＰ1，Ｐ2は例えばＬＥＤパネルを光源とし、矩形波、正弦波等の格子がガラス板等に周期的にプリントされているサブストレートを、光を投光する側に備えている。位相シフト法では同じ場面を、格子の位置をシフトさせて３回以上撮影し、プロジェクタＰ1，Ｐ2は格子をシフトさせるシフト機構９を備えている。実施例では、位相の算出を容易にするため、同じ場面を４回撮影するが、３回でも良い。実施例では、上下のプロジェクタＰ1，Ｐ2を組み合わせるので、格子は横縞でシフト方向は上下で、カメラＣ1を基準とすると、プロジェクタＰ1が相対的に近い位置のプロジェクタ，プロジェクタＰ2が相対的に遠い位置のプロジェクタである。カメラＣ2を基準とすると、プロジェクタＰ2が相対的に近い位置のプロジェクタ，プロジェクタＰ1が相対的に遠い位置のプロジェクタである。また他のユニットの同じ高さのプロジェクタを組み合わせる場合、格子は縦縞で、シフト方向は水平とする。またカメラＣ1，Ｃ2はデジタルカメラである。

図３にパーソナルコンピュータ８の構成を示し、入出力１２はコントローラ６を介してユニット４と接続されている。ユーザ入力１４はユーザの指示を受け付け、表示制御１６はモニタ１０を制御する。出力部１８は３次元計測データを出力する。位相解析部２０は位相シフト法により位相を解析し、実施例では、カメラＣ1，Ｃ2とプロジェクタＰ1，Ｐ2との組み合わせにより粗な位相と精密な位相とを求め、カメラを近接したプロジェクタと組み合わせると粗な位相が、離れたプロジェクタと組み合わせると精密な位相が得られる。例えば同じプロジェクタの発光により、格子を１／４ピッチずつシフトさせて４枚の画像を撮影し、その輝度をＩ0〜Ｉ3とする。なおピッチは格子の周期である。すると（Ｉ1−Ｉ3）／（Ｉ0−Ｉ2）はｔａｎ^−１θを表し、これから位相θが求まる。

位相接続部２２では、０〜２πの精密な位相θを２ｎπ＋θ（ｎは整数）の完全な位相に変換し、ｎは格子の基準点からのピッチの数である。位相接続の詳細は図４〜図８に示す。計測物体１には、２台のカメラＣ1，Ｃ2の一方が他方よりも正確に計測できるエリアがある。例えば一方のカメラに対して影になっているエリア、一方のカメラでは暗い画像しか得られないエリアでは、他方のカメラの画像に基づいて３次元形状を測定した方が精度が高い。選択部２４は、２台のカメラＣ1，Ｃ2から求めた３次元座標に対して、計測物体のエリア毎に、計測精度の高い側を選択する。座標変換部２６はカメラＣ1，Ｃ2を基準とする座標系での３次元座標を、基準座標系での３次元座標に変換する。合成部２８は、複数のユニット４から得られた計測物体表面の３次元座標を、例えば信頼度を重みとする加算平均により合成する。

背景除去部３０は計測物体と背景とを分離し、例えば計測物体がない状態での画像から作成した振幅画像と位相画像とを記憶している。振幅画像は４枚の画像から算出される正弦波状の格子のコントラストの画像で、輝度の最大値の画像等でも良い。また位相画像は例えば位相解析部２０で抽出した位相の画像で、値は０〜２πで、精密な位相の画像でも粗な位相の画像でも良い。位相画像は位相解析部２０で位相を解析する間に得られる。ある画素での位相をαとすると、Ａsinα等のデータが得られているので、例えば位相解析部２０により位相αが求まると、振幅Ａが得られる。あるいはＡsinαとＡcosαのデータが得られているので、Ａ^２sin^２αとＡ^２cos^２αから振幅Ａの２乗が分かる。計測物体を撮影した際に、同様に振幅画像と位相画像とを求める。計測物体を含む画像中で、位相も振幅も背景画像から変化していない画素は背景に属する。位相と振幅の少なくとも一方が変化している画素は計測物体に属する可能性があるので、３次元計測の対象とする。

図４に実施例での３次元計測アルゴリズムを示す。ここでは１台のユニットの上下のカメラＣ1，Ｃ2とプロジェクタＰ1，Ｐ2を組み合わせる場合を想定し、格子をシフトさせるのに時間が必要なため、プロジェクタＰ1から発光してカメラＣ1，Ｃ2で撮影している間に、プロジェクタＰ2の格子をシフトさせる（ステップ１，２）。逆にプロジェクタＰ1の格子をシフトさせている間に、プロジェクタＰ2から発光してカメラＣ1，Ｃ2で撮影する（ステップ３，４）。一方のプロジェクタでの格子のシフトと、他のプロジェクタでの発光と撮影とを並行して行うことにより、合計の撮影時間を延ばさずに、複数のプロジェクタを用いて撮影することができる。以上の処理を、格子のシフトを完了するまで繰り返す（ステップ５）。

実施例では４台のユニットを用いるので、プロジェクタの発光とカメラの撮影のパターンを図５のようにし、上は上側のプロジェクタ、下は下側のプロジェクタを表す。このようにすると、例えば１秒間で８台のプロジェクタを各４回発光させ、各発光毎に最大８台のカメラで撮影するので、計測物体に格子を投影した画像が最大で２５６枚得られる。しかし撮影に必要な合計の時間は、１台のプロジェクタを用いる場合に比べ、例えば１／３〜１／６程度しか増加しない。

粗な位相が計測物体が存在する範囲で最大２π程度変化するようにすると、粗な位相に対しては位相接続が不要になる。そして粗な位相から計測物体表面の位置を低精度ではあるが一意に決定できる。しかし背景か計測物体かは粗な位相からは判別できないので、背景を除去する。そして計測物体の表面に対して粗な位相と精密な位相とを求める（ステップ６，７）。さらに粗な位相を参照して、０〜２πの範囲の精密な位相を、２ｎπ＋θの完全な位相に変換する（ステップ８）。位相接続により完全な位相が求まると、計測物体表面の３次元座標が正確に求まる。またステップ９で、カメラＣ1、Ｃ2の画像の明るさ等に応じて、カメラＣ1，Ｃ2のいずれから求めた座標を用いるかを、計測物体表面のエリア毎に決定する。ステップ１１で基準座標系へ座標を変換し、ステップ１２で複数のユニットからの座標を合成して出力する。合成では例えば各ユニットからの座標を、信頼度を重みとして、加算平均する。また前記の選択の代わりに、座標系を統一した後に、カメラＣ1，Ｃ2から求めた座標を信頼度を重みとして加算平均しても良い。

図６に、カメラＣ1から見た粗な位相と精密な位相とを示す。プロジェクタＰ1，Ｐ2からの線は格子の１ピッチを表す。カメラＣ1から見た位相は、プロジェクタＰ2からの格子に対し、視線方向に沿って大きく変化し、同じ視線上に同じ位相を与える複数の点θ１〜θ４等が存在し、計測物体表面の位置は一意には定まらない。プロジェクタＰ1からの格子をカメラＣ1から見た位相は緩やかにしか変化せず、例えば計測範囲内では同じ位相を与える点が他になく、計測物体表面の位置を低精度ではあるが一意に決定できる。

この状況を図７に示し、横軸は視線方向に沿った位置である。プロジェクタＰ1からの発光を利用する粗な位相をθP1、プロジェクタＰ2からの発光を利用する精密な位相をθP2とする。粗な位相θP1は低精度であるが広い奥行きの範囲をカバーし、精密な位相θP2は高精度であるが狭い範囲しかカバーせず、同じ位相を与える点が計測範囲内に複数ある。そこで粗な位相θP1を用いて精密な位相θP2を接続すると、完全な位相φが得られる。具体的な手法としては、例えば粗な位相θP1により完全な位相φの範囲を画素毎に定め（即ち、ｎが取りうる値の範囲を定め）、位相θP2を完全な位相φに変換する。あるいは一部の画素に対して上記のようにして完全な位相φを求め、他の画素に対して、画素間での粗な位相θP1の変化分から、完全な位相φの変化分の範囲を定めることにより、精密な位相θP2を完全な位相φに変換する。

図８は、上側のプロジェクタＰ1の発光による粗な位相から求めた３次元の点群データと、下側のプロジェクタＰ2の発光により精密な位相から求めた３次元の点群データ、及び実施例に従って求めた３次元の点群データを示す。いずれもカメラは上側のカメラＣ1を用いた。図８での明度のバラツキは計測の精度を表し、上側のプロジェクタＰ1での計測ではデータのバラツキが著しい。また下側のプロジェクタＰ2での計測では、データが不連続である。これに対して実施例では、データのバラツキがすくなく、かつデータは基本的に連続している。これは、広い範囲に対し高精度に計測物体の形状を求めることができることを示している。

実施例では以下の効果が得られる。
1) １台のカメラに対し、２台以上のプロジェクタを用いて、粗な位相と精密な位相とを求めることにより、３次元形状を正確に測定できる。
2) １台のプロジェクタからの発光及びカメラによる撮影と、他のプロジェクタでの格子のシフトを並行して行うと、測定時間が実質的に延びない。
3) ２台以上のプロジェクタと２台以上のカメラとを組み合わせると、より正確に３次元形状を測定でき、しかも測定時間が延びない。

１計測物体２３次元計測装置４ユニット
６コントローラ７ＬＡＮ８計測用パーソナルコンピュータ
９シフト機構１０モニタ１２入出力１４ユーザ入力
１６表示制御１８出力部２０位相解析部
２２位相接続部２４選択部２６座標変換部
２８合成部３０背景除去部
Ｐ1，Ｐ2 プロジェクタＣ1，Ｃ2 カメラ

Claims

計測対象の物体に格子をシフト自在に投影するプロジェクタと、計測対象の物体を撮影するカメラと、格子の位置をシフトさせた複数の画像から格子に対する計測対象の物体の位相を求めて、計測対象の物体の３次元形状へ変換するコンピュータ、とを備えている３次元計測装置において、
カメラから相対的に近い位置と相対的に遠い位置とに、前記プロジェクタが２台設けられ、
前記コンピュータは、
カメラから近い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の粗な位相を求めると共に、カメラから遠い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の精密な位相を求める位相解析部と、
前記精密な位相を、前記粗な位相により、カメラからの視線方向に沿っての、計測対象の物体の表面の位置を一意に定める位相へ変換する位相接続部、とを備えていることを特徴とする３次元計測装置。
前記格子は周期的な格子で、
前記精密な位相は、格子の１周期を０以上２π未満とする際に、０≦θ＜２π であるθであり、
前記位相接続部は、格子の基準点からの周期の数を n として、前記粗な位相からnを求めることにより、前記一意に定める位相として２nπ＋θ を求めるように構成されていることを特徴とする、請求項１の３次元計測装置。
カメラから相対的に近いプロジェクタが格子をシフトさせている間に、カメラから相対的に遠いプロジェクタから格子を投影し、カメラから相対的に遠いプロジェクタが格子をシフトさせている間に、カメラから相対的に近いプロジェクタから格子を投影するように、２台のプロジェクタを制御する制御手段を備えていることを特徴とする、請求項２の３次元計測装置。
前記カメラを第１のカメラとして、第１のカメラから相対的に遠いプロジェクタの付近に第２のカメラを設け、
第１のカメラから相対的に近いプロジェクタが投影するときも、相対的に遠いプロジェクタが投影するときも、第１のカメラと第２のカメラに共に計測対象の物体を撮影させるように、前記制御手段が構成されていることを特徴とする、請求項３の３次元計測装置。
計測対象の物体にプロジェクタから格子をシフトさせて複数回投影すると共に、格子が投影された計測対象の物体をカメラで撮影し、コンピュータにより、格子の位置がシフトした複数の画像から格子に対する計測対象の物体の位相を求めて、計測対象の物体の３次元形状へ変換する３次元計測方法において、
カメラから相対的に近い位置と相対的に遠い位置とに、前記プロジェクタを２台設けるステップと、
３次元計測装置の位相解析部により、カメラから近い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の粗な位相を求めるステップと、
３次元計測装置の位相解析部により、カメラから遠い位置のプロジェクタから投影した際の画像から、計測対象の物体の表面の精密な位相を求めるステップと、
３次元計測装置の位相接続部により、前記精密な位相を、前記粗な位相により、カメラからの視線方向に沿っての、計測対象の物体の表面の位置を一意に表す位相へ変換するステップ、とを実行することを特徴とする３次元計測方法。