JP4442661B2 - 3次元計測方法および3次元計測装置 - Google Patents

3次元計測方法および3次元計測装置 Download PDF

Info

Publication number
JP4442661B2
JP4442661B2 JP2007222168A JP2007222168A JP4442661B2 JP 4442661 B2 JP4442661 B2 JP 4442661B2 JP 2007222168 A JP2007222168 A JP 2007222168A JP 2007222168 A JP2007222168 A JP 2007222168A JP 4442661 B2 JP4442661 B2 JP 4442661B2
Authority
JP
Japan
Prior art keywords
camera
dimensional
coordinates
image
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007222168A
Other languages
English (en)
Other versions
JP2009053136A (ja
Inventor
泰之 池田
紫朗 藤枝
博司 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007222168A priority Critical patent/JP4442661B2/ja
Priority to DE102008041524.3A priority patent/DE102008041524B4/de
Priority to US12/230,441 priority patent/US8648895B2/en
Publication of JP2009053136A publication Critical patent/JP2009053136A/ja
Application granted granted Critical
Publication of JP4442661B2 publication Critical patent/JP4442661B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

この発明は、それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された複数台のカメラを用いて、3次元計測を行う方法および装置に関する。
この種の3次元計測処理は、一般に2台のカメラを使用し、双方のカメラからの画像に共通に現れた特徴点について、三角測量の原理に基づき3次元座標を算出するものである。計測対象となる特徴点を特定するには、一方の画像を基準画像として、この基準画像から計測対象物に含まれる代表点を抽出し、この代表点を含む所定大きさの領域内の画像を用いて他方の画像における対応点を検索する処理(たとえばパターンマッチング)を実行する。また、3次元座標の算出では、あらかじめキャリブレーションにより設定されたパラメータを用いた演算が実行される。
さらに、対応点の検索処理においては、検索を効率良くかつ精度良く行うために、基準画像における代表点の座標やカメラ間の位置関係に基づき、検索対象の画像におけるエピポーラ線を特定し、このエピポーラ線に沿って、前記特徴点を含む領域に対応する領域を検索する方法が、広く採用されている(特許文献1参照。)。
特開2004−234423号公報
上記の3次元計測処理では、計測対象の領域に対する各カメラの相対位置関係や光軸方向を固定する必要があるが、何らかの原因によりカメラの位置や姿勢が変化することがある。このような状態になると、基準画像側の特徴点に対応する点は、本来あるべき場所からずれてしまうため、3次元座標の算出結果も不正確なものとなる。
上記のようにカメラの位置や姿勢の変化により3次元計測結果が不正確になると、厳密な計測結果が要求される場合に、致命的な損害が生じるおそれがある。
たとえば、工場の組立ラインでのロボットハンドの位置決めを3次元計測により行う場合に、計測結果が不正確になったことに気づかないまま処理が進められると、不良品が発生したり、処理エラーが生じる可能性がある。また3次元計測による検査を行う場合にも、不良品が見過ごされて出荷されたり、良品であるのに不良品として判別される製品が増えるおそれがある。
この発明は上記の問題に着目し、カメラ間の関係が当初の設定とは異なる状態になったために3次元計測結果が不正確になったとき、ユーザが速やかに気づいて対応できるようにすることを、目的とする。
この発明による3次元計測方法は、3台以上のカメラを、それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置するとともに、これらのカメラの中の特定の1台を基準カメラに設定し、前記3台以上のカメラの視野が重なる範囲に入った計測対象物に対し、各カメラによる撮像を行う第1ステップと、前記基準カメラにより生成された基準画像から前記計測対象物の代表点を抽出する第2ステップと、基準カメラ以外のカメラにより生成された比較画像と前記基準画像とを用いて第2ステップで抽出された代表点の3次元座標を算出する第3ステップと、第3ステップで算出された3次元座標に基づき、計測対象物に対する3次元計測結果を出力する第4ステップとを実行するものである。
上記の第3ステップでは、基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に前記基準画像に組み合わせ、組み合わせ毎に、基準画像から抽出された代表点に対する比較画像側の対応点を検索するステップと、この検索により特定された対応点の座標と基準画像中の前記代表点の座標とを用いてこれらの座標に対応する3次元座標を求めるステップとを実行するとともに、少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係とに基づき特定される比較画像中のエピポーラ線に対し、前記検索により特定された対応点のずれ量を算出するステップを、基準画像と比較画像との組み合わせ毎に実行する。さらに第4ステップでは、基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせに対して算出された3次元座標により前記計測対象物に対する3次元計測結果を特定し、この3次元計測結果を前記評価値とともに出力する。
なお、第3ステップにおいて比較画像側の対応点を検索する場合には、検索を効率良く行うために、エピポーラ線に沿って検索を行うのが望ましいが、その場合には、対応点がエピポーラ線からずれた場合に対応できるように、エピポーラ線からある程度離れた範囲までを検索対象にする必要がある。
カメラの位置または姿勢が変化して、カメラ間の関係が計測処理前のキャリブレーションにより特定したものとは異なるようになると、基準画像から抽出した代表点に対する比較画像側の対応点は、キャリブレーションにより特定したカメラ間の関係に基づくエピポーラ線から離れた場所に位置するようになる。
この発明では上記の点に着目し、1計測対象物に対する3次元計測を行う間に、各比較画像におけるエピポーラ線に対する対応点のずれ量に基づき、3次元計測結果の精度を表す評価値を設定して、3次元計測結果とともに出力するので、カメラの関係の変化によって3次元計測の精度が低下した場合に、それに気づかずに計測が続行されるのを防止することができる。
なお、前出の特許文献1には、3次元計測の処理を行う間に、その処理の信頼度を求めることが記載されている。しかし、この特許文献1における信頼度は、エピポーラ線に沿って対応点を検索する間に、真の対応点とは異なる点が誤抽出されていないかどうかを判別するためのものである。
この発明の評価値は、対応点自体は正しいが、3次元座標の算出に必要なパラメータが実際のカメラの配置に対応しないものになっている状態を把握するためのものであり、特許文献1の信頼度とは概念が全く異なる。また、特許文献1では、照合対象の画像にエピポーラ線に沿って参照ウィンドウを走査しながら、走査位置毎に基準ウィンドウとの輝度差の絶対値和(SAD)を用いた演算により信頼度を算出しており、エピポーラ線に対する対応点のずれ量を求める点については、何も記載されていない。
つぎに、この発明では、3台以上のカメラを使用し、基準カメラ以外の各カメラにより生成された画像を、比較画像としてそれぞれ個別に基準画像に組み合わせて、組み合わせ毎に代表点への対応点の検索、および3次元座標の算出、ならびにずれ量を算出する処理を実行し、最大のずれ量に基づき評価値を設定するとともに、ずれ量が最小となった組み合わせに対して算出された3次元座標により計測対象物に対する3次元計測結果を特定する。したがって、基準カメラ以外のカメラのいずれかが動いた場合や、基準カメラが動いて全てのカメラの関係が狂った場合には、その異常を評価値に反映させることができる。
また、基準カメラ以外の1カメラと基準カメラとが、両者間の関係を維持したまま動いた場合には、これらのカメラに対応するずれ量が最小になると考えられるが、正しい配置状態が保たれた他のカメラと基準カメラとの組み合わせによるずれ量が大きくなって、このずれ量に基づき評価値が設定される。よって、この場合にも、出力された評価値により3次元計測の精度が低下したことを判別することが可能になる。
したがって、いずれのカメラが動いたかを特定することができなくとも、出力された評価値によってカメラの配置の関係が狂ったことを認識することができるので、精度の悪い3次元計測結果が使用されるのを防止することができる。
この発明に係る3次元計測装置は、それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された3台以上のカメラから、各カメラの視野が重なる範囲に入った計測対象物の画像を個別に入力する画像入力手段;前記3台以上のカメラのうちの特定の1台を基準カメラとして、この基準カメラにより生成された基準画像から計測対象物の代表点を抽出する代表点抽出手段;基準カメラ以外のカメラにより生成された比較画像において、それぞれ基準画像側の代表点に対応する点を検索する対応点検索手段;基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に基準画像に組み合わせて、組み合わせ毎に、基準画像側の代表点の座標と対応点検索手段の検索処理により特定された比較画像側の対応点の座標とを用いてこれらの座標に対応する3次元座標を算出する3次元座標算出手段;少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係とに基づき特定される比較画像中のエピポーラ線に対し、対応点検索手段の検索により特定された対応点のずれ量を算出するステップを、基準画像と比較画像との組み合わせ毎に実行するずれ量算出手段;基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせにつき前記3次元座標算出手段により算出された3次元座標により計測対象物に対する3次元計測結果を特定し、前記評価値を特定された3次元計測結果とともに出力する出力手段;の各手段を具備する。
上記構成の装置によれば、前出の3次元計測方法を実行することができるので、3次元計測結果の精度が低下したことをユーザに気づかせて、速やかに対応することができる。
他の好ましい態様に係る3次元計測装置には、ずれ量算出手段により算出されたずれ量が所定の許容値を上回るものになったとき、警告のための報知を実行する報知手段が設けられる。この構成によれば、警告により、3次元計測の精度が許容できないものになったことをユーザに認識させることができるので、精度の悪い計測結果が使用されるのを防止することができる。
上記の3次元計測方法および3次元計測装置によれば、計測対象物に対する3次元計測結果の出力に合わせて、その3次元計測結果の精度を表す評価値が出力されるので、精度の低い3次元計測結果が使用されるのを防止することができる。
図1は、この発明が適用された3次元計測装置の構成例を示す。
この3次元計測装置は、工場の生産ラインなどにおいて、同形状の計測対象物を順に処理対象領域に搬入し、2台または3台のカメラを用いた3次元計測を行うものである。
図中の10は、コンピュータが組み込まれた制御処理部である。この制御処理部10には、カメラC0,C1,C2、操作部11、表示部12などが接続される。なお、カメラC0,C1,C2のうち、3台目のカメラC2は必要に応じて接続すれば良いので、図1では、このカメラC2の枠を一点鎖線で示している。
制御処理部10内には、各カメラC0,C1,C2に対応する画像入力部100,101,102、画像メモリ103、設定処理部104、画像処理部105、パラメータ算出部106、パラメータ記憶部107、3次元計測部108、評価値算出部109、判定部110、出力部111、警報出力部112などが設けられる。これらのうち、画像入力部100〜102、画像メモリ103およびパラメータ記憶部107を除く各部は、専用のプログラムによりコンピュータに設定された機能である。専用のプログラムは、ハードディスク、フラッシュディスクなどの大容量メモリ装置(図示せず。)に格納される。画像メモリ103やパラメータ記憶部107も、このメモリ装置内に設定される。
この実施例では、後記するように、カメラC0を光軸を鉛直方向に向けて配置し、計測対象物を真上から撮像させ、他のカメラC1,C2を、計測対象物を斜め上方向から撮像するように配置する。いずれのカメラも、その視野内に計測対象物が置かれる処理対象領域の全域が含まれるように、配置位置や光軸方向が調整される。そして、カメラC0を基準カメラとして、他のカメラC1,C2を基準カメラC0に個別に組み合わせ、組み合わせ毎に3次元計測を実行する。
画像処理部105は、基準カメラC0から入力された画像を対象に、2値化、エッジ抽出、パターンマッチング等の手法により、計測対象物の代表点(エッジ構成点、ある特徴を有する部位の重心など)を抽出する。また、その他のカメラC1,C2から入力された画像(以下、「比較画像」という。)を対象に、基準画像A0中の代表点に対応する点を検索する処理を実行する。
設定処理部104は、操作部11から、画像処理部105が実行すべき処理の具体的内容(たとえば代表点の抽出に用いられる方法、抽出処理の対象範囲)を設定する操作を受け付けて、その内容を画像処理部105に設定する。
3次元計測部108は、画像処理部105により抽出された基準画像A0中の代表点の座標と、これに対応する比較画像A1,A2側の代表点の座標とを用いて3次元座標を算出する。算出結果は出力部111に渡され、表示部12や図示しない外部装置に出力される。
パラメータ記憶部107には、3次元計測処理に用いられる複数のパラメータが保存される。これらのパラメータには、本処理に先立ち、複数の特徴点を有するキャリブレーションワークを用いたキャリブレーションにより特定されるもので、3次元座標の算出用の演算式の係数を構成するパラメータ、およびエピポーラ線を特定するためのパラメータが含まれる。
上記の各種パラメータは、各カメラにより構成されるステレオ座標系の変化や、実際の空間における位置を表す空間座標系とステレオ座標系との関係(各座標の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など)の変化に応じて変動する。したがって、カメラの位置または姿勢が変化した場合には、再度、キャリブレーションを実行してパラメータを算出しなおさなければ、3次元計測の精度を確保することはできない。
また、この実施例では、カメラC1,C2をそれぞれ基準カメラC0に個別に組み合わせて3次元計測を行うので、これらの組み合わせ毎に、上記のパラメータを算出する必要がある。
図2は、カメラC0,C1を使用する場合の各カメラの設置例を示す。なお、この実施例では、計測対象物を顔型のマークMに模して示す。
この実施例では、所定広さの処理対象領域に計測対象物を順に搬入して3次元計測を行うようにしている。基準カメラC0は、処理対象領域の真上に、光軸を鉛直方向に向けて設置されるので、計測対象物の上面を正面から見た状態を示す画像(正面視画像)を生成する。一方、比較画像を生成するカメラC1は、この処理対象領域を斜め上から撮像するように設置される。
図3は、上記のカメラC0により生成された基準画像A0およびカメラC1により生成された比較画像A1において、図2に示したマークMの高さの変化が画像にどのように反映されるかを示したものである。なお、便宜上、各画像A0,A1中のマークもMの符号により示す。
基準画像A0は、マークMの正面視画像であるため、画像中のマークMの中心点P0を代表点とすると、実物の高さが変化しても、代表点P0の座標は一定になる。これに対し、カメラC1により生成される比較画像A1では、実物のマークMの高さが変化すると、画像中の代表点P1は、ある直線EPに沿って移動する。この直線EPが代表点のエピポーラ線である。
カメラC0,C1の位置や姿勢がキャリブレーション時と同様に維持されている場合には、基準画像A0側の代表点P0の座標およびパラメータ記憶部107に保存されているパラメータに基づき、上記のエピポーラ線EPを精度良く求めることができる。
カメラC1の位置または姿勢が変化し、ユーザがそれに気づかないまま撮像を行うと、実際のエピポーラ線は、図3に示したEPとは異なる直線になるが、保存されているパラメータでこの正しいエピポーラ線を特定することは不可能である。このため、図4に示すように、比較画像A1中の代表点P1は、エピポーラ線EPから位置ずれした状態になる。
また、カメラC0の位置または姿勢が変化した場合には、カメラC1は動いていないので、比較画像A1中のマークMは、図3の例と同様の直線EP上に現れる。しかし、カメラC0が動いたことにより、基準画像A0側の代表点P0の位置が変わるため、その変更された座標により特定されるエピポーラ線は、図3に示すのとは異なるものになる。よって、この場合にも、比較画像A1中の代表点P1は、基準画像A0の代表点P0や登録されたパラメータにより特定されるエピポーラ線から位置ずれすることになる。
このように、カメラC0またはC1が動いて、カメラ間の関係が変動すると、比較画像A1側の代表点P1は、基準画像A0側の代表点P0や登録されたパラメータに基づき特定されるエピポーラ線EPから離れた場所に現われるようになる。この点を考慮して、この実施例では、基準画像A0中の代表点P0に対する対応点P1を検索する場合には、代表点P0の座標や各種パラメータから割り出される理論上のエピポーラ線EPを基準に、このエピポーラ線EPから所定距離ずれた範囲までを検索対象範囲とする。その一方で、評価値算出部109により3次元計測の精度の評価を表す評価値を算出する。この評価値は、3次元計測の精度が悪くなるほど数値が高くなるように設定されている。
上記の評価値は、出力部111により3次元計測結果とともに出力されるほか、判定部110に与えられる。
判定部110は、評価値を所定の許容値と比較し、許容値を上回る評価値が算出された場合には警報出力部112を作動する。警報出力部112は、ユーザーに、3次元計測結果の信頼度が著しく低下したことを示すメッセージ情報を作成し、これを表示部12等に出力する(以下、この警報出力部112による処理を「警報出力」という。)。
なお、図1には明示していないが、制御処理部10では、各計測対象物の3次元計測結果および評価値を、計測対象物の識別コードや処理を実行した日時等に対応づけたトレーサビリティ情報を作成し、内部メモリに蓄積する。よって、3次元計測の精度が低下したのに、ユーザが評価値の出力や警報出力を見過ごして計測処理を進めたとしても、後日、トレーサビリティ情報をチェックすることにより、処理結果に不備のある計測対象物を特定することができる。
以下、上記の構成における3次元計測処理および評価値の算出処理について、図5のフローチャートを用いて詳細に説明する。
この図5の例は、各計測対象物につきそれぞれ複数の計測対象部位の3次元計測を行う場合を想定しているが、1代表点しか計測しない場合もある。後記する図7,8の例も同様である。
まず最初のST1(STは「ステップ」の略である。以下も同じ。)では、計測対象物が処理対象領域に搬入されたのに応じてカメラC0,C1を同時駆動する。これにより、カメラC0により計測対象物を正面視した状態を示す基準画像A0と、カメラC1により計測対象物を斜め上から見た状態を示す比較画像A1とが生成され、画像メモリ103に格納される。
つぎのST2では、基準画像A0を対象に、あらかじめ設定された画像処理によって、所定数の代表点を抽出する。以下、抽出された代表点に順に着目して、ST3〜9の処理を実行する。
ST3では、着目中の代表点について、基準画像A0側の座標に基づき、比較画像A1上でエピポーラ線を特定する。ST4では、上記のエピポーラ線が中心線となるような所定幅の帯状領域を設定し、これを対応点の検索範囲とする。
ST5では、上記の検索範囲において、着目中の代表点に対応する点を検索する処理を実行する。具体的に説明すると、基準画像A0に、着目中の代表点を中心とする所定大きさの局所領域を設定し、この局所領域内の画像をモデル画像として切り出す。つぎに、このモデル画像を、比較画像A1側の検査領域に走査しながら順次照合し、モデル画像に対する類似度が最も高い領域を特定する。そして、特定した領域の中心点の座標を検出し、この座標を着目中の代表点に対応する点の座標とする。
このようにして、着目中の代表点に対応する点が特定されると、ST6では、基準画像A0側の代表点の座標と比較画像A1側の対応点の座標とを用いて、これらの座標に対応する3次元座標を算出する。
ST7では、ST5の検索処理により特定された対応点(図3,4のP1がこれに相当する。)について、ST3で特定したエピポーラ線に対するずれ量dを算出する。このずれ量dは、図6に示すように、エピポーラ線EPから代表点P1までの距離として求められる。
ST8では、算出されたずれ量dをあらかじめ定めた許容値Dと比較する。ここでずれ量dが許容値Dを上回った場合には、ST9に進み、警報を出力する。ずれ量dが許容値D以下であれば、ST9はスキップされる。またST8の判定結果に関わらず、毎時のずれ量dの値は、図示しない作業用メモリに一時保存される。
なお、上記の許容値Dはデフォルトで設定されているが、適宜、ユーザの設定操作により変更することもできる。
ST2で抽出されたすべての代表点について、上記ST3〜9に示した処理が実行されると、ST10が「YES」となってST11に進む。このST11では、各代表点につき算出したずれ量dの中から最大値を抽出し、これを評価値Hに設定する。
さらにST12では、毎時のST6で求めた各代表点の3次元座標と、ST11で設定した評価値Hとを出力する。この出力は、前記したように、表示、外部出力、メモリへの保存の3つの態様で行われる。
上記の処理によれば、ユーザは、出力された評価値Hの大きさによって、3次元計測の精度が低下しているか否かを把握することができる。また、各代表点への対応点のエピポーラ線に対するずれ量dのうちの最大値が評価値Hとして出力されるので、3次元計測の精度を最もシビアに評価した結果を出力することができる。また、計測処理の途中で許容値Dを上回るずれ量dが算出された場合には、直ちに警報が出力されるので、カメラC0,C1のいずれかが大きく動いて3次元計測の精度が極端に低下した場合には、その旨を速やかにユーザに認識させることができる。
なお、上記の例では、複数の代表点につき算出したずれ量dのうちの最大値を評価値Hとして出力したが、出力の形式はこれに限らず、たとえば、各代表点のずれ量dの平均値や変動幅(最大値と最小値との差)を出力してもよい。または、代表点毎に算出されるずれ量dをそのまま評価値として、3次元座標に対応づけて出力してもよい。または、複数の代表点について3次元座標の算出を順次行う間に、特定の1代表点についてのみ、ずれ量dを求め、そのdの値を評価値として出力してもよい。
上記の例では、カメラC0,C1の関係が変動すると、登録されているパラメータに基づくエピポーラ線が不正確なものとなり、その結果、比較画像A1の対応点がエピポーラ線から離れる、という原理を利用することにより、3次元計測の精度を示す評価値を簡単に求めることができる。
一方、カメラC0,C1が両者間の相対的な関係を維持したまま同じように動いた場合(たとえば、カメラC0,C1が同じ距離だけ平行移動したり、同じ角度だけ回転した場合)には、エピポーラ線は、見かけ上、正常になる(言い換えれば、基準画像A0の代表点の座標と登録されたパラメータに基づくエピポーラ線EP上で対応点を見つけることができる。)。ただし、この場合にも、ステレオ座標系と空間座標系との関係は狂っているので、各画像A0,A1中の代表点P0,P1の座標は、本来あるべき位置を示しておらず、正しい3次元座標を算出することは不可能である。
このように2台のカメラの位置または姿勢が同じように変化した場合にも、3次元計測の精度は低下するが、比較画像上の対応点がエピポーラ線上に位置しているため、対応点のずれ量dによる評価値Hでは、計測精度が低下したことを認識することはできない。
この問題を解決するために、つぎの図7の例では、制御処理部10にカメラを3台接続し、斜め方向から撮像を行うカメラC1,C2を、それぞれ基準カメラC0と組み合わせ、組み合わせ毎に3次元座標や評価値を算出するようにしている。
図7では、まず、計測対象物が処理対象領域に搬入されたことに応じて3台のカメラC0,C1,C2を同時駆動し(ST21)、カメラC0により生成された基準画像A0を対象に代表点の抽出処理を実行する(ST22)。
以下、各代表点に順に着目しつつ、カメラC1による比較画像A1およびカメラC2による比較画像A2を対象に、それぞれエピポーラ線の特定(ST23a,23b)、エピポーラ線を基準にした検索範囲の設定(24a,24b)、対応点の検索(25a,25b)、3次元座標の算出(26a,26b)、エピポーラ線に対する対応点のずれ量の算出(ST27a,27b)の各処理を、並列して実行する。これらの処理は、図5のST3〜7と同様の内容のものであるので、詳細については説明を省略する。
このように、比較画像A1,A2について、それぞれ個別に3次元座標およびずれ量を算出する(便宜上、以下、比較画像A1に対応するずれ量をd1とし、比較画像A2に対応するずれ量をd2とする。)と、ST28では、各ずれ量d1,d2の値を比較し、大きい方のずれ量を評価値hに設定する。その一方で、つぎのST29では、カメラの組み合わせ毎に求めた3次元座標のうち、ずれ量が小さくなった方の組み合わせに対応する3次元座標を計測結果として確定する。
さらに評価値hが許容値Dを上回った場合には、ST30からST31に進み、警報を出力する。
すべての代表点について上記の処理が実行されると、ST32が「YES」となってST33に進み、代表点毎に、ST29で確定された3次元座標およびST28で設定された評価値hを組み合わせ、出力する。
たとえば、基準カメラC0とカメラC1とが、相対関係を維持したまま動いて、比較画像A1上の対応点に大きなずれ量が生じなかったとしても、残りの正常に設置されているカメラC2による比較画像A2においては、対応点がエピポーララインからずれる現象が生じる。
この実施例では、カメラC1,C2を基準カメラC0に個別に組み合わせ、組み合わせ毎に3次元座標および対応点のずれ量を算出し、大きい方のずれ量を評価値として採用するので、ユーザは、この評価値により、3次元計測の精度が低下したことを容易に把握することができる。
なお、3次元計測結果として、ずれ量の小さい方の3次元座標を採用したのは、基準カメラC0が動いたためにすべてのカメラの関係が狂ってしまう場合のほか、一方の組み合わせに係るカメラの関係は変化したが、他方の組み合わせに係るカメラの関係は正常である場合にも、2つのずれ量d1,d2の一方が小さく、他方が大きくなるような結果が得られるからである。この場合には、正常な関係に対応するずれ量の方が小さくなるので、ずれ量の小さい方の3次元座標を採用することにより、3次元計測の精度を維持することができる。
たとえば、カメラC0〜C2のうちカメラC1のみが動いた場合、カメラC0,C1の関係は変化するので、この組み合わせによる3次元計測の精度は低下し、ずれ量d1も大きくなるが、カメラC0,C2は正しく配置されているから、この組み合わせによる3次元計測結果は正しく、ずれ量d2の値も小さくなる。この場合に、図7の処理によれば、関係が狂ったカメラC0,C1の組み合わせによるずれ量d1が評価値hとして出力される一方、カメラC0,C2の組み合わせによる正しい3次元座標が3次元計測結果として確定されて出力されるので、出力された3次元計測結果を使用しても、支障が生じることはない。
ただし、実際に、ずれ量d1,d2のうちの一方が0に近く、他方が大きな値をとった場合に、その現象のみで、ずれ量の小さな方の組み合わせに係るカメラが正しく配置されているのか否かを判別することはできない。上記の実施例では、常に、ずれ量d1,d2のうちの大きな方の値を評価値hとして採用し、この評価値hが許容値Dより大きくなった場合に警報を出力するので、ずれ量が小さかった方のカメラの配置が狂っている場合でも、その異常が見過ごされるのを防止することができる。
図8は、3台のカメラC0,C1,C2を使用して3次元計測を行う場合の他の例を示す。
この実施例でも、図7の例と同様に、カメラC1,C2をそれぞれ基準カメラC0に個別に組み合わせ、組み合わせ毎に3次元座標の算出処理を実行する。ただし、3次元計測の精度を評価する方法は、図7の実施例とは異なっている。
図8において、ST41では、各カメラC0,C1,C2を同時駆動し、ST42では、カメラC0による基準画像A0上で代表点を抽出する。この2つの処理は図7のST21,22と全く同様である。
この後、各代表点に順に着目して、比較画像毎に、エピポーラ線の特定(ST43a,43b)、検索範囲の設定(ST44a,44b)、対応点の検索(ST45a,45b)、3次元座標の算出(ST46a,46b)の各処理を実行する。これらの処理も、図7の例と同様のものであるため、詳細な説明は省略する。
3次元座標の算出処理が終了すると、ST47に進み、画像A0,A1の組につき求めた3次元座標と、画像A0,A2の組につき求めた3次元座標との距離Lを算出する。つぎのST48では、この距離Lを所定の許容値LXと比較する。
ここで、L>LXとなった場合には、ST51に進み、警報出力を行った後、以後の計測を中止する。
いずれの代表点についても、上記の距離Lが許容値LX以内であれば、最終的にST49が「YES」となってST50に進み、距離Lのうちの最大値を評価値H1に設定する。そして、最後のST51において、各代表点の3次元座標と上記の評価値H1を出力し、処理を終了する。
カメラC0,C1,C2の配置がいずれも正常であれば、カメラの組み合わせ別に求めた3次元座標は一致するはずである。図8の実施例は、この点に着目し、カメラの組み合わせ毎に求めた3次元座標の間に許容値LXを上回る差異が生じた場合に処理を中止するようにしたので、精度の悪い計測結果が使用されるのを防止することができる。
なお、上記の各実施例では、各代表点の3次元座標をそのまま3次元計測結果として出力したが、出力方式はこれに限定されるものではない。たとえば、代表点として、計測対象物のエッジ構成点を抽出した場合には、各代表点の3次元座標を用いて、対象物の重心位置等を求め、これを3次元計測結果情報として出力してもよい。また検査目的で装置を使用する場合には、3次元座標やこれらを用いた演算の結果を所定の基準値と照合し、その照合結果を示す情報を出力してもよい。
また、各実施例では、3次元計測の精度を表す評価情報として数値情報H,h,H1を出力したが、これらに代えて、複数段階のレベルにより計測精度を表現するようにしてもよい。この場合、最終的に設定された評価値、または計測毎に算出された評価値に基づき、計測精度を示すレベルが決定されることになる。
3次元計測装置の構成を示す機能ブロック図である。 2台のカメラの設置例を示す説明図である。 図2の各カメラによる画像A0,A1において、マークMの高さ変化がどのように反映されるかを示す説明図である。 比較画像A1において、マークMがエピポーラ線から離れた例を示す説明図である。 3次元計測処理の一例を示すフローチャートである。 ずれ量の概念を示す説明図である。 3次元計測処理の他の例を示すフローチャートである。 3次元計測処理の他の例を示すフローチャートである。
符号の説明
C0,C1,C2 カメラ
10 制御処理部
105 画像処理部
107 パラメータ記憶部
108 3次元計測部
109 評価値算出部
110 判定部
111 出力部
112 警報出力部

Claims (3)

  1. 3台以上のカメラをそれぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置するとともに、これらのカメラの中の特定の1台を基準カメラに設定し、
    前記3台以上のカメラの各視野が重なる範囲に入った計測対象物に対し、各カメラによる撮像を行う第1ステップと、前記基準カメラにより生成された基準画像から前記計測対象物の代表点を抽出する第2ステップと、基準カメラ以外の各カメラにより生成された比較画像と前記基準画像とを用いて前記第2ステップで抽出された代表点の3次元座標を算出する第3ステップと、第3ステップで算出された3次元座標に基づき、前記計測対象物に対する3次元計測結果を出力する第4ステップとを実行する3次元計測方法において、
    前記第3ステップでは、前記基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に前記基準画像に組み合わせ、組み合わせ毎に、前記基準画像から抽出された代表点に対する比較画像側の対応点を検索するステップと、この検索により特定された対応点の座標と基準画像中の前記代表点の座標とを用いてこれらの座標に対応する3次元座標を求めるステップとを実行するとともに、少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係に基づき特定される比較画像中のエピポーラ線に対し、前記検索により特定された対応点のずれ量を算出するステップを、前記基準画像と比較画像との組み合わせ毎に実行し、
    前記第4ステップでは、前記基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせに対して算出された3次元座標により前記計測対象物に対する3次元計測結果を特定し、この3次元計測結果とともに前記評価値を出力する、ことを特徴とする3次元計測方法。
  2. それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された3台以上のカメラから、各カメラの視野が重なる範囲に入った計測対象物の画像を個別に入力する画像入力手段と、
    前記3台以上のカメラのうちの特定の1台を基準カメラとして、この基準カメラにより生成された基準画像から前記計測対象物の代表点を抽出する代表点抽出手段と、
    前記基準カメラ以外のカメラにより生成された比較画像において、それぞれ前記基準画像側の代表点に対応する点を検索する対応点検索手段と、
    前記基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に前記基準画像に組み合わせて、組み合わせ毎に、前記基準画像側の代表点の座標と前記対応点検索手段の検索処理により特定された比較画像側の対応点の座標とを用いてこれらの座標に対応する3次元座標を算出する3次元座標算出手段と、
    少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係とに基づき特定される比較画像中のエピポーラ線に対し、前記対応点検索手段の検索により特定された対応点のずれ量を算出するステップを、前記基準画像と比較画像との組み合わせ毎に実行するずれ量算出手段と、
    前記基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせにつき前記3次元座標算出手段により算出された3次元座標により前記計測対象物に対する3次元計測結果を特定し、前記評価値を特定された3次元計測結果とともに出力する出力手段とを、具備する3次元計測装置。
  3. 前記ずれ量算出手段により算出されたずれ量が所定の許容値を上回るものになったとき、警告のための報知を実行する報知手段を、さらに具備する請求項2に記載された3次元計測装置。
JP2007222168A 2007-08-29 2007-08-29 3次元計測方法および3次元計測装置 Active JP4442661B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007222168A JP4442661B2 (ja) 2007-08-29 2007-08-29 3次元計測方法および3次元計測装置
DE102008041524.3A DE102008041524B4 (de) 2007-08-29 2008-08-25 Verfahren und Vorrichtung zur Durchführung dreidimensionaler Messungen
US12/230,441 US8648895B2 (en) 2007-08-29 2008-08-28 Method and apparatus for performing three-dimensional measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007222168A JP4442661B2 (ja) 2007-08-29 2007-08-29 3次元計測方法および3次元計測装置

Publications (2)

Publication Number Publication Date
JP2009053136A JP2009053136A (ja) 2009-03-12
JP4442661B2 true JP4442661B2 (ja) 2010-03-31

Family

ID=40431505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007222168A Active JP4442661B2 (ja) 2007-08-29 2007-08-29 3次元計測方法および3次元計測装置

Country Status (3)

Country Link
US (1) US8648895B2 (ja)
JP (1) JP4442661B2 (ja)
DE (1) DE102008041524B4 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
JP5663352B2 (ja) * 2011-03-03 2015-02-04 日本電産エレシス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
IL216515A (en) * 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
EP3120325B1 (en) * 2014-03-21 2018-06-06 Omron Corporation Method and apparatus for detecting and mitigating optical impairments in an optical system
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system
US10735670B2 (en) 2016-02-22 2020-08-04 Sony Corporation Information processing apparatus and information processing method
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP6684682B2 (ja) 2016-08-18 2020-04-22 株式会社神戸製鋼所 建設機械
DE102018004592A1 (de) * 2017-06-20 2018-12-20 Mitutoyo Corporation Messapparat für dreidimensionale Geometrie und Messverfahren für dreidimensionale Geometrie
DE102017117594A1 (de) * 2017-08-03 2019-02-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Automatisierte Erkennung einer Scheinwerferfehlstellung
CN110966984B (zh) * 2018-09-29 2023-01-20 宝钢新日铁汽车板有限公司 一种基于视觉图像的炉鼻子水平监测系统及方法
US11636621B2 (en) * 2020-08-28 2023-04-25 Unity Technologies Sf Motion capture calibration using cameras and drones
US11600022B2 (en) * 2020-08-28 2023-03-07 Unity Technologies Sf Motion capture calibration using drones
CN115655206B (zh) * 2022-12-09 2023-04-07 富视达技术(武汉)有限公司 基于多视觉位移测量设备的测量数据联合解算系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234423A (ja) 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
WO2004106856A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP2004354256A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム

Also Published As

Publication number Publication date
DE102008041524A1 (de) 2009-05-14
JP2009053136A (ja) 2009-03-12
US8648895B2 (en) 2014-02-11
US20090066968A1 (en) 2009-03-12
DE102008041524B4 (de) 2022-09-15

Similar Documents

Publication Publication Date Title
JP4442661B2 (ja) 3次元計測方法および3次元計測装置
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
EP3496035B1 (en) Using 3d vision for automated industrial inspection
KR101155816B1 (ko) 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법
US9672630B2 (en) Contour line measurement apparatus and robot system
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
US7724380B2 (en) Method and system for three-dimensional measurement
CN1922473B (zh) 用于设计检测路径及用于确定待检测区域的方法
US8103376B2 (en) System and method for the on-machine 2-D contour measurement
US20120099798A1 (en) Information processing apparatus, information processing method, and program
CN112276936B (zh) 三维数据生成装置以及机器人控制系统
US11158039B2 (en) Using 3D vision for automated industrial inspection
CN110087828B (zh) 信息处理装置及加工不良确定方法
de Araujo et al. Computer vision system for workpiece referencing in three-axis machining centers
EP3322959B1 (en) Method for measuring an artefact
JP5858773B2 (ja) 3次元計測方法、3次元計測プログラム及びロボット装置
CN112419406B (zh) 物体检测装置以及物体检测用计算机程序产品
JP6594052B2 (ja) 組み立て設備検査方法
JP7414850B2 (ja) ロボットシステム
JP2019049509A (ja) 表面検査装置及び表面検査方法
JP2020197495A (ja) 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法
JP4837541B2 (ja) 端面形状検査方法および同装置
KR101888363B1 (ko) 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법
WO2023238465A1 (ja) 部品検査方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100104

R150 Certificate of patent or registration of utility model

Ref document number: 4442661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4