JP5714232B2 - キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 - Google Patents

キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 Download PDF

Info

Publication number
JP5714232B2
JP5714232B2 JP2010004929A JP2010004929A JP5714232B2 JP 5714232 B2 JP5714232 B2 JP 5714232B2 JP 2010004929 A JP2010004929 A JP 2010004929A JP 2010004929 A JP2010004929 A JP 2010004929A JP 5714232 B2 JP5714232 B2 JP 5714232B2
Authority
JP
Japan
Prior art keywords
calibration
parameters
feature point
marks
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010004929A
Other languages
English (en)
Other versions
JP2010237193A (ja
Inventor
藤枝 紫朗
紫朗 藤枝
篤 種野
篤 種野
博司 矢野
博司 矢野
池田 泰之
泰之 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2010004929A priority Critical patent/JP5714232B2/ja
Priority to US12/711,814 priority patent/US8447097B2/en
Publication of JP2010237193A publication Critical patent/JP2010237193A/ja
Application granted granted Critical
Publication of JP5714232B2 publication Critical patent/JP5714232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、一組のステレオ画像を用いた3次元計測処理を実行するために、3次元座標を算出する演算に用いられるパラメータを算出する処理(キャリブレーション)に関する。
ステレオカメラによる3次元計測を行うには、ステレオカメラを構成する各カメラの座標系とワールド座標系との関係を表す変換式中の透視変換行列P(下記(1)(2)式を参照。)を求める必要がある。なお、(1)式中のλはスケールファクタである。
Figure 0005714232
上記の透視変換行列Pの各要素P00,P01,・・・P23は、カメラの内部パラメータ(焦点距離、分解能、画像中心など)と、カメラの位置や姿勢に起因するパラメータ(ワールド座標系とカメラ座標系との回転ずれや各座標系の原点の位置ずれ量など)を反映したものである。従来のキャリブレーション処理では、カメラ毎に、そのカメラの座標系の2次元座標(x,y)と3次元座標(X,Y,Z)との組み合わせを4組以上取得し、各組の座標を上記の(1)式に代入することにより、行列P内の各要素を未知数とする多元連立方程式を設定する。そして、最小自乗法などにより各要素の最も好ましい値を特定する。
つぎに、上記の演算に使用する座標を簡単に導出する方法を開示した文献として、下記の非特許文献1およびこれを応用した特許文献1がある。非特許文献1には、等間隔に配列されたマークにより構成される2次元のキャリブレーションパターンが設けられた平板状のワークを、その高さや向きを変更しながら少なくとも2回撮像し、各撮像により生成された画像から各マークに対応する特徴点を抽出し、各特徴点の関係からワールド座標系の座標を特定することが、記載されている。
また特許文献1には、それぞれ異なるキャリブレーションパターンが設けられた透明シートを、所定の間隔を隔てて水平になるように配置した状態で撮像を行うことで、キャリブレーションパターンに必要な数の特徴点を1回の撮像により取得できるようにすることが記載されている。
Zhengyou Zhang "A Flexible New Technique for Camera Calibration"、Microsoft Research Microsoft Corporation,[平成21年2月2日検索]、インターネット<URL:http://research.microsoft.com/en-us/um/people/zhang/calib/>
特開2006−250889号公報
発明者は、汎用の3次元視覚センサを開発する中で、以下のような問題があることに気づいた。
3次元計測用のパラメータを求めるためのキャリブレーション処理では、多元連立方程式の設定や未知数を解く演算については、コンピュータで自動的に行われるが、キャリブレーションパターンを空間内に設置する作業はユーザに委ねられる。したがって、カメラに対するキャリブレーションパターンの配置が適切でなかったり、パターンが記された治具に汚れなどの不備があると、パラメータを精度良く算出できず、その結果、3次元計測の精度が低下するおそれがある。
したがって、パラメータを設定した後は、3次元形状が既知のモデルを用いたテスト計測によりパラメータの適否を確認するのが望ましい。しかし、この場合には、モデルを撮像したり、その正しい3次元情報をあらかじめ取得しておく必要があり、煩雑である。
特に、3次元のマッチング処理を必要としない用途(例えば、高さを検出して、その適否を判別する処理)に視覚センサを使用するユーザは、CADデータなどの3次元情報を持ち合わせていない可能性が高い。またマッチング処理を行うユーザでも、キャリブレーションの終了後に認識対象物の3次元モデルを登録する作業を行う場合がかなりの割合で見受けられる。これらのユーザは、キャリブレーションにより設定されたパラメータの精度を確認することができないまま、本処理を開始することを余儀なくされるおそれがある。
本発明は上記の問題点に着目し、3次元計測処理用のパラメータの算出が完了したときに、算出されたパラメータの精度を簡単に確認できるようにして、装置の利便性を高めることを課題とする。
本発明では、複数のマークが規則性をもって配列された形態のキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークを使用する。本発明によるキャリブレーション装置は、上記のキャリブレーションワークが所定の状態で位置決めされたときの前記マークの配列に沿う平面を基準の平面とし、当該基準の平面に直交する方向を高さ方向として、前記所定の状態下でのステレオ撮像を含む1回以上のステレオ撮像により生成された一組以上のステレオ画像を入力して、ステレオ画像からキャリブレーションワーク内のマークの特徴点を合計して4個以上抽出し、これらの特徴点を用いて3次元計測のためのパラメータを算出するもので、前記所定の状態下でのステレオ撮像によるステレオ画像において前記マークの配列に含まれる複数の特徴点を対象として、算出されたパラメータを用いた3次元座標の算出処理を実行する仮計測手段と、仮計測手段が算出した各特徴点の3次元座標を透視変換し、変換後の各特徴点をそれぞれ所定のパターンで表した投影画像を生成する透視変換手段と、透視変換手段により生成された投影画像をモニタ装置に表示する表示制御手段とを、具備する。
上記の構成によれば、3次元計測のためのパラメータの算出が終了すると、基準の平面に対応する位置および姿勢をもってキャリブレーションワークが配置された際のステレオ撮像によるステレオ画像に含まれる複数の特徴点を対象に、算出されたパラメータを用いて3次元座標を算出する処理を実行し、各特徴点の3次元座標の分布状態を表す投影画像を表示することができる。ここで投影画像中の各特徴点が実際のキャリブレーションワークと同様の分布パターンを示す場合には、算出されているパラメータが適切で、3次元計測の精度が確保できていると考えられる。一方、投影画像中の各特徴点がキャリブレーションワークにおけるのとは異なる分布パターンを示す場合には、パラメータが正しく算出されていないと推定することができる。
上記の仮計測の対象となる特徴点は、パラメータの算出に用いられた特徴点には限らない。基準の平面に対応する位置および姿勢をもって配置されたキャリブレーションワークに対するステレオ撮像で生成された個々の画像に共通に含まれている特徴点であれば、仮計測の対象にすることができる。
また、直交する2方向に沿ってそれぞれ複数のマークが規則性をもって配列された形態のキャリブレーションパターンを使用する場合には、投影画像には、前記変換後の各特徴点を表すパターンと共に、前記直交する2方向および高さ方向にそれぞれ対応する3本の線画像を含めることができる。
このように、キャリブレーション処理に使用されたステレオ画像中の特徴点を対象として仮計測を行い、その計測結果を特徴点の分布パターンを表す投影画像として表示するので、ユーザは、設定されたパラメータが適切であるか否かを容易に判断することができる。またテスト計測のためのモデルや3次元情報を準備する必要がなく、パラメータの算出後、速やかに投影画像を表示して、パラメータの適否を確認することができる。
上記のキャリブレーション装置の好ましい態様では、表示制御手段は、仮計測手段が算出した各特徴点について、それぞれ基準の平面に対する当該特徴点の透視変換前の3次元座標の逸脱度合いを求め、各特徴点の表示の態様をそれぞれの逸脱度合いの程度に応じて決定する。
逸脱度合いとしては、たとえば特徴点毎に、仮計測により算出された3次元座標と基準の平面との距離を算出することができる。
各特徴点の表示の態様を決定する処理では、たとえば、逸脱度合いが最も大きくなった特徴点、または逸脱度合いが所定の基準値を超えた特徴点とその他の特徴点とを、異なる態様のパターンで表す旨を決定する。または、あらかじめ逸脱度合いにいくつかの数値範囲を設定して、数値範囲毎に異なる表示態様を設定しておき、各特徴点をそれぞれの逸脱度合いに対応する表示態様により表示する旨を決定してもよい。
上記の態様によれば、投影画像中に表示される特徴点のうち、3次元座標の復元精度が悪いもの、または復元の精度が基準に達していないものを、容易に認識することが可能になる。また特徴点の3次元座標の分布中で良好でない特徴点の位置や他の特徴点との関係を把握して、パラメータの精度が悪くなっている原因を分析することが可能になる。
上記の態様によれば、平面状に分布すべきである複数の特徴点が、それぞれ分布すべき平面に対する逸脱度合いに応じた態様で表示されるので、パラメータの精度の適否のほか、個々の特徴点における3次元座標の復元精度を容易に認識することが可能になる。
つぎに、本発明による3次元計測のためのパラメータ精度支援方法は、前述した構成のキャリブレーションワークが所定の状態で位置決めされたときの前記マークの配列に沿う平面を基準の平面とし、当該基準の平面に直交する方向を高さ方向として、前記所定の状態下でのステレオ撮像を含む1回以上のステレオ撮像により生成された一組以上のステレオ画像から、キャリブレーションワーク内のマークの特徴点を合計して4個以上抽出し、これらの特徴点を用いて3次元計測のためのパラメータを算出する処理が行われたことに応じて実行される。この方法では、前記所定の状態下でのステレオ撮像によるステレオ画像において前記マークの配列に含まれる複数の特徴点を対象として、算出されたパラメータを用いた3次元座標の算出処理を実行するステップと、3次元座標の算出処理により得られた各特徴点の3次元座標を透視変換し、変換後の各特徴点をそれぞれ所定のパターンで表した投影画像を生成してモニタ装置に表示するステップとを実行する。
上記の方法を既存の構成の3次元視覚センサに適用すれば、この3次元視覚センサにキャリブレーション終了後にパラメータの精度を表す表示を行う機能を設定することができる。また、この方法は、3次元視覚センサに限らず、たとえば、3次元視覚センサからキャリブレーション処理の結果やパラメータの算出に用いられたステレオ画像を入力したパーソナルコンピュータにより実行することもできる。
上記のキャリブレーション装置およびパラメータの精度の確認支援方法によれば、3次元計測に用いるパラメータが算出されたことに応じて、そのパラメータの精度を視覚的に認識できるような投影画像を表示することが可能になる。よって、ユーザは、負担を感じることなく、キャリブレーション作業の終了後に3次元パラメータの精度を速やかに確認することができ、利便性が大幅に高められる。
3次元視覚センサが導入されたピッキングシステムの構成を示す図である。 3次元視覚センサの電気構成を示すブロック図である。 キャリブレーションプレートの構成例を示す図である。 キャリブレーションパターン内の各特徴点の識別ルールを示す図である。 キャリブレーションプレートの撮像時の表示画面を示す図である。 キャリブレーション時の処理手順を示すフローチャートである。 投影画像の表示例を示す図である。 図7とは別の方向からの透視変換による投影画像の表示例を示す図である。 図8の投影画像の一部を拡大して表示した例を示す図である。
図1は、3次元視覚センサが導入されたピッキングシステムの例を示す。
このピッキングシステムは、工場内で収容ボックス6に収容されたワークWを1つずつ取り出して所定の位置に搬送する作業を行うためのもので、ワークWを認識するための3次元視覚センサ100のほか、実際の作業を行う多関節ロボット4や、このロボット4の動作を制御するロボット制御装置3などが含まれる。
3次元視覚センサ100は、ステレオカメラ1と認識処理装置2とにより構成される。
ステレオカメラ1は、3台のカメラA,B,Cにより構成される。これらのうち中央のカメラAは、光軸を鉛直方向に向けた状態(すなわち正面視を行う状態)にして配備される。左右のカメラB,Cは、それぞれ光軸が鉛直方向に対して斜めになり、カメラAの撮像面に対する各々の撮像面の鉛直軸回りの回転角度が90度以内に収まるように、姿勢が調整される。
認識処理装置2は、専用のプログラムが格納されたパーソナルコンピュータである。この認識処理装置2では、各カメラA,B,Cが生成した画像を取り込んで、ワークWの輪郭線を対象とする3次元計測を実行した後に、この計測により復元された3次元情報をあらかじめ登録された3次元モデルと照合することにより、ワークWの位置および姿勢を認識する。そして、認識したワークWの位置を表す3次元座標、および3次元モデルに対するワークWの回転角度(X,Y,Zの各軸毎に表される。)をロボット制御装置3に出力する。ロボット制御装置3では、この情報に基づき、ロボット4のアーム40の動作を制御して、ワークWを把持させる。
図2は、上記の3次元視覚センサ100の構成をブロック図により表したものである。
この図によれば、認識処理装置2には、各カメラA,B,Cに対応する画像入力部20A,20B,20C、カメラ駆動部21、CPU22、メモリ23、入力部24、表示部25、通信インターフェース26などが含まれる。
カメラ駆動部21は、CPU22からの指令に応じて、各カメラA,B,Cを同時に駆動する。キャリブレーション処理や3次元モデルを登録する処理を行う場合には、このカメラ駆動は、入力部24から撮像開始の指示を受け付けたことに応じて行われる。
表示部25は、図1におけるモニタ装置である。また入力部24は、図1のキーボード27およびマウス28をまとめたものである。これらは、キャリブレーション処理や3次元モデルの作成処理の際に、設定のための情報を入力したり、作業を支援するための情報を表示する目的に使用される。
通信インターフェース26は、ロボット制御装置3との通信に用いられる。
メモリ23は、ROM,RAM,およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、3次元モデルの作成、およびワークWの3次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された3次元計測用のパラメータや3次元モデルも、メモリ23内の専用のエリアに登録される。
CPU22は、メモリ23内のプログラムに基づき、3次元計測用のパラメータの算出および登録を行った後に、ワークWの3次元モデルの作成および登録処理を実行する。この2種類の設定処理を実行することによって、ワークWに対する3次元計測および認識処理が可能な状態になる。
以下、上記2種類の設定処理のうち、最初に実行されるキャリブレーション処理について、詳細に説明する。
この実施例では、図3に示すようなキャリブレーションプレート30を用いて3次元計測用のパラメータを算出する。このキャリブレーションプレート30は、白色地の薄型プレートの上面に2次元のキャリブレーションパターンを描いた構成のものである。
図3に示すキャリブレーションパターンは、同一径の円形状のマークMを上下および左右に等間隔で配列したものである。図中のDは、マークMの中心点間の距離に相当する。中心に位置するマークM0を除く各マークMは、黒一色で着色され、中心のマークM0には、外周部が黒色で内部に一回り小さい白色円が配置されている。キャリブレーションプレート30の位置合わせや特徴点の認識は、このマークM0を基準に行われる。
図4は、上記のキャリブレーションプレート30の各マークMの特徴点を識別するためのルールを示す。
この図では、各マークMの配列を、それぞれの中心点の配列に置き換えて示すとともに、各中心点にC(i,j)というラベルを付している。各ラベルの(i,j)の値は、中央のマークM0の中心点を(0,0)とし、iが左右方向に沿って、jが上下方向にそって、それぞれ1ずつ変化するように、定められている。
この実施例のキャリブレーション処理では、まず最初に、上記のキャリブレーションプレート30を、その面を水平な状態にして設定して各カメラA,B,Cによるステレオ撮像を行う。つぎに、キャリブレーションプレート30の水平状態を維持して、その高さを変更し、再度、各カメラA,B,Cによるステレオ撮像を実行する。具体的には、平坦な面にキャリブレーションプレート30を設置して1回目のステレオ撮像を行い、次にこの平坦面に専用の支持台を配置して、この支持台上にプレート30を設置して2回目のステレオ撮像を実行する。
さらにこの実施例では、上記の作業時には、表示部25に図5に示すような画面を表示して、キャリブレーションプレート30とカメラA,B,Cとの位置関係を調整する作業を支援するようにしている。この画面には、画像表示領域31のほか、この領域に表示する対象画像を指定するための選択ボタン32A,32B,32C(カメラA,B,Cに対応する。)、OKボタン33、キャンセルボタン34などが設けられている。また、画像表示領域31には、垂直方向に沿うラインL1および水平方向に沿うラインL2がそれぞれ領域31の中心位置を通るようにして表示されている。これらのラインL1,L2は、領域31内の画像表示の変動に関わらず、常に一定の状態で画像に重ね表示される。
1回目のステレオ撮像の際には、ユーザは、正面視用のカメラAの画像表示から、中央のマークM0がカメラAの視野のほぼ中央に位置し、このマークM0を含む縦方向および横方向のマークの配列がラインL1,L2にほぼ対応するように、キャリブレーションプレート30の位置や姿勢を調整する。
ユーザは、カメラB,Cについても同様に、画像表示領域31内にマークM0を含む十分な数のマークMが含まれていることを確認し、不備があれば、カメラB,Cの位置や光軸の向きを調整する。これらの確認や調整が終了すると、ユーザは、OKボタン33を操作することにより撮像開始を指示する。
なお、この実施例のキャリブレーションプレート30では、各マークMの間隔が均一に設定されているので、プレート30の縦・横とラインL1,L2との対応関係は上記の例とは逆になってもよい。また、マークMの縦・横の配列がそれぞれラインL1,L2に対して斜めになるようにプレート30を設置してもかまわないが、マークMの配列とラインL1,L2とのなす角度が45度付近にならないように留意する必要がある。ラインL1,L2とマークMの配列とがなす角度が45度付近になると、ラインL1,L2とマークMの配列との対応づけの結果が撮像方向によって異なるものになり(たとえば、カメラAの画像でラインL1に対応づけられた配列方向がカメラB,Cの画像ではラインL2に対応づけされる。)、ラベル付けの結果が画像間で整合しない状態になるおそれがあるからである。
2回目のステレオ撮像の際にも同様の手順でキャリブレーションプレート30を各カメラA,B,Cの視野に配置するが、各カメラA,B,Cの位置や光軸の向きについては、1回目のステレオ撮像のときと同じ状態を維持する必要がある。
図6は、キャリブレーション処理に関して、CPU22が実行する一連の手順を示す。以下、この図6とともに、適宜他の図面を参照して、キャリブレーション処理の詳細を説明する。
この処理では、まず上記した要領で第1回目のステレオ撮像を実行する(ST1)。つぎに、各カメラA,B,Cにより生成された画像毎に、マークMを表す円を抽出し、これらの円の中心点を各マークMの特徴点として抽出する(ST2)。
つぎのステップST3では、各画像の特徴点にラベルを付けることによって、画像間における特徴点の対応関係および各特徴点と実際のマークMとの対応関係を特定する。具体的に説明すると、まず、マークM0をその外観の特徴から認識して、その特徴点にC(0,0)のラベルを付ける。つぎに、この基準点C(0,0)を起点に上下左右の各方向にそれぞれ所定角度幅の探索範囲を設定して、その範囲内で基準点C(0,0)に最も近い位置にある特徴点を抽出する。そして、抽出された各特徴点が基準点C(0,0)を挟んで並ぶ方向に基づき、各特徴点の上下、左右の配列方向を特定する。さらに各配列方向から基準点C(0,0)に対するその他の特徴点の位置関係を割り出し、各位置関係に図4に示したラベル付けのルールを適用することによって、各特徴点のラベルC(i,j)を決定する。
この実施例では、各カメラの撮像面間の相互の鉛直軸回りの回転ずれ量が90度以内に収められているので、各画像中のマークMの配列方向とラインL1,L2との対応関係の整合が確保される。よって、上記のラベル付けにより、各画像間で対応関係にある特徴点に同一のラベルを付与することができるから、同一のラベルが付された特徴点の組毎に、実際のキャリブレーションパターン中で当該組み合わせに対応するマークMが一意に定まることになる。
つぎに、ステップST4では、カメラAにより生成された基準画像を用いて、各特徴点のX,Y,Z座標を特定する。
この実施例では、キャリブレーションプレート30を水平面に設置していることを利用して、1回目のステレオ撮像により生成された一組のステレオ画像から特定される各特徴点を含む平面が高さ(Z座標)が0の基準面となるように、ワールド座標系を定義する。具体的には、マークM0から求めた基準点C(0,0)の実際の位置を原点(0,0,0)とし、この基準点C(0,0)を通る左右の配列方向をX軸方向とし、基準点C(0,0)を通る上下の配列方向をY軸方向とする。
上記の設定によれば、1回目のステレオ撮像に応じて、各特徴点がワールド座標系のX軸およびY軸に沿って並ぶように、ワールド座標系が定義される。よって、1回目のステレオ撮像に対して特定された特徴点C(i,j)の3次元座標のうちのX座標(Xij)およびY座標(Yij)については、キャリブレーションパターンの各マークMの中心点間の距離Dを用いた下記の演算により、求めることができる。
ij=i*D,Yij=j*D
また各特徴点のZ座標(Zij)は、すべて0に設定する。
つぎに、2回目のステレオ撮像に対しても、1回目のステレオ撮像と同様の手法で、マークMの特徴点を抽出する処理(ST2)およびラベル付け(ST3)を実行した後に、各特徴点C(i,j)のX,Y,Z座標を求める(ST4)。この場合には、まず、今回の撮像による正面視画像を1回目の撮像による正面視画像と照合して、画像中の基準点C(0,0)の位置ずれ量を求めるとともに、マークの上下、左右の配列方向についても1回目の撮像に対する回転ずれ量を求める。そして、カメラA,B,C間でラベルにより対応づけされた特徴点の組毎に、1回目のステレオ撮像に対して実行したのと同様の手法でX,Y座標を求めた後に、これらの座標を上記の位置ずれ量および回転ずれ量により補正する。一方、Z座標(Zij)には、変更後のキャリブレーションプレート30の高さにキャリブレーションプレートの厚みを加えた値を一律にあてはめる。
このようにして、3台のカメラA,B,Cによる2回のステレオ撮像により生成された計6枚の画像からそれぞれ複数の特徴点が抽出され、各特徴点に対応する3次元座標が特定される。
この後は、カメラ毎に、各特徴点の3次元座標と画像中の2次元座標とを対応するもの毎に組み合わせて、前出の透視変換の演算式((1)式)に代入し、最小自乗法により透視変換行列Pを求める。いずれのカメラについても、2回のステレオ撮像により生成された各画像から合計して4個以上の特徴点を抽出して、これらの特徴点の3次元座標および2次元座標を(1)式に代入すれば、(1)式中の行列Pの12個の要素P00〜P23を求めることができる。
このカメラ毎に求めた行列Pが3次元計測用のパラメータとなる。
上記のとおり、この実施例では、キャリブレーションプレート30を高さを変更して2回のステレオ撮像を行った後に、3次元計測用のパラメータを算出する(ST1〜6)。よって、算出したパラメータを登録すれば、本格的な3次元計測を開始することが可能になる。
しかし、この実施例では、一般ユーザがキャリブレーション作業を進めるため、キャリブレーションプレート30のカメラA,B,Cに対する位置合わせが不十分であったり、プレート30の一部に汚れがあって特徴点の抽出精度が悪くなるなど、何らかの不備により、パラメータの精度が確保されていない可能性がある。そのため、この実施例では、パラメータの算出処理(ST6)が終了すると、以下のST7〜10のステップを実行することによって、ユーザに算出されたパラメータの精度を確認させるようにしている。
ST7では、1回目のステレオ撮像により生成された各画像から抽出した特徴点を対象に、算出されたパラメータを用いて3次元座標を算出する。さらに、ST8では、各特徴点について、それぞれST7で算出した3次元座標の中のZ座標の絶対値を、当該特徴点の3次元座標の精度をはかる評価値(以下「精度評価値」という。)に設定する。
つぎに、ST9では、各特徴点につき算出した3次元座標を、所定の視点および方向により2次元平面に透視変換する。さらにST10では、この透視変換結果に基づき、図7,8に示すような投影画像を生成して表示部25に表示する。
図7の例の投影画像は、算出された3次元座標による特徴点群を、0より高い位置を視点として、X,Yの各軸に対して斜めになる方向から透視変換したものである。これに対し、図8の例の投影画像は、図7と同様の特徴点群を、特徴点群の真横の位置(高さ0に対応)から透視変換したものである。
各例の投影画像では、各特徴点が+のパターンにより表され、また3次元座標系のX,Y,Z軸を表す線画も表示されている。また、図中のQは、特徴点の中で精度評価値が最も悪かったものであり、他の点とは異なる色彩により表される(図では、色彩に代えて極太線による+マークで表現する。)。さらに、透視画像の表示画面の右下には、この特徴点Qの精度評価値の具体的な値が表示される。
上記の投影画像が示す各特徴点は、同じキャリブレーションパターンに含まれるものであるから、画像中の特徴点は平面的に分布すべきである。したがってユーザは、投影画像中の各特徴点が平面的に分布しているか否かによって、3次元計測の精度が確保されたかどうかを容易に判別することができる。ここで3次元計測の精度が良い、と判断された場合には、パラメータが精度良く算出されているということになる。
この実施例では、透視変換処理の視点や投影方向をユーザの操作に応じて変更することにより、図7,8に示すように、種々の方向からの特徴点の分布状態を確認できるようにしている。
さらに、この実施例では、投影画像の一部範囲を指定し、指定された範囲を拡大して表示することもできる。図8中の一点鎖線の領域Sはこの指定範囲を示すものであり、図9は、指定範囲S内の特徴点の分布を拡大して表示した例を示す。この拡大画像によれば、Z=0の高さ位置付近でも、特徴点の間に微小なずれがあることや、これらのずれと精度評価値が悪かった特徴点Qのずれ量との違いを確認することができる。
なお、上記の各投影画像では、精度評価値が最も悪かった特徴点を他の特徴点とは異なる色彩で表示したが、この表示を、精度評価値が所定の基準値を超えた全ての特徴点に対して行うようにしてもよい。または、精度評価値に複数の数値範囲を設けて、数値範囲毎に異なる色彩を対応づけることにより、各特徴点の精度評価値がどの数値範囲に入るかによって、表示色を定めるようにしてもよい。
図6に参照を戻して、説明を続ける。ユーザは、上記の投影画像により計測結果の精度を判別し、精度が良好であると判断すると、図示しないOKボタン(図7〜9の画像の表示画面に設定される。)の操作を行う。この操作が行われると(ST11が「YES」)、算出されたパラメータを登録し(ST12)、処理を終了する。
一方、ユーザが計測精度が悪いと判断して、キャンセル操作を行うと(ST11が「NO」)、算出されたパラメータをクリアする(ST13)。この後は、キャリブレーションの手順を見直すなどした後に、最初から処理をやり直すことになる。
上記の処理によれば、3次元計測用のパラメータを算出する処理が終了した直後に、そのパラメータによる3次元計測の精度を表す投影画像が表示されるので、ユーザは、表示された画像からパラメータが適切に設定されていないと判断した場合には、速やかにキャリブレーション処理を再開し、パラメータを算出し直すことができる。また、キャリブレーション処理に用いた特徴点を利用することにより、テスト計測のための準備や新たな撮像を行う必要がないので、ユーザに負担がかからず、また処理を高速化することができる。
また投影画像は最初のステレオ撮像に対応するものに限らず、2回目のステレオ撮像に対して抽出された特徴点についても、同様の投影画像を生成し、表示することができる。また、この場合には、各特徴点の精度評価値として、2回目の撮像時にキャリブレーションプレート30を設定した高さと各特徴点につき算出したZ座標との差の絶対値を求めることができる。
また、上記の実施例では、キャリブレーション作業やデータ処理を簡単にするために、キャリブレーションプレート30を水平にした状態で2回のステレオ撮像を行ったが、前出の特許文献1に記載したような2組の透明シートに記されたキャリブレーションパターンを使用すれば、1回のステレオ撮像でパラメータの算出に必要な特徴点を取得することができる。
反対に、撮像回数は多くなるが、キャリブレーションプレート30の位置や姿勢を任意に設定し、多数回のステレオ撮像を行う方法をとってもよい。ただし、この方法では、パラメータの算出前に各特徴点のZ座標を特定することができなくなるので、Z座標に基づく精度評価値に変わるものを求める必要がある。たとえば、算出されたパラメータから求めた各特徴点の3次元座標に近似する平面を特定し、この平面に対する各特徴点の距離を求め、これを精度評価値として採用することが考えられる。
また、キャリブレーションプレート30に代えて、立体状のキャリブレーションワークによるキャリブレーションを実行した後に、キャリブレーションワーク内で同一の平面に含まれる複数の特徴点を対象に、上記実施例と同様の表示を行ってもよい。
また、同一平面にある特徴点に限らず、キャリブレーションに使用された個々の特徴点毎に、キャリブレーションにより算出されたパラメータを用いて3次元座標を算出し、各特徴点の算出された3次元座標の分布パターンと、キャリブレーションワークにおける各特徴点の既知の位置関係から割り出された正しい3次元座標の分布パターンとを、それぞれ異なる色彩で同一の平面に透視変換した画像を生成し、表示してもよい。または、各特徴点の精度評価値として、それぞれキャリブレーションにより算出されたパラメータによる3次元座標と正しい3次元座標との距離を算出し、それぞれの精度評価値に応じて色彩やパターンの形状などがグループ分けされた構成の投影画像を表示してもよい。
100 3次元視覚センサ
1(A,B,C) ステレオカメラ
2 認識処理装置
22 CPU
25 モニタ装置(表示部)
30 キャリブレーションプレート
M,M0 マーク

Claims (4)

  1. 複数のマークが規則性をもって配列された形態のキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークが所定の状態で位置決めされたときの前記マークの配列に沿う平面を基準の平面とし、当該基準の平面に直交する方向を高さ方向として、前記所定の状態下でのステレオ撮像を含む1回以上のステレオ撮像により生成された一組以上のステレオ画像を入力して、各ステレオ画像から前記キャリブレーションワーク内のマークの特徴点を合計して4個以上抽出し、これらの特徴点を用いて3次元計測のためのパラメータを算出するキャリブレーション装置において、
    前記所定の状態下でのステレオ撮像により得られ、前記パラメータの算出に用いたステレオ画像において前記マークの配列に含まれる複数の特徴点を対象として、前記算出されたパラメータを用いた3次元座標の算出処理を実行する仮計測手段と、
    前記仮計測手段が算出した各特徴点の3次元座標を透視変換し、変換後の各特徴点をそれぞれ所定のパターンで表した投影画像を生成する透視変換手段と、
    前記透視変換手段により生成された投影画像をモニタ装置に表示する表示制御手段とを、具備することを特徴とする、キャリブレーション装置。
  2. 前記キャリブレーションパターンは、直交する2方向に沿ってそれぞれ複数のマークが規則性をもって配列されたものであり、
    前記透視変換手段は、前記変換後の各特徴点を表すパターンと共に、前記直交する2方向および高さ方向にそれぞれ対応する3本の線画像を含む投影画像を生成する、請求項1に記載されたキャリブレーション装置。
  3. 前記表示制御手段は、前記仮計測手段が算出した各特徴点について、それぞれ前記基準の平面に対する当該特徴点の透視変換前の3次元座標の位置脱度合いを求め、各特徴点の表示の態様をそれぞれの逸脱度合いの程度に応じて決定する、請求項1または2に記載されたキャリブレーション装置。
  4. 複数のマークが規則性をもって配列された形態のキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークが所定の状態で位置決めされたときの前記マークの配列に沿う平面を基準の平面とし、当該基準の平面に直交する方向を高さ方向として、前記所定の状態下でのステレオ撮像を含む1回以上のステレオ撮像により生成された一組以上のステレオ画像から、前記キャリブレーションワーク内のマークの特徴点を合計して4個以上抽出し、これらの特徴点を用いて3次元計測のためのパラメータを算出する処理が行われたことに応じて実行される方法であって、
    前記所定の状態下でのステレオ撮像により得られ、前記パラメータの算出に用いられた前記ステレオ画像において前記マークの配列に含まれる複数の特徴点を対象として、前記算出されたパラメータを用いた3次元座標の算出処理を実行するステップと、
    前記3次元座標の算出処理により得られた各特徴点の3次元座標を透視変換し、変換後の各特徴点をそれぞれ所定のパターンで表した投影画像を生成してモニタ装置に表示するステップとを、
    実行することを特徴とする、3次元計測のためのパラメータの精度の確認支援方法。
JP2010004929A 2009-03-12 2010-01-13 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 Active JP5714232B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010004929A JP5714232B2 (ja) 2009-03-12 2010-01-13 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
US12/711,814 US8447097B2 (en) 2009-03-12 2010-02-24 Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009059920 2009-03-12
JP2009059920 2009-03-12
JP2010004929A JP5714232B2 (ja) 2009-03-12 2010-01-13 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法

Publications (2)

Publication Number Publication Date
JP2010237193A JP2010237193A (ja) 2010-10-21
JP5714232B2 true JP5714232B2 (ja) 2015-05-07

Family

ID=42730747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010004929A Active JP5714232B2 (ja) 2009-03-12 2010-01-13 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法

Country Status (2)

Country Link
US (1) US8447097B2 (ja)
JP (1) JP5714232B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP5245937B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
JP5336939B2 (ja) * 2009-06-15 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム
JP6222898B2 (ja) * 2012-07-03 2017-11-01 キヤノン株式会社 3次元計測装置及びロボット装置
JP5642738B2 (ja) * 2012-07-26 2014-12-17 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
CN102798382B (zh) * 2012-07-30 2015-12-02 深圳市轴心自控技术有限公司 嵌入式视觉定位系统
JP5469216B2 (ja) * 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP5897624B2 (ja) * 2014-03-12 2016-03-30 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP6619927B2 (ja) * 2014-10-24 2019-12-11 株式会社日立製作所 キャリブレーション装置
DE112015000108T5 (de) * 2015-09-30 2016-06-16 Komatsu Ltd. Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法
CN109313811B (zh) * 2017-05-18 2021-11-05 深圳配天智能技术研究院有限公司 基于视觉系统振动移位的自动校正方法、装置及系统
JP6764533B2 (ja) * 2017-06-20 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
WO2019093136A1 (ja) * 2017-11-08 2019-05-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11049282B2 (en) * 2019-02-28 2021-06-29 Intelligrated Headquarters, Llc Vision calibration system for robotic carton unloading
CN110666798B (zh) * 2019-10-11 2021-03-02 华中科技大学 一种基于透视变换模型的机器人视觉标定方法
CN113021017B (zh) * 2021-03-19 2022-05-03 中国科学院自动化研究所 随形自适应3d检测与加工系统
CN114234847B (zh) * 2021-12-08 2024-01-30 苏州恒视智能科技有限公司 一种光栅投影系统及光栅相移高度测量自动校正补偿方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0680404B2 (ja) * 1985-06-03 1994-10-12 日本電信電話株式会社 カメラ位置姿勢校正方法
US6278798B1 (en) 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
JP3622094B2 (ja) 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
JPH10122819A (ja) 1996-10-21 1998-05-15 Omron Corp キャリブレーション方法およびその装置
JPH10160464A (ja) 1996-12-04 1998-06-19 Tokyo Electric Power Co Inc:The 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
JPH10269362A (ja) 1997-03-21 1998-10-09 Omron Corp 物体認識方法およびその装置
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP3859371B2 (ja) 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
US6480627B1 (en) * 1999-06-29 2002-11-12 Koninklijke Philips Electronics N.V. Image classification using evolved parameters
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
JP3603118B2 (ja) * 2001-06-08 2004-12-22 東京大学長 擬似3次元空間表現システム、擬似3次元空間構築システム、ゲームシステム、及び電子地図提供システム
DE60236019D1 (de) * 2001-12-28 2010-05-27 Mariner Acquisition Co Llc Stereoskopisches dreidimensionales metrologiesystem und -verfahren
JP4154156B2 (ja) * 2002-02-08 2008-09-24 ソニーマニュファクチュアリングシステムズ株式会社 欠陥分類検査装置
JP4224260B2 (ja) * 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP3817505B2 (ja) * 2002-09-27 2006-09-06 キヤノン株式会社 情報処理方法及び情報処理装置
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP2004062980A (ja) 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model
US7277599B2 (en) * 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
JP3859574B2 (ja) * 2002-10-23 2006-12-20 ファナック株式会社 3次元視覚センサ
JP3929384B2 (ja) * 2002-10-23 2007-06-13 オリンパス株式会社 ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
EP1601928B1 (en) * 2003-03-07 2015-09-02 International Industry Support, Inc. Scanning system with stereo camera set
JP4285279B2 (ja) * 2003-03-26 2009-06-24 ソニー株式会社 ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法
AU2003245822A1 (en) * 2003-05-14 2004-12-13 Tbs Holding Ag Method and device for the recognition of biometric data following recording from at least two directions
JP4234059B2 (ja) 2003-06-06 2009-03-04 三菱電機株式会社 カメラキャリブレーション方法およびカメラキャリブレーション装置
JP3892838B2 (ja) * 2003-10-16 2007-03-14 ファナック株式会社 3次元測定装置
US7596283B2 (en) * 2004-04-12 2009-09-29 Siemens Medical Solutions Usa, Inc. Fast parametric non-rigid image registration based on feature correspondences
JP4111166B2 (ja) * 2004-05-07 2008-07-02 コニカミノルタセンシング株式会社 3次元形状入力装置
JP4560711B2 (ja) * 2004-06-22 2010-10-13 株式会社セガ 画像処理
WO2006002320A2 (en) * 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
JP2006067272A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd カメラキャリブレーション装置及びカメラキャリブレーション方法
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US8160315B2 (en) * 2004-09-13 2012-04-17 Hitachi Medical Corporation Ultrasonic imaging apparatus and projection image generating method
JP4604774B2 (ja) 2005-03-14 2011-01-05 オムロン株式会社 3次元計測のためのキャリブレーション方法
JP2006300890A (ja) * 2005-04-25 2006-11-02 Toyota Motor Corp 画像処理検査装置及び画像処理検査方法
EP1880364A1 (en) * 2005-05-12 2008-01-23 Bracco Imaging S.P.A. Method for coding pixels or voxels of a digital image and a method for processing digital images
US7580560B2 (en) * 2005-07-18 2009-08-25 Mitutoyo Corporation System and method for fast template matching by adaptive template decomposition
JP2007064836A (ja) 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
JP4709668B2 (ja) 2006-03-15 2011-06-22 独立行政法人科学技術振興機構 3次元物体認識システム
WO2007108412A1 (ja) * 2006-03-17 2007-09-27 Nec Corporation 3次元データ処理システム
US20090309893A1 (en) * 2006-06-29 2009-12-17 Aftercad Software Inc. Method and system for displaying and communicating complex graphics file information
US7636478B2 (en) * 2006-07-31 2009-12-22 Mitutoyo Corporation Fast multiple template matching using a shared correlation map
JP4650386B2 (ja) * 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US8793619B2 (en) * 2008-03-03 2014-07-29 The United States Of America, As Represented By The Secretary Of The Navy Graphical user control for multidimensional datasets
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP5245937B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
US8509482B2 (en) * 2009-12-21 2013-08-13 Canon Kabushiki Kaisha Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
JP2011185650A (ja) * 2010-03-05 2011-09-22 Omron Corp モデル作成装置およびモデル作成プログラム
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane

Also Published As

Publication number Publication date
US20100232684A1 (en) 2010-09-16
JP2010237193A (ja) 2010-10-21
US8447097B2 (en) 2013-05-21

Similar Documents

Publication Publication Date Title
JP5714232B2 (ja) キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP5316118B2 (ja) 3次元視覚センサ
JP5245938B2 (ja) 3次元認識結果の表示方法および3次元視覚センサ
JP5471356B2 (ja) 3次元計測のためのキャリブレーション方法および3次元視覚センサ
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
JP5310130B2 (ja) 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
US9672630B2 (en) Contour line measurement apparatus and robot system
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP6080407B2 (ja) 3次元計測装置及びロボット装置
JP2010210585A (ja) 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
JP5566281B2 (ja) 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP5390813B2 (ja) 空間情報表示装置及び支援装置
KR20150128300A (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP2011185650A (ja) モデル作成装置およびモデル作成プログラム
JP2010218016A (ja) 視覚認識処理用のモデルデータの登録方法および視覚センサ
US20160379368A1 (en) Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation
JP2017203701A (ja) 情報処理装置、計測システム、情報処理方法およびプログラム
JP5198078B2 (ja) 計測装置および計測方法
JP7311225B2 (ja) 測定システム、測定方法、及び測定プログラム
JP2015062017A (ja) モデル作成装置、モデル作成プログラム、および画像認識システム
JP6202875B2 (ja) 画像測定装置及びその制御用プログラム
JP2010170288A (ja) 3次元モデリング装置
JP5564065B2 (ja) フォースプレートを備えた3次元動作分析システムのセッティング装置及び方法
WO2022168617A1 (ja) ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム
JP2022054255A (ja) ステレオカメラの角度調整支援方法、ステレオカメラシステムおよびロボットシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20130815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140325

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150311

R150 Certificate of patent or registration of utility model

Ref document number: 5714232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150