JP4220920B2 - 視覚センサ - Google Patents

視覚センサ Download PDF

Info

Publication number
JP4220920B2
JP4220920B2 JP2004064124A JP2004064124A JP4220920B2 JP 4220920 B2 JP4220920 B2 JP 4220920B2 JP 2004064124 A JP2004064124 A JP 2004064124A JP 2004064124 A JP2004064124 A JP 2004064124A JP 4220920 B2 JP4220920 B2 JP 4220920B2
Authority
JP
Japan
Prior art keywords
camera
measurement
confirmation
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004064124A
Other languages
English (en)
Other versions
JP2005251086A (ja
Inventor
淳 渡邉
一訓 伴
一郎 管野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2004064124A priority Critical patent/JP4220920B2/ja
Priority to EP05004815A priority patent/EP1574300A3/en
Priority to CNA2005100515992A priority patent/CN1667362A/zh
Priority to US11/073,681 priority patent/US7355725B2/en
Publication of JP2005251086A publication Critical patent/JP2005251086A/ja
Application granted granted Critical
Publication of JP4220920B2 publication Critical patent/JP4220920B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば生産ラインにおいてロボットと組み合わせて使用され、ロボットが作業対象とするワークの位置ずれを認識し、それに基づいてロボットがずれ量を補って作業を行なうアプリケーションに好適な視覚センサに関する。
生産ラインにおいて必要とされることが多い一般的な工程の1つとして、整列されていない多数の部品を順次取出し、次工程へ搬送する工程がある。この工程を自動化するために、ロボットと視覚センサを組み合わせたロボット−視覚センサシステムを用いる試みが種々提案されている。一般に、視覚センサは画像取得を行なうセンサヘッドと、同センサヘッドの制御及び画像処理等を行なう画像処理装置を含み、センサヘッドにはカメラ、あるいは、カメラに加えてパターン光(スリット光、スポット光など)の投光器が設けられる。また、センサヘッドはロボットの先端部付近に取り付けられて使用されることが多いが、ロボットの周辺に固定した状態で使用されることもある。
ところで、上記の提案を信頼性のある形で実用化することは簡単でなく、少し前までは条件をうまく設定することで一部実用化にこぎつけていた程度であったのであるが、最近は試験段階から普及段階に入ろうとしており、様々なアプリケーションヘの適用の拡大が見られるようになってきた。例えば下記特許文献1に開示されているように、従来実現していなかったシステムも、現実的に稼動し始めている。
しかし、作業対象のワークの中には、照明などの外部環境や、ワークに個体差があったり、似たような特徴が本来求めたい特徴の近傍にあったりするなどの理由により、検出結果が不安定となることも多い。そのため、未検出(検出されるべきワークが検出されない)が起きたり、誤検出(本来求めたい特徴以外の特徴を本来求めたい特徴と誤認する)が起きたりして、ラインを停止させてしまうことがある。
これら事態に対する対策の1つとして、例えば下記特許文献2に示されているように、未検出や誤検出が起きそうな画質を判断して画質が良くない場合に警告を発する(特許文献2中ではコントラストで判断)、または、画質低下時用の処理に切り替える、というような提案がなされている。ところが未検出や誤検出の理由は、先に述べたように画質によるものだけではなく、すべての未検出や誤検出が除去できないケースは珍しくない。
特開2003−34430号公報 特開2001−160146号公報
ところで、未検出と誤検出を比較した場合、未検出である場合は視覚センサ自身でその状態がわかるので、リトライなどの例外処理を組むなどして、ラインの停止を回避する手段を講じ易い。一方、誤検出の場合は、視覚センサ自身でその状態が把握できないため、例外処理を行いにくい上、誤検出によってロボットの誤動作を誘発し、衝突など影響の大きいトラブルでラインを停止させてしまう危険性も大きい。そこで本発明は、特にこのように影響の大きい誤検出を防ぐことのできる視覚センサを提供しようとするものである。
本発明は、カメラを利用して取得した画像に基づく視覚センサによる計測について、それが正しい計測であるかを判定できるようにして、誤検出の発生を防ぐものである。計測結果の妥当性の判断は、計測用のカメラと確認用のカメラ(1台で兼用することもあり得る)、または、計測用の画像と確認用の画像、といった複数の入力により得られる複数の結果を参照して行なわれる。
より具体的に言えば、請求項1に記載された発明では、カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサに、移動手段に搭載された計測用のカメラ並びに前記計測用のカメラとは別の確認用のカメラと、前記確認用のカメラにより取得した画像の満たすべき条件を設定、記憶する手段と、前記確認用のカメラにより取得した画像が、前記設定された条件を満たす場合のみ、前記計測用のカメラの画像での計測結果を有効にする手段が設けられる。そして、前記移動手段によって、前記計測用のカメラを前記確認用のカメラと共に、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程で前記確認用のカメラによる逐次撮影によって複数個の画像が取得される。また、前記条件は、前記逐次撮影によって取得された複数個の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、前記条件を満たすことが、前記移動過程が前記計測用カメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表している。
また、請求項2に記載された発明では、カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサに、移動手段に搭載された同一のカメラにより少なくとも計測用と確認用の2種類の画像を取得する手段と、前記確認用の画像の満たすべき条件を設定、記憶する手段と、前記確認用の画像が前記設定された条件を満たす場合のみ、前記計測用の画像での計測結果を有効にする手段が設けられる。そして、前記移動手段によって、前記同一のカメラを、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程で前記確認用の画像が前記同一のカメラによる逐次撮影によって複数個取得される。また、前記条件は、前記逐次撮影によって取得された複数個の確認用の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、前記条件を満たすことが、前記移動過程が前記同一のカメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表している。
請求項1及び請求項2の発明により、複数箇所の計測が必要な比較的大型のワークでの誤検出を防ぐことができる。
以下、図面を参照して本発明の実施形態について、参考形態と共に説明する。先ず図1には本発明の実施形態における全体構成図が示されている。但し、この全体構成は、参考態様における処理にいても利用されるものである。図1を参照すると、符号1はロボットコントローラ5で制御されるロボットで、ケーブル12で相互に接続されている。その先端部周辺には2台のカメラ2、3とハンド9が装着されている。2台のカメラ2、3の内の一方のカメラは計測用のカメラであり、他方のカメラは確認用のカメラである。ここでは、カメラ2が計測用、カメラ3が確認用とするが、逆であっても構わない。また、後述するように、ロボット1をカメラの移動手段に用いて1台のカメラ2(又は3)を計測用と確認用に兼用することも可能である。
カメラ2、3は各々ケーブル7、8を用いてパーソナルコンピュータ4に接続されており、ハンド9はケーブル10を用いてロボットコントローラ5に接続されている。パーソナルコンピュータ4は、視覚センサの制御/画像処理部を構成するもので、視覚センサのセンサヘッドを構成するカメラ2、3の撮像動作を制御するとともに、各カメラ2、3による撮像で取得された画像を取り込み、画像処理を行ない、それに基づき所要の検出(特徴部検出)と計測を行なう。
なお、カメラ2、3のキャリブレーション及びロボット座標系とセンサ座標系の結合は、周知の手法により完了しているものとする。視覚センサによる計測としては、ここではワーク20の特徴部の1つに対応する所定箇所21の2次元位置の計測を想定する。以下、この所定箇所を適宜特徴部とも言う。
パーソナルコンピュータ4とロボットコントローラ5は、ネットワーク回線6で接続されており、パーソナルコンピュータ4での検出・計測結果(所定箇所21の位置計測結果)に基づいてロボット1及びハンド9を動作させる。ここに示された例は2次元視覚センサであり、視線の位置・方向を求めることはできるが、最終的に3次元位置を求めるには情報不足である。これを補う情報としては、例えば特徴部21の高さ(ロボット座標系Σb 上でのZ座標値)が既知であればそれを利用できる。また、視覚センサが3次元視覚センサ(例えばセンサヘッドにスリット光あるいはスポット光を投射する投光部を更に備えた3次元視覚センサ)であれば、当然、3次元位置が求められる。なお、ワーク20の姿勢が知りたい場合には、例えば検出すべきワーク毎の特徴部を複数個としてそれらの3次元位置から姿勢を求めれば良い。
図2は、図1に示した構成を利用して参考形態で実行される処理を示したフローチャートである。各ステップの要点を記せば次のようになる。なお、処理開始時点において、ロボット1はカメラ2、3でワーク20の全体を視野に入れた初期位置に位置決めされているものとする。
ステップS1;カメラ2を用いて計測用の撮像を行い、ワーク20の画像(計測用の画像)を取得する。
ステップS2;ステップS1で得た画像を処理して、ワーク20の所定箇所21の検出を行なう。但し、後述するように、この所定箇所21以外の箇所を誤検出している可能性がある。既述の通り、ワーク20の所定箇所21には例えば穴、突起、輪郭の稜線などの特徴部が選ばれ、その検出には同特徴部21を表わす基準画像をテンプレートに用いた周知のパターンマッチングの手法を用いることができる。なお、視覚センサが例えばスリット光投光器を加えた3次元視覚センサの場合には、スリット光の投光によってワーク20上に形成される輝線の画像から特徴部21を抽出することで、所定箇所21を検出する。
ステップS3;ステップS2で検出された所定箇所21について計測を行なう。前述したように、2次元視覚センサでは3次元位置を求めることはできないが、視線の位置・方向を求めることはできる。そこで、ここでは図3に示したように、カメラ2の代表点(レンズ中心)から所定箇所21の代表点21aに向かう視線23を計算するものとする。
但し、もしも所定箇所21の検出が誤検出であった場合には、別の箇所へ向かう視線が計算されることになる。その例を図4に示した。図3、図4において、所定箇所(特徴部)21は、円形の穴で例示されており、代表点21aはその中心である。誤検出は、別の円形の穴(特徴部)22を誤認して起ったもので、その代表点(穴の中心)を22aとする。図4に示した誤検出時には、視線23ではなく視線25(図4参照)が計算されることになる。なお、3次元視覚センサを用いた場合には、誤検出でなければ特徴部21の代表点21aの3次元位置が計算され、誤検出時には特徴部22の代表点22aの3次元位置が計算される。
ステップS4;カメラ3を用いて確認用の撮像を行い、ワーク20の画像(確認用の画像)を取得する。なお、ロボット1はカメラ2による撮像を行なった位置のままで良い。但し、確認用の画像と計測用の画像の差異をより明瞭にするために、ロボットを移動させて位置決めしても構わない。なお、計測用のカメラ2を確認用のカメラ3に兼用する場合には、確認用の画像と計測用の画像が同一にならないように、ロボットを移動させてから確認用の画像を取得することもある。
ステップS5;ステップS4で得た確認用の画像を処理して、ワーク20の所定箇所21の検出を行なう。なお、ここでも誤検出が起る可能性はあり、その場合は、他の箇所(例えば特徴部22)が検出される。
ステップS6;ステップS5で検出された所定箇所21について計測を行なう。ここでは図3に示したように、カメラ3の代表点(レンズ中心)から所定箇所21の代表点21aに向かう視線24を計算するものとする。但し、もしも所定箇所21の検出(確認用)が誤検出であった場合には、別の箇所へ向かう視線(例えば視線27;図4参照)が計算されることになる。3次元視覚センサを用いた場合には、所定箇所21の代表点21aの3次元位置(正しい検出時)、あるいは、他の箇所の代表点(例えば点22a)の3次元位置(誤検出時)が計算されることになる。
ステップS7;ステップS3における計測結果と、ステップS6における計測結果を比較、照合して、同一箇所の検出・計測を行なったか否か判断する。この判断のためのアルゴリズムについては、後述する。同一箇所の検出・計測を行なっていれば誤検出でないと判断してステップS8へ進み、そうでなければステップS9へ進む。なお、元々「誤検出」の確率がある程度低く抑えられている限り、ステップS3における計測結果と、ステップS6における計測結果の両方が誤検出に基づくケース(視線25、27の組み合わせ)は極く稀にしか起こり得ないと考えられる。
ステップS8;ステップS3における計測結果を正しい計測結果として記憶し、ロボットコントローラ5に計測結果を送って、処理を終了する。ロボットコントローラ5は、この計測結果をロボット1、ハンド9の制御に利用する。
ステップS9;誤検出の場合の例外処理を実行する。誤検出の場合の例外処理には種々考えられるが、例えばロボット位置を変更してからのリトライがある。
図5には、上記ステップS7で行なう判断のためのアルゴリズムの一例を示した。各ステップの要点を記せば次のようになる。
ステップQ1;ステップS3、S6で求めた各視線間の距離、即ち、ステップS3で求めた視線上の任意の点と、ステップS6で求めた視線上の任意の点との間の距離の内最小のものを求める。これをdで表わす。両視線が交点を持てばd=0となる(両視線の一致はあり得ない)。
ステップQ2;距離dが基準値δ未満であるか否か判断する。ここで基準値δには、誤差範囲内で両視線が実質的に交わっているかいないかの識別に用いられる値が予め設定される。先ず、d≧δであれば両視線が実質的に交わっていないと判断する。両視線が実質的に交わっていないことは、ステップS2、S5で共に誤検出のない図3のケースではあり得ないので、誤検出に該当すると考え、ステップQ5へ進む。ステップS2では誤検出はなく、ステップS5のみで誤検出のケース(視線23と視線27の組み合わせ)もあり得るが信頼性がないと考え、計測は無効とする。
d<δの場合は、ステップQ3へ進み、交点が点21aに該当するか判断する。これは、ステップS2、S4の少なくとも一方で誤検出があっても、両視線(25と26、25と27、あるいは23と27)が交点を持つこともあり得るからである。なお、距離dは理想的にはd=0となるべきものであり、このdの値を記憶して検出ずれ(同じ点21aを検出しているが検出位置にぶれがあり、視線23、24が21aで完全に交わらないこと)の指標として用いても良い。δは同一箇所の検出がなされたかどうかをチェックする基準であり、検出ぶれを「誤検出」と区別できる程度の大きさに定めることが好ましい。例えば最大の検出ぶれが1mm程度と想定される場合、δはそれよりやや大きく2mmに設定する。
ステップQ3;予め適当に設定した補助基準を用いて視線の交点が点21aに該当するか判断する。補助基準としては例えば点21aのZ座標値(ロボット座標系Σb 上)が収まるであろう座標値範囲(高さ位置範囲)を指定しておき、その範囲内なら交点は点21aに該当すると判断し、ステップQ4へ進む。そうでなければ点21aに該当しないと判断し、ステップQ5へ進む。なお、ステップS2、ステップS5で共に点22aを誤検出した場合、この補助基準では排除できないが、前述した通り、それは稀にしか起らないと考える。
ステップQ4;計測は正しい(誤検出なしで計測は有効)と判定する(ステップS8へ進む)。
ステップQ5;計測は信頼できない(誤検出あり、計測は無効)と判定する(ステップS9へ進む)。
なお、3次元視覚センサを使用した場合、ステップS3、S6の計測結果は3次元位置で与えられるから、それらが不一致(誤差範囲以上)ならば無条件に「誤検出で計測無効」とし、一致(誤差範囲未満)ならば、上記ステップQ3と同様の補助基準(点21aのZ座標値範囲)によりその一致点は、「点21a」に該当するか否かを判断する。そして、該当していれば「計測有効」、そうでなければ「計測無効」とする。
以上説明した処理により、誤検出から導出された計測結果にも拘らず、それに基づくロボット制御やハンド制御が行なわれ、衝突事故等で生産ラインが停止する頻度を大幅に減らすことができるようになる。なお、確認用の撮像は、カメラの数をさらに増やす、あるいは、ロボット1の位置をさらに変更するなどして、複数箇所から行われても良い。その場合、計測用の計測結果(ステップS3)と、複数の確認用の画像に基づく複数の計測結果が、すべて同一の箇所の検出に基づくものであると判断された場合に「誤検出なし」と判断すれば良い。
さて、上記した参考形態では、ワーク20は比較的小サイズでロボット1の移動を行なわなくて済む程度の範囲内に検出・計測箇所が存在している。ところが、例えば自動車の車体部品のように大型のワークについては、ワークの位置や姿勢の計測精度を確保するために、ロボット移動しなければ検出・計測が行えないような離れた2箇所以上を計測する必要がある。図6は、そのような事例を用いて本発明の実施形態について説明する図である。
同図において、符号200は大サイズのワークを表わし、代表点31で代表される特徴部(第1の所定箇所)30と、代表点41で代表される特徴部(第2の所定箇所)40の計測を行なうものとする。また、図示したように、特徴部40の近傍には特徴部40と類似した特徴部50が存在し、この特徴部50は検出・計測されるべき箇所ではないとする。このようなワーク200について、今、ワーク200が特徴部30側の周囲部がラフにクランプされており、特徴部40がある反対側の周囲部は、かなりの範囲で自由に動くケースを考える。
この場合、特徴部30側ではワーク200の位置には多少のばらつきはあるものの、ロボット1がある位置(一定の位置)を取った場合に、計測用カメラ2の視野201内に特徴部30を確実に捉えられる。しかし、特徴部40がある反対側では、ワーク200がかなりの範囲で自由に動くため、いつも同じロボット位置で検出・計測を行なおうとすると、計測用カメラ2の視野202から特徴部40が消えてしまい、その代わりに非計測対象の特徴部50が現れる現象が発生する。このような視野を符号203で表わしている。
今、図示の都合上、ワーク200を図示した位置・姿勢に固定し、且つ、ロボットの移動経路を視野の移動で描示すると、上記の現象(特徴部40に代えて特徴部50が現れる現象)が生じた場合には、ロボットが同じ教示経路をとったとしても、符号204で示した経路になったり、符号205で示した経路になったりすることが起こり得る。符号204で示した経路をとれば、特徴部30を視野202で捉えられるので誤検出は起り難いが、符号205で示した経路をとったケースでは、本来は検出・計測すべきでない特徴部50を視野203で捉えて検出する誤検出が起ることになる。
そこで、確認用カメラ3を使って、ロボット1の移動(即ち、カメラ2、3の移動)がワーク200に対してどのような相対位置をとりながら行なわれていくのかを逐一確認して行くことで、視野202が得られる位置に到達する経路204を辿っているか否かを確認することができる。図6において、符号206〜209は、経路204の途中で確認用カメラ3で得られる視野を表わしている。一方、間違った経路205をたどると、例えば、確認用カメラ3は210〜213のような視野となるものとする。
このような状況では、確認用カメラ3で、ワーク200の一部(ここでは、線が2本)が観測しつづけられれば、自分が正しい経路(ワーク200に対する相対経路)を通っていると判断でき、結果として、視野202を得られると言える。更に言えば、観測対象であるワーク200の一部が、常に視野の真中に来るような補正を加えながら移動していけば、より安定的に視野202を得る位置に到達させることができる。
図7は、このような前提で、「所定の条件」を満たした経路が実現しているかどうかを確認して計測の有効/無効を決定する処理手順の概略をフローチャートで表わしたものである。「所定の条件」は予め、パーソナルコンピュータ4に設定しておくもので、ここでは経路204のような経路をとることを表現する条件として、「ワーク200の輪郭線が2本見えること」を採用するがこれは一例であり、一般にはワークの形状と視野の経路の関係を検討して定めるものである。なお、以下の説明では、視野201が得られるロボット位置を「ロボット位置A」と呼び、視野202が得られたり視野203が得られたりするロボット位置を「ロボット位置B」と呼ぶことにする。各ステップの要点を記せば次のようになる。
ステップR1;ロボット1を位置Aに移動させる。
ステップR2;計測用カメラ2による撮像で特徴部30を含む画像を得て、特徴部30を検出する。この検出には、前述の例と同様、例えばパターンマッチングの手法を用いる。
ステップR3;特徴部30の代表点31の計測を行なう。前述したように、2次元視覚センサの場合、例えば代表点31を通る視線が求められる。3次元視覚センサの場合、代表点31の3次元位置が求められる。
ステップR4;ロボット位置Bへ移動開始。
ステップR5;ステップR2の撮像時点の位置から距離D1以上移動したかチェックする。ここで、距離D1は、条件チェック(2本線が見えるか否か)で経路の正常/異常が判別できるようになるまでの最小移動距離より若干大きく設定する。
ステップR6;確認用カメラ3による撮像で確認用の画像を得て、ワーク200の輪郭線を検出する。
ステップR7;画像の条件(ここでは輪郭線が2本検出できること)が満たされたか判定する。イエスならステップR8へ進み、ノーならステップR12へ進む。
ステップR8;ロボット位置Bの手前の距離D2の位置に到達したか否かチェックする。ここで距離D2は、条件チェック(2本線が見えるか否か)で経路の正常/異常が判別できなくなる位置とロボット位置Bの間の距離より若干大きく設定する。到達していなければステップR6へ戻り、以降の処理を繰り返す。到達していればステップR9へ進む。 ステップR9;ロボット位置Bへ到達させる。
ステップR10;特徴部40(2箇所目の所定箇所)のための計測用の撮像を行ない、特徴部40を検出する。
ステップR11;特徴部40の代表点41の計測を行う。この計測結果とステップR3で得た計測結果とを正しい計測結果として記憶し、ロボットコントローラ5に計測結果を送って、処理を終了する。ロボットコントローラ5は、この計測結果をロボット1、ハンド9の制御に利用する。
ステップR12;未検出の場合の例外処理を実行する。即ち、このステップR12へ進んだということは、「輪郭線が2本観測されること(ワーク200を横断して一部が見えつづけること)」が満たされなくなったことを意味するので、これを、「軌道が外れていること」の証拠と見なし、未検出とする。そして、適宜未検出用の例外処理を実行する。
以上の処理により、特徴部50を特徴部40と誤認(誤検出)して誤った計測結果を採用してしまう危険性が解消される。なお、本例においてはステップR2での計測用の撮像とステップR6での確認用の撮像は、計測用カメラ2と確認用カメラ3をそれぞれ用意して行なったが、計測用のカメラ2を確認用に兼用して、計測用カメラ2だけで撮像を行なってもよい。また、これらで行われた計測は、ワークに応じて、2次元計測でも良いし、3次元計測でも良い。
本発明の実施形態における全体構成図を示したものである。なお、この構成は参考形態においても利用される。 参考形態で実行される処理の一例を示したフローチャートである。 視覚センサが2次元視覚センサである場合に、計測用のカメラと確認用のカメラか同一の箇所を正しく所定箇所として検出したケースについて説明する図である。 視覚センサが2次元視覚センサである場合に、計測用のカメラが誤検出を起こし、確認用のカメラは正しく所定箇所を検出したケースについて説明する図である。 視覚センサが2次元視覚センサである場合について、図2に示したフローチャート中のステップS7の具体例について説明するフローチャートである。 計測対象の物体のサイズが大きいケースを用いて、実施形態について説明する図である。 図6に示したケースに関連して、実施形態で実行される処理の例を示したフローチャートである。
符号の説明
1 ロボット
2 計測用カメラ(但し、確認用カメラとの兼用のケースあり)
3 確認用カメラ
4 パーソナルコンピュータ(視覚センサの制御/画像処理部)
5 ロボットコントローラ
6 ネットワーク回線
7、8 ケーブル(視覚センサ用)
9 ハンド
10 ケーブル(ハンド−ロボットコントローラ用)
12 ケーブル(ロボットド用)
20、200 ワーク
21 所定箇所(特徴部)
21a 特徴部21の代表点
22 検出予定でない特徴部(丸穴)
22a 特徴部22の中心
23〜27 視線
30 第1の所定箇所(特徴部)
31 第1の所定箇所(特徴部)の代表点
40 第2の所定箇所(特徴部)
41 第2の所定箇所(特徴部)の代表点
50 特徴部(検出・計測対象外)
201〜203、206〜213 視野
204 適正な移動経路
205 不適正な移動経路

Claims (2)

  1. カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサであって、
    移動手段に搭載された計測用のカメラ並びに前記計測用のカメラとは別の確認用のカメラと、
    前記確認用のカメラにより取得した画像の満たすべき条件を設定、記憶する手段と、
    前記確認用のカメラにより取得した画像が、前記設定された条件を満たす場合のみ、前記計測用のカメラの画像での計測結果を有効にする手段とを備え、
    前記移動手段によって、前記計測用のカメラを前記確認用のカメラと共に、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程において、前記確認用のカメラによる逐次撮影によって複数個の画像が取得され、
    前記条件は、前記逐次撮影によって取得された複数個の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、
    前記条件を満たすことが、前記移動過程が前記計測用カメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表していることを特徴とする視覚センサ。
  2. カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサであって、
    移動手段に搭載された同一のカメラにより少なくとも計測用と確認用の2種類の画像を取得する手段と、
    前記確認用の画像の満たすべき条件を設定、記憶する手段と、
    前記確認用の画像が前記設定された条件を満たす場合のみ、前記計測用の画像での計測結果を有効にする手段とを備え、
    前記移動手段によって、前記同一のカメラを、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程で前記確認用の画像が前記同一のカメラによる逐次撮影によって複数個取得され、
    前記条件は、前記逐次撮影によって取得された複数個の確認用の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、
    前記条件を満たすことが、前記移動過程が前記同一のカメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表していることを特徴とする視覚センサ。
JP2004064124A 2004-03-08 2004-03-08 視覚センサ Expired - Fee Related JP4220920B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004064124A JP4220920B2 (ja) 2004-03-08 2004-03-08 視覚センサ
EP05004815A EP1574300A3 (en) 2004-03-08 2005-03-04 Measuring system
CNA2005100515992A CN1667362A (zh) 2004-03-08 2005-03-07 计量系统
US11/073,681 US7355725B2 (en) 2004-03-08 2005-03-08 Measuring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004064124A JP4220920B2 (ja) 2004-03-08 2004-03-08 視覚センサ

Publications (2)

Publication Number Publication Date
JP2005251086A JP2005251086A (ja) 2005-09-15
JP4220920B2 true JP4220920B2 (ja) 2009-02-04

Family

ID=34824525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004064124A Expired - Fee Related JP4220920B2 (ja) 2004-03-08 2004-03-08 視覚センサ

Country Status (4)

Country Link
US (1) US7355725B2 (ja)
EP (1) EP1574300A3 (ja)
JP (1) JP4220920B2 (ja)
CN (1) CN1667362A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10093022B2 (en) * 2015-12-18 2018-10-09 General Electric Company Control system and method for brake bleeding
JP4171488B2 (ja) * 2005-12-16 2008-10-22 ファナック株式会社 オフラインプログラミング装置
CN101239552B (zh) * 2007-02-08 2012-07-04 星云电脑股份有限公司 校正激光雕刻机中机构相对位置的方法
CN102116610B (zh) * 2010-11-29 2012-10-17 科达斯特恩(常州)汽车塑件系统有限公司 基于机器视觉的汽车配件尺寸在线自动检测方法及装置
CN103776378A (zh) * 2014-02-27 2014-05-07 上海思琢自动化科技有限公司 一种非接触式柔性在线尺寸测量系统
JP5946884B2 (ja) 2014-10-24 2016-07-06 ファナック株式会社 対象物の位置を検出する位置検出システム
US10029372B2 (en) * 2015-12-11 2018-07-24 General Electric Company Control system and method for brake bleeding
JP2017163180A (ja) 2016-03-07 2017-09-14 富士通株式会社 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
JP6430986B2 (ja) * 2016-03-25 2018-11-28 ファナック株式会社 ロボットを用いた位置決め装置
JP6586644B2 (ja) * 2017-02-24 2019-10-09 パナソニックIpマネジメント株式会社 電子機器製造装置および電子機器製造方法
GB201820935D0 (en) * 2018-12-21 2019-02-06 Renishaw Plc Manufacturing system and method
WO2021126051A1 (en) * 2019-12-19 2021-06-24 Delaval Holding Ab Method and multibody system for supervision of a joint
JP7414850B2 (ja) * 2020-01-14 2024-01-16 ファナック株式会社 ロボットシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150422A (en) * 1989-03-31 1992-09-22 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for inspecting conductive pattern on printed board
JP3143038B2 (ja) * 1994-11-18 2001-03-07 株式会社日立製作所 自動焦点合わせ方法及び装置並びに三次元形状検出方法及びその装置
US6226395B1 (en) * 1996-04-22 2001-05-01 Malcolm T. Gilliland Method and apparatus for determining the configuration of a workpiece
US6292584B1 (en) * 1998-04-08 2001-09-18 Lsp Technologies, Inc. Image processing for laser peening
DE10080012B4 (de) * 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP2001160146A (ja) 1999-12-01 2001-06-12 Matsushita Electric Ind Co Ltd 画像認識方法および画像認識装置
US6681151B1 (en) 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
JP3703411B2 (ja) 2001-07-19 2005-10-05 ファナック株式会社 ワーク取り出し装置

Also Published As

Publication number Publication date
EP1574300A3 (en) 2008-09-17
JP2005251086A (ja) 2005-09-15
US20050195409A1 (en) 2005-09-08
CN1667362A (zh) 2005-09-14
EP1574300A2 (en) 2005-09-14
US7355725B2 (en) 2008-04-08

Similar Documents

Publication Publication Date Title
US7355725B2 (en) Measuring system
US7386367B2 (en) Workpiece conveying apparatus
JP3946716B2 (ja) ロボットシステムにおける3次元視覚センサの再校正方法及び装置
JP5214511B2 (ja) 作業工程管理システム
JP4442661B2 (ja) 3次元計測方法および3次元計測装置
US20160140703A1 (en) System for inspecting vehicle body and method thereof
JP2000250626A (ja) 無人搬送車の位置補正方法及び位置補正装置
US20160093053A1 (en) Detection method and detection apparatus for detecting three-dimensional position of object
JP2008235504A (ja) 組立品検査装置
US11454498B2 (en) Coordinate measuring system
KR20160090677A (ko) 주차 가이드 시스템 및 그 제어방법
US20190035108A1 (en) Control Device for Robot, Robot, Robot System, and Method of Confirming Abnormality Of Robot
CN110097516A (zh) 内孔壁面图像畸变纠正方法、系统及介质
JP6424560B2 (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
US20220219277A1 (en) Method for loading a panel depositing device of a flatbed machine tool and flatbed machine tool
JPH1158273A (ja) 移動ロボット装置
JP2006224291A (ja) ロボットシステム
KR20150066845A (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
JP2005093678A (ja) 円形物におけるマーク検出方法、ノッチ検出方法、半導体ウェーハの向き検査方法、および半導体ウェーハの向き検査装置
JP2007253699A (ja) 光軸ずれ検出装置
US20100262290A1 (en) Data matching apparatus, data matching method and mobile robot
WO2018130605A1 (en) Method for calibrating a camera for a motor vehicle considering a calibration error, camera as well as motor vehicle
JP2007152371A (ja) 溶接打点位置検査システム
US10469823B2 (en) Image apparatus for detecting abnormality of distance image
JP2001246582A (ja) 作業用ロボット装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees