JPH03228589A - ワークの位置決め方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、産業用ロボットを用いて、ワークを把持して
予め定める設定位置に正確に位置決めするための方法に
関する。

従来の技術 従来から、産業用ロボットを用いてワークを予め定めら
れた設定位置に位置決めして設定するにあたっては、ワ
ークを搬送手段によって正確な位置に搬送してもたらし
、次にこの搬送されてきたワークをロボットの手先で把
持し、こうして把持したワークを位置決めされるべき予
め定める設定位置に移動して位置決めを行う、こうして
各種の生産ラインにおいて、産業用ロボットを用いて組
立て作業を自動化することができる。このような先行技
術では、搬送手段によってワークを予め定める位置に正
確に搬送することができるようにするために、その搬送
手段の構成が複雑になる。

またこの先行技術では、たとえ搬送手段によってワーク
を正確に搬送することができたとしても、ロボットの手
先によってワークを把持する瞬間にぶれを生じることが
あり、このときロボットのワーク把持位置が予め定める
基準把持状態からずれる。したがってこのような場合、
ワークを高精度に位置決めすることは不可能である。

搬送手段によって搬送されて供給されるワークの位置が
一定でないときには、供給されるワークを視覚センサな
どを用いて検出して、供給されてくるワークの位置を捕
え、こうして検出されたワークの位置情報に基づいて、
ロボットがワークを把持し、希望する設定位置に位置決
めする。このような先行技術でも丈な、ロボットの手先
によってワークを把持したときにぶれを生じることがあ
り、したがってワークを高精度に設定位置に位置決めす
ることは不可能である。

発明が解決すべき課題 本発明の目的は、搬送手段によって搬送されてきたワー
クを、ロボットによって予め定める設定位置に高精度で
位置決めすることができるようにしたワークの位置決め
方法を提供することである。

課題を解決するための手段 本発明は、搬送手段によって、ワークを予め定めた概略
の位置に搬送し、 その搬送されてきたワークをロボットによって把持して
２次元カメラの視野内の予め定める位置に移動し、その
把持されたワークを前記カメラで撮像し、ワークの位置
と姿勢を検出し、この検出結果と、ワークをロボットに
よって予め定める基準把持状態で把持して前記予め定め
る位置に移動して前記カメラで撮像して得たワークの基
準位置と姿勢とを比較し、 この比較結果に基づいて、ロボットによって前記基準把
持状態で位置決めされるべきワークの設定位置に対する
ずれ量を補正演算して、その設定位置に、ワークを位置
決めすることを特徴とするワークの位置決め方法である
。

作　　用 本発明に従えば、搬送手段によってワークを予め定めた
概略の位置にもたらし、こうして搬送されてきたワーク
をロボットによって把持し、その後、ロボットの手先を
予め定める位置にもたらして、この手先で把持されてい
るワークを２次元カメラで撮像し、ワークの位置および
姿勢を検出する。このワークの位置と姿勢というのは、
たとえばワークの外形の形状の図心位置および姿勢など
であってもよい。

ロボットでは、ワークを予め定める基準把持状態で把持
して、ワークがカメラの視野内にあるように、手先を予
め定める位置に予め定める姿勢で移動して、ワークを前
記カメラで撮像し、こうしてワークの基準位置と姿勢を
ストアしておく、この基準位置と姿勢と、前述のように
搬送手段によって搬送されてロボットによって把持され
たワークの前記カメラで撮像された位置と姿勢の検出結
果とを比較する。

こうして得られた比較結果に基づき、前記基準把持状態
で位置決めされるべきワークの設定位置に対するずれ量
を補正演算する。これによってワークを前記設定位置に
正確に高精度で位置決めすることができる。

実施例 第１図は本発明の一実施例の斜視図である。コンベア１
００によって水平な搬送方向１０１に、ワーク１０２が
任意の位置および姿勢で搬送される。この搬送手段１０
０によって搬送されるワーク１０２は産業用ロボット１
０５を用いて、作業ステージ１０６上の予め定める設定
値Ｗ１０７に正確に高精度で位置決めされる。搬送手段
１００によって搬送されてくるワーク１０２をロボット
１０５の手先１１５によって把持することを容易にする
ために、このコンベア１００には、そのワーク１０２の
姿勢を大略的に定めるための仕切り部材１２０が設けら
れる。この仕切り部材１２０は、搬送方向１０１の下流
側に向けて、その通路幅１２１が狭くなるように構成さ
れる。これによってワー２１０２は、仕切り部材１２０
に案内されて、大略的な姿勢が定められる。

仕切り部材１２０よりも下流側には、光源と受光素子と
の組合せを含む検出手段１２２が設けられる。検出手段
１２２によってワーク１０２が検出されたとき、処理回
路１２４は、ロボット１０５を制御して手先１１５によ
ってその位置１０２ａで示されるワーク１０２を把持す
る。このロボット１０５は位置１０２ａにもたらされた
ワーク１０２を把持した後、２次元カメラであるテレビ
カメラ１１０の視野１１１内にワーク１０２が入るよう
に、手先１１５を予め定める位置に予め定める姿勢でも
たらして、−旦停止する。第１図では、参照符１０２ｂ
で示される予め定める位置に、把持したワーク１０２が
もたらされた状態が示されている。こうして視野１１１
内の予め定める位置１０２ｂに移動されたワークは、カ
メラ１１０によって撮像され、その外形の図心の位置と
姿勢とが画像処理によって演算されて検出される。この
検出された図心の位置と姿勢と、予め求めておいたワー
クの図心の基準位置と姿勢とを比較する。

この比較結果に基づき、ワークの図心の前記基準位置と
姿勢が得られる基準把持状態で位置決めされるべきワー
クの設定位置１０７に対するずれ量を補正演算して求め
、その設定位置１０７にワークを正確に高精度で位置決
めして移動することができる。なお前述の背景板１２３
は、テレビカメラ１１０で位置１０２ｂにあるワークを
撮像する際に、背後からの外乱光をさえぎり、ワーク１
０２の形状を捕え易くするための遮光性の板である。

作業前において、ワーク１０２をロボット１０５によっ
て予め定める基準把持状態で把持して、視野１１１内に
ワークが来るように手先１１５を移動し、したがって予
め定める位置１０２ｂにその把持したワークをもたらさ
れてカメラ１１０によって撮像し、ワークの図心（以下
の説明では、図心の代りに重心ということもある）の基
準位置と姿勢を検出して処理回路１２４にストアしてお
く必要があり、このときの動作を、第２図を参照して説
明する。ステップａ１からステップａ２に移り、ワーク
１０２を供給位置１０２ａに移動する。ステップａ３で
は、ロボット１０５の手先１１５によってワーク１０２
を把持する。この手先１１５は、ワーク１０２を把持す
るために、真空吸着パッドであってもよく、あるいはま
た複数の把持爪によってワーフ１０２を把持する構造で
あってもよい。この手先１１５によってワー２１０２を
把持するときにおける手先１１５のロボット座標系での
位置Ｒｃ　（ｘ、ｙ、ｚ）と姿勢ｑ）ｃとを記憶してス
トアする。

ステップａ４では、テレビカメラ１１０の視野１１１内
にワーク１０２が来るように手先１１５を予め定める位
置に予め定める姿勢で移動し、こうして予め定める位置
１０２ｂにワーク１０２を移動し、このときにおけるロ
ボット１０５の手先１１５のロボット座標系での位置Ｒ
Ｔ　（ｘ、ｙ。

２）および姿勢ｑ）Ｔとをストアする。

次のステップａ５では、ワーク１０２を撮像し、その画
像処理によって、カメラ座標系におけるワークの重心位
置Ｇｓ　（ｘ、ｙ）と、姿勢θＳとを検出する。この位
置Ｇｓ　（ｘ、ｙ）は基準位置として後述のように用い
られ、また姿勢θＳは、基準姿勢として後述のように用
いられる。

ステップａ６では、テレビカメラ１１０のカメラ座標系
における前述の重心の基準位置Ｇｓと基準姿勢θＳとを
、ロボット座標系の重心の基準位置）（ｓ　（ｘ、ｙ、
ｚ）および基準姿勢ψＳに変換してストアする。このカ
メラ座標系とロボット座標系との対応についてさらに述
べると、テレビカメラ１１０ではワーク１０２を２次元
的に捕えるので、テレビカメラ１１０の視野１１１内の
２次元平面上の点の座標値を、ロボット座標系における
３次元空間の座標値に変換する必要がある。この対応付
けのために、座標系としては、以下の３つの座標系、す
なわち、ロボット座標系ｏ−ｘｙＺ、ビジョン座標系Ｏ
ｖ　”−Ｘ　ｖ　３’　ｖ　、カメラ座標系Ｏｃ　　Ｘ
ｃｙｃがあり、その関係を第３図に示す。

カメラ座標系は、カメラ１１０の光軸に対して垂直で一
定距離のところにある２次元平面上で規定され、モニタ
ＴＶ画面の縦横方向がそのままカメラ座標系Ｘｅ軸、３
’ｃ軸に対応する。

ビジョン座標系は、カメラ座標系の平面上で規定され、
座標軸はカメラ座標系と平行に定める必要はない。

カメラ座標系とビジョン座標系が第４図の関係にある場
合には、次式で変換できる。

Ｘ　（”　Ｘ　ｖ、’　ＣＯＳθ−ｙｖ−ｓｉｎθ＋ａ
　　　　　　　　（１）ｙｃ−ｘｖ　Ｓ１ｎθ＋３’　
ｖ　’　ＣＯＳθ＋ｂ　　　　　　　・・・（２）ただ
し、θ・軸の回転角度、（ａ、ｂ）は原点のシフト量と
する。

第３図において、カメラ視野１１１内にビジョン座標系
ｏ、−ｘ、ｙ、と、原点Ｏ９から長さＬ（絶対値）だけ
離れたＸ軸上の点ｘ１を描いた紙を設置し、カメラ視野
内に置く。

ビジョン座標系の規定のために、ＴＶカメラで撮像した
画面を見ながら、紙に描いた原点０、点ｘ１および紙上
の任意の１点ｐ１にカーソルを移動して各座標を記憶す
る。これによって、第１式、第２式の回転角度θおよび
原点のシフト量（ａｂ）が規定される。

ロボット座標系の規定のなめに、ロボットの手先（作業
点）を上記原点ｏ７、点ｘ１、および紙上の任意の１点
ｐ２に移動し、各点のロボット座標系から見た３次元座
標値を記憶する。

これによって、ロボット座標系から見たビジョン座標系
の２次元平面と原点およびｘ９軸、ｙ、軸の規定が行え
る。また、原点からしだけ離れた点ｘ１を教えたことか
ら、長さのスケール換算も行える。

以上で、ＴＶカメラ１１０で撮像したワーク１０２の位
置と姿勢をロボット座標系での値に変換でき、ワーク１
０２のハンドリングが可能となる。

ステップａ７において、ロボット１０５の手先１１５に
よってワーク１０２を把持した状態で、そのワーク１０
２を移動して、作業ステージ１０６上の予め定める設定
位置１０７に移動して位置決めし、そのときにおけるロ
ボット１０５の手先１１５のロボット座標系における手
先１１５の基準位置ＲＯ（Ｘ、ｙ、ｚ）と、その基準姿
勢ψＯとをストアし、こうしてステップａ８において一
連の動作を終了する。

作業時には、第５図に示される動作が行われる。

ステップｂ１からステップｂ２に移り、コンベア１００
によってワーク１０２が概略の供給位置１０２ａに移動
され、ステップｂ３では、ロボット１０５の手先１１５
を位置Ｒｃ　（ｘ、ｙ、ｚ）に位置決めし、またその手
先１１５の姿勢をｑ）Ｃに位置決めし、この状態で供給
位置１０２ａにあるワーク１０２を把持する。

ステップｂ４では、ロボット１０５の手先１１５の位置
を、ＲＴ　（ｘ、ｙ、ｚ）に位置決めし、またその手先
１１５の姿勢をｑ）Ｔに位置決めし、このようにしてワ
ーク１０２をカメラ１１０の視野１１１内の位置１０２
ｂにもたらす。そこでステップｂ５では、カメラ１１０
を用いてワーク１０２を撮像し、テレビカメラ１１０の
カメラ座標系におけるワーク１０２の撮像した画像の重
心位置Ｇ（ｘ、ｙ）と姿勢θを演算して検出する。

そこでステップｂ６では、テレビカメラ座標系の重心位
置の座標Ｇ（ｘ、ｙ）と姿勢θとを、ロボット座標系に
おけるテレビカメラ１１０で検出したワー２１０２の重
心位置Ｈ（ｘ、ｙ、ｚ）とその姿勢ψに変換する。

次にステップｂ７において、ロボット１０５の手先１１
５を、ロボット座標系における作業ステージ１０６にワ
ーク１０２を設定して位置決めするときにおける手先１
１５の補正後の位置ＲＤ（ｘ、ｙ、ｚ）を演算し、また
その姿勢ψＤを演算し、こうして求めた補正後の位置Ｒ
Ｄ（ｘ、ｙＺ）および姿勢ψＤにその手先１１５を位置
決めし、ワーク１０２を設定位置１０７に高精度に位置
決めする。

ここで補正後のＲＤ　（ｘ、ｙ、ｚ）とその補正後の姿
勢ψＤは第３式および第４式によって求められる。

ＲＤ　（ｘ、　ｙ、　ｚ） ＝Ｒｏ　（ｘ、　ｙ、　ｚ）　−Ｈ（ｘ、　ｙ、　ｚ）
＋Ｈｓ　（ｘ、　ｙ、　ｚ）　　　　　　　　　　　・
・・（３）％Ｄ＝９０−ψ十％ｓ　　　　　　　　　　
　　−（４）このようにして、搬送手段１００によって
大略的に位置１０２ａに搬送されてきたワーク１０２を
、設定位置１０７に高精度で位置決めすることが可能に
なる。

前述の第２図のステップａ５および第５図のステップｂ
５において、テレビカメラ１１０によってワーク１０２
を撮像して重心の位置と姿勢を検出するには、そのワー
クの表面に傷や穴などがあるとワーク１０２の外形の形
状を捕える際のノイズ成分となり、重心の位置と姿勢を
正確に検出できなくなるおそれがある。ワーク１０２の
表面に、傷や穴があると、これらの部分ではワーク１０
２に微妙な陰影ができ、この陰影はワーク１０２の位置
や向きによって様々に変化する。このため、入力画像を
２値化した２値画像は、ワーク１０２の位Ｗや向きによ
って、傷や穴の部分で形が異なることが多い。重心の位
置や姿勢は、２値画像で値が論理「１」である全ての画
素の座標値から算出されるため、傷や穴があるワーク１
０２では重心位置や姿勢の値が変化する場合がある。

したがってワーク１０２の表面に傷や穴などがあっても
、そのノイズ成分を除去して、ワーク１０２の外形の形
状だけを捕えることが必要である。

そのための一つの方法として、処理回路１２４では、第
６図で示される動作が行われる。ステップｄ１からステ
ップｄ２に移り、テレビカメラ１１０によって撮像した
画像信号を入力し、ステップｄ３では、その画像信号に
応答して、第７図（１）で示されるようにワー２１０２
の２次画像を得る。

ステップｄ４では、ｉ＝１に設定し、次のステップｄ５
において、１画素拡大処理を行う。すなわち第８図（１
）の丸印で示される各画素は、１画素拡大処理によって
、第８図（２）の破線の丸印で拡大して追加された画素
が示されるようにされ、このようにして画素の拡大処理
が行われる。これによって第７図（２）の破線で示され
るワーク１０２の位置画像は、その第７図（２）の実線
で示されるように拡大され、このとき、ワーク１０２の
表面の傷や穴の部分が埋まってしまい、ノイズが除去さ
れたワーク１０２の画像が得られる。このとき、１画素
拡大処理で傷や穴が埋まらない場合には、適当な回数ｎ
回まで１画素拡大処理を行うようにすればよい、ステッ
プｄ６では、このような１画素拡大処理が、すべての画
素についてｎ回行なわれたかどうかが判断される。すべ
ての画素について前述のステップｄ５における１画素拡
大処理が行われた後には、ステップｄ７に移り、ｉ＝１
とし、今度は、ステップｄ８において１画素縮小処理を
行う、すなわち第７図（３）で示されるように、ワーク
１０２の画像の外形を元の大きさに戻し、このとき傷や
穴は前述のように埋まったままであり、この画像には含
まれていない。

ステップｄ９においてすべての画素について拡大処理と
同じ回数ｎ回だけ縮小処理を行ったときには、ステップ
ｄｌｏに移り、傷や穴などによるノイズ成分のないワー
ク１０２の外形の形状の撮像演算処理を終了する。こう
して得られたノイズ成分を除去したワーク１０２の画像
に基づいて、前述のように重心の位置と姿勢を求める。

また、外形状から重心位置と姿勢を求めるその他の方法
としては、輪郭線画像からノイズ成分を除去する方法が
ある。すなわち第９図（１）の２値画像から、第９図（
２）のような傷や穴を含んだ輪郭線画像を求める。この
うち、各輪郭線の長さがしきい値以下のものを無視して
、第９図（３）のような外形状のみの輪郭線画像を求め
る。

第９図（３）において、水平方向に探索して輪郭線を構
成する画素Ｐｉ、ｍと画素Ｐｉ、ｎ間に挟まれた部分を
画像の上端から下端まで求めることによって、重心と姿
勢を算出することができる。

本発明の他の実施例として、重心の代りに、その他の特
徴点の位置と姿勢を求めるようにしてもよい。

発明の効果 以上のように本発明によれば、ロボットによって把持し
たワークを２次元カメラの視野内にもたらして撮像して
、そのワークの位置と姿勢を検出し、この検出結果と、
ロボットによってワークを把持した予め定める基準把持
状態でのワークの基準位置と姿勢とを比較し、この比較
結果に基づいて、基準把持状態で位置決めされるべきワ
ークの設定位置に対するずれ量を補正演算して、ワーク
を設定位置に位置決めするようにしたので、搬送手段に
よって搬送されるワークの位置がむやみに高精度でなく
ても、ワークを設定位置にロボットを用いて正確に高精
度で位置決めすることが可能になる。

したがって搬送手段によってワークを高精度で搬送する
必要がなく、搬送手段の構成を簡略化することができる
。またロボットによってワークを把持する瞬間に、ワー
クのぶれを生じたとしても、ワークを前述のように、高
精度で位置決めすることが可能である。

【図面の簡単な説明】

第１図は本発明の一実施例の全体の斜視図、第２図は作
業前の基準位置と姿勢をストアして設定するための動作
を説明するためのフローチャート、第３図はロボット座
標系、カメラ座標系およびビジョン座標系の関係を示す
図、第４図はカメラ座標系とビジョン座標系との関係を
示す図、第５図は作業時における動作を説明するための
フローチャート、第６図はワーク１０２の画像のノイズ
成分を除去するための動作を説明するためのフローチャ
ート、第７図は第６図に示される動作において処理され
るワーク１０２の画像を示す図、第８図は第６図におけ
るステップｄ５の１画素拡大処理を説明するための図、
第９図は本発明の他の実施例の輪郭線画像からノイズ成
分を除去する手順を説明するための図である。

Claims (1)

1. 【特許請求の範囲】 搬送手段によつて、ワークを予め定めた概略の位置に搬
   送し、 その搬送されてきたワークをロボットによつて把持して
   ２次元カメラの視野内の予め定める位置に移動し、その
   把持されたワークを前記カメラで撮像し、ワークの位置
   と姿勢を検出し、 この検出結果と、ワークをロボットによつて予め定める
   基準把持状態で把持して前記予め定める位置に移動して
   前記カメラで撮像して得たワークの基準位置と姿勢とを
   比較し、 この比較結果に基づいて、ロボットによつて前記基準把
   持状態で位置決めされるべきワークの設定位置に対する
   ずれ量を補正演算して、その設定位置に、ワークを位置
   決めすることを特徴とするワークの位置決め方法。