JP4572497B2 - ロボット制御装置 - Google Patents
ロボット制御装置 Download PDFInfo
- Publication number
- JP4572497B2 JP4572497B2 JP2001280291A JP2001280291A JP4572497B2 JP 4572497 B2 JP4572497 B2 JP 4572497B2 JP 2001280291 A JP2001280291 A JP 2001280291A JP 2001280291 A JP2001280291 A JP 2001280291A JP 4572497 B2 JP4572497 B2 JP 4572497B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- work
- gripping
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、物品の組み立て作業に用いるロボットの制御装置、特に作業対象の物品の画像を撮像して、前記画像に基づいて前記物品の位置を補正するロボットの制御装置に関するものである。
【0002】
【従来の技術】
ロボットによる物品の組み立てに際しては、組み立て対象の物品を正確に位置決めする必要がある。しかしながら、ワーク自身の寸法誤差、ワークをハンドで把持するときの掴み位置のずれ、などにより所望の精度を得ることは困難である。そこで、各種のセンサでワークの位置決め誤差を検出して、その誤差に基づいてワークの位置を補正する装置や方法が各種提案されている。例えば国際公開公報WO98−17444には、ワークの位置をレーザレンジファインダで計測して補正する装置が記載されている。また、2台のカメラでワークを撮影して、画像のズレからワークを位置を測定する、ステレオ式の画像センサを用いる装置も良く知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、レーザを利用するレーザレンジファインダは高価であるという問題があり、またレーザ光を吸収する黒色のワークや逆に反射する鏡面仕上げのワークには適用できないという問題もあった。
ステレオ式の画像センサはキャリブレーションに手間がかかり、所望の精度を得ることが難しいという問題があり、また2台のカメラを一定の間隔を空けて設置しなければならないので、ロボットやその他の装置と干渉しないような設置位置を選ぶのが難しいという問題もあった。
そこで本発明は安価、簡単かつコンパクトな画像センサを用いてワークの位置を検出して補正するロボット制御装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
上記問題を解決するために、請求項1の発明はロボットにより固定ワークに設けられた嵌合部に把持ワークを嵌合するロボットシステムであって、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触したアプローチ位置において、前記嵌合部と前記把持ワークとのシーン画像を撮影するカメラと、前記シーン画像から作業の状態判別に必要なテンプレート画像を生成するテンプレート作成処理部と、前記把持ワークを挿入可能領域に位置決めするための目標位置を設定する目標位置設定部と、前記シーン画像撮影時における前記把持ワークの位置と前記目標位置とを比較して前記ロボットの動作量を生成する動作量事前作成部と、前記アプローチ位置における、前記嵌合部に対する前記把持ワークの位置を系統的に変えながら、都度、前記テンプレート画像とこれに対応する前記動作量と1対1に対応づけて記憶させたテンプレートマトリクスと、を有する教示装置と、前記ロボットにより、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触した嵌合作業開始前のアプローチ位置へ移動させ、前記カメラにより、前記嵌合作業開始前のアプローチ位置における前記嵌合部と前記把持ワークとの画像を取得し、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得し、前記取得したテンプレート画像に対応する動作量だけ前記ロボットを動作させ、その後、前記把持ワークを前記嵌合部に挿入する挿入動作を実行させるプレイバック装置と、を有しているものである。また請求項2の発明は、前記プレイバック装置は、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得する際に、前記画像と前記テンプレートマトリクス中のテンプレート画像との相関値を求め、前記相関値の最も大きいテンプレート画像を取得するものである。また、請求項3の発明は前記プレイバック装置は、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得する際に、前記画像と予め決められた探索開始位置とその近傍のテンプレート画像の相関値を求める第1のステップと、前記第1のステップで求めたテンプレート画像のうち相関値が最大になるテンプレートを選択テンプレートとして選択する第2のステップと、前記画像と前記選択テンプレートおよびその近傍のテンプレートの相関値を求め、相関値が最大になるテンプレートを新たな選択テンプレートとして選択する第3のステップとを備え、前記選択テンプレートの近傍に前記選択テンプレートより相関値が大きいテンプレートが無くなるまで、前記第3のステップを繰り返し、最終的に選択された選択テンプレートを前記画像に最も近いテンプレート画像として取得するものである。また、請求項4の発明はロボットにより固定ワークに設けられた嵌合部に把持ワークを嵌合するロボットシステムであって、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触したアプローチ位置において、前記嵌合部と前記把持ワークとのシーン画像を撮影するカメラと、前記シーン画像から作業の状態判別に必要なテンプレート画像を生成するテンプレート作成処理部と、前記把持ワークを挿入可能領域に位置決めするための目標位置を設定する目標位置設定部と、前記シーン画像撮影時における前記把持ワークの位置と前記目標位置とを比較して前記ロボットの動作量を生成する動作量事前作成部と、前記アプローチ位置における、前記嵌合部に対する前記把持ワークの位置を系統的に変えながら、都度、前記テンプレート画像とこれに対応する前記動作量と1対1に対応づけて記憶させたテンプレートマトリクスと、を有する教示装置と、前記ロボットにより、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触した嵌合作業開始前のアプローチ位置へ移動させ、前記カメラにより、前記嵌合作業開始前のアプローチ位置における前記嵌合部と前記把持ワークとの画像を取得し、前記画像と前記テンプレートマトリクス中のテンプレート画像との相関演算を行い、前記テンプレートマトリクス中の前記動作量に前記相関値で重み付けを行なって、前記動作量の荷重平均を求め、前記加重平均を修正動作量とする動作量修正部を有し、前記動作量修正部により得た前記修正動作量だけ前記ロボットを動作させ、その後、前記把持ワークを前記嵌合部に挿入する挿入動作を実行させるプレイバック装置と、を有しているものである。
【0005】
【発明の実施の形態】
以下に、本発明の実施の形態を図に基づいて説明する。
図1は本発明の第1の実施例を示すロボットシステムのブロック図である。図において、101は固定ワークとロボット104に把持されて前記固定ワークに組み付けられる把持ワークを撮影するカメラであり、カメラ101で撮影されたシーン画像はテンプレート作成処理部102に送られて、テンプレート画像に変換される。シーン画像からのテンプレート画像への変換に際しては、予め画像領域を設定しておく方法と手動により適宜領域を指定する方法があるがどちらを用いてもよい。
前記把持ワークの位置データはロボット104の内部にある。この位置データと目標位置設定部105で予め設定された目標位置を比較して、前記把持ワークを前記目標位置に移動させる動作量を動作量事前作成部106で作成する。この動作量は、テンプレート画像を作成した時点のロボット104をどのように動作させれば設定された目標位置に到達できるかを表す相対移動量である。テンプレート作成処理部102で作成されたテンプレート画像と動作量事前作成部106で作成された動作量は1対1に対応づけて作業状態テンプレートマトリクス103に記憶される。
【0006】
次に、本発明の第1の実施例を組立作業の一つである嵌合作業を例にとって説明する。
図2は本発明の第1の実施例を示すロボットシステムの外形図である。図1に示した構成要素と同じ物は同一の符号を付したので説明を省略する。
図において、1はロボット制御装置であり、2はロボット104の先端に取り付けられて把持ワーク3を把持する開閉式ハンドであり、4はロボット制御装置1とロボット104を接続するケーブルである。5は嵌合作業が行なわれる作業台である。6は固定ワークであり、丸穴を備え、その丸穴に把持ワーク3が挿入される。固定ワーク6は固定治具7を用いて作業台5に固定されている。8はカメラ101を作業台5に固定するカメラ固定治具であり、9はカメラ101とロボット制御装置1を接続するケーブルである。また、Σwは固定ワーク6上にあるワーク座標である。
【0007】
次に図1および図2に示したロボットシステムにおいて、作業状態テンプレートマトリクス103を作成する手順を説明する。
図3は本発明の実施例を示す作業状態テンプレートマトリクスの教示シーケンスのフローチャートであり、図4は把持ワークを固定ワークにアプローチさせた状態を示す外形図である。以下にこの教示シーケンスをフローチャートに従って説明する。
S301:把持ワーク3を把持させたロボット104を固定ワーク6のアプローチ位置へ移動させ、テンプレート画像が作成できる状況にする。ここでのアプローチ位置は図4に示すように、把持ワーク3が固定ワーク6に接触した位置である。このアプローチ位置はロボット104の力制御により把持ワーク3が固定ワーク6に接触するまで押し当てられた状態の位置である。
S302:カメラ101から得られたシーン画像をテンプレート作成処理部102でテンプレート画像に変換する。
S303:目標位置設定部105で設定された目標位置とロボット104から得られる把持ワークの位置データを比較して、動作量事前作成部106で動作量を作成する。
S304:S302で作成されたテンプレート画像とS303で作成された動作量を1対1に対応づけて、作業状態テンプレートマトリクス103に記憶する。
S305:全てのテンプレート画像が作成されたかをチェックし、作成されていれば、終了し、作成されていなければ、S306の処理に進む。
S306:ロボット104のアプローチ位置を予め設定された量だけ移動させ、S302に戻る。
このようなシーケンスで、固定ワーク6に対する把持ワーク3のアプローチ位置を系統的に変化させて、あるアプローチ位置におけるテンプレート画像とそのアプローチ位置から把持ワーク3を目標位置に移動させるための動作量を1対1に対応付けた作業状態テンプレートマトリクス103が作成される。
【0008】
次にプレイバック動作中に作業状態テンプレートマトリクスを参照して嵌合作業を行なう装置と手順を説明する。
図5は本発明の第2の実施例を示すロボットシステムのブロック図である。
図において、501は動作量生成部であり、カメラ101で撮影したシーン画像と、作業状態テンプレートマトリクス103のテンプレート画像を相関演算し、相関値が最大になるテンプレート画像に対応する動作量を作業状態テンプレートマトリクス103からを選択し、選択された動作量をロボット制御部502へ出力する。また、ロボット制御部502は前記動作量に基づいて把持ワーク3を目標位置に移動させる。相関値から動作量を選択する方法の詳細については後述する。
【0009】
図6は、本発明の第2の実施例を示す嵌合作業のフローチャートであり、図7は図6中のS604の詳細な処理内容を説明するフローチャートである。以下に嵌合作業のシーケンスをこれらのフローチャートに基づいて説明する。
S601:ロボット104が待機位置から把持ワーク3を把持する位置へ移動する。
S602:開閉式ハンド2が把持ワーク3を把持する。
S603:ロボット104が嵌合作業開始前のアプローチ位置へ移動する。この時、把持ワーク3と固定ワーク6の相対位置関係は、把持ワーク3を把持した時の位置決め精度の不確定さや固定ワーク6の固定精度の不確定さから、精度良く位置決めされているわけではない。ここでのアプローチ位置は図4に示すような把持ワーク3が固定ワーク6に接触するまでロボット104の力制御により押し当てられた状態の位置である。
S604:カメラ101から得られる把持ワーク3と固定ワーク6のシーン画像に最も近いテンプレート画像を作業状態テンプレートマトリクス103中から後述する処理手順に従って選択し、把持ワーク3と固定ワーク6の相対位置関係を把握する。
S605:S604で検出された相対位置関係から把持ワーク3が固定ワーク6に対して正規の位置にあるかどうか、つまり目標状態であるか否かを判定する。
S606:S604で選択されたテンプレート画像に対応する動作量を作業状態テンプレートマトリクス103から取得し、取得した動作量だけロボット104を動かし、S604に戻る。
S607:把持ワーク3が固定ワーク6に対して正規の位置に来たので、把持ワーク3を固定ワーク6に挿入可能な状態になった。そこで、ロボット104の力制御による挿入動作を実行する。なお、力制御による挿入動作については公知の事項なので説明は省略する。
S608:ハンド2は把持ワーク3の把持を開放する。
S609:ロボット104は待機位置へ移動する。
【0010】
ここで前述したS604の詳細なシーケンスを図7を参照して説明する。
S701:予め用意されている作業状態テンプレートマトリクス103からテンプレート画像を1枚づつ選択する。
S702:S701で選択されたテンプレート画像と作業状態監視カメラ101から得られるシーン画像を相関演算し、相関値を出力する。この相関演算は、残差相関演算や正規化相関演算などの手法を用いる。なお、これらの手法は公知の事項なので説明は省略する。
S703:作業状態テンプレートマトリクス103内のテンプレート画像が全て選択されているかどうかを判定し、未選択のテンプレート画像がある場合はS701に戻り、未選択テンプレート画像における相関演算処理を行う、全てのテンプレート画像が選択されている場合はS704の処理に進む。
S704:相関値が最大のテンプレート画像を選択する。相関値が最大になるテンプレート画像とは、シーン画像に最も近似したテンプレート画像である。
S705:決定されたテンプレート画像に対応する信号を出力して、
処理を終了する。
【0011】
次に、嵌合作業で用いられた作業状態テンプレートマトリクス103について説明する。図8は本発明の第2の実施例を示す作業状態テンプレートマトリクスの説明図であり、図8(a)は動作量を説明する平面図であり、図8(b)は作業状態テンプレートマトリクスの概念図である。
図8(a)は固定ワーク6の平面図であり、図中の座標のX軸およびY軸は、図2に示した固定ワーク6に固定された座標ΣwのX軸およびY軸である。図中に実線で示した円は固定ワーク6の丸穴(把持ワーク3を嵌合する穴)の輪郭であり、点線で示した円は挿入可能領域である。また座標原点つまり(X,Y)=(0,0)の位置が、目標位置設定部105で設定された目標位置である。
ここで、挿入可能領域とは、把持ワーク3の円筒中心位置がこの領域内であれば、面取りやテーパなどを利用して、力制御による嵌合作業が遂行できる領域のことを意味している。また、図中には、XY軸それぞれに平行に+3〜−3の7個の区切線がある。
図8(b)は、作業状態テンプレートマトリクスの概念図である。作業状態テンプレートマトリクスは、図8(a)の区切り線の升目の交点に把持ワーク3を置き、テンプレート画像をそれぞれ作成した場合の一覧表である。なお、作業状態テンプレートマトリクスの教示シーケンスの説明において、把持ワークのアプローチ位置を系統的に変化させると述べたのは、この升目の交点のように、位置を規則的に変化させることを言う。図8(b)の各々のテンプレート画像に対応した動作量は、テンプレート画像中の左下に示してある。テンプレート画像に対応する位置が(X,Y)の場合、動作量は(−X,−Y)である。例えば、(X,Y)=(0,0)のテンプレート画像は把持ワーク3の凸部と固定ワーク6の凹部が重なった画像となっており、動作量は(0,0)である。また、(X,Y)=(−3,0)のテンプレート画像は把持ワーク3の凸部が、固定ワーク6の凹部に比べて後方に写っており、動作量は(3,0)となる。この図8(b)の一覧表のように各テンプレート画像は把持ワーク3と固定ワーク6の位置関係を示している。このように図8(b)に示された複数のテンプレート画像と動作量からなるデータを作業状態テンプレートマトリクス103に記憶している。
【0012】
ここで、図4、図6、図9および図8を参照しながら、把持ワーク3と固定ワーク6の嵌合作業シーケンスの具体的な処理手順を再度説明する。
S603:「嵌合作業開始前のアプローチ位置へ移動」した時の把持ワーク3と固定ワーク6の位置関係は図4に示す位置に来たとする。
S604:「カメラ101のシーン画像から状態を把握」では、図9のようなシーン画像が得られ、このシーン画像と作業状態テンプレートマトリクス103中のテンプレート画像を相関演算することで、図8(b)の(X,Y)=(−3,0)のテンプレート画像が選択される。
S605:「目標状態?」の判定では、目標状態でないと判定される。
S606:「把握した状態の動作量だけロボット104を移動」で選択されたテンプレート画像 (−3,0)に対応する動作量(3,0)が作業状態テンプレートマトリクス103より選択され、ロボット制御部502がロボット104をΣw座標のX方向に+3移動する。
S604:「カメラ101のシーン画像から状態を把握」が再度行われ、相関演算により図8(b)の(X,Y)=(0,0)のテンプレート画像が選択される。
S605:「目標状態?」の判定が再度行われ目標状態であると判定され、S607からS609が順次実行され終了する。
本実施例では、説明を簡素化するために、S603で把持ワーク3が固定ワーク6に接触するまで押し当てられているものとし、固定ワーク座標系ΣwのXY平面上に把持ワーク3の端面があることを前提としており、そうすることで3次元的ではなく2次元的に作業状態テンプレートマトリクス103を作成した。作業状態テンプレートマトリクス103を3次元的に作成することも可能であり、その場合は、把持ワーク3と固定ワーク6の相対的な位置関係を3次元的に把握することも可能である。
【0013】
次に本発明の第3の実施例を図に基づいて説明する。
図10は本発明の第3の実施例を示すロボットシステムのブロック図であり、動作量生成部501を詳しく説明した図である。なお、既述の構成要素については、同一符号を付して説明を割愛する。
図において、動作量生成部501は相関演算部1001と動作量修正部1002とから構成されている。相関演算部1001はシーン画像とテンプレート画像とから相関演算を行い、相関値を出力する。動作量修正部1002は相関値と動作量とから修正動作量を算出し、ロボット制御部502へ送る。
【0014】
図11は本発明の第3の実施例を示す嵌合作業シーケンスのフローチャートであり、図12は図11のS1104を更に詳細に示したフローチャートである。
図11に示すフローチャートは基本的には図6に示すフローチャートと同じであるが、S604〜S606に代えて、S1104〜S1106を備えている点で異なる。この異なる各ステップを以下に説明する。
S1104:カメラ101から得られるシーン画像とテンプレート画像とから図12に示す処理手順に従って修正動作量を導出する。なお、図12の詳細処理は後述する。
S1105:S1104で導出された修正動作量の移動量が図8(a)に示した挿入可能領域の半径より小さいかを判定する。修正動作量の移動量が挿入可能領域の半径より小さいならYes、大きいならNoである。
S1106:S1104で導出された修正動作量をロボット制御部502へ出力する。
ここで、S1104の詳細なシーケンスについて図12を用いて説明する。図12に示すフローチャートは基本的には図7に示すフローチャートと同じであるが、S704とS705に代えて、S1204とS1205を備えている点で異なる。この異なる各ステップを以下に説明する。
S1204:各テンプレート画像の相関値と動作量を用いて後述する修正動作量を導出する。
S1205:決定された修正動作量を出力し、修正動作量の導出シーケンスを終了する。
ここで、修正動作量について説明する。修正動作量(x,y)は各テンプレート画像の相関値を求めた後、以下の式(1)のような加重平均式により決定される。
【0015】
【数1】
【0016】
ただし、式(1)は、2次元の修正動作量を決定する際の式であり、3次元の場合は、以下の式(2)を利用することとする。
【0017】
【数2】
【0018】
式(1)、式(2)において、L,M,Nは作業状態テンプレートマトリクスの要素の数である。つまり図8(b)の作業状態テンプレートマトリクスを例にすると、
X軸方向の要素は、−3,−2,−1,0,1,2,3の7個だからL=7である。
Y軸方向の要素も、−3,−2,−1,0,1,2,3の7個だからM=7である。同様にNはZ軸方向の要素の数である。また、i、j、kは(i=0,1,・・・,L)、(j=0,1,・・・,M)、(k=0,1,・・・,N)であり、各軸の要素を示す番号である。i番目のX軸座標値をXiとし、j番目のY軸座標値をYjとし、k番目のZ軸座標値をZkとし、Sijは2次元上の(x,y)=(Xi,Yj)での相関値であり、Sijkは3次元上の(x,y,z)=(Xi,Yj,Zk)での相関値である。
【0019】
ここで、2次元上の修正動作量の導出方法について図13を用いて具体的に説明する。
図13は修正動作量の導出方法を説明する作業状態テンプレートマトリクスの概念図である。図中に示した0から90までの数字は、シーン画像と各テンプレート画像の相関値を示している。
S603をした直後に得られたシーン画像と作業状態テンプレートマトリクスの各テンプレート画像の相関値を求め、図13に示す値が得られる。これらの値を式(1)に代入すると、下記の式(3)、式(4)のようになり、修正動作量(x,y)が求まる。
【0020】
【数3】
【0021】
【数4】
【0022】
この修正動作量(x,y)=(2.229,0.085)だと位置が(−2.229, −0.085)であり、図8(a)に示す挿入可能領域の外にあることがS1105で判定されS1106に処理が移行する。S1106では、Σw座標のxy平面上ベクトル(2.229,0.085)だけロボット104を移動させる。S1106の実行後、再度S1104を行いシーン画像から修正動作量を求める。求まった修正動作量から求めた位置が挿入可能領域内であれば、S607で挿入動作を開始する。
本実施例では、式(1)および式(2)に示すような荷重平均式を用いて修正動作量を生成したが、2次式、双2次式、3次式などの計算式が適用可能であることは言うまでもない。
【0023】
次に本発明の第4の実施例について、図に基づいて説明する。
図14は本発明の第4の実施例を示すフローチャートであり、S604のフローを詳細に示したものである。また、図15は作業状態テンプレートマトリクスの概念図である。以下、第4の実施例の処理シーケンスを説明する。
S1401:予め決められた探索開始用のテンプレート画像とその近傍の複数のテンプレート画像を用いてシーン画像との相関演算を行い、各テンプレート画像の相関値を導出する。
S1402:S1401で導出した相関値が最大となるテンプレート画像を選択する。
S1403:S1402で選択されたテンプレート画像近傍の複数のテンプレート画像全てにおいてシーン画像との相関演算が実施済みかを比較する。実施済みならS1405へ進み、未実施ならS1404へ進む。
S1404:S1402で選択されたテンプレート画像近傍の複数のテンプレート画像に少なくとも1つの相関演算未実施のテンプレート画像が存在するので、相関演算未実施のテンプレート画像とシーン画像とを相関演算し、相関値を導出する。
S1405:相関値が最大となるテンプレート画像に対応した動作量を出力する。
【0024】
ここで、前述のシーケンスを図15を参照して、具体的に説明する。
まず、作業状態テンプレートマトリクスの探索開始位置を(0,0)の位置とする。
S1401では探索開始テンプレート(0,0)とシーン画像が相関演算され、相関値が導出される。次に探索開始テンプレート(0,0)の近傍の(1,0)、(1,1)、(0,1)、(−1,1)、(−1,0)、(−1,−1) 、(0,−1) と(1,−1)のテンプレート画像とシーン画像の相関演算を行い、合計9ヵ所の相関値が導出される。
S1402ではS1401で導出された9ヵ所の相関値の中から相関値が最大となるテンプレート画像を選択する。図15では相関値40 の(−1,0)が最大なので、(−1,0)のテンプレート画像が選択される。
S1403では選択されたテンプレート画像(−1,0)の近傍である(0,0)、(0,1)、(−1,1)、(−2,1)、(−2,0)、(−2,−1) 、(−1,−1) と(0,−1)がチェックされる。チェックした結果、(−2,1)、(−2,0)と(−2,−1)の相関演算が未実施であることが判明し、Noという判定になる。
S1404では(−2,1)、(−2,0)と(−2,−1)のテンプレート画像とシーン画像の相関演算を行い、相関値を導出する。
S1402ではS1404で導出された(−2,1)、(−2,0)と(−2,−1)の相関値と(−1,0)の相関値を比較して、相関値が最大となるテンプレート画像を選択する。図15では相関値85 の(−2,0)が最大なので、(−2,0)のテンプレート画像が選択される。
S1403では選択されたテンプレート画像(−2,0)の近傍である(−1,0)、(−1,1)、(−2,1)、(−3,1)、(−3,0)、(−3,−1) 、(−2,−1) と(−1,−1)がチェックされる。チェックした結果、(−3,1)、(−3,0)と(−3,−1)の相関演算が未実施であることが判明し、Noという判定になる。
S1404では(−3,1)、(−3,0)と(−3,−1)のテンプレート画像とシーン画像の相関演算を行い、相関値を導出する。
S1402ではS1404で導出された(−3,1)、(−3,0)と(−3,−1)の相関値と(−2,0)の相関値を比較して、相関値が最大となるテンプレート画像を選択する。図15では相関値90 の(−3,0)が最大なので、(−3,0)のテンプレート画像が選択される。
S1403ではテンプレート画像(−3,0)の近傍である(−2,0)、(−2,1)、(−3,1)、(−3,−1) と(−2,−1)がチェックされる。チェックした結果、5ヵ所全ての相関演算が実施済みであることが判明し、Yesという判定になる。
S1405では相関値が最大となる相関値90の(−3,0)のテンプレート画像が選択され、動作量(3,0)が出力される。
上記具体例では相関演算により相関値を導出する回数が15回である。仮に第2の実施例のように全てのテンプレート画像の相関値を導出した後に相関値が最大となるテンプレート画像を決定するなら、相関演算の回数は49回であり、35回の演算量の削減が実施できたことになる。なお、探索開始位置は相関値が最大になる蓋然性が高い位置を経験測によって選択すればよい。
この実施例では、予め決められた探索開始位置のテンプレート画像から出発し、相関値がより大きくなる方向に探索を進めていくような山登り探索を行うことで、相関値が最大となるテンプレート画像を選び出しており、一部のテンプレート画像とシーン画像とを相関演算するだけで相関値が最大となるテンプレート画像を選び出している。
【0025】
【発明の効果】
以上述べたように、請求項1および請求項2の発明は、多数のテンプレート画像とテンプレート画像と1対1に対応する動作量を記憶しているので、把持ワークの位置を補正するための動作量をテンプレートマッチングによって決定できるので、1台のカメラで画像センサが構成できる。したがって、装置を簡単、安価でコンパクトに構成することができるという効果がある。
請求項3の発明は、各テンプレート画像の動作量を相関値で重み付けして加重平均した値を修正動作量として算出するので、精度の良い位置補正ができる効果がある。
また、請求項4の発明は、予め決められた探索開始位置のテンプレート画像から探索を開始して、その近傍の相関値が高い方向へ山登り探索をするので、処理時間を短縮できる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すロボットシステムのブロック図である。
【図2】本発明の第1の実施例を示すロボットシステムの外形図である。
【図3】本発明の第1の本発明の第1の実施例を示す作業状態テンプレートマトリクスの教示シーケンスのフローチャートである。
【図4】把持ワークを固定ワークにアプローチさせた状態を示す外形図である。
【図5】本発明の第2の実施例を示すロボットシステムのブロック図である。
【図6】本発明の第2の実施例を示す嵌合作業のフローチャートである。
【図7】図6のS604の詳細な処理内容を示すフローチャートである。
【図8】本発明の第2の実施例を示す作業状態テンプレートマトリクスの説明の図であり。(a)は動作量を説明する平面図であり、(b)は作業状態テンプレートマトリクスの説明の図である。
【図9】本発明の第2の実施例を示すシーン画像である。
【図10】本発明の第3の実施例を示すロボットシステムブロック図である。
【図11】本発明の第3の実施例を示す嵌合作業シーケンスのフローチャートである。
【図12】図11のS1104を更に詳細に示したフローチャートである。
【図13】修正動作量の導出方法を説明する作業状態テンプレートマトリクスの概念図である。
【図14】本発明の第4の実施例を示すフローチャートである。
【図15】本発明の第4の実施例を示す作業状態テンプレートマトリクスの概念図である。
【記号の説明】
1 ロボット制御装置、2 開閉式ハンド、3 把持ワーク、4 ロボット制御装置ケーブル、5 作業台、6 固定ワーク、7 固定ワークの固定治具、8 カメラ固定治具、9 カメラ接続ケ−ブル、
101 カメラ、102 テンプレート作成処理部、103 作業状態テンプレートマトリクス、104 ロボット、105 目標位置設定部、106 動作量事前作成部、501 動作量生成部、502 ロボット制御部、1001 相関演算部、1002 動作量修正部
Claims (4)
- ロボットにより固定ワークに設けられた嵌合部に把持ワークを嵌合するロボットシステムであって、
前記把持ワークを把持して前記把持ワークが前記固定ワークに接触したアプローチ位置において、前記嵌合部と前記把持ワークとのシーン画像を撮影するカメラと、
前記シーン画像から作業の状態判別に必要なテンプレート画像を生成するテンプレート作成処理部と、前記把持ワークを挿入可能領域に位置決めするための目標位置を設定する目標位置設定部と、前記シーン画像撮影時における前記把持ワークの位置と前記目標位置とを比較して前記ロボットの動作量を生成する動作量事前作成部と、前記アプローチ位置における、前記嵌合部に対する前記把持ワークの位置を系統的に変えながら、都度、前記テンプレート画像とこれに対応する前記動作量と1対1に対応づけて記憶させたテンプレートマトリクスと、を有する教示装置と、
前記ロボットにより、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触した嵌合作業開始前のアプローチ位置へ移動させ、前記カメラにより、前記嵌合作業開始前のアプローチ位置における前記嵌合部と前記把持ワークとの画像を取得し、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得し、前記取得したテンプレート画像に対応する動作量だけ前記ロボットを動作させ、その後、前記把持ワークを前記嵌合部に挿入する挿入動作を実行させるプレイバック装置と、を有している
ことを特徴とするロボット制御装置。 - 前記プレイバック装置は、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得する際に、
前記画像と前記テンプレートマトリクス中のテンプレート画像との相関値を求め、前記相関値の最も大きいテンプレート画像を取得する
ことを特徴とする請求項1に記載のロボット制御装置。 - 前記プレイバック装置は、前記テンプレートマトリクスから前記画像に最も近いテンプレート画像を取得する際に、
前記画像と予め決められた探索開始位置とその近傍のテンプレート画像の相関値を求める第1のステップと、
前記第1のステップで求めたテンプレート画像のうち相関値が最大になるテンプレートを選択テンプレートとして選択する第2のステップと、
前記画像と前記選択テンプレートおよびその近傍のテンプレートの相関値を求め、相関値が最大になるテンプレートを新たな選択テンプレートとして選択する第3のステップとを備え、
前記選択テンプレートの近傍に前記選択テンプレートより相関値が大きいテンプレートが無くなるまで、前記第3のステップを繰り返し、最終的に選択された選択テンプレートを前記画像に最も近いテンプレート画像として取得する
ことを特徴とする請求項1に記載のロボット制御装置。 - ロボットにより固定ワークに設けられた嵌合部に把持ワークを嵌合するロボットシステムであって、
前記把持ワークを把持して前記把持ワークが前記固定ワークに接触したアプローチ位置において、前記嵌合部と前記把持ワークとのシーン画像を撮影するカメラと、
前記シーン画像から作業の状態判別に必要なテンプレート画像を生成するテンプレート作成処理部と、前記把持ワークを挿入可能領域に位置決めするための目標位置を設定する目標位置設定部と、前記シーン画像撮影時における前記把持ワークの位置と前記目標位置とを比較して前記ロボットの動作量を生成する動作量事前作成部と、前記アプローチ位置における、前記嵌合部に対する前記把持ワークの位置を系統的に変えながら、都度、前記テンプレート画像とこれに対応する前記動作量と1対1に対応づけて記憶させたテンプレートマトリクスと、を有する教示装置と、
前記ロボットにより、前記把持ワークを把持して前記把持ワークが前記固定ワークに接触した嵌合作業開始前のアプローチ位置へ移動させ、前記カメラにより、前記嵌合作業開始前のアプローチ位置における前記嵌合部と前記把持ワークとの画像を取得し、前記画像と前記テンプレートマトリクス中のテンプレート画像との相関演算を行い、前記テンプレートマトリクス中の前記動作量に前記相関値で重み付けを行なって、前記動作量の荷重平均を求め、前記加重平均を修正動作量とする動作量修正部を有し、
前記動作量修正部により得た前記修正動作量だけ前記ロボットを動作させ、その後、前記把持ワークを前記嵌合部に挿入する挿入動作を実行させるプレイバック装置と、を有している
ことを特徴とする請求項1に記載のロボット制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001280291A JP4572497B2 (ja) | 2001-09-14 | 2001-09-14 | ロボット制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001280291A JP4572497B2 (ja) | 2001-09-14 | 2001-09-14 | ロボット制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003089086A JP2003089086A (ja) | 2003-03-25 |
JP4572497B2 true JP4572497B2 (ja) | 2010-11-04 |
Family
ID=19104318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001280291A Expired - Fee Related JP4572497B2 (ja) | 2001-09-14 | 2001-09-14 | ロボット制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4572497B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005271137A (ja) * | 2004-03-24 | 2005-10-06 | Sony Corp | ロボット装置及びその制御方法 |
JP4544117B2 (ja) * | 2005-09-26 | 2010-09-15 | 株式会社デンソー | 制御情報生成装置 |
JP4976883B2 (ja) * | 2007-02-23 | 2012-07-18 | パナソニック株式会社 | マニピュレータシステム |
JP2012143844A (ja) * | 2011-01-13 | 2012-08-02 | Azbil Corp | 自動組立システムおよび自動組立方法 |
JP5899958B2 (ja) * | 2012-01-23 | 2016-04-06 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、ロボットシステムおよびロボット制御方法 |
JP5948913B2 (ja) * | 2012-02-01 | 2016-07-06 | セイコーエプソン株式会社 | ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム |
JP2013158851A (ja) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | ヤコビ行列情報生成装置、ヤコビ行列情報生成方法、ヤコビ行列情報生成プログラム、ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
JP2013173191A (ja) * | 2012-02-23 | 2013-09-05 | Seiko Epson Corp | ロボット装置、ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
JP6042291B2 (ja) * | 2013-08-27 | 2016-12-14 | 株式会社デンソーアイティーラボラトリ | ロボット、ロボット制御方法、及びロボット制御プログラム |
JP6322949B2 (ja) * | 2013-10-10 | 2018-05-16 | セイコーエプソン株式会社 | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム |
JP6406900B2 (ja) * | 2014-07-09 | 2018-10-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法 |
JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
FR3068458B1 (fr) | 2017-06-28 | 2019-08-09 | Micro-Controle - Spectra Physics | Procede et dispositif de generation d'un signal impulsionnel a des positions particulieres d'un element mobile. |
JP6904327B2 (ja) * | 2018-11-30 | 2021-07-14 | オムロン株式会社 | 制御装置、制御方法、及び制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191589A (ja) * | 1987-02-05 | 1988-08-09 | 関東自動車工業株式会社 | 部品取付け方法 |
JPH08190415A (ja) * | 1995-01-12 | 1996-07-23 | Nippon Telegr & Teleph Corp <Ntt> | ロボット制御装置及び方法 |
JPH08313227A (ja) * | 1995-05-19 | 1996-11-29 | Daikin Ind Ltd | 部品認識方法およびその装置 |
JPH08324755A (ja) * | 1995-06-05 | 1996-12-10 | Omron Corp | 円形物収納方法およびその装置 |
JPH09290392A (ja) * | 1996-04-24 | 1997-11-11 | Kao Corp | 物品ハンドリング装置の衝突防止方法及び装置 |
-
2001
- 2001-09-14 JP JP2001280291A patent/JP4572497B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63191589A (ja) * | 1987-02-05 | 1988-08-09 | 関東自動車工業株式会社 | 部品取付け方法 |
JPH08190415A (ja) * | 1995-01-12 | 1996-07-23 | Nippon Telegr & Teleph Corp <Ntt> | ロボット制御装置及び方法 |
JPH08313227A (ja) * | 1995-05-19 | 1996-11-29 | Daikin Ind Ltd | 部品認識方法およびその装置 |
JPH08324755A (ja) * | 1995-06-05 | 1996-12-10 | Omron Corp | 円形物収納方法およびその装置 |
JPH09290392A (ja) * | 1996-04-24 | 1997-11-11 | Kao Corp | 物品ハンドリング装置の衝突防止方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2003089086A (ja) | 2003-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110268358B (zh) | 位置控制装置及位置控制方法 | |
KR102280663B1 (ko) | 비전 가이드 로봇 암 교정 방법 | |
JP4572497B2 (ja) | ロボット制御装置 | |
US7200260B1 (en) | Teaching model generating device | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
EP1607194B1 (en) | Robot system comprising a plurality of robots provided with means for calibrating their relative position | |
US8326460B2 (en) | Robot system comprising visual sensor | |
JP4021413B2 (ja) | 計測装置 | |
JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
US20200298411A1 (en) | Method for the orientation of an industrial robot, and industrial robot | |
US20160279800A1 (en) | Robot, robot control device, and robotic system | |
JP2015182144A (ja) | ロボットシステムおよびロボットシステムの校正方法 | |
US12030184B2 (en) | System and method for error correction and compensation for 3D eye-to-hand coordination | |
WO2020022302A1 (ja) | 把持装置 | |
JP2007319938A (ja) | ロボット装置及び物体の三次元形状の取得方法 | |
US20220383547A1 (en) | Hand-eye calibration of camera-guided apparatuses | |
JP6565175B2 (ja) | ロボットおよびロボットシステム | |
CN110303474B (zh) | 使用图像处理修正机器人的示教的机器人系统 | |
CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
EP4116043A2 (en) | System and method for error correction and compensation for 3d eye-to-hand coordination | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
CN112238453B (zh) | 视觉导引机器手臂校正方法 | |
JP2006224291A (ja) | ロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100520 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100720 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100802 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140827 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |