JPS63288695A - 位置ずれ検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的１ （産業上の利用分野） 本発明は、組み立て作業用ロボット等に利用する位置ず
れ検出装置に係わり、特にロボットの組み立て作業時に
生じる位置・姿勢ずれ量を補償する位置ずれ検出装置に
関する。

（従来の技術） 一般に、ロボットを用いて組み立て作業を実施する場合
、そのロボットのマニピュレータおよびハンドの可動誤
差等により組みつけ側（ロボッド：の′牟先またはロボ
ットのハンドが持っている組みつけ対象物等）が予め定
めた組み立て作業位置に到達していない場合があり、い
わゆるロボットの組み立て作業時に位置ずれが生じてい
ることになる。従って、このような状態では組みつけ対
象物が組みつれられる側（ロボットの闘かもうとする物
または組みつけ対象物を組みつけようとする物等）の所
定位置に適切な位置状態で組みつけられない。ここに、
位置ずれの補償手段が必要となってくる。

従来、上記位置ずれの補償を行うための位置ずれの検出
には幾つかの検出手段が考えられている。

その１つは、ハンドアイと称するものであって、ロボッ
トの手先にカメラを取付け、このカメラでｍ影された画
像から位置ずれ量を検出するもので、従来最も多く使用
されている。

他の１つは、ロボットとは別の場所にステレオビジョン
と称する３次元位宵計測装置を設置し。

ロボットの手先の３次元位置を観測し位置ずれ醋を検出
するものである。

（発明が解決しようとする問題点） しかし、前者の検出手段は、ロボッｌ〜の手先にカメラ
を取付けるので、ロボットの手先が複雑化および大形化
し、また１Ｊｔｌ的に重く、かつ、児影視野が限定され
る。

一方、後者の検出手段は、測定分解能を上げると撮影視
野が狭くなり、組みつけ場所が大きく変化したときには
前記ハンドアイと異なり観測不可能となる。

そこで、以上の不具合を解決するために、ロボットとは
別の場所に広範囲に注目点を動かせるステレオビジョン
を設置し、組立て作業時の位置ずれ量を検出するものが
ある。

しかし、この検出手段は、カメラが作業対象物の移動に
伴って動かすためにカメラ自身の位置を求めるのに非常
に複雑な判断手段を必要とし、またカメラを可動する機
構の精度がロボットの位置決め精度と同程度であるので
位置ずれの補償として利用できない。

本発明は上記実情に鑑みてなされたもので、２つのカメ
ラの視野を作業場所付近に設定して検出分解能を上げる
ことができ、かつ、迅速に位置・姿勢ずれ―を検出し得
る位置ずれ検出装置を提供することを目的とする。

［発明の構成］ （問題点を解決するための手段） 本発明による位置ずれ検出装置は、作業環境を記述した
データファイルと、ロボットの手先もしくはロボットの
把持している物から成る組みつけ側とロボットの掴もう
としている物もしくはロボットの把持している物をとり
つけようとしている相手から成る組みつけられる側とを
区別して記述した作業計画ファイルと、任意の位置・姿
勢をとれる複数のカメラと、組み立て作業位置をロボッ
トの指令により知ることで上記複数のカメラの位置・姿
勢の候補を出力する手段と、カメラの位置・姿勢より組
み立て時に予想される入力シーンを上記データファイル
より作成する手段と、予想されるシーンより作業計画フ
ァイルを基に組みつけられる側０組みつける側の物の各
々３次元位置を検出すべき特徴点の有無を含むシーン中
での位置を知る手段と、これに基づいて実際に複数のカ
メラを肋かし各カメラにおいて組みつける側２組つけら
れる側の検出すべき特徴点をその視野に収め、カメラか
らの画像入力より組みつけられる側の位置・姿勢ずれ量
を検出する手段および組みつけ側の位置・姿勢ずれ量を
検出する手段とを備え、これら２ｆｆｉの差より組み立
て時の位置・姿勢ずれ量を求めるものである。

（作用） 従って、本願は、以上のような手段とすることにより、
任意の位置・姿勢を取れる複数のカメラの位置・姿勢よ
り組み立て時の予想されるシーンを、予め作業環境を記
述したデータファイルから作成するとともに、組みつけ
側と組みつけられる側の区別を記述した作業計画ファイ
ルに基づき前記予想されるシーンより組みつけられる側
、絹つけ側の物の各々の３次元位置を検出すべき特徴点
の有無を含むシーン中での位置を把握し、これに基づい
て実際に？！数のカメラを肋かして各カメラで組みつけ
側１組つけられる側の検出すべき特徴点をその視野に収
め、カメラの画像入力がら帽みつけられる側および組み
つけ側の位置・姿勢ずれ開を検出し、これら２ｆｆｉの
差から組み立て時の位置・姿勢ずれ尋を求めるものであ
る。

（実施例） 以下、本発明方法の一実施例について図面を参照して説
明する。本発明Ｖｉ、置は、第１図に示すようにロボッ
トとは別の位置に設置され組み立て作業場所付近を視野
とするステレオビジョン１１、ロボットの手先もしくは
ロボットの把持している物から成る組みつけ側とロボッ
トの掴もうとしている物もしくはロボットの把持してい
る物をとりつけようとしている相手から成る組みつけら
れる側とを区別して記述した作業計画記憶ファイル１２
、作業環境を記述した環境データファイル（ワールドモ
デル）１３、組みつけられる物および組みつける側の物
の特徴量情報を記憶する特微量情報配憤ファイル１４の
ほか、インスタンス把握手段１５１組みつけられる側の
位置ずれ量検出手段１６９組みつけ側の位置ずれ量検出
手段１７等を有し、かつ、これら検出手段１６．１７で
得られた位置ずれ懇の差から組み立て時の位置・姿勢ず
れ湧を求める位置ずれ検出手段１８等で構成されている
。図中、１１ａはカメラ、１１ｂはズームレンズ、１１
ＣはＤＣモータである。

なお、ＩＦｊ＆！各手段１５〜１８は第２図ないし第４
図を参照しながら説明する。第２図はある時点において
１つのカメラに入力されたシーンの一例を示す図、第３
図は作業計画記憶ファイル１２に記憶された予想された
シーンを示す図、第４図（ａ）、（ｂ）は位ごずれの検
出手順を示す図である。図中、２１はロボットの指、２
２は組みつけ側対条物、２３は組みつれられる側の対象
物である。

次に、以上のように構成された装置の動作について第４
図を参照して説明する。先ず、本発明装置においては、
注目点設定手段１５ａ、ステレオビジョン位置・姿勢決
定手段１５ｂ、シーン予測手段１５Ｃ２特徴点抽出記憶
手段１５ｄ、検出対象の有無確認手段１５ｅおよびステ
レオビジョン駆動装置ｔ１５ｆ等のインスタンス把握手
段１５の動作を行う。このインスタンス把握手段１５は
予想される１シーンの中の組みつけ側インスタンス名と
組みつけられる側インスタンス名を見つけ出し□能を有
するもので、第４図に示す如く注目点の設定（ステップ
８０）、ステレオカメラｔｆ１４Ｍの位置・姿勢決定（
ステップＳ１）、各カメラでのシーンの予測（ステップ
Ｓ２）、各インスタンス毎の特徴点の情報記憶（ステッ
プＳ３）、両シーン中に観測対象となるインスタンスが
あるか否かのｔｌ認（ステップＳ４ａ、５４ｂ）、ステ
レオカメラの駆動（ステップＳ５）より成る。この際、
ステップＳ４において対象インスタンスが無いとき、ス
テップＳＯに戻り注目点を変更する。

具体的には、先ず、作業計画記憶ファイル７２より組み
つける側のインスタンス名と組みつけられる側のインス
タンス名を知り、組み立て作業場所を各インスタンス毎
にその位置情報を記述・記憶しているワールドモデルと
称する環境データファイル１３より知る。注目点は、組
みつけられる側のインスタンスのある点例えば直方体の
インスタンスであれば、その上面の中央の点などを特定
のルールにしたがって決定する（ステップＳｏ）。

この注目点とは各カメラの搬影面の特定の面（通常は光
軸の通る点）が指す空間上の点とする。この定義に従い
ステレオカメラの位置・姿勢を決定する（ステップ８１
）。しかる後、前記作業計画記憶ファイル１２に記述さ
れた組み立てｆ￥″東近くの環境データを参照しながら
各カメラで撮影された各シーンの画像をそれぞれグラフ
ィック化してソリッドモデルを作成しくステップＳ２）
、かつ、ここで作成されたソリッドモデルから前記作業
計画記憶ファイル１２のインスタンスデータに基づいて
各インスタンスごとに特徴点の情報を取り出してメモリ
に記憶する（ステップ８３）。ここで、１つのシーンに
入っているインスタンスが分る。

このようにしてロボットのマニピュレータ等の動作応じ
て１つのシーンに組みつけ側と組みつけられる側のイン
スタンス例えば第２図のように組み付は側の対象物２２
および組みつけられる側の対象物２３が入ってくるので
、前記作業計画配憶ファイル１２のインスタンスデータ
を参照しながら前記記憶された１つのシーン中の各イン
スタンスから組みつけ側インスタンス名および組みつけ
られる側のインスタンス名を調べる　（ステップ５４ａ
）。そこで、カメラに組みつけおよび組みつけられるイ
ンスタンスが入り、かつ、そのインスタンス名が把握さ
れたならば、各カメラの位置・姿勢を変え（ステップＳ
５）、ステレオカメラ１１の出力を用いて画惨処理を行
う（ステップ８６）。

次に、組みつけられる側の位置ずれが検出手段１６を実
行する。この手段１６は、ステップＳ７に示す如く組み
つけられる側のインスタンスのうちシーン中の左右に存
在するもの例えば２つの点（頂点）およびその２の点を
結ぶ締等からなるものをリストアツブする（ステップＳ
７）。そして、リストアツブされた線に連なる頂点（特
徴点）をシーンより画像処理しくステップＳ８）、かつ
、２つのカメラの画面上での位置データから前記特徴点
の３次元位置を求める（ステップ８９）。しかる後、こ
の３次元位置と前記作業計画配憶ファイル１２の例えば
作業場所近くの環境データから得られる当該インスタン
スの特徴点の本来あるべき３次元位画データとから組み
つけられる側の位置ずれ量を求める（ステップ８１０，
８１１）。

なお、現在検出されているインスタンスについて３点以
上の特徴点が求まれば位置・姿勢を求め、１点または２
点の特徴点が求まれば位置ずれ邑のみを求める。

このようにして組みつけられる側の位置ずれ邑を検出し
たならば、引き続き、組みつけ側の位置ずれ量検出手段
１７をステップ８７〜８１２と同様な処理手順で行う（
ステップ５１３）。なお、上記組みつけられる側の位置
ずれ量検出処理と組みつける側の位置ずれ量検出処理と
を並列的に行ってもよい。最後に、前記組みつけられる
側の位置ずれ量から組みつけ側の位置ずれ量を差し引く
ことにより、ロボットの作業時に生じる位置ずれ量を求
める。

そして、以上のようにして求めた位置ずれ聞をロボット
に与えて位置ずれ量の補正を行う（ステップ５１５）。

従って、以上のような実施例によれば、予′め作業場所
付近に２つのカメラ視野を設定するので、従来のように
可動ｔ１構の精度が問題になったり、あるいはカメラの
位置・姿勢を求めるためのＩＩＩな処理手段を持つ必要
がなくなり、カメラの分解能を上げることができる。ま
た、作業計画記憶ファイル１２に記憶された作業場所付
近の環境データ等を参照しながらインスタンスを特定し
、かつ、そのインスタンスの特徴点の各カメラでのシー
ン上での位置が予測でき、シーンの一部を画像処理する
ことで特徴点が求まるので、所要とする位置ずれ量を迅
速に求めることができ、ロボットの移動状態を追跡して
固形する必要がない。さらに、組みつけられる側の位置
ずれ量から組みつけ側の位置ずれ蟻を差し引くことによ
り作業時の位置ずれｍを求めるために、その位置ずれ量
の正確性を期すことができ、ひいてはロボットが作業を
正確に行い得、作業能率の向上にも大きく貢献させるこ
とができる。

なお、当然ながらロボットの一部もインスタンスとして
扱ってもよく、また物を掴む動作も組みつけ側がロボッ
トハンドとして本手法を利用できる。その他、本発明は
その要旨を逸脱しない範囲で種々変形して実施できる。

［発明の効果］ 以上詳記したように本発明によれば、２つのカメラの視
野を作業場所付近に設定したので、検出分解能を上げる
ことができ、かつ、迅速、正確に位置ずれ量を検出でき
る位置ずれ検出装置を提供できる。

【図面の簡単な説明】

第１図ないし第４図は本発明に係わる位置ずれ検出装Ｒ
の一実施例を説明するために示したもので、第１図は本
発明＠画のシステム構成図、第２図はカメラの１シーン
中の状態を示す図、第３図は作業計画記憶ファイルの１
シーン中の状態を示す図、第４図（ａ）、（ｂ）は本発
明８Ｍの動作手順を説明する流れ図である。 １１・・・ステレオビジョン、１２・・・作業計画記憶
ファイル、１３・・・環境データファイル、１４・・・
特ｙｌｎ情報記憶ファイル、１５・・・インスタンス把
握手段、１６・・・組みつけられる側の位置ずれ検出手
段、１７・・・組つける側の位置ずれ検出手段。 出願人代理人　弁理士　鈴江武彦 第２図 第３図

Claims (1)

1. 【特許請求の範囲】 ロボットの組み立て作業の位置ずれを検出する位置ずれ
   検出装置において、 作業環境を記述したデータファイルと、ロボットの手先
   もしくはロボットの把持している物から成る組みつけ側
   とロボットの掴もうとしている物もしくはロボットの把
   持している物をとりつけようとしている相手から成る組
   みつけられる側とを区別して記述した作業計画ファイル
   と、任意の位置・姿勢をとれる複数のカメラと、組み立
   て作業位置をロボットの指令により知ることで上記複数
   のカメラの位置・姿勢の候補を出力する手段と、カメラ
   の位置・姿勢より組み立て時に予想される入力シーンを
   上記データファイルより作成する手段と、予想されるシ
   ーンより作業計画ファイルを基に組みつけられる側、組
   みつける側の物の各々３次元位置を検出すべき特徴点の
   有無を含むシーン中での位置を知る手段と、これに基づ
   いて実際に複数のカメラを動かし各カメラにおいて組み
   つける側、組つけられる側の検出すべき特徴点をその視
   野に収め、カメラからの画像入力より組みつけられる側
   の位置・姿勢ずれ量を検出する手段および組みつけ側の
   位置・姿勢ずれ量を検出する手段とを備え、これら２量
   の差より組み立て時の位置・姿勢ずれ量を求めることを
   特徴とする位置ずれ検出装置。