JPH0351559B2 - - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、組み立て作業用ロボツト等に利用す
る位置ずれ検出装置に係わり、特にロボツトの組
み立て作業時に生じる位置・姿勢ずれ量を補償す
る位置ずれ検出装置に関する。

（従来の技術） 一般に、ロボツトを用いて組み立て作業を実施
する場合、そのロボツトのマニピユレータおよび
ハンドの可動誤差等により組みつけ側（ロボツト
の手先またはロボツトのハンドが持つている組み
つけ対象物等）が予め定めた組み立て作業位置に
到達していない場合があり、いわゆるロボツトの
組み立て作業時に位置ずれが生じていることにな
る。従つて、このような状態では組みつけ対象物
が組みつけられる側（ロボツトの掴かもうとする
物または組みつけ対象物を組みつけようとする物
等）の所定位置に適切な位置状態で組みつけられ
ない。ここに、位置づれの補償手段が必要となつ
てくる。

従来、上記位置ずれの補償を行うための位置ず
れの検出には幾つかの検出手段が考えられてい
る。その１つは、ハンドアイと称するものであつ
て、ロボツトの手先にカメラを取付け、このカメ
ラで撮影された画像から位置ずれ量を検出するも
ので、従来最も多く使用されている。

他の１つは、ロボツトとは別の場所にステレオ
ビジヨンと称する３次元位置計測装置を設置し、
ロボツトの手先の３次元位置を観測し位置ずれ量
を検出するものである。

（発明が解決しようとする問題点） しかし、前者の検出手段は、ロボツトの手先に
カメラを取付けるので、ロボツトの手先が複雑化
および大形化し、また重量的に重く、かつ、撮影
視野が限定される。

一方、後者の検出手段は、測定分解能を上げる
と撮影視野が狭くなり、組みつけ場所が大きく変
化したときには前記ハンドアイと異なり観測不可
能となる。

そこで、以上の不具合を解決するために、ロボ
ツトとは別の場所に広範囲に注目点を動かせるス
テレオビジヨンを設置し、組立て作業時の位置ず
れ量を検出するものがある。

しかし、この検出手段は、カメラが作業対象物
の移動に伴つて動かすためにカメラ自身の位置を
求めるのに非常に複雑な判断手段を必要とし、ま
たカメラを可動する機構の精度がロボツトの位置
決め精度と同程度であるので位置ずれの補償とし
て利用できない。

本発明は上記実情に鑑みてなされたもので、２
つのカメラの視野を作業場所付近に設定して検出
分解能を上げることができ、かつ、迅速に位置・
姿勢ずれ量を検出し得る位置ずれ検出装置を提供
することを目的とする。

［発明の構成］ （問題点を解決するための手段） 本発明による位置ずれ検出装置は、作業環境を
記述したデータフアイルと、ロボツトの手先もし
くはロボツトの把持している物から成る組みつけ
側とロボツトの掴もうとしている物もしくはロボ
ツトの把持している物をとりつけようとしている
相手から成る組みつけられる側とを区別して記述
した作業計画フアイルと、任意の位置・姿勢をと
れる複数のカメラと、組み立て作業位置をロボツ
トの指令により知ることで上記複数のカメラの位
置・姿勢の候補を出力する手段と、カメラの位
置・姿勢より組み立て時に予想される入力シーン
を上記データフアイルより作成する手段と、予想
されるシーンより作業計画フアイルを基に組みつ
けられる側、組みつける側の物の各々３次元位置
に検出すべき特徴点の有無を含むシーン中での位
置を知る手段と、これに基づいて実際に複数のカ
メラを動かし各カメラにおいて組みつける側、組
つけられる側の検出すべき特徴点をその視野に収
め、カメラからの画像入力より組みつけられる側
の位置・姿勢ずれ量を検出する手段および組みつ
け側の位置・姿勢ずれ量を検出する手段とを備
え、これら２量の差より組み立て時の位置・姿勢
ずれ量を求めるものである。

（作用） 従つて、本願は、以上のような手段とすること
により、任意の位置・姿勢を取れる複数のカメラ
の位置・姿勢より組み立て時の予想されるシーン
を、予め作業環境を記述したデータフアイルから
作成するとともに、組みつけ側と組みつけられる
側の区別を記述した作業計画フアイルに基づき前
記予想されるシーンより組みつけられる側、組つ
け側の物の各々の３次元位置を検出すべき特徴点
の有無を含むシーン中での位置を把握し、これに
基づいて実際に複数のカメラを動かして各カメラ
で組みつけ側、組つけられる側の検出すべき特徴
点をその視野に収め、カメラの画像入力から組み
つけられる側および組みつけ側の位置・姿勢ずれ
量を検出し、これら２量の差から組み立て時の位
置・姿勢ずれ量を求めるものである。

（実施例） 以下、本発明方法の一実施例について図面を参
照して説明する。本発明装置は、第１図に示すよ
うにロボツトとは別の位置に設置され組み立て作
業場所付近を視野とするステレオビジヨン１１、
ロボツトの手先もしくはロボツトの把持している
物から成る組みつけ側とロボツトの掴もうとして
いる物もしくはロボツトの把持している物をとり
つけようとしている相手から成る組みつけられる
側とを区別して記述した作業計画記憶フアイル１
２、作業環境を記述した環境データフアイル（ワ
ールドモデル）１３、組みつけられる物および組
みつける側の物の特徴量情報を記憶する特徴量情
報記憶フアイル１４のほか、インスタンス把握手
段１５、組みつけられる側の位置ずれ量検出手段
１６、組みつけ側の位置ずれ量検出手段１７等を
有し、かつ、これら検出手段１６，１７で得られ
た位置ずれ量の差から組み立て時の位置・姿勢ず
れ量を求める位置づれ検出手段１８等で構成され
ている。図中、１１ａはカメラ、１１ｂはズーム
レンズ、１１ｃはDCモータである。

なお、前記各手段１５〜１８は第２図ないし第
４図を参照しながら説明する。第２図はある時点
において１つのカメラに入力されたシーンの一例
を示す図、第３図は作業計画記憶フアイル１２に
記憶された予想されたシーンを示す図、第４図
ａ，ｂは位置ずれの検出手順を示す図である。図
中、２１はロボツトの指、２２は組みつけ側対象
物、２３は組みつけられる側の対象物である。

次に、以上のように構成された装置の動作につ
いて第４図を参照して説明する。先ず、本発明装
置においては、注目点設定手段１５ａ、ステレオ
ビジユン位置・姿勢決定手段１５ｂ、シーン予想
手段１５ｃ、特徴点抽出記憶手段１５ｄ、検出対
象の有無確認手段１５ｅおよびステレオビジヨン
駆動装置１５ｆ等のインスタンス把握手段１５の
動作を行う。このインスタンス把握手段１５は予
想される１シーンの中の組みつけ側インスタンス
名と組みつけられる側インスタンス名を見つけ出
し機能を有するもので、第４図に示す如く注目点
の設定（ステツプS0）、ステレオカメラ機構の位
置・姿勢決定（ステツプS1）、各カメラでのシー
ンの予測（ステツプS2）、各インスタンス毎の特
徴点の情報記憶（ステツプS3）、両シーン中に観
測対象となるインスタンスがあるか否かの確認
（ステツプS4a，S4b）、ステレオカメラの駆動
（ステツプS5）より成る。この際、ステツプS4に
おいて対象インスタンスが無いとき、ステツプ
S0に戻り注目点を変更する。

具体的には、先ず、作業計画記憶フアイル１２
より組みつける側のインスタンス名と組みつけら
れる側のインスタンス名を知り、組み立て作業場
所を各インスタンス毎にその位置情報を記述・記
憶しているワールドモデルと称する環境データフ
アイル１３より知る。注目点は、組みつけられる
側のインスタンスのある点例えば直方体のインス
タンスであれば、その上面の中央の点などを特定
のルールにしたがつて決定する（ステツプS0）。
この注目点とは各カメラの撮影面の特定の面（通
常は光軸の通る点）が指す空間上の点とする。こ
の定義に従いステレオカメラの位置・姿勢を決定
する（ステツプS1）。しかる後、前記作業計画記
憶フアイル１２に記述された組み立て作業近くの
環境データを参照しながら各カメラで撮影された
各シーンの画像をそれぞれグラフイツク化してソ
リツドモデルを作成し（ステツプS2）、かつ、こ
こで作成されたソリツドモデルから前記作業計画
記憶フアイル１２のインスタンスデータに基づい
て各インスタンスごとに特徴点の情報を取り出し
てメモリに記憶する（ステツプS3）。ここで、１
つのシーンに入つているインスタンスが分る。こ
のようにしてロボツトのマニピユレータ等の動作
応じて１つのシーンに組みつけ側と組みつけられ
る側のインスタンス例えば第２図のように組み付
け側の対象物２２および組みつけられる側の対象
物２３が入つてくるので、前記作業計画記憶フア
イル１２のインスタンスデータを参照しながら前
記記憶された１つのシーン中の各インスタンスか
ら組みつけ側インスタンス各および組みつけられ
る側のインスタンス名を調べる（ステツプS4a）。
そこで、カメラに組みつけおよび組みつけられる
インスタンスが入り、かつ、そのインスタンス名
が把握されたならば、各カメラの位置・姿勢を変
え（ステツプS5）、ステレオカメラ１１の出力を
用いて画像処理を行う（ステツプS6）。

次に、組みつけられる側の位置ずれ量検出手段
１６を実行する。この手段１６は、ステツプS7
に示す如く組みつけられる側のインスタンスのう
ちシーン中の左右に存在するもの例えば２つの点
（頂点）およびその２の点を結ぶ線等からなるも
のをリストアツプする（ステツプS7）。そして、
リストアツプされた線に連なる頂点（特徴点）を
シーンより画像処理し（ステツプS8）、かつ、２
つのカメラの画面上での位置データから前記特徴
点の３次元位置を求める（ステツプS9）。しかる
後、この３次元位置と前記作業計画記憶フアイル
１２の例えば作業場所近くの環境データから得ら
れる当該インスタンスの特徴点の本来あるべき３
次元位置データとから組みつけられる側の位置ず
れ量を求める（ステツプS10，S11）。なお、現在
検出されているインスタンスについて３点以上の
特徴点が求まれば位置・姿勢を求め、１点または
２点の特徴点が求まれば位置ずれ量のみを求め
る。

このようにして組みつけられる側の位置ずれ量
を検出したならば、引き続き、組みつけ側の位置
ずれ量検出手段１７をステツプS7〜S12と同様な
処理手順を行う（ステツプS13）。なお、上記組
みつけられる側の位置ずれ量検出処理と組みつけ
る側の位置ずれ量検出処理とを並列的に行つても
よい。最後に、前記組みつけられる側の位置ずれ
量から組みつけ側の位置ずれ量を差し引くことに
より、ロボツトの作業時に生じる位置ずれ量を求
める。

そして、以上のようにして求めた位置ずれ量を
ロボツトに与えて位置ずれ量の補正を行う（ステ
ツプS15）。

従つて、以上のような実施例によれば、予め作
業場所付近に２つのカメラ視野を設定するので、
従来のように可動機構の精度が問題になつたり、
あるいはカメラの位置・姿勢を求めるための複雑
な処理手段を持つ必要がなくなり、カメラの分解
能を上げることができる。また、作業計画記憶フ
アイル１２に記憶された作業場所付近の環境デー
タ等を参照しながらインスタンスを設定し、か
つ、そのインスタンスの特徴点の各カメラでのシ
ーン上での位置が予測でき、シーンの一部を画像
処理することで特徴点が求まるので、所要とする
位置ずれ量を迅速に求めることができ、ロボツト
の移動状態を追跡して撮影する必要がない。さら
に、組みつけられる側の位置ずれ量から組みつけ
側の位置ずれ量を差し引くことにより作業時の位
置ずれ量を求めるために、その位置ずれ量の正確
性を期すことができ、ひいてはロボツトが作業を
正確に行い得、作業能率の向上にも大きく貢献さ
せることができる。

なお、当然ながらロボツトの一部もインスタン
スとして扱つてもよく、また物を掴む動作も組み
つけ側がロボツトハンドとして大手法を利用でき
る。その他、本発明はその要旨を逸脱しない範囲
で種々変形して実施できる。

［発明の効果］ 以上詳記したように本発明によれば、２つのカ
メラの視野を作業場所付近に設定したので、検出
分解能を上げることができ、かつ、迅速、正確に
位置ずれ量を検出できる位置ずれ検出装置を提供
できる。

【図面の簡単な説明】

第１図ないし第４図は本発明に係わる位置ずれ
検出装置の一実施例を説明するために示したもの
で、第１図は本発明装置のシステム構成図、第２
図はカメラの１シーン中の状態を示す図、第３図
は作業計画記憶フアイルの１シーン中の状態を示
す図、第４図ａ，ｂは本発明装置の動作手順を説
明する流れ図である。 １１……ステレオビジヨン、１２……作業計画
記憶フアイル、１３……環境データフアイル、１
４……特徴量情報記憶フアイル、１５……インス
タンス把握手段、１６……組みつけられる側の位
置ずれ検出手段、１７……組つける側の位置ずれ
検出手段。

Claims (1)

1. 【特許請求の範囲】 １ ロボツトの組み立て作業の位置ずれを検出す
   る位置ずれ検出装置において、 作業環境を記述したデータフアイルと、ロボツ
   トの手先もしくはロボツトの把持している物から
   成る組みつけ側とロボツトの掴もうとしている物
   もしくはロボツトの把持している物をとりつけよ
   うとしている相手から成る組みつけられる側とを
   区別して記述した作業計画フアイルと、任意の位
   置・姿勢をとれる複数のカメラと、組み立て作業
   位置をロボツトの指令により知ることで上記複数
   のカメラの位置・姿勢の候補を出力する手段と、
   カメラの位置・姿勢より組み立て時に予想される
   入力シーンを上記データフアイルより作成する手
   段と、予想されるシーンより作業計画フアイルを
   基に組みつけられる側、組みつける側の物の各々
   ３次元位置に検出すべき特徴点の有無を含むシー
   ン中での位置を知る手段と、これに基づいて実際
   に複数のカメラを動かし各カメラにおいて組みつ
   ける側、組つけられる側の検出すべき特徴点をそ
   の視野に収め、カメラからの画像入力より組みつ
   けられる側の位置・姿勢ずれ量を検出する手段お
   よび組みつけ側の位置・姿勢ずれ量を検出する手
   段とを備え、これら２量の差より組み立て時の位
   置・姿勢ずれ量を求めることを特徴とする位置ず
   れ検出装置。