JPH07104697B2 - ロボット操作支援システム - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はロボット操作支援システムに係り、特に高度な
知的処理装置の支援のもとで簡単な操作手段により短時
間でロボットに動作を与えるためのオンラインロボット
操作支援システムに関する。

〔従来の技術〕

従来、ロボットに動作を与える方法としては、ロボット
の制御装置に連結されたティーチング・ボックスや人間
の手によって実際のロボットを動かしながら位置を記憶
させておき、それらを順次読み出すことにより動作させ
るダイレクトティーチ方式、ロボット言語などによりプ
ログラムの形で動作を記述し、これにより動かす方式、
あるいは操縦用のアーム（マスタアーム）を備え、これ
とロボットの動きを連動させることによりロボットを動
かすマスタ・スレーブ方式によるもの（東芝 橋本ほ
か：「双腕マスタスレーブマニピュレータの開発」、第
４回日本ロボット学会予稿集、p73−80,1986など）があ
る。また、計算機を用いて操作するものでは、計算機の
画面上に表示されたロボットをマスタアームとして操作
するもの（電総研 松井、塚本：「ロボット用マルチメ
ディアディスプレイ」、第４回日本ロボット学会予稿
集、p287−288,1986、特開昭61−79589など）、画面上
のロボットに対してダイレクトティーチのような形な教
示を行うもの（特開昭61−177578）、画面上に作業対象
物の画面を表示させ、そこに座標値などにより指定され
た点をもとに位置・姿勢を計算するもの（特開昭61−19
9108、特開昭60−97409）がある。

〔発明が解決しようとする問題点〕

ところが、上記従来技術には次のような問題点がある。

まず、ダイレクトティーチ方式では一つの動作を与える
ために多くの位置を教示する必要があり、かつそれぞれ
の位置を正確に与える必要があるため教示に多大の手間
と時間を要する。

また、ロボット言語による方法では文字と数値によって
動作を記述するため、実際のロボットの動きを想像しに
くく、かつ言語の文法や座標系の取り決め、座標系の変
換手順などを熟知している必要があり、目的の動作を与
えるために高度な知識と思考を必要とする。

一方マスタ・スレーブ方式では簡易に動作を与えること
ができるが、人間の手の動きがそのままロボットの動き
となるため失敗が許されない。また、精密な位置合わせ
を含む動作を行わせる場合、操作者は十分な注意を払わ
ねばならず、操作に熟練を要する。

これに対し、計算機を用いてロボットを操作するもので
は、教示された動作を画面上に再現し、その動作を確認
するシミュレーションの機能を備えたものは多くみられ
る。しかし、動作を与える機能としては教示用のロボッ
トやマスタ・アームを画面上のロボットで置き換えただ
けのものが多く、正確な位置や細かい動きを何等かの形
で与えなければならない点は改善されていない。また、
動作のシミュレーションについては、与えられた動作デ
ータの通りにロボットが動いた場合の動きを再現するも
のであり、ロボットの重量や把持物体の重さにより慣性
力の影響などを考慮した正確な動作の再現をするものは
ない。

本発明は、かかる従来の問題点に鑑みてなされたもの
で、その目的は、正確な位置や細かい動きを与える必要
なく、目的の動作を簡単で分かりやすい手段により短時
間に与えることができるロボット支援操作システムを、
更には実際にロボットを動かす前に慣性力の影響も含め
た正確なロボットの動作を再現し、ロボットを安全に操
作することのできるロボット操作支援システムを提供す
ることにある。

〔問題点を解決するための手段〕

上記目的を達成するために本発明は、ロボット、文字入
力手段、位置入力手段、グラフィックス表示装置からな
るロボット操作システムにおいて、文字入力手段により
入力される作業名とグラフィックス画面に表示され、位
置入力手段と連動する画面上のロボットの操作から操作
者の作業意図を判断し、順次この作業の手順に対応して
ロボットの動作変換点となる参照点をグラフィックス画
面上に表示し、かつ作業意図に即して各参照点における
作業内容を示す作業メッセージを生成する作業解釈装置
と、生成された作業メッセージをロボット機構の駆動に
適した動作データに変換し、実際のロボットに渡す動作
生成装置と、ロボットおよびこのロボットの作業対象物
それぞれの構造、位置、姿勢、重量等を三次元情報とし
て記憶し、グラフィックス表示装置に入出力すると共に
作業解釈装置と動作生成装置に供給する作業環境地図
と、作業名に対応する作業手順を記憶し、作業解釈装置
と動作生成装置に供給する作業知識とを備えた構成とし
たものである。また本発明は、動作生成装置からロボッ
トに動作データを渡す途中に切り換えスイッチを設け、
実際にロボットを駆動する前に動力学シミュレータによ
るシミュレーションを行い、上記グラフィックス画面に
表示させる手段を備えたことを望ましい構成とするもの
である。

〔作用〕

かかる構成においては、人間とロボットとの間に、ダイ
レクトティーチングのようにロボットが動く経路や動作
する位置を逐一記憶させるというような動作レベルの指
示入力でなく、作業名で示されるような、ロボットの一
連の動作をまとめてある目的を達成する作業レベルの指
示入力で、人間の操作要求を解釈する作業解釈装置が設
けられ、それにより解釈された作業内容を具体的な動作
データに変換する動作生成装置が設けられる。また、そ
れらの装置に必要な情報を与えるための作業環境地図と
作業知識が用意される。したがって、ロボットの動作レ
ベルでなくロボット一連の動作をまとめた作業レベルで
指示することができるので、人間は細かい動作を考える
ことなく作業の要点をロボットに与えるだけで、ロボッ
トを動かすことが可能となる。

また、望ましい構成の組合せによれば、動力学のシミュ
レーションを行うシミュレータが設けられ、生成された
動作データをロボットに渡す前にこのシミュレータによ
る動作のシミュレーションが行われ、動作が確認され
る。したがって、動力学のシミュレーションによりロボ
ットや把持物体の慣性力も考慮した動きを事前に見るこ
とが可能となる。

〔実施例〕

以下、本発明の実施例を図について説明する。なお、第
１図は本発明の一実施例の全体構成を示す図、第２図は
画面上のカーソルの動きを説明する図、第３図は作業指
示の入力手順を説明する図、第４図（ａ），（ｂ），
（ｃ），（ｄ）は作業指示の入力と共に変化するグラフ
ィックス表示装置の画面を説明する図、第５図は作業知
識の中身を説明する図である。

第１図において、１は作業環境地図で、この中にはこの
システムで操作されるロボットの構造情報101と性質情
報102、及びロボットが作業する環境に存在する作業対
象物、障害物などの物体の構造情報103と性質情報104が
記憶されている。２はグラフィックスの表示装置であ
り、ロボットや物体の構造情報101,103をもとにそれら
が作業環境地図１に指定された形で３次元的に配置され
ている様子をある視点から見た透視投影変換像として表
示する。この視点は、４の文字入力手段により与えられ
るコマンドによって変えることができる。３はマウス、
ジョイスティックなどによる位置の入力手段であり、表
示装置２の画面上には第４図（ａ）に示されるように位
置入力手段３により入力される位置情報と連動するカー
ソル202が表示される。このカーソル202は位置入力手段
３により与えられる位置情報により決まる作業環境地図
中での３次元座標位置に描かれた正方形のような目印の
透視投影変換像として表示される。また、表示装置２の
画面上のロボット201は、カーソル202の位置をグリッパ
の先端位置として逆変数の手法により計算される関節角
による姿勢で表示され、結果的にあたかも位置入力手段
３と連動して動くように表示される。この時101の構造
情報の中の関節角値もロボット201の動きと共に書き換
えられる。３次元上の位置・姿勢に関してロボットに冗
長な自由度がある場合には、位置入力手段３による動き
に対して一部のパラメータを変換させ、残りはコマンド
により変更したり、変化するパラメータを切り換えるこ
とにより対処する。カーソル202の位置がロボットの可
動範囲を越える場合は、カーソル202がそれ以上その外
に動かないよう表示される。

位置入力手段３としては３次元の位置を入力できるもの
が適するが、マウスのような２次元の入力装置を考えた
場合、カーソル202は２次元位置情報からの３次元入力
を可能とするため、例えば第２図のようにその時点でカ
ーソル202が動くことのできる拘束平面内に含まれる正
方形の透視投影変換像として表示され、位置入力手段３
上に設けられたボタンなどの入力により、拘束平面がXZ
平面からXY平面へというように変化する。また、この拘
束平面の変化によるカーソル形状の変化により操作者は
拘束平面を空間的に知覚することができる。

文字入力手段４は表示装置２や作業解釈装置５にコマン
ドや作業名を与える機能を果たすものであればよい。従
って、キーボードのようなボタンが配置された装置であ
ってもよいし、表示装置２の画面上に表示されたメニュ
ーの中から位置入力手段３により選択するものでもよ
い。

作業解釈装置５は文字入力手段４により与えられる作業
名に対して、作業知識６に記憶されているその作業に関
する作業解釈知識601に従って作業を行う際に作業の手
順にしたがい操作者が指定すべき参照点を求め、その具
体的な３次元位置座標を作業環境地図１を利用して求め
適宜表示装置２の画面に表示したり、作業指示が完了し
た段階でその作業指示に対応した作業メッセージを動作
生成装置７へ渡す処理を行う。

動作生成装置７は作業解釈装置５により与えられた作業
メッセージから作業環境地図１と作業展開知識602を利
用してロボットを駆動できる具体的な動作データを生成
する。

切り替スイッチ８は上記動作データにより実際のロボッ
ト10を動作させる前に動力学シミュレータ９によるシミ
ュレーションを実行する時に、動作データをシミュレー
タの方へ渡すためのものである。

動力学シミュレータ９は作業環境地図１に記憶されてい
るロボットの構造情報101と性質情報102の中の重量、慣
性モーメントなどを利用して運動方程式を解くことによ
り、動作生成装置７から与えられる動作データにより動
いた場合の力学的要素も考慮した振舞いをシミュレート
し、その結果を表示装置２の画面上にロボット201の動
きとして表示する。

次に、本実施例による装置を用いてロボットを操作する
手順について第３図、第４図を用いて具体的に説明す
る。

まず、表示装置２は作業環境地図１の物体の構造情報10
3を用いて画面上に物体203,204,205を表示し、位置入力
手段３より与えられる位置とロボットの構造情報101に
よりロボット201とカーソル202を表示する。そして、作
業環境地図１の現在の状態を保持するためスタック領域
105にロボットや物体の構造情報101,103の内容を複製し
ておく。操作者はこの画面を見てロボットに行わせるべ
き作業を決め、その作業名を文字入力手段４により入力
する。今、画面が第４図（ａ）のようであったとし、ロ
ボットに行わせるべき作業がボルト203を部品204へ取り
付けることであったとする。

操作者は文字入力手段４により「運搬」を意味する作業
名CARRYを作業解釈装置５へ入力する。作業解釈装置５
は第５図に示すような作業解釈知識601の中からCARRYに
関する記述611を探し、その記述により各物体のGRASP P
OINTの位置を表示装置２の画面上にマーク206で表示す
る（第４図（ｂ））。このGRASP POINTは物体をその位
置でつかむことができることを意味し、物体の性質情報
104により求められる。具体的な求め方としては、例え
ば物体の性質情報104にボルトは六角柱と円柱からでき
ていることを記述し、ロボットのグリッパが最大に開け
る幅より小さい幅を有する角柱があれば、その角柱の部
分でつかむことができるというような規則を作業知識６
の中に用意することにより求めることができる。あるい
は、最も簡単な方法としてGRASP POINTの具体的な位置
を104の性質情報として記述しておいてもよい。

操作者は表示されたマークの中からボルトのGRASP POIN
Tの近くに位置入力手段３を用いてカーソル202を近付
け、位置入力手段３上のボタンか文字入力手段４により
作業解釈装置５に合図を与える。この時カーソル202と
カーソルが完全に一致している必要はなく、合図が与え
られた時点でカーソル202よりある距離以内にあるマー
クのうちで最も近い位置にあるマークが選択されたと判
断する。これにより作業解釈装置５は操作者がボルトを
選んだことを判断し、そのGRASP POINTの位置にカーソ
ル202を一致させ、他のマークを消去すると同時にボル
トの色を変えてボルトが選択されたことを操作者に伝え
る。さらに作業解釈装置５は作業環境地図１のロボット
や物体の構造情報101,103をボルトが床面から離れロボ
ットのグリッパに把持されている状態に書き換える。従
って、これ以後画面上でカーソル202を動かすとロボッ
トだけでなくボルトもロボットのグリッパに伴って動く
ように表示される。

次に611の記述により操作者はボルトを運ぶ途中の経路
（PATH）をいくつかの点で指定することができる。この
指定はカーソル202を適当な位置に持って行き、そこで
作業解釈装置５に合図を与えることにより、その位置が
経路点として登録される（第４図（ｃ））。そして経路
点指定の終了を意味する合図を作業解釈装置５に与える
ことにより経路点の指定は終了する。操作者が経路点の
指定を必要としない場合は始めから経路点終了の合図を
与えれば良い。

最後に作業解釈装置５は611の残りの記述によりPUT POI
NTを物体の性質情報104から求め画面上にマーク207で表
示する。PUT POINTはボルトを置ける場所、あるいは取
り付けられる場所を意味する。作業解釈装置５はロボッ
トの構造情報101によりその時点でロボットがボルトを
把持していることがわかるので、他の様々な物体に対す
るPUT POINTのうちボルトに関するもののみを求めて表
示する（第４図（ｄ））。

操作者はマークの中から目的の部品の取り付け場所のPU
T POINTへカーソル202を近付け作業解釈装置５に合図を
送る。作業解釈装置５は前と同様の手順により取り付け
位置を判断し、ボルトをその位置に一致させ、ボルトの
色をもとに戻す。さらに作業環境地図１のロボットや物
体の構造情報101,103をボルトがグリッパから離れ、取
り付け位置に固定されている状態に書き換える。そのた
めにこれ以後カーソル202の動きに対してロボット201の
みが画面上で動くようになり、ボルトは取り付け位置に
固定されて表示される。

以上の処理が終ると作業解釈装置５は作業名CARRY、ボ
ルトとそのGRASP POINTが情報として結びつけられてい
るシンボルobj1、ボルトが取り付けられる部品とそのPU
T POINTが情報として結びつけられているシンボルobj
2、及び経路点の情報が結び付けられているシンボルpat
hからcarry（obj1,path,obj2）のような作業メッセージ
を生成し動作生成装置７へ転送する。動作生成装置７は
作業解釈装置５より作業メッセージを受け取るとスタッ
ク105により作業環境地図を第３図32の状態に戻す、そ
して第５図に示すような作業展開知識602の中からcarry
に関する記述を探し、carry（A,P,B）をtake（Ａ）とpa
th（ｐ）、put（Ｂ）に展開する。この時、引き数Ａと
Ｂにはシンボルobj1、obj2が代入されている。take
（Ａ）は更にgrasp（Ａ）（持つ）またはdetach（Ａ）
（取り外して持つ）に展開されるが、obj1で指定される
ボルトが他の物体に取り付けられていないことが物体の
構造情報103からわかるので、grasp（Ａ）の方が選ばれ
る。同様にput（Ａ）の方はobj2がボルトの取り付け位
置であることが物体の構造情報103から分かるので単に
物の上に置く動作put on（Ａ）ではなく回しながらねじ
込むボルトの取り付け動作attach（Ａ）の方が選ばれ
る。grasp（Ａ）は更に例えばグリッパをボルトの近く
まで移動させ、ゆっくり把持位置に持って行きグリッパ
を閉じて真上に移動するというように細かい動作に展開
される。この時、動作の進行に伴う物体位置の変化に応
じた物体の位置座標をロボットや物体の構造情報101,10
3から得るため、動作の展開と共にそれに対応した構造
情報101,103の書換えが行われる。作業メッセージはこ
のような詳細化を経て細かい座標値を含む動作データに
まで展開される。

動作生成装置７により生成された動作データは該装置７
において一時的に記憶されておりスイッチ８により実際
のロボット10かシミュレータ９のいずれかに転送され
る。操作者は生成された動作データが妥当であるか知り
たい場合はそれをシミュレータ９へ送り動力学のシミュ
レーションを行うことができる。シミュレータ９はロボ
ットの構造情報101に記憶されているロボットの質量や
慣性モーメント、関節の摩擦係数などを用いて動作デー
タによりロボットを動かしたい場合の運動方程式を数値
的に解き、その結果を表示装置２の画面上のロボット20
1の動きとして表示する。この表示においても動作の進
行に伴う物体の動きを把握するため、スタック105によ
り作業環境地図を第３図32の状態に戻し、動作の進行と
共にロボットや物体の構造情報101,103を書き換えなが
ら表示する。

操作者はシミュレーションの結果に問題がなければスイ
ッチ８をロボット10の方へセットし、動作生成装置７に
記憶されている動作データで実際のロボット10を動か
す。シミュレーションの結果、例えば第４図の状況にお
いてロボットがボルト203を部品204の位置まで運ぶ途中
で障害物205にぶつかりそうな場合には、経路点の指定
に変更するなど動作の指示をしなおす。

作業環境にある現実の物体は正確に作業環境地図に記憶
されている位置にあるとは限らないので、地図上の位置
と実際とのずれを補正する必要がある。これに対して
は、例えば作業展開知識において、物体をつかむ動作な
ど対象物との精密な位置合わせを必要とする動作に対し
ては、その展開の中に距離センサを働かせて対象物との
距離を計りながら接近する動作を含ませ、動作データの
中にセンサの利用に関する情報も付加しておけばよい。
これによりロボットが実際に動作するときにセンサを利
用して地図とのずれを補正しながら動くことができる。
また、ロボットは動作中にセンサなどにより異常を感知
した場合は動作を止め、その旨を表示装置２の画面に文
字などにより表示する。

本実施例によれば、操作者はロボットに動作を与えるた
めに具体的な座標値データや正確な位置情報を与える必
要がなく、順次表示される参照点の選択などにより作業
の要点を指定するだけでよいので非常に短時間に簡単に
動作を与えることができる。また、動力学を考慮したシ
ミュレーションで動作を事前に確認できるので安全な操
作を行うことができる。

操作者はシミュレーション結果の観察とそれによる動作
の修正を繰り返しながら、様々な動作を事前に試すこと
ができるので、その中から最も意にかなった動作を見つ
けることができる。そして、作業メッセージを保存して
おけば101のロボットの構造情報を入れ換えるだけで様
々な形状のロボットに対して同一の作業メッセージで動
作を与えることができる。

また、画面上で位置入力手段３の入力と連動するロボッ
ト201の動きにより操作者はグリッパの位置によってロ
ボットがどの様な姿勢となるか、あるいは可動範囲がど
こまであるかを直観的に知ることが出来、作業手順を考
える上で有効な情報を効率よく与えることができる。

一方、非常に短時間に簡単に動作を与えることができる
ので、産業用ロボットのような繰り返し作業を行うロボ
ットの教示だけでなく、建設現場で対話的にロボットを
操作するのにも利用できる。

また、操作環境の物体配置が画面に表示され、かつロボ
ットと操作システムを離れた場所に置くことができるの
で、原子力プラントなど人間が入り込めない環境でのロ
ボットの遠隔操作にも利用できる。

なお、上記実施例においては、作業メッセージができる
ごとに動作データへの展開が行われたが作業メッセージ
をある程度ためてから、まとめて動作データへ展開して
もよい。

また、それらの作業メッセージを保存する場所を用意
し、それを編集・管理できるような仕掛を用意すれば、
作業のレベルでロボットの動作を編集・管理できるの
で、操作者はより高度な動作計画を立てることが可能と
なる。

さらに、いくつかの作業メッセージをまとめて新たな作
業メッセージを定義できるようにしておけば、さらに、
高度な作業を簡単に指示することができる。

上記実施例では物体を運ぶ途中の経路を単に点として与
えたが、これらの点に対して例えばおよそその近傍を通
過すればよいとか、正確にその点を通過しなければなら
ないといった属性を与えるようにすれば、さらに複雑な
作業指示を与えることができる。

プラントの建設などに本システムを利用する場合、その
プラントがCADにより設計されたものであれば、作業環
境地図１に記憶される情報のうち物体の構造に関する情
報はそのCADのデータから持ってくることもできる。ま
た、ロボットが扱う部品が限定されたものであれば、視
覚認識装置を利用して作業環境地図を作成、修正するこ
ともできる。

〔発明の効果〕

本発明によれば、操作者はロボットに動作を与えるため
に具体的な座標値データや正確な位置情報を与える必要
がなく、作業の要点を指定するだけでよいので非常に短
時間に簡単に動作を与えることができる。また、動力学
を考慮したシミュレーションで動作を事前に確認できる
ので安全な操作を行うことができる。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成を示す図、第２図
は画面上のカーソルの動きを説明する図、第３図は作業
指示の入力手順を説明する図、第４図（ａ），（ｂ），
（ｃ），（ｄ）は作業指示の入力と共に変化するグラフ
ィックス表示装置の画面を説明する図、第５図は作業知
識の中身を説明する図である。 １…作業環境地図、２…グラフィックス表示装置、３…
位置入力手段、４…文字入力手段、５…作業解釈装置、
６…作業知識、７…動作生成装置、８…切り換えスイッ
チ、９…動力学シミュレータ、10…ロボット。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小川 優理子 茨城県土浦市神立町502番地 株式会社日 立製作所機械研究所内 (56)参考文献 特開 昭62−165213（ＪＰ，Ａ)

Claims (2)

【特許請求の範囲】
1. 【請求項１】ロボット、文字入力手段、位置入力手段、
   グラフィックス表示装置からなるロボット操作システム
   において、文字入力手段により入力される作業名と、グ
   ラフィックス画面に表示され、位置入力手段と連動する
   画面上のロボットの操作とから操作者の作業意図を判断
   し、順次該作業の手順に対応してロボットの動作変換点
   となる参照点をグラフィックス画面上に表示し、かつ作
   業意図に即して各参照点における作業内容を示す作業メ
   ッセージを生成する作業解釈装置と、生成された作業メ
   ッセージをロボット機構の駆動に適した動作データに変
   換し、実際のロボットに渡す動作生成装置と、ロボット
   および該ロボットの作業対象物それぞれの構造、位置、
   姿勢、重量を三次元情報として記憶し、グラフィックス
   表示装置に入出力すると共に作業解釈装置と動作生成装
   置に供給する作業環境地図と、作業名に対応する作業の
   手順を記憶し、作業解釈装置と動作生成装置に供給する
   作業知識とを備えたことを特徴とするロボット操作支援
   システム。
2. 【請求項２】前記動作生成装置からロボットに動作デー
   タを渡す途中に切り換えスイッチを設け、実際にロボッ
   トを駆動する前に動力学シミュレータによるシミュレー
   ションを行い、グラフィックス画面に表示させる手段を
   備えたことを特徴とする特許請求の範囲第１項記載のロ
   ボット操作支援システム。