JPH09131681A - 教示装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来のセンサ情報を用いた例は、その機能は
不十分であり、３次元ワーク上での追従作業のように経
路が複雑になると、センシング条件を完全に満足させた
教示作業を実行させることが困難である。 【解決手段】 本発明は、効果器及びセンサの位置・姿
勢を決定するためにマニピュレータに付設されているセ
ンサの情報をフィードバックするセンサデータ転送手段
１０と、フィードバックされた情報を２次元及び３次元
のグラフィックス指示、音声指示にマルチモーダル変換
する変換手段２０と、変換された情報をオペレータに提
示するオペレータ提示手段３０を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、教示装置に係り、
特に、マニピュレータに保持された効果器を被作業対象
物上の所定の経路に沿って動作させるために必要な教示
データを映像、音声等のマルチモーダルなインタフェー
スの支援により容易に作成するための教示装置に関す
る。

【０００２】

【従来の技術】従来のロボットの教示技術としては、例
えば、“ロボット工学ハンドブック（コロナ社、１９９
０、ｐｐ５５２−５２９）”に開示されているように、
ロボットの動作方向等に対応した押しボタン類を備えた
教示ボックスによるリモートティーチ法が多く使用され
ている。

【０００３】図１１は、従来の教示ボックスによるリモ
ートティーチ法を説明するための図である。同図に示す
システムは、多関節型マニピュレータ１、マニピュレー
タ１の手先に付けられた効果器２、作業ワーク３、加工
経路４、マニピュレータ１の制御部５、教示ボックス６
より構成される。

【０００４】このシステムにおいて、教示データを作成
する場合について説明する。オペレータは、教示ボック
ス６を用いて効果器２を作業対象ワーク３の加工経路４
の先端、あるいはワーク３から一定距離離した位置に位
置付け、その時のマニピュレータ１の先端の位置・姿勢
座標を入力し、これを教示データとしてコントローラ５
に転送する。この処理を加工経路４に沿って所望の回数
だけマニピュレータ１を動作させ、全教示データを取得
する。

【０００５】また、このようなシステムは、作業におい
て、経路が複雑になれば教示ポイントも増え、教示時間
が増加し、コストの増大の要因となると共に、オペレー
タにかかる負荷も増大する等の問題があるため、センサ
情報を利用した教示法が行われている。例えば、特開昭
６３−１５３０６にあるように、効果器に手動でねじを
調節して高さ方向の位置を替えられるレーザレンジセン
サを付与し、教示時には効果器の姿勢だけを正確に教え
る。高さ方向は作業時にセンサデータをフィードバック
させるという教示方法を提案している。この方法は、効
果器姿勢だけを教示時に注意して教えればよいため、教
える自由度が減少し、オペレータの負荷の軽減には役立
つ。

【０００６】また、他の例として、特開平５−１０８１
３１のようにテレビカメラを用いて予めワークに付けた
マークを認識し、経路を識別して教示データを計算機上
で自動生成する方式もある。

【０００７】

【発明が解決しようとする課題】上記図１１に示すよう
な従来の教示システムは、作業において、経路が複雑に
なれば教示ポイントも増え、教示時間が増加し、コスト
の増大の要因となる。また、オペレータにかかる負荷も
増大する等の問題がある。

【０００８】さらに、特開昭６３−１５３０６のような
システムでは、経路が複雑になった場合、センシング条
件が満足されているかを確認する手段がないため、作業
時にはセンシングそのものがうまくいかない場合が生じ
る。また、特開平５−１０８１３１のようなシステム
は、奥行き方向は拘束されているため、平面データのみ
の取扱いしかできないという問題がある。

【０００９】このように、教示ボックスを使った教示デ
ータの作成には多大な時間と労力がかかり、作業コスト
を大きく増大させてしまうという大きな欠点がある。ま
た、センサ情報を一部取り入れ、教示作業の負荷軽減を
狙った例はあるが、その機能は不十分であり、３次元ワ
ーク上での追従作業のように経路が複雑になると、セン
シング条件を完全に満足させた教示作業を実行させるこ
とが困難である。

【００１０】マニピュレータによる作業では、対象物
（ワーク）の所定の経路表面に沿って効果器を追従させ
ることにより、所定の作業を達成する。このような作業
のための装置では、近年作業の効率化を図るためにセン
サを導入したシステムの利用が増加している。従来は、
多くの場合、教示再生型のマニピュレータが用いられて
いるが、このような従来の装置に比べて、センサを導入
したシステムでは、作業実行時の環境不確実性、例え
ば、ワークの固体差により教示データとのずれ等をオン
ラインで対処できるというメリットはあるが、作業時
に、上記の環境不確実性に対処できるようにさせるため
には、教示時に使用するセンサの動作条件を満足させる
ような教示作業を実行しなければならない。一般に、セ
ンサは効果器に対して位置姿勢が拘束されている。この
ため、センサの動作条件のなかでも特に考慮しなければ
ならない点は、教示位置においてセンサの検出範囲を満
足するように効果器の位置姿勢を決めなければならない
ことである。つまり、センサを導入したことにより、セ
ンシング可能なセンサ姿勢を予め決められている効果器
の位置姿勢を満足させながら教示位置において決定しな
ければならないという問題が新たに発生する。

【００１１】本発明は、上記の点に鑑みなされたもの
で、効果器にセンサを付けて作業を実行する場合に、使
用センサの仕様に応じたセンサの姿勢の保証、センサ及
び効果器の姿勢を同時に最適にすることが可能な教示装
置を提供することを目的とする。

【００１２】

【課題を解決するための手段】図１は、本発明の原理構
成図である。本発明は、マニピュレータと該マニピュレ
ータのコントローラ、該マニピュレータに保持された効
果器、該効果器近傍に保持されたセンサ、該センサから
得られる情報をモニタするモニタ手段より構成され、該
マニピュレータを被作業対象物上を所定の経路に沿って
動作するように教示データを作成する教示装置であっ
て、効果器及びセンサの位置・姿勢を決定するためにマ
ニピュレータに付設されているセンサの情報をフィード
バックするセンサデータ転送手段１０と、フィードバッ
クされた情報を２次元及び３次元のグラフィックス指
示、音声指示にマルチモーダル変換する変換手段２０
と、変換された情報をオペレータに提示するオペレータ
提示手段３０を有する。

【００１３】本発明は、効果器とセンサを含むマニピュ
レータ及び被作業対象のグラフィクスモデルを生成する
グラフィクスモデル生成手段２１と、グラフィクスモデ
ル生成手段の実映像を獲得する実映像獲得手段２２と、
マニピュレータの手先位置・姿勢座標を検出する検出手
段２３と、オペレータの３次元位置・姿勢を検出する位
置・姿勢検出手段２４と、効果器とセンサを含むマニピ
ュレータ及び被作業対象のグラフィクスモデルをモニタ
表示するモニタ表示手段３１と、手先位置・姿勢座標と
オペレータ３次元位置・姿勢座標から効果器に対するビ
ューイング変換するビューイング変換手段２５と、セン
サデータから演算される特徴点データの位置に従ってマ
ニピュレータを動作させる方向をグラフィクスモデルを
用いて表示する方向表示手段３２を有する。

【００１４】また、上記の方向表示手段３２は、シース
ルー型ディスプレイモニタ上に、グラフィクスモデル及
びその実映像を単独あるいはオーバレイして表示する手
段と、ディスプレイモニタにオーバレイした３次元グラ
フィクスモデルを動作させマニピュレータの移動方向を
指示する手段とを含む。

【００１５】また、本発明は、教示作業に必要な指示を
音声あるいは音響としてオペレータに提示する手段と、
マニピュレータの手先のセンサのセンサデータから演算
される特徴点データに基づいて指示音声あるは音響を選
択する手段を更に有する。また、本発明は、音声等をヘ
ッドホーンを用いてオペレータに提示する手段と、効果
器またはセンサ近傍に設置したスピーカにより提示する
手段を含む。

【００１６】また、本発明は、音声によりモニタ画面上
のウィンドウを制御する手段と、音声によりウィンドウ
内に表示されている図面を拡大／縮小する手段と、音声
により教示指示のために音声の出力を制御する手段を含
む。また、本発明は、マニピュレータ付近に取り付けら
れた一連の光源群を駆動する手段と、センサデータから
演算される特徴点データの位置に基づいて光源群駆動パ
ターンを決定する手段と、駆動パターンに基づいてＬＥ
Ｄにマニピュレータ移動方向を表示させる手段を更に有
する。

【００１７】また、本発明の、光源群は、ＬＥＤであ
り、効果器、センサまたは、それらの近傍に取り付けら
れる。また、本発明は、マニピュレータの効果器に取付
けられたＣＣＤカメラにより作業ワークの局所的情報を
モニタリングする手段と、マニピュレータの効果器に取
付けられた複数の近傍のセンサにより作業ワークと干渉
チェックする手段を更に有する。

【００１８】また、本発明は、センサデータのモニタ情
報に基づいて、効果器及びセンサの３次元モデルによる
グラフィクス指示、音声による指示、光源群による指示
をマルチモーダルに出力する手段を含む。また、本発明
は、効果器及びセンサの３次元モデルによるグラフィク
ス指示、音声による指示、光源群による指示を同時出
力、選択的出力または、グルーピング出力する。

【００１９】また、本発明は、与えられた作業仕様及び
該作業仕様の許容値を入力する手段と、マニピュレータ
の動作範囲に代表される作業システムの制約条件を入力
する手段と、マニピュレータに装着された各種センサ情
報を入力する手段と、作業仕様、制約条件、センサ情報
を統合する手段と、統合された情報をマルチモーダルイ
ンタフェースを介してオペレータに提示する手段を有す
る。

【００２０】このように、本発明は、センサ情報から得
られる効果器位置・姿勢情報から作業仕様を満足するた
めに必要な教示位置・姿勢にロボットを位置付けするた
めの支援手段として、多種類のメディアを利用してオペ
レータに提示するものであり、画面に２次元及び３次元
のグラフィックインタフェースによりロボットを動作さ
せる方向を指示すると共に、音声によってもロボットを
移動させる方向をオペレータに知らせる。

【００２１】また、ディスプレイ上に表示する場合に、
センサデータとオペレータに指示するためのデータをオ
ーバーレイして表示することにより、適切な作業が可能
となる。また、表示手段に表示される２次元、３次元の
グラフィックインタフェースにより作業仕様とセンサ視
野を対応付けて教示作業を行うことが可能である。

【００２２】また、ディスプレイに表示するのみなら
ず、音声や音響を用いることにより、視覚のみならず、
聴覚による支援も可能である。さらに、表示するのはデ
ィスプレイのみならず、ＬＥＤによる提示等も可能であ
る。

【００２３】従って、オペレータは、これらの情報に従
ってロボットを動かすことにより、教示データを容易に
作成することができる。

【００２４】

【発明の実施の形態】以下に、本発明の実施の形態とし
て、第１〜第６の教示装置ついて説明する。 ［第１の教示装置］図２は、本発明の第１の教示装置の
構成を示す。同図に示す教示装置は、多関節マニピュレ
ータ１０１、手先効果器１０２、手先効果器１０２に搭
載したレンジセンサ１０３、マニピュレータ１０１に接
続されるコントーラ２００、教示ボックス２０１、教示
部３００より構成される。

【００２５】コントーラ２００は、教示ボックス２０１
から入力された教示データを記憶する教示データ記憶部
２０４、教示データ記憶部２０４より教示データを読み
出してマニピュレータ１０１の位置・姿勢を演算する位
置姿勢演算部２０３により求められた位置・姿勢に基づ
いてマニピュレータ１０１の動作経路を生成する経路生
成部２０２より構成される。

【００２６】教示部３００は、モデル生成部３５１、レ
ンジセンサ１０３から転送されたデータを処理するセン
シングデータ処理部３１０、マニピレータの位置や姿勢
情報を記憶するロボット手先位置姿勢記憶部３２１、モ
デル生成部３５１、オペレータの位置・姿勢情報よりオ
ペレータの位置を検出するオペレータ位置姿勢記憶部３
３１、モデル動作制御部３５２及びモデル姿勢変換部３
５３より構成される。また、教示部３００には、オペレ
ータ位置検出部４００と表示部５００が接続されてい
る。

【００２７】センシングデータ処理部３１０は、前処理
部３１１、特徴点検出部３１２及びデータ記憶部３１３
を有し、マニピュレータ１０１から転送されたセンシン
グデータのノイズ除去、経路１０５の断面データ取得、
及び特徴点の検出を行う。また、ロボット手先位置姿勢
記憶部３２１、オペレータ位置姿勢記憶部３３１及びオ
ペレータ位置検出部４００は、ロボット（マニピュレー
タ）やオペレータの位置姿勢を検出し、モデル生成部３
５１、モデル姿勢変換部３５３及びモデル動作制御部３
５２は、手先効果器１０２とレンジセンサ１０３の３次
元モデルを生成・変換・制御する。

【００２８】なお、同図において、説明のためのマニピ
ュレータ１０１は、作業対象ワーク１０４において作業
経路１０５に沿って作業を行うものとする。図３は、本
発明の第１の教示装置の動作を示すフローチャートであ
る。 ステップ１０１） オペレータは、作業対象ワーク１０
４の作業経路１０５に対して教示ボックス２０１を用い
て、マニピュレータ１０１を作業経路１０５上の所望の
教示位置付近に位置付ける。

【００２９】ステップ１０２） センシングデータ処理
部３１０では、ノイズ除去処理、経路断面データ、特徴
点位置を求める。 ステップ１０３） オペレータ位置検出部４００は、ロ
ボットワールド座標系におけるオペレータの３次元位置
・姿勢を検出する。

【００３０】ステップ１０４） 次に、モデル姿勢変換
部３５３において、コントローラ２００からのロボット
の手先位置・姿勢データとオペレータ位置姿勢検出部３
３１からのデータを、オペレータから見た効果器１０２
とレンジセンサ１０３の３次元モデルにビューイング変
換する。

【００３１】ステップ１０５） モデル動作制御部３５
２３は、３次元モデルにビューイング変換されたデータ
を表示できる形式にする。 ステップ１０６） モデル動作制御部３５２においてオ
ペレータに教示ボックス２０１の操作指示を表示部５０
０に表示することにより、提示する。

【００３２】ステップ１０７） これにより、オペレー
タは操作指示に従って教示位置にマニピュレータ１０１
を位置付けする。 上記のような教示装置により教示ボックス２０１で教示
データを作成する際に、レンジセンサ１０３からのセン
シングデータに基づいてマニピュレータ１０１を移動さ
せる方向を多種類のメディアを介してオペレータに指示
し、作業仕様とセンサ視野を満足する教示データを作成
する機能を実現する。

【００３３】［第２の教示装置］図４は、本発明の第２
の教示装置の構成を示す。同図に示す第２の教示装置
は、第１の教示装置と教示部３００の構成が異なる。第
２の教示装置の教示部３００は、センシングデータ処理
部３１０と、ロボット手先位置姿勢記憶部３２１、オペ
レータ位置姿勢演算部３３１よりなる位置姿勢処理部３
２０と、モデル姿勢変換部３５３、モデル動作制御部３
５２、第１のモデル生成部３５４、及び第２のモデル生
成部３５５よりなるモデル処理部３５０から構成され
る。また、この教示部３００には、モデル合成部（表示
部）５１０が接続される。このモデル合成部（表示部）
５１０は、シースルー型のディスプレイモニタを用いる
ものとする。

【００３４】この第２の教示装置は、第１のモデル生成
部３５４と第２のモデル生成部３５５においてオペレー
タの位置姿勢からオペレータの右目、左目で見た３次元
のモデルを生成する。例えば、オペレータの右目のモデ
ルを第１のモデル生成部３５４で生成し、左目のモデル
を第２のモデル生成部３５５で生成する。これにより、
グラフィックモデル及びその実映像を単独またはオーバ
ーレイして表示する。そして、モデル動作制御部３５２
により表示部５１０にオーバーレイした３次元モデルを
動作させ、マニピュレータ１０１の移動方向の指示を行
う。これにより、オペレータは、当該指示に従って、教
示ボックス２０１を用いて教示作業を行う。

【００３５】［第３の教示装置］図５は、本発明の第３
の教示装置の構成を示す。同図に示す第３の教示装置
は、前述の第１、第２の教示装置と教示部の構成が異な
る。第３の教示装置の教示部３００は、センシングデー
タ処理部３１０と音声処理部３６０から構成される。

【００３６】音声処理部３６０は、音声コマンド入力部
３６１、音声コマンド記憶部３６２、音声コマンド選択
部３６３、音声コマンド出力部３６４より構成される。
まず、音声教示時に、音声コマンドを音声コマンド入力
部３６１より入力し、音声コマンド記憶部３６２に記憶
する。特徴点検出部３１２から取得される特徴点データ
の位置に従って、音声コマンド選択部３６３において適
切な教示用指示コマンドが選択されて、音声コマンド出
力部３６４から出力される。

【００３７】従って、センシングデータ処理部３１０の
特徴点検出部３１２で検出された特徴点データのセンサ
座標系での位置に従って音声出力される。 ［第４の教示装置］図６は、本発明の第４の教示装置の
構成を示す。同図に示す第４の教示装置の教示部３００
は、前処理部３１１、特徴点検出部３１２、特徴点記憶
部３１３よりなるセンシングデータ処理部３１０と、ロ
ボット手先位置姿勢記憶部３２１、オペレータ位置姿勢
演算部３３１よりなる位置姿勢処理部３２０と、モデル
生成部３９１、モデル動作制御部３９２よりなる３次元
モデル処理部３９０と、画面制御部３８１、選択部３８
２、演算部３８３よりなる画面処理部３８０と、音声認
識部３７１、音声識別部３７２、第１の音声記憶部３７
３、第２の音声記憶部３７４よりなる音声処理部３７０
と、表示部５１０、音声入力部３７５、及び音声出力部
３７６より構成される。

【００３８】まず、教示用指示コマンドを第１の音声記
憶部３７３、画面制御用コマンド及び教示用指示コマン
ドを制御するコマンドを第２の音声記憶部３７４に音声
入力部３７５より登録しておき、マニピュレータ１０１
を教示位置付近に近づけた時、表示部５１０に方向指示
が表示される。さらに、上記の第３の教示装置の教示用
指示コマンドを音声コマンド出力部３６４から出力され
る。

【００３９】［第５の教示装置］図７は、本発明の第５
の教示装置の構成を示す。同図に示す第５の教示装置の
教示部３００は、センシングデータ処理部３１０と、矢
印パターン選択部７１０、ＬＥＤ駆動部７２０からなる
ＬＥＤ処理部７００及びＬＥＤ表示部８００より構成さ
れる。センシングデータ処理部３１０において、特徴点
データが演算され、マニピュレータを動かす方向が決定
され、その方向に従ってＬＥＤ処理部７００においてＬ
ＥＤ表示部８００に矢印パターンを表示する。

【００４０】［第６の教示装置］図８は、本発明の第６
の教示装置の構成を示す。同図に示す第６の教示装置の
教示部３００、前処理部３１１、特徴点検出部３１２及
びデータ記憶部３１３よりなるセンシングデータ処理部
３１０と、距離演算部９１０、距離判定部９２０よりな
る干渉チェック検出部９００と、距離−音声／音響変換
部５３０と、音声／音響出力部５４０及びグラフィック
表示部５１０から構成される。

【００４１】干渉チェック検出部９００は、ＣＣＤカメ
ラ１２０により作業ワークの局所的情報をモニタリング
された結果を用いてワーク１０４と周囲物体の空間的距
離を計算する距離演算部９１０、距離判定部９２０で算
出された距離と所定の値を比較して周囲物体との距離が
所定値より小さくなった場合、即ち、他の物体に近づい
た時に、その旨を距離−音声／音響変換部５３０で音声
または音響に変換して、音声／音響出力部５４０に転送
する。音声／音響出力部５４０は、変換された音声また
は音響を出力する。表示部５１０は、干渉チェック検出
部９００で得られた他物体との近接情報を表示する。

【００４２】つまり、オペレータに対して表示されるデ
ータは、センサデータにＣＣＤカメラ１２０により取得
した作業ワークの局所情報とがオーバーレイされて表示
されると共に、マニピュレータ１０１が近づきすぎた場
合に音声または、音響により警告が出力される。

【００４３】

【実施例】以下、本発明の実施例を説明する。以下に、
マニピュレータ１０１の作業を溶接作業を例として作業
内容を説明する。

【００４４】溶接作業では、ワーク１０４の作業経路１
０５に沿って手先効果器１０２である溶接トーチを近づ
け、経路に従って連続的に溶接を実行し、ワーク１０４
同士を貼り合わせる。教示システムでは、ロボットの動
作の経路を決定するために、教示ボックス２０１を用い
てオペレータが溶接線路上の点を入力していく。 以下
に説明する教示装置では、教示ボックス２０１で教示デ
ータを作成する際に、レンジセンサ１０３からのセンシ
ングデータに基づいて、マニピュレータ１０１を移動さ
せる方向を多種類のメディアを通してオペレータに指示
し、作業仕様とセンサ視野を満足する教示データを作成
する。

【００４５】［第１の実施例］本実施例は、図２に基づ
いて説明する。まず、オペレータは、作業対象ワーク１
０４の作業経路１０５に対して教示ボックス２０１を用
いて、マニピュレータ１０１を作業経路１０５上の望ん
だ教示位置付近に位置付ける。この際、予め決められた
作業仕様とセンサ視野範囲を確保するという拘束条件を
満足するように、効果器１０２の位置・姿勢を決めるた
めに、教示部３００では、以下に示す方法でマルチモー
ダルな情報をオペレータに提示する。

【００４６】（１） まず、効果器１０２の先端を教示
位置付近に位置づけた時のレンジセンサ１０３のセンシ
ングデータ（この場合、作業経路１０５の断面データ）
は教示部３００のセンサ処理部３１０の前処理部３１１
によってフィルタリング処理等によりノイズ除去が行わ
れる。

【００４７】（２） 次に、作業経路１０５の断面デー
タからエッジに相当する位置（特徴点位置）を特徴点検
出部３１２により検出する。この経路断面データと特徴
点位置はセンサ座標系で求められる。これらのデータを
データ記憶部３１３に記憶する。

【００４８】（３） 次に、予めマニピュレータ１０１
の手先効果器１０２とレンジセンサ１０３の３次元モデ
ルをモデル作成部３５１において作成する。作成された
３次元モデルはモデル姿勢変換部３５３によりビューイ
ングデータに変換されて、モデル動作制御部３５２に送
られる。

【００４９】（４） モデル動作制御部３５２は、上記
の教示位置付近での経路の断面データと３次元モデルを
表示部５００上の各ウィンドウに表示する。 （５） 一方、オペレータ位置・姿勢検出部４００にお
いて、ロボットワールド座標系におけるオペレータの３
次元位置・姿勢を検出し、オペレータ位置・姿勢記憶部
３３１に転送する。この位置・姿勢データはリアルタイ
ムで取得されるものとする。また、この処理と並行して
コントローラ２００からロボットの手先位置・姿勢デー
タが送られ、ロボット手先位置姿勢記憶部３２１に格納
される。これらの２種類の位置・姿勢データは同期、非
同期のどちらでも構わない。

【００５０】（６） モデル姿勢変換部３５３は、ロボ
ット手先位置姿勢記憶部３２１とオペレータ位置姿勢記
憶部３３１の２つの位置・姿勢データよりオペレータか
らみた効果器１０２とレンジセンサ１０３の３次元モデ
ルにビューイング変換し、表示部５００に表示する。

【００５１】これにより表示部５００に表示された効果
器１０２とレンジセンサ１０３の３次元モデルと、オペ
レータが実際に見ている効果器１０２とレンジセンサ１
０３の実体が一致するため、操作性のすぐれたグラフィ
ックユーザインタフェース環境を提供することができ
る。

【００５２】（７） 次に、モデル動作制御部３５２に
おいて、オペレータにグラフィックユーザインタフェー
スを用いて、教示ボックス２０１の操作の指示を提示す
る。つまり、このモニタ画面の３次元モデルに表示され
る指示と断面データウィンドウの表示結果により、オペ
レータは、作業仕様及びセンサ視野を満足させた教示位
置にマニピュレータ１０１を位置付けることができる。

【００５３】図９は、本発明の第１の実施例において表
示部に表示されるモニタ画面の例を示す。同図を用いて
教示データ作成手順を説明する。同図においてウィンド
ウ２８は、レンジセンサ１０３から得られるセンシング
データのウィンドウであり、ウィンドウ３３〜３５は、
効果器１０２とレンジセンサ１０３の３次元モデル表示
ウィンドウである。センシングデータのウィンドウ２８
において、ａは作業経路の断面データ、ｂはセンサ座標
系での特徴点座標３０、ｃは使用レンジセンサ１０３の
仕様から決まるセンサ視野、ｄは、作業仕様から決まる
効果器姿勢許容範囲を表している。ここでは、一般に、
教示作業で困難とされている効果器１０２の姿勢を決定
するための情報提示について説明する。まず、マニピュ
レータ１０１を教示位置付近に位置付けたとき、特徴点
座標ｂがセンサ視野外にある場合、センサ視野内に特徴
点を入れる必要がある。この場合、特徴点位置に従っ
て、モデルウィンドウ３３〜３５にマニピュレータの姿
勢を変更する方向が矢印で表示される。この指示に従っ
て、オペレータは教示ボックス２０１を操作する。矢印
の方向を決定する方法は、例えば、特願平７−４３１７
に開示されている方法を適用するものとする。

【００５４】ウィンドウ３３では、ｘ方向操作のための
ｚ軸回りの姿勢変更を、ウィンドウ３４はｚ方向操作の
ためのｘ軸回りの姿勢変更を、また、ウィンドウ３５
は、ウィンドウ２８のθを調整するための操作方向を示
している。なお、各軸回りの姿勢変更に伴って効果器１
０２の姿勢許容範囲ｄも移動するため、オペレータは特
徴点がこの範囲内にも入るように姿勢を変更することに
より、センサ視野範囲と作業使用を同時に満足する教示
データを作成することができる。

【００５５】姿勢方向を指示する方法は、上記の矢印以
外にも可能であり、例えば、モデル自身の揺動によりオ
ペレータに指示することも可能である。 ［第２の実施例］次に本発明の第２の実施例を図４と共
に説明する。

【００５６】本実施例の教示部３００は、位置姿勢演算
部３３１、センシングデータ処理部３１０、モデル処理
部３５０とオペレータが頭部に装着するタイプの表示部
５００より構成される。センシングデータ処理部３１
０、位置姿勢演算部３２０のロボット手先位置姿勢記憶
部３２１とオペレータ位置姿勢演算部３３１及びモデル
姿勢変換部３５３、モデル動作制御部３５２については
前述の第１の実施例と同様である。

【００５７】本実施例では、マニピュレータ１０１を教
示位置付近に移動させた時のレンジセンサ１０３から得
られる作業経路の断面データから演算される特徴点の位
置から前述の第１の実施例と同様の方法で、マニピュレ
ータを動かす方向を自動的に演算する。この際、ロボッ
トの手先位置姿勢とオペレータの位置姿勢からオペレー
タの右目及び左目で見た３次元のモデルを各々第１のモ
デル生成部３５４、第２のモデル生成部３５５とモデル
姿勢変換部３５３により作成し、表示部５１０に表示す
る。この効果器１０２とレンジセンサ１０３の実像に、
第１のモデル生成部３５４、第２のモデル生成部３５５
により生成された３次元のモデルを重ね合わせて表示す
ることが可能である。

【００５８】次に、モデル動作制御部３５２によって特
徴点の位置から演算されたマニピュレータ１０１の動作
方向へ表示部５１０に表示されている３次元モデルを揺
動させ、オペレータにマニピュレータ動作方向を提示す
る。この指示に従って、オペレータは教示ボックス２０
１を使って教示作業を実行する。

【００５９】このような機能を実現することにより、オ
ペレータは従来の教示法と同様に表示部５１０を介して
マニピュレータ１０１の手先のみを見て教示すればよい
ため、作業仕様及びセンサ視野を考慮した教示作業が容
易になる。 ［第３の実施例］次に、第３の実施例を図５と共に説明
する。

【００６０】本実施例の教示部３００は、センシングデ
ータ処理部３１０と音声処理部３６０から構成される。 （１） まず、教示時にオペレータにとって容易に理解
できる教示用指示コマンドを予め音声コマンド入力部３
６１から入力し、音声コマンド記憶部３６２に登録して
おく。

【００６１】（２） 次に、実際の教示作業時にレンジ
センサ１０３から入力される作業経路１０５の断面デー
タとデータ記憶部３１３を読み込んで得られる特徴点デ
ータのセンサ座標系での位置に従って、音声コマンド選
択部３６３により適切な教示用指示コマンドが選択さ
れ、音声コマンド出力部３６４から出力される。

【００６２】図１０は、本発明の第３の実施例の教示用
指示コマンドの登録の例を示す。同図に示すコマンド
は、音声記憶部３６２の音声コマンド登録テーブル４７
に登録されている。例えば、レンジセンサ１０３が作業
経路１０５から離れている時に適切な距離に位置付ける
必要がある場合、音声コマンド選択部３６３は、音声記
憶部３６２の音声コマンド登録テーブル４７から１６番
目のコマンド『PITCH DOWN』を選択する。移動方向の決
定方法は、前述の第１の実施例と同様に、特徴点位置に
よって決定される。また、教示用指示コマンドの出力
は、特徴点がセンサ視野に入るまで音声出力部３６４か
ら出力される。

【００６３】（３） 特徴点がセンサ視野に入ると、音
声コマンド選択部３６３は、音声登録テーブル４７から
３２番目の“ＯＫ”コマンドを選択し、音声コマンド出
力部３６４に送り、ｚ方向の姿勢が所望の教示姿勢にな
ったことを知らせる。また、他の姿勢決定についても同
様な手順で行われる。

【００６４】従って、本実施例によれば、教示操作時に
音声により適切なマニピュレータ１０１の移動指示をセ
ンサデータに基づいて、オペレータに対して与えること
が可能である。 ［第４の実施例］次に、本発明の第４の実施例を図６と
共に説明する。

【００６５】本実施例において、センシングデータ処理
部３１０、ビュー変換部３２０、３次元モデル処理部３
９０で実行される処理は、第１の実施例と同様である。
本実施例では、これらの処理と同期して、音声による教
示指示が行われる。本実施例では、教示用の音声コマン
ドを格納するための第１の記憶部３７３と画面制御用コ
マンドを格納するための第２の記憶部３７４を設け、音
声入力部３７５から入力されたコマンドを認識し、教示
音声コマンドか制御コマンドかを識別し、それぞれの記
憶部に格納しておき、オペレータの操作に応じて、音声
による教示用指示または、画面による指示を提示するも
のである。

【００６６】（１） 第２の実施例と同様に音声入力部
３６１より教示用指示コマンドを第１の音声コマンド記
憶部３７３に格納し、画面制御用コマンド及び教示用指
示コマンドを制御する制御コマンドを第２の音声記憶部
３７４に格納する。 （２） 次に、マニピュレータ１０１を教示位置付近に
近づけた時に、センシングデータと３次元モデルによる
方向指示が表示部５１０に表示される。

【００６７】（３） これと並行して前述の第２の実施
例に従った教示用指示コマンドを出力するために、音声
入力部３７５より教示開始コマンドを音声入力する。こ
れらのコマンドは、音声認識部３７１で認識され、さら
に、音声識別部３７２で登録音声から識別され、対応す
る教示用指示コマンドが第１の音声記憶部３７３から選
択され、音声出力部３７６から出力される。

【００６８】また、音声停止コマンド、結果確認コマン
ド等を用意しておくことにより、マニピュレータとのイ
ンタラクディブな教示作業が可能となる。このように、
オペレータは３次元モデルによる指示と教示用指示コマ
ンドを聞きながら教示作業を実行する。

【００６９】（４） この際、さらに、第２の音声記憶
部３７４に記憶されている画面制御コマンドを音声入力
部３６１から入力することにより、教示作業中に表示部
５００に表示させるセンサデータモニタと３次元モデル
ウィンドウの各種制御を行うことができる。

【００７０】例えば、ウィンドウ選択コマンドを音声入
力部３６１から入力すると、画面選択部３８２により所
望の画面のみが表示部５００に表示される。また、制御
コマンドである拡大／縮小コマンドを音声入力すると、
画面内の一部分がコマンドに応じて拡大／縮小され、教
示作業に必要な詳細情報のみを提示させることができ
る。

【００７１】なお、音声コマンド指示と３次元モデルに
よるマニピュレータの移動方向指示は、並列に実行され
るため、オペレータは必要に応じてどちらか一方、ある
いは両方の指示を参考に教示作業を実行することもでき
る。 ［第５の実施例］次に本実施例を図７と共に説明する。

【００７２】本実施例は、マニピュレータ１０１付近に
ＬＥＤを駆動するためのＬＥＤ駆動部７２０にマニピュ
レータ１０１の移動方向を表示させる例である。 （１） まず、レンジセンサからのセンシングデータを
センシングデータ処理部３１０で特徴点データが求めら
れ、特徴点の位置に従ってマニピュレータ１０１を動か
す方向が決定される。

【００７３】（２） 決定された方向に従って、ＬＥＤ
処理部７００でＬＥＤ表示部８００に表示するための矢
印パターンを矢印パターン選択部７１０を用いて選択す
る。 （３） 選択されたパターンは、ＬＥＤ駆動部７２０に
よりＬＥＤ表示部８００に矢印パターンを表示する。表
示する矢印パターンとしては、所望の座標系での並進３
自由度、回転３自由度の６自由度に対して２パターンず
つ計１２パターンと、“ＯＫ”パターン合わせて１３パ
ターンを表示する。

【００７４】このようにすることにより、オペレータ
は、実際の効果器１０２とレンジセンサ１０３と作業経
路１０５の位置関係を実際に見ながら教示ボックス２０
１を操作して教示データを入力できるため、教示作業が
容易となる。 ［第６の実施例］次に、本実施例を図８と共に説明す
る。

【００７５】本実施例は、マニピュレータ１０１の効果
器１０２に取り付けられたＣＣＤカメラ１２０により作
業ワーク１０４のモニタリングされた局所的情報をセン
サデータにオーバーレイして表示するものである。 （１） レンジセンサ１０３からセンシングデータとセ
ンシングデータ処理部３１０から特徴点データを求め、
マニピュレータ１０１を動かす方向を決定する。

【００７６】（２） （１）と同時に、レンジセンサ１
０３に付けられたＣＣＤカメラ１２０から被作業対象物
の大局的な２次元映像を取得し、表示部５１０にセンサ
データとオーバーレイさせて表示する。 （３） 次に、教示データを作成するためにマニピュレ
ータ１０１動作中に、レンジセンサ１０３に取付けられ
た近接センサ１３０より実時間で被作業対象物の周囲物
体との空間的距離が検出され、周囲物体との干渉チェッ
クを実行する。これは、近接センサ１３０からの信号を
距離演算部９１０で距離値に変換し、距離判定部９２０
において、予め設定されている閾値と比較し、閾値以下
になった場合に、その旨を距離−音声／音響変換部５３
０において音声または音響に変換して、音声／音響出力
部５４０に出力する。

【００７７】（４） これにより、音声／音響出力部５
４０は、音声あるいは音響を出力してオペレータに知ら
せる。 （５） また、同時に、この出力を表示部５１０により
グラフィックス情報としてオペレータに提示する。

【００７８】オペレータは、上記の被作業対象物の２次
元映像による大局的な情報、音声／音響情報及びグラフ
ィック情報による干渉チェック情報を実時間で提示させ
ることにより、教示作業を安全に進めることが可能とな
る。なお、干渉チェック用の近接センサとしては、例え
ば、超音波センサ、レーザポイントセンサが使用でき
る。また、センサを複数個使用することにより、より精
密な干渉チェックが可能となる。

【００７９】なお、本発明は、上記の各実施例に限定さ
れることなく、特許請求の範囲内において、種々変更・
応用が可能である。

【００８０】

【発明の効果】上述のように、本発明の教示装置は以下
のような効果を奏する。効果器にセンサを付けて作業実
行するような装置において、本発明の教示装置のような
マルチモーダルなインタフェースを用いることにより、
作業仕様及びその許容値、システム制約条件、センサ情
報の有効利用を図った教示、即ち仕様センサの仕様に応
じたセンサの姿勢保証、センサ及び効果器の姿勢を同時
に最適にする教示データの作成を容易に行うことが可能
である。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の第１の教示装置の構成図である。

【図３】本発明の第１の教示装置の動作を示すフローチ
ャートである。

【図４】本発明の第２の教示装置の構成図である。

【図５】本発明の第３の教示装置の構成図である。

【図６】本発明の第４の教示装置の構成図である。

【図７】本発明の第５の教示装置の構成図である。

【図８】本発明の第６の教示装置の構成図である。

【図９】本発明の第１の実施例において表示部に表示さ
れるモニタ画面の例を示す図である。

【図１０】本発明の第３の実施例の教示用指示コマンド
の登録の例を示す図である。

【図１１】従来の教示ボックスによるリモートティーチ
法を説明するための図である。

【符号の説明】

１０ センサデータ転送手段 ２０ 変換手段 ２１ グラフィックモデル生成手段 ２２ 実映像獲得手段 ２３ マニピュレータ位置姿勢検出手段 ２４ オペレータ位置・姿勢検出手段 ２５ ビューイング変換手段 ３０ オペレータ提示手段 ３１ モニタ表示手段 ３２ 方向表示手段 ２８，３３，３４，３５ ウィンドウ ４７ 音声コマンド登録テーブル １０１ マニピュレータ １０２ 効果器 １０３ レンジセンサ １０４ 作業ワーク １０５ 作業経路 １１０ ＬＥＤ ２００ コントーラ ２０１ 教示ボックス ２０２ 経路生成部 ２０３ 位置姿勢演算部 ２０４ 教示データ記憶部 ３００ 教示部 ３１０ センシングデータ処理部 ３１１ 前処理部 ３１２ 特徴点検出部 ３１３ データ記憶部 ３２０ ビュー変換部 ３２１ ロボット手先位置姿勢記憶部 ３３１ オペレータ位置姿勢記憶部 ３５１ モデル生成部 ３５２ モデル動作制御部 ３５３ モデル姿勢変換部 ３５４ 第１のモデル生成部 ３５５ 第２のモデル生成部 ３６１ 音声コマンド入力部 ３６２ 音声コマンド記憶部 ３６３ 音声コマンド選択部 ３６４ 音声コマンド出力部 ３７０ 音声処理部 ３７１ 音声認識部 ３７２ 音声識別部 ３７３ 第１の音声記憶部 ３７４ 第２の音声記憶部 ３７５ 音声入力部 ３７６ 音声出力部 ３８０ 画面処理部 ３８１ 画面制御部 ３８２ 選択部 ３８３ 演算部 ３９０ ３次元モデル処理部 ３９１ モデル生成部 ３９２ モデル動作制御部 ４００ オペレータ位置検出部 ５００，５１０ 表示部 ５３０ 距離−音声／音響変換部 ５４０ 音声／音響出力部 ７００ ＬＥＤ処理部 ７１０ 矢印パターン選択部 ７２０ ＬＥＤ駆動部 ８００ ＬＥＤ表示部 ９００ 干渉チェック部 ９１０ 距離演算部 ９２０ 距離判定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 梅野 光 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 マニピュレータと該マニピュレータのコ
   ントローラ、該マニピュレータに保持された効果器、該
   効果器近傍に保持されたセンサ、該センサから得られる
   情報をモニタするモニタ手段より構成され、該マニピュ
   レータを被作業対象物上を所定の経路に沿って動作する
   ように教示データを作成する教示装置であって、 前記効果器及び前記センサの位置・姿勢を決定するため
   に前記マニピュレータに付設されている前記センサの情
   報をフィードバックするセンサデータ転送手段と、 フィードバックされた情報を２次元及び３次元のグラフ
   ィックス指示、音声指示にマルチモーダル変換する変換
   手段と、 変換された情報をオペレータに提示するオペレータ提示
   手段を有することを特徴とする教示装置。
2. 【請求項２】 前記効果器と前記センサを含む前記マニ
   ピュレータ及び被作業対象のグラフィクスモデルを生成
   するグラフィクスモデル生成手段と、 前記グラフィクスモデル生成手段の実映像を獲得する実
   映像獲得手段と、 前記マニピュレータの手先位置・姿勢座標を検出するマ
   ニピュレータ位置・姿勢検出手段と、 オペレータの３次元位置・姿勢を検出するオペレータ位
   置・姿勢検出手段と、 前記効果器と前記センサを含む前記マニピュレータ及び
   前記被作業対象のグラフィクスモデルをモニタ表示する
   モニタ表示手段と、 手先位置・姿勢座標とオペレータ３次元位置・姿勢座標
   から前記効果器に対するビューイング変換するビューイ
   ング変換手段と、 センサデータから演算される特徴点データの位置に従っ
   て前記マニピュレータを動作させる方向を前記グラフィ
   クスモデルを用いて表示する方向表示手段を有する請求
   項１記載の教示装置。
3. 【請求項３】 前記方向表示手段は、 シースルー型ディスプレイモニタ上に、前記グラフィク
   スモデル及びその実映像を単独あるいはオーバレイして
   表示する手段と、 前記ディスプレイモニタにオーバレイした前記３次元グ
   ラフィクスモデルを動作させ前記マニピュレータの移動
   方向を指示する手段とを含む請求項２記載の教示装置。
4. 【請求項４】 教示作業に必要な指示を音声あるいは音
   響としてオペレータに提示する手段と、 前記マニピュレータの手先のセンサのセンサデータから
   演算される特徴点データに基づいて指示音声あるは音響
   を選択する手段を更に有する請求項２記載の教示装置。
5. 【請求項５】 音声等をヘッドホーンを用いてオペレー
   タに提示する手段と、 前記効果器または前記センサ近傍に設置したスピーカに
   より提示する手段を含む請求項４記載の教示装置。
6. 【請求項６】 音声によりモニタ画面上のウィンドウを
   制御する手段と、 音声によりウィンドウ内に表示されている図面を拡大／
   縮小する手段と、 音声により教示指示のために音声の出力を制御する手段
   を含む請求項４記載の教示装置。
7. 【請求項７】 前記マニピュレータ付近に取り付けられ
   た一連の光源群を駆動する手段と、 前記センサデータから演算される特徴点データの位置に
   基づいて光源群駆動パターンを決定する手段と、 駆動パターンに基づいてＬＥＤにマニピュレータ移動方
   向を表示させる手段を更に有する請求項２記載の教示装
   置。
8. 【請求項８】 前記光源群は、ＬＥＤである請求項７記
   載の教示装置。
9. 【請求項９】 前記光源群は、前記効果器、前記センサ
   または、それらの近傍に取り付けられる請求項７記載の
   教示装置。
10. 【請求項１０】 前記マニピュレータの前記効果器に取
    付けられたＣＣＤカメラにより作業ワークの局所的情報
    をモニタリングする手段と、 前記マニピュレータの前記効果器に取付けられた複数の
    近傍のセンサにより作業ワークと干渉チェックする手段
    を更に有する請求項２記載の教示装置。
11. 【請求項１１】 センサデータのモニタ情報に基づい
    て、前記効果器及び前記センサの３次元モデルによるグ
    ラフィクス指示、音声による指示、光源群による指示を
    マルチモーダルに出力する手段を含む請求項２記載の教
    示装置。
12. 【請求項１２】 前記効果器及び前記センサの３次元モ
    デルによるグラフィクス指示、音声による指示、光源群
    による指示を同時出力、選択的出力または、グルーピン
    グ出力する請求項１１記載の教示装置。
13. 【請求項１３】 与えられた作業仕様及び該作業仕様の
    許容値を入力する手段と、 前記マニピュレータの動作範囲に代表される作業システ
    ムの制約条件を入力する手段と、 前記マニピュレータに装着された各種センサ情報を入力
    する手段と、 前記作業仕様、前記制約条件、前記センサ情報を統合す
    る手段と、 統合された情報をマルチモーダルインタフェースを介し
    てオペレータに提示する手段を有する請求項２記載の教
    示装置。