JPS63139689A - 遠隔マニピユレ−シヨン・システムの画像表示装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は手動操作とコンピュータによる自動操作トを併
用する遠隔マニピユレーションシステムにおいて手動操
作を容易ならしめる助けとなる画像表示システムに関す
る。

〔従来の技術〕

遠隔マニピユレーションハ、人間カマスタマニビュレー
タまたは操作レバー等（以下、両者を合わせてマスクと
呼ぶ）を操作し、その操作に応じてスレーブマニピュレ
ータ（以下、スレーブト呼び）が動作をすることにより
て実施される。

従来の多くのマニピユレーション装置は、マスクの姿勢
にスレーブの姿勢を従わせ、スレーブにがかる反力をマ
スターを介して人間に伝えるように製作されておシ、通
常スレーブの姿勢や作業状況をモニタするためのＴＶ左
カメラびＴＶディスプレイを併用し、操作を実施する。

このようなシステムにおいては、ＴＶディスプレイ上に
は、作業対象物とスレーブ手先部の現在の映像が表示さ
れるだけであった。

また、従来技術は、人間がマスクを介して、離れた所に
置かれたスレーブを間接的に動かし作業をすることから
くる困難さや、操作のわずられしさが伴う。

そこで、操作者の技能、疲労の程度に応じた操作手順を
自動的に作成、変更し、コンピュータによる自動操作と
人間による手動操作を織シ混ぜながら作業を遂行する遠
隔マニピユレーション方法及び装置が提案されている。

〔発明が解決しようとする問題点〕

上記従来技術は、手動操作時におけるマスク操作上の適
切なガイダンスの点について配慮されておらず、マスク
の操作性が悪く、操作がわずられしい等の問題があった
。

本発明の目的は、手動操作時に操作員が注視しながらマ
スク操作をするディスプレイ画面上に適切な表示を加え
、マスクの手動操作を容易にすることにある。

〔問題点を解決するための手段〕

上記目的は、手動操作とコンピュータによる自動操作を
自動的に切替えることの可能な遠隔マスタ・スレーブ・
マニピュレーション・システムにおける下記の画像表示
装置によシ達成される。

すなわち、当面像表示装置は、（１）操作指示画面発生
部、（２）操作対象映像検出部、（３）スレーブ予想位
置映像発生部、（４）画面混合部及び（５）表示部とか
ら成シ、それぞれは次のような特徴を有している。

（１）　　操作指示画面発生部は現在のスレーブ操作が
自動か手動かの別を表わす映像信号及び手動操作のため
のイイダンスを表わす映像信号を発生させる要素である
。ここで、自動か手動かの別を表わす映像及び手動操作
のためのガイダンスを表わす映像は、文字であっても図
形・記号等であっても良い。

（２）　　操作対象映像検出部は、スレーブと作業対象
物の現在の像を表わす映像信号を発生する要素、たとえ
ばＴＶ左カメラある。

（３）　　スレーブ予想位置映像発生部は、現在の作業
終了時の予想位置にあるスレーブの像を表わす映像信号
を発生させる要素である。なお、当該映像は計算手段に
よって求めるものでおりても、あらかじめ記憶手段、外
部記憶装置等に記憶されている映像情報を読出すことに
よって求めるものであってもよい。

（４）画面混合部は、上記操作指示画面発生部、操作対
象映像検出部及びスレーブ予想位置映像発生部からそれ
ぞれ発生する映像信号を混合し、スーパーインポーズし
た映像信号とする要素である。

（５）表示部は、画面混合部から発生する映像信号を表
示画面上に映し出す要素である。例えば、ＣＲＴ　、液
晶又はＥＬのディスプレー・システムである。

〔作用〕

自動操作と手動操作を自動的に切替えることの可能す遠
隔マスク・スレーブ・マニピユレーシヨン・システムに
おいては、作業プログラムに沿って自動操作と手動操作
を織シ混ぜて、作業を遂次進行するものであるが、作業
プログラム中に自動か手動かの別が表示されている。こ
の自動か手動かの表示を刻々読み出し、現在の作業が自
動であるか手動であるかを判断し、判断結果に応じた信
号を操作指示画面発生部へ伝送する。そして、操作指示
画面発生部では当信号に応じた自動か手動かの別を表わ
す映像信号を発生させる。

また、作業プログラム中には、例えば作業レベル、手順
レベル及び動作レベル等の作業要素情報が表示されてい
る。手動操作の時には、自動的に各作業要素情報を刻々
読み出し、識別・判断して、それらに応じた信号を操作
指示画面発生部へ伝送する。そして、操作指示画面発生
部では当信号に応じたガイダンスを表わす映像信号を発
生させる。

そして、操作対象映像検出部は、例えばＴＶ左カメラあ
るが、スレーブと作業対象物の現在の像を表わす映像信
号を常時発生する。

作業プログラムには、各作業要素の終了時のスレープ位
置が表示されているか、又は作業プログラムに表示され
る情報から演算することによシ各作業要素の終了時のス
レーブ位置を知ることが可能である。したがって、手動
操作終了時のま念は所定の途中段階のスレーブの位置を
予想できる。

スレーブ予想位置映像発生部は、上記のように、作業プ
ログラム表示情報に基づき、現在の作業終了時の予想位
置にあるスレーブの像を表わす映像信号を発生する。

上記の操作指示画面発生部、操作対象映像検出部及びス
レーブ予想位置映像発生部からそれぞれ発生する映像信
号は、画面混合部へ伝送される。

そして画面混合部は、これら映像信号を混合し、スーパ
ー・インポーズした映像信号を刻々合成する。

上記のように画面混合部で合成され次映像信号は表示部
へ伝送され、表示部はこの映像信号を操作員の視覚によ
り知覚できるような映像として、表示画面上に表示する
。

〔実施例〕

まず、本発明を実施するための基本的な構成例を第１図
を用いて説明する。操作手順データ入力部２０によシ、
図中省略されている記憶手段上にある操作手順のデータ
から自動か手動かの別と例えば作業レベル、手ｊ帥レベ
ル及び動作レベル等の作業要素と手動操作終了時スレー
ブ位置を表示する情報を取込む。自動か手動かの別を表
示する情報をインターフェース制御部１３０１が識別・
判断し、それに応じた信号を操作指示画面発生部１３０
４へ伝送する。また１、手動操作の時には、例えば作業
レベル、手順レベル及び動作レベルを表示する情報をイ
ンターフェース制御部１３０１が識別・判断し、それら
に応じた信号を操作指示画面発生部１３０４へ伝送する
。操作指示画面発生部１３０４はインターフェース制御
部１３０１から伝送された上記信号に応じた文字パター
ンあるいは図形ノ４ター／であるガイダンスを表わす映
像信号を発生する。

一方、手動操作終了時のスレーブ位置を表示する情報を
インターフェース制御部１３０１が識別・判断し、それ
に応じた信号を映像データ格納部８０へ伝送する。映像
データ格納部８０は、インターフェース制御部１３０１
から伝送された上記信号に応じたスレーブの映像信号を
発生する。この映像信号はｌステップの操作終了時のス
レーブ予想位置を表示するものである。

また、操作対象映像検出部７０は、スレーブ及び作業対
象物の現在の像を表わす映像信号を発生する。

これらの映像信号は画面混合部１３０５へ伝送される。

画面混合部１３０５は、自動か手動かの別を表わす映像
信号、ガイダンスを表わす映像信号、スレーブ予想位置
を表わす映像信号及びスレーブと作業対象の現在の像を
表わす映像信号を混合し、スーパーインポーズした映像
信号を刻々合成する。

そして、画面混合部１３０５で発生した映像信号は、Ｔ
Ｖモニタ一部１０２によりＣＲＴ画面上に映し出される
。

これにより、現在の操作対象物及びスレーブの偉とガイ
ダンス等が同時に同一画面上に表示されるので、操作員
の手動操作が容易になる。

このような表示出力のみでは、操作者がガイダンスを見
逃がす恐れもｓｂうるので、音声出力部１３０６により
音声合成等の手段によってガイダンスを音声にしてスピ
ーカ１３１１から発することも可能である。

インタフェース制御部１３０１は、上述の梅々の情報の
流れ、データの処理等を制御する部分であり、本発明に
係る画像表示装置の心臓部である。

本発明を実施する具体的な遠隔マニビ、レージ冒ン・シ
ステムを第２図によシ説明する。遠隔マニビュレーシ１
ン・システムは、マスタ１０１とＴＶモニタ１０２に接
続されたインターフェース手段１０３、プラン作成手段
１０４、スレーブ動作管理手段１０５、スレーブ制御手
段１０６、スレーブ制御手段１０６によシ制御されるス
レーブ１０７、スレーブの状態を検出するセンシング手
段１０８、及び前記各手段１０３．１０４，１０５゜１
０６．１０８が情報を書き込んだり、読み出したりする
記憶手段１０９、該記憶手段１０９内にありて操作者１
１０の操作技能に関するデータを格納している操作者技
術データ５１１１によって構成されている。

第３図は第２図の実施例をさらに詳しく説明するための
図である。同図では記憶手段１０９の内容、とし・て、
操作者技能データ部１１１の他、作業データ５２０１、
環境データ部２０２、装置データ部２０３、プラン部２
０４、現在状態部２０５、制御入力部２０６、センサ情
報部２０７を有している。第３図中の各々のブロックに
ついて以下に説明する。

〈現在状態部２０５〉 現在状態部２０５の内容は第４図に示すように現在実行
中の演算子番号３ｍ、実行の終了を示すフラグ３ｂ、次
に実行する演算子番号３ｃ、現在状態の記述３ｄおよび
スレーブ動作管理解除フラグ３・よ構成る。３ｍ、３ｂ
、３ｃについては１２７部２０４の説明、３・について
はインタフェース手段１０３の説明の際に詳しく述べる
ので、ここでは現在状態の記述３ｄについて説明する。

第５図に示すように、現在状態の記述３ｄの内容は装置
の状態４鳳及び作業対象の状態４ｂに分かれる。

装置の状態４ｍには、マスク及びスレーブの関節角や手
先の位置、方向、グリッパが物を把んでいるかいないか
などの情報が収納されている。

作業対象の状態４ｂには、作業対象の相互関係を示すデ
ータ４ｂｌ及び位置姿勢を示すデータ４ｂ２が収納され
ている。各々を具体的に説明するために第６図のような
例を考える。この例では、マニビーレーシ璽ン作業によ
シ、弁を分解する。

すなわちゲルト５１で固定された７ランジ５２及び弁箱
５３の内部にある弁体５４を取シ出す作業をする。通常
はがルトは１８個程度あるが、ここでは簡単のために１
個のみと仮定する。第５図に戻りて説明を続ける。４ｂ
ｌには、７ランジと弁箱が固定されておシ、弁体が弁箱
の中にあシ、ゲルトがフランジと弁箱を固定している状
態が記述されている。４ｂ２には、各パーツの空間座標
上の位置ベクトルＸｌ　ｐ　Ｘ　ｊ　＋　”ｋと各々の
姿勢角ベクトルθ１．θｊ、θｋが収納されている。

く作業データ部２０１〉 作業データ部２０１の内容は、第７図に示すように作業
目標６ｍ、演算子の定義６ｂ、作業対象に関するデータ
６Ｃよ構成る。作業目標６ａは同図に示す例のように、
弁体が作業台に置かれており）その位置はＸｒ１姿勢は
θｒといりた目標状態を定義する。また、作業対象に関
するデータとしては、７ランジやゲルトなどの形状に関
するデータを収納する。

演算子の定義６ｂｔ−第８図を用いて説明する。

演算子は状態を変化させるための手段のことである。現
在状態（例えば第５図の４ｂ）から目標状態（例えば第
７図の６１）に移行するためには、適切な手段を順に施
して状態を次々と変化させてゆかなければならない。各
手段は後述する理由から幾つかの階層に分けられており
、第８図の例では、作業レベルの演算子「７ランジ取外
し」についての定義が示されている。レベルについては
プラン作成手段を説明する際に後述するので、ここでは
前提条件７１、状態変化７ｂについて説明する。

前提条件７ａの内容は、この演算子が使えるための条件
を示す。図の例では、７ランジがどこにも固定されてお
らず、弁体の上にあることを条件としている。状態変化
７ｂの内容は、削除項目と追加項目に分けて記述されて
いる。削除項目はこの演算子を施こした後に以前の状態
の記述から削除される項目を表わし、図の例では、７ラ
ンジが弁体の上にあるという項目と７ランジの位置・姿
勢に関する項目が削除される。追加項目は新たに付は加
わる項目であり、図の例では７ランジが床上にあること
と７ランジの新しい位置・姿勢が追加されることを示す
。コスト′＃Ａ７ｃはこの演算子を施す際のコスト（後
述）の値、または評価する関数を収納する。

く環境データ部２０２〉 環境データ部には、作業対象とスレーブを除く他の機器
の配置や寸法、形状についてのデータを収納する。スレ
ーブが動作する時の衝突などをチェックする緑に用いる
。

く操作者技能データ部１１１〉 操作者の技能を表わす項目について、点数ｔｅは段階に
よシ、その程度が示されている。技能の項目としては、 （１）　　手先の移動時間／軌跡精度 （２）手先の位置合わせ時間／精度 （３）手先の軸合わせ時間Ｚｒｔ度 （４）反力検出感度 など様々な内容がある。

〈装置データ部２０３〉 ここには次のようなデータが収納される。

（１）　　スレーブ１０７０寸法、形状データ（２）　
　コンビ、−夕による自動動作の性能、機能くセンシン
グ手段１０８及びセンサ情報部２０７〉センシング手段
１０８は、スレーブ１０７の制御をする際に用いるエン
コーダ、４テンシｌメータ、タコジェネレータ、力セン
サ、コンビ、−タの自動動作に使用する視覚センサ、Ｔ
Ｖモニタ１０２に：情景を映し出すためのＴＶ左カメラ
どを含み、センサ情報部２０７にデータを供給する。′
センサ情報部２０７には、次のような情報が収納される
。

（１）各種センシング結果のデータ （２）　　４！ｒ［センサーの位置や性能、ＴＶ左カメ
ラ位置や特性、現在モニタ１０２に情景を映しているカ
メラの番号など くスレーブ制御手段１０６及び制御入力部２０６〉スレ
ーブ制御手段１０６は、スレーブ１０７の各関節を位置
制御、速度制御、力制御する。制御の種類や目標値は制
御入力部２０６に収納されている。

〈ｆラン作成手段１０４及びプラン部２０４〉プラン作
成手段１０４についてはさらに具体的実施例を後述する
ので、ここでは概要を述べる。

プラン作成手段１０４は、現在状態（例えば第５図の４
ｂ）から目標状態（例えば第７図の５ｍ）に移行する次
めに、どのような演算子（第８図）を順に施せばよいか
を判断し、結果をプラン部２０４に収納する。またプラ
ンが収納されたことを示すために現在状態部２０５の「
次に実行する演算子番号欄（第４図３ｃ）」にプランの
先頭番号を収納する。プランは、−例を第９図に示すよ
うに５つの階層（レベル）に分けて作る。各々のレベル
のプランは第８図のように定義された演算子を並べたも
のであり、第９図から第１１図には例が示されている。

まず第９図において、最上位レベル（目的レベル８ｍ）
のプランｕ１つの演算子８ｆのみで構成される。この演
算子は作業全体を総括し次概念を表わす。この演算子を
作業レベル８ｂに具体化すると第９図中の下図のように
（がルト取外し）８ｇ→（７ランジ取外し）Ｂｈ→（弁
体取外し）８１０手順となる。プラン中の番号欄は演算
子を施す順序を示し、上位レベルＩインク櫃の番号は１
段階上位レベルのプラン中の、どの番号の演算子を具体
化したものであるかを示す。すなわち図中の例では、作
業レベル８ｂ中の３つの演算子はいずれも目的レベル８
鳳の演算子ム１を具体化したものである。以下、レベル
が下がるにつれて演算子は徐々に具体化されてゆき、最
下位の軌跡レベル８・の演算子になって始めて、人間ま
たはコンビ、−夕により実行可能なデータとなる。第１
０図は手順レベル８ｃ、及び動作レベル８ｄの例を示す
ものである。作業レベル８ｂで（−ルト取外し）８ｇで
あっ九ものが、手順レベル８ｃでは（ｆｆルト緩め）９
ｍ、（Ｈルト除去）９ｂに分けられる。（ざルト緩め）
９ｍは専用の工具を使り次作業である。（ゲルト除去）
９ｂＫ注目してさらに下位レベルを見てみると、動作レ
ベル８ｄでは、（アプローチ（ａｐｐｒｏａｃｈ　）　
Ｎルト）９ｃ１　（グリップ（ｇｒｉｐ）＆　ｋト）９
ｄ、（リワインド（ｒ＠ｖｌｎｄ　）　Ｎルト）９・、
（ムーブ（ｍｏｖｅ　）ｘａ）９ｆに分解される。これ
らは各々「ゲルトを把む位置に手先を移動」、「ゲルト
を把む」、「ゲルトを回す」、「手先を位ｆｆ１ｘｄに
移動」を意味する。このうち９ｃ、９ｄ、９ｅをさらに
具体化し次側を第１１図に示す。同図は最下位の軌跡レ
ベル８ｅを示したものである。まず、（アブロ−チがル
ト）９ｃを具体化すると、（ムーブｘ１：ｃｏｎｄｓ　
）、（ムーブｘ２　：　ｃｏｎｄ＋　）　、（ムーブｘ
３：＠ｏｎｄｍ　）、（ｏｐ−ムーｆ　ｘ４　　：　ｃ
ｏｎｄａ　）となることが示されている。これは、手先
がゲルトの頭を把む位１１ｘ４に移動するために、”１
　ｅ　”２　＊　”Ｓを経由して自動モードで移動し、
Ｘａからｘ４までは手動操作で動かす（ｏｐ−ムーブ）
ことを意味する。

このように手動による操作を示す演算子には名称にｒ　
ｏｐ−Ｊを付けるなどして自動のものと区別する。ここ
で、演算子に付帯するｒ　ｅｏｎｄｌ　Ｊなどの記号は
、演算子を実施する際の付帯条件を表わし、−例をＬｏ
ｇに示すように、別途まとめて記憶し手先の姿勢や、位
置に関する拘束すなわち手動操作をコンビ、−夕により
介助する支援動作などを記述する。この他にもコンブラ
イアンス条件、使用するセンシング手段など様々な条件
があシ得る。

さて（ｏｐ−ムーブ）１０ｄの次には、（グリップゴル
））９ｄを具体化した（クローズ（ｃｌｏｓｅ　）−ハ
ンド（ｈａｎｄ）　）　１０　＠がある。この演算子の
付帯条件５ａｎｄｓには、−ルトを把む力などが記述さ
れている。次の演算子（ローティ）　（ｒｏｔａｔｅ　
）−ハンド（ｂｉｎｄ　）　）　１０　ｆ　ＦｉＮルト
を１０回転して抜くことを意味する。付帯糸件ｃｏｎｄ
ｓは、ゲルトの頭が抜けてくるに従って、コンプライア
ンス制御によシハンドの位置が徐々に移動するとともに
、手先姿勢が一定を保つように記述されている。

くスレーブ動作管理手段１０５〉 プラン部２０４に収納された演算子は、現在状態部２０
５に収納されている「次に実行する演算子番号」に従っ
て次々と実行されてゆく。実行される演算子は全て軌跡
レベル８・のものである。

この時、演算子の内容や付帯条件に従りてスレーブ動作
管理手段１０５がこれを実行する。例えば（ムーブｘｌ
　：　ｃｏｎｄｌ　）　１０畠を実行する際には、ｃｏ
ｎＪに定められた条件を満たしながら、手先が位置ＸＫ
に到達するように制御入力部２０６を介してスレーブを
制御する。またセンサ情報部２０７の内容を見ながら実
行の終了を判定し、現在状態部２０５の各々の項目３烏
、３ｂ、３ｅ、３ｄを更新する。

くインターフェース手段１０３〉 次に実行する演算子が手動操作、すなわち名称にｒ　ｏ
ｐ−Ｊがついているものである時、インターフェース手
段１０３はモニタ１０２上への表示や音声出力、マスタ
１０１に発生する力などを介して操作者１１０の操作を
うながす。インターフェース手段１０３は、操作者がマ
スクに加え念力や変化を読み取り、制御入力部２０６に
適切な値を書き込むと同時に、センサ情報部２０７の内
容を読んでマスターに反力などを発生させ、操作者に力
感覚等のフィードバックを伝える。また現在状態部２０
５の各項目３　ｍ　＋　３　ｂ　＠　３　ａ　、３　ｄ
を更新する。

演算子が手動操作のものでありても、スレーブ動作管理
手段１０５が働くこともある。これは手動操作を支援す
る場合であプ、例えば演算子の付帯条件が手先姿勢に拘
束を加える場合などである。

仁のような時には、インターフェース手段１０３は制御
入カバン７１２０８にデータｔ−誓き込み、これをスレ
ーブ動作管理手段１０５が杭み、拘束条件を付加した制
御入力を制御入力部２０６に書き込む。この時には現在
状態部２０５の更新はインターフェース手段１０３のみ
が行う。

く概略フロー〉 以上述べた各ブロックの動作手順概略を説明する。作業
データ２０１中の作業目標６鳳を除く項目と、環境デー
タ２０２、装置データ２０３、操作者技能データ１１１
はあらかじめ与えられているものとする。第１２図のフ
ローチャートにおいて、まず作業目標６ａ及び現在状態
２０５の初期値を与える（ｌ１ｍ）。現在状態部２０５
中の次に実行する演算子番号欄３ｃに「目的レベルの１
番」を初期値として入れておくと、これは軌跡レベルの
演算子ではないので、自動操作も手動操作も行われない
。ま友この１ｉ４３ｃｌｃ＠跡レベル以外の演算子が記
入されることはプラン作成手段１０４の動作をうながす
。そこでプラン作成手段１０４は目的レベルのプランを
さらに具体化し、軌跡レベルのプランを作成し、プラン
部２０４に収納した後に、最初に実行する軌跡レベル演
算子の番号を現在状態部２０５０次に実行する演算子番
号欄３Ｃに収納する（ｌｌｂ）。欄３　ｅ　Ｋ軌跡レベ
ルのデータが収納されると、インターフェース手段１０
３ま友はスレーブ動作管理手段１０５が働き、演算子が
実行され（Ｉｌｃ）、宮らに現在状態部２０５を更新し
た後（１１ｄ　）、未実行の演算子がなければ終了する
（ｌｉｅ）。ここで未実行の演算子というのは、軌跡レ
ベルでまだ実行されていないものだけでなく、軌跡レベ
ルよシも上位レベルのもので、軌跡レベルまで具体化さ
れていないものを含む。次に、未実行の演算子の中から
次に実行すべきものの番号を、次に実行する演算子番号
ａ３　ｃに入れることによりて、次の演算子が実行され
る。この時、欄３ｅＫＩＩＦき込まれ友着号が、軌跡レ
ベルよシも上位レベルの演算子番号である時には、自動
的にプラン作成手段が起動する（ｌｌｆ）。

以上述べた遠隔マニビ、レージ冒ン・システムを例に本
発明のマン・マンｙ・インタフェースの実施例ｔ−ｉｐ
細に説明する。以下、マン・マシン・インタフェースを
インタフェースと略記することにする。第１３図はイン
ターフェー１手段の構成を示す。インターフェース手段
１０３の各構成部分について以下説明する。インターフ
ェース制御部１３０１は内部にメモリｆロセッサ等を持
ちインターフェース部１０３全体を統括管理する。イン
ターフェース部１０３の他の構成部や記憶手段１０９と
のデータ交換はパス１３１０を用いて行う。マスタ制御
部１３０３はマスタ制御入力部１３０２に入りている制
御データを用いてマスタ１０１を制御する。マスク制御
入力部１３０２０制御データはインターフェース制御部
１３０１が周期的に更新する。操作指示ｌｉ！ｉｉ面発
生部１３０４はインターフェース制御部１３０１から与
えられる現在作業中の演算子内容、及び手先の位置デー
タを用いて、ＴＶモニタ１０２に作業内容及びスレーブ
手先の目標位置を表示する。操作指示画面発生部１３０
４の出力し７’５’ｒｖそニタ用ＣＲＴ表示データは画
面混合部１３０５によシ、記憶手段１０９中のセンサ情
報２０７（第３図参照）に格納されているＴＶモニタ画
面情報（ＴＶカメラによりモニタされた対象物とスレー
ブの手先の画像）にスーノヤーインポーズされて、ＴＶ
モニタ１０２に写し出される。

画面の一例を第１４図に示す。ＴＶモ二り１０２のＣＲ
Ｔ表示画面１４０１には次の情報が示される。

（１）　　作業対象物とスレーブ手先部の実際の映像（
２）　　現在の作業項目内容 本図では作業レベル内容表示部１４０２に「がルト取外
し」の表示が、手順レベル内容表示部１４０３には「ボ
ルト除去」の表示が、動作レベル内容表示部１４０４に
はｒ　Ａｐｐｒｏａｃｈ　Ｍルト」の表示がある。

（３）手先目標位置のグラフィック表示現在、動作中の
軌跡レベル演算子の目標位置が目標位置表示１４０６に
破線でグラフィック表示する。インターフェースの動作
モードは大別すると後述するように自動操作と手動操作
にわかれるが、自動操作の時には目標位置表示は白色で
、手動操作の時には赤で表示され、区別し易くなりてい
る。

（４）　　付帯条件表示 手動操作に付帯条件が付く場合には、目標位置表示の傍
に付帯条件表示１４０６が表示される。

第１３図に戻って説明を続ける。音声出力部１３０６は
インターフェース制御部１３０１の指示によシ、新しい
軌跡レベル演算子の実行開始及び終了時にスピーカ１３
１１からプデー音を出力する。もちろん音声合成等によ
る声による表示でも良い。拘束解除スイッチ１３１２は
操作者が、何らかの原因によシ手動操作の付帯条件（例
えば第１４図の１４０６）を解除したいときに使用する
。本スイッチを押すと、拘束解除スイッチインターフェ
ース１３０７を介してインターフェース制御部１３０１
にインタラブドがかかり、付帯条件が解除される。付帯
条件の解除方法については後述する。

操作検出部１３０Ｂは操作者がマスクを操作し九時のマ
スクの各関節の角度等を取込むセンサで６す、／テンシ
璽メータ、エンコーダ等を使用している。操作出力デー
タ部１３０９は、操作検出部１３０８からのデータを格
納しておシ、インターフェース制御部１３０１がパス１
３１０を介してデータを取込むことができるようになり
ている。

以下、インターフェース手段の動作について、Ｗ、１５
図〜第１９図のフローチャートを用いて説明する。＄１
５図はインターフェース制御部１３０１の実行する制御
の全体７０−チャートである。制御は記憶手段１０９中
の現在状態部２０５をモニタすることにより行われる。

制御手順１５０１〜１５１９中に現われる記号は第４図
の現在状態部２０５の内容に対応している。現在実行中
の演算子番号（第４図３ｍ）を０ＰＮＩ、実行の終了フ
ラグ（第４図３ｂ）をＦＬＧＩ、次に実行する演算子番
号（第４図３ｃ）を０ＰＮ２　、現在状態の記述（第４
図３ｄ）を５ＴＡＴＥ　、スレーブ動作管理解除フラグ
（第４図３６）をＦＬＧ２と記述している。以下の説明
ではこれらの記号を用いる。

まず第１５図を説明する。電源オン状態となると、ＦＬ
ＧＩが＠１ｍになったことを確認して０ＰＮ２を読み込
む。０ＰＮ２が軌跡レベルの演算子であれば、インター
フェース手段は動作を開始する。インターフェース手段
１０３の動作モードは大きく分けて、次の３つに分かれ
る。

（１）　　自動操作モード（制御手順１５１１）（２）
手動操作モード（制御手編１５１３）（３）　　拘束付
手動操作モード（制御子ｉ［１５０８）自動操作モード
は０ＰＮＺ中の演算子にｏｐ−が付いていないことから
認識できる。例えば、第１１図の１０ｍのような演算子
の場合でるる。手動操作上−ドはｏｐ−付いた演算子が
０ＰＮ２中にありた場合で、且つ付帯条件ｃｏｎｄ１（
第１１図参照）が付いていない場合である。拘束付手動
操作モードはｏｐ−付いた演算子が０ＰＮ２中にありた
場合で且つ付帯条件ｃｏｔ＋ｄｌがついている場合であ
る。

自動操作モードではスレーブ１０７はスレーブ動作管理
手段１０５により制御され、１つの演算子が終了すると
スレーブ動作手段１０５がＦＬＧｌを＠１”とする。イ
ンターフェース制御部１３０１は、常時ＦＬＧＩを監視
しておシ、ＦＬＧｌ＝１となると制御手順１５１１を終
了し、次の演算子０ＰＮ２を読む。

手動操作モード及び拘束手動操作モードではインターフ
ェース手段１０３がスレーブ１０７を主に制御する。こ
の場合には１つの演算子（０ＰＮ１）の処理が終了する
と、インターフェース制御部１３０１が第８図の例のよ
うな演算子の定義に従い、現在状態の記述５ＴＡＴＥを
更新しく１５１０）、次に実行する演算子をサーチする
（１５１６）。

演算子のサーチは同レベル（例えば軌跡レベル）内では
番号順で良い（第１０＠参照）が、同レベルの次の演算
子が無い場合には、上位レベルポインタ欄を参照して上
位レベルにさかのぼりてサーチする。未実行の演算子が
全く無くなった場合には作業が全て完了したことになる
。この場合には０ＰＮ２　＝　Ｏとする（１５１９）。

その後で終了フラグＦＬＧＩを１１”として現在状態部
２０５の管理を明渡す。

第１６′図には自動動作モードの制御手順１５１１の拝
細フローチャートを示し之。自動動作の制御ルーチンは
３つの部分、（１）開始処理、（２）動作中、（３）終
了処理に分れる。

開始処理１６０４では音声出力部１３０６を用いてスタ
ート音をスピーカ１３１１から出力しく１６１０）、操
作者に注意をうながし次後、動作内容を文字でＴＶモニ
タ１０２上に表示する（１６１１）。表示内容は第１４
図に例を示したように、実施中の作業の作業レベル、手
順レベル、動作レベルの内容であり、現在状０２０５、
及びプラン２０４を参照することによりわかる。また、
ＯＰＮ　１の軌跡レベル演算子の内容と、センサ情報２
０７に含まれているカメラの位置情報を用いて、ＴＶモ
二り画面上におけるスレーブの手先の目標位置を計算し
ＴＶモニタ画面上に表示する（１６１２．１６１３）。

これらの表示は操作指示１ｉｌｊ面発生部で発生し、画
面混合部１３０５でカメラからの映像と混合されＴＶモ
ニタ１０２に表示される。

終了処理１６０３では、演算子の終了表示をした後、ス
レーブの目標位置をＴＶ画面から消去する。消去する直
前にはスレーブの手先の映像と目標位置は合致している
。

動作中１６０５．１６０６ではセンサ情報部２０７のデ
ータを用いてスレーブからの反力を計算して、計算デー
タをマスク制御入力部１３ｏ２へ出力する。これにより
マスク制御部はマスタをｉ１ｔ制御し、操作者へスレー
ブの手先の感覚等を伝えることができる。

第１７図は手動操作モードの制御手順１５１３の詳細７
０−チャー）１−示す。開始処理１７１゜は第１６図の
１６０４と同じ動作、終了処理１７０９は第１６図の１
６０３と同じ動作である。

但し、開始処理１７１Ｏにおいて、スレーブの目標位置
表示（グラフィック表示）の色は、前述のように自動の
場合と異なシ、操作者の注意を換起するようになりてい
る。

手動操作モードではマスクの操作に応じて、スレーブを
制御する（１７０２．１７０３）だけでなく、スレーブ
からの反力を計算し、マスクを動かしく１７０４．１７
０５）操作者に手先の感覚を伝える。さらに、センサ情
報２０７によりスレーブの位置を計算しく１７０６）ス
レーブが目標位置に到達したか否かの判断も行う。

第１８図は拘束付手動操作モードの制御子ｊ−１５０８
の詳細フローチャートである。開始処理１８０９は１７
１０と、終了処理１８０８は１７０９と同じ処理である
。但し、開始処理において拘束付手動操作では、付帯条
件表示１４０６（第１４図の例参照）を表示する必要が
ある。拘束付手動操作では、例えば「手先水平保持」等
の拘束動作の制御をスレーブ動作管理手段１０５が分担
してスレーブを制御する。従って、手動操作では操作出
力データ１３０９からスレーブの制御入力を計算し、制
御入力部２０６に出力するが、本動作では操作出力デー
タ１３０９を処理せず、直接、制御人カパッファ２０８
（記憶手段１０９中）に出力する（１８０３）。この場
合はスレーブ管理手段１０５が制御式カパッファ２０８
中のデータを用いて、付帯条件下で制御入力部２０６用
データを計算する。従ってスレーブからの反力の計算１
８０４では操作者が動かすマスクと付帯条件下で動くス
レーツ間の位ｔ１ｊｉｌｌ差が出ることが予想されるが
、この偏差を小さくする方向にマスクを動作させるよう
な弱い力を発生させる。これにより、操作者はスムーズ
に作業を遂行することができる。

最後に付帯条件を解除して手動操作モードで動作させる
場合の動作について述べる。拘束解除スイッチ１３１２
を操作者がオン／オンするとインタラブドが発生するこ
とは前に述べた。第１９図にインターフェース制御部１
３０１のインクラットルーチンのフローチャート（制御
手順１９０１〜１９０３）を示す。ＦＬＧ２に＠１＃を
立てる（１９０２）ことにより、スレーブ動作管理手段
１０５は付帯条件下の制御を中止して良いことを認識で
きる。同時に第１８図において、拘束付手動操作が制御
手順１８０２にて手動操作に切換えられる。

〔発明の効果〕

以上述べ几ように、本発明によれば、遠隔マ二ビ、レー
ジ璽ンにおける手動、自動の操作者への注意喚起、手動
操作における作業ステップ終了時のスレーブの予想姿勢
等を操作対象の映像にスー・千−インポーズして表示す
ることにより、操作者の操作性を大幅に向上させると同
時に、操作に伴なう負担を大幅に軽減できる。

【図面の簡単な説明】

ｇ１図〜第１９図は本発明の実施例を示すもので、第１
図は基本構成概要図、第２図、第３図は遠隔マニビ、レ
ージ璽ンシステムの全体構成のブロック図、第４図は第
３図中の現在状態部の詳細を説明する図、第５図は第４
図の一部を更に詳細に説明する図、第６図は説明のため
の１例としての状況を示す斜視図、第７図、菓８図は第
３図中の作業データ部を詳細に説明する図、第９図〜第
１１図は第３図中のプラン部を詳細に説明する図、第１
２図は本実施例の動作概要を示す流れ図、第１３図およ
び第１４図はインターフェース手段のブロック図および
動作例を示す図、第１５図〜第１９図はインターフェー
ス手段における処理の流れ図である。 ２０・・・操作手順データ入力部、 ５１・・・ゲルト、　　　　　５２・・・７ランジ、５
３・・・弁箱、　　　　　　５４・・・弁体、７０・・
・操作対象映像検出部、 ８０・・・映像データ格納部、 １０１・・・マスタ、　　　　１０２・・・ＴＶモニタ
、１０３・・・インタフェース部、 １０４・・・プラン作成手段、 １０５・・・スレーブ動作管理手段、 １０６・・・スレーブ制御手段、 １０７・・・スレーブ、 １０８・・・センシング手段、 １０９・・・記憶手段、　　　１１０・・・操作者、１
１１・・・操作者技能データ、 ２０１・・・作業データ、　　２０２・・・環境データ
、２０３・・・装置データ、　　２０４・・・プラン、
２０５・・・現在状態、　　　２０６・・・制御入力、
２０７・・・センサ情報、 ２０８・・・制御人カパッファ、 １３０１・・・インタフェース制御部、１３０２・・・
マスタ制御入力部、 １３０３・・・マスタ制御部、 １３０４・・・操作指示画面発生部、 １３０５・・・画面混合部、　　１３０６・・・音声出
力部、１３０７・・・制約解除スイッチインタフェース
、１３０８・・・操作検出部、 １３０９・・・操作出力データ部、 １３１２・・・制約解除スイッチ、 １４０１・・・ＣＲ７表示画面、 １４０２・・・作業レベル内容表示部、１４０３・・・
手順レベル内容表示部、１４０４・・・動作レベル内容
表示部、１４０５・・・目標位置表示、１４０６・・・
制約条件表示。 第４図 第５図 第６図 第８図 第９図 プランＭ５２の４ （８０，の例） 尾１０図 （８ｃの例） （８注０例） 第１１図 ＜Ｂｅの例） 第１２図 地１３図 第１４図 箆１５図 第１６図 第１７図 第１８図

Claims (1)

1. 【特許請求の範囲】 手動操作とコンピュータによる自動操作とを自動的に切
   替えることの可能な遠隔マスタ・スレーブ・マニピュレ
   ーション・システムにおいて、現在の操作が手動か自動
   かの別を表わす映像信号及び手動操作のためのガイダン
   スを表わす映像信号を発生させる操作指示画面発生部と
   、 スレーブと作業対象物の現在の像を表わす映像信号を発
   生する操作対象映像検出部と、 現在の作業終了時の予想位置にあるスレーブの像を表わ
   す映像信号を発生させるスレーブ予想位置映像発生部と
   、 上記操作指示画面発生部、操作対象映像検出部及びスレ
   ーブ予想位置映像発生部からそれぞれ発生する映像信号
   を混合し、スーパーインポーズした映像信号とする画面
   混合部と、 画面混合部から発生する映像信号を表示画面上に映し出
   す表示部と、 から成ることを特徴とする遠隔マニピュレーション・シ
   ステムの画像表示装置。