JPH08368B2 - ロボットの遠隔操作装置 - Google Patents

Description

【発明の詳細な説明】 ［概要］ 宇宙空間などの非常に遠隔な場所に、その作業環境を
撮影する撮影手段と共に配置されたロボットを地上等か
ら遠隔操作するロボットの遠隔操作装置に関し、 シミュレーション環境モデルの位置・姿勢と実環境の
それとの間に相違が生じた場合に、それを簡単に修正で
きるようにすることを目的とし、 ロボット作業環境の模擬画像をリアルタイムで表示し
つつロボットの操縦をシミュレーションにより行うシミ
ュレータと、シミュレータにより生成したロボット操縦
情報をロボット側に送ると共に、ロボット側からのロボ
ット作業環境の実画像情報を受信する通信手段と、通信
手段で受信されたロボット作業環境の実画像とシミュレ
ータで生成された模擬画像をオーバレイして表示する表
示手段と、表示手段上の実画像と模擬画像との作業環境
画像が一致するように、シミュレータの環境モデルに関
する位置・姿勢データを修正する修正手段とを具備して
なる。

［産業上の利用分野］ 本発明は宇宙空間などの遠隔場所にあるロボットを地
上等から遠隔操作するロボットの遠隔操作装置に係り、
特に環境モデルの位置・姿勢修正機能を備えたロボット
の遠隔操作装置に関する。

［従来の技術］ 近年の宇宙開発に伴い、環境条件の厳しい宇宙でロボ
ットに作業を行わせる必要性が生じている。例えば宇宙
空間における宇宙ステーション建造のための作業、ある
いは無人の宇宙ステーション内における各種実験等の作
業などである。これらの作業は人が容易に近づけない宇
宙での作業であるため、ロボットの操作は地上あるいは
宇宙ステーションからの遠隔操作で行われるのが一般的
である。

第７図はかかるロボットの遠隔操作システムの従来例
を示すブロック図である。第７図において、宇宙空間に
設置されるロボット20は、ロボットコントローラ13で制
御されるロボットアーム14を備え、ロボットアーム14に
はアームの作業状態を監視するためのテレビカメラ15と
照明装置16が取り付けられており、ロボットコントロー
ラ20と地上との間の各種情報の送受用に通信装置12が備
えられる。またロボット20の全体的な姿勢をとらえるた
めのテレビカメラ17も可能であれば設置される。

地上側装置23は、ティーチングボックス等のロボット
操縦装置19とロボット操縦装置コントローラ18、これら
の装置で発生されるロボット操作指令信号あるいはロボ
ット側からの監視画像信号などの送受を宇宙ロボット20
との間で行う通信装置７、宇宙ロボット20のカメラ16と
17で撮影された監視用の実画像を地上側で表示するため
の複数のモニタテレビ８等を含み構成されている。

この遠隔操作システムでは、地上にいるオペレータ
は、ロボット操縦装置19を用いてテレビモニタ８に表示
されるロボットの実画像を見ながらロボットアーム14を
遠隔操作して所望の作業を行わせている。

しかしながら、この従来のロボット遠隔操作システム
による操作には以下のような種々の問題点がある。

例えばロボットが搭載される可能性があるスペースシ
ャトルの周回軌道は数百kmの高さであり、その周回時間
は１〜２時間程度である。このため地上局に対してスペ
ースシャトルの位置が地球裏側となったりする時間帯も
あるので、地上局とスペースシャトル間の通信は直接通
信で常に行うことができず、したがって通常は静止衛生
を幾つか介した衛星通信で地上局・宇宙ロボット間の通
信を行っている。

この結果、電波の伝搬長が長くなるので電波伝搬遅延
が非常に大きくなる。しかも地上側装置23でのロボット
操縦はモニタテレビ８でロボット動作を確認しつつ行う
ので、地上側装置23からロボット操作指令を発してから
宇宙のロボット20が希望した動作を実際に行ったかをモ
ニタテレビ８で確認するまでの時間は、少なくとも地上
側装置・ロボット間の伝搬遅延の２倍必要となり、した
がってロボットの操縦はロボット動作をリアルタイムで
確認しつつ行う場合に比較してはなはだ難しくなる。

また一般に衛星通信回線はその通信容量が限られてお
り、この衛星通信回線を通してはロボット操作指令情報
の他にも他の種々の制御情報を伝送する必要がある。こ
のためロボット操作指令情報伝送に割り当て可能な通信
回線の容量は小さく制限される。一方、ロボットの動き
を監視するための画像情報は一般に情報量が大きい。こ
のため、容量が小さい衛星回線を介してロボットの作業
状態を連続的な動画像信号で地上側装置に送ることは不
可能であり、ロボット監視用の画像は例えば１秒に１枚
程度の半静止画像とならざるを得ない。このような半静
止画像はロボットの動きを間欠的に伝えるに過ぎないた
め、この半静止画像を見ながらのロボット操縦は容易で
はない。

さらに、モニタテレビを見ながらロボットを遠隔操縦
する場合には、単にロボットアーム14部分の画像をカメ
ラ15で撮影するだけでなく、ロボットが作業対象物に対
して全体としてどのような姿勢をとっているかをカメラ
17で撮影することが、遠隔操縦をより簡単にする上で必
要である。特にロボットの姿勢が固定的に定まらない宇
宙空間ではなおさらである。

ところが、宇宙ロボット20の場合、ロボットアーム14
部分を撮影するカメラ15はロボット自体に備え付け可能
であるが、ロボット全体の姿勢を撮影するカメラ17は作
業環境によっては用意することが必ずしもできない。こ
のため、カメラ17が用意できない場合はカメラ15で撮影
されたロボットアーム14周辺の画像のみを頼りに遠隔操
作を行うこととなるが、この操作は一般に難しいもので
あり、満足に操作するにはオペレータにかなりの熟練が
必要である。

このように宇宙等の遠隔場所にあるロボットをモニタ
画像を見つつ遠隔操作する場合には、動作遅延のある半
静止画像を、しかも場合によってはアーム部分等の限ら
れた方向のみから見た画像を頼りに操縦を行うことにな
るので、かなり熟練しないと操縦が難しいという問題が
ある。

そこで、このようなロボット操作の困難性を救済する
ロボットの遠隔操作システムとして、グラフィックディ
スプレイと計算機を用いてその動作を事前にチェックし
てから実際のロボットへその操作データを転送し、同一
動作を行わせるシステムが提案されている。以下、この
ロボット遠隔操作システムについて説明する。

第２図には、上述のロボットの遠隔操作装置のブロッ
ク構成が示される。この装置はロボット20を宇宙に設置
した場合のものである。

第２図において、宇宙側のロボット20は、第７図で説
明したものと同じ構成であり、情報通信装置12、ロボッ
トコントローラ13、ロボットアーム14、テレビカメラ1
5、照明装置16、テレビカメラ17を含み構成される。こ
こでテレビカメラ15はロボットアーム14の動きをモニタ
するようにロボット装置に備えられるものである。また
テレビカメラ17はロボット装置と作業対象物との全体的
な位置・姿勢を撮影するためのカメラであり、種々の方
向から見るため複数台のこともあるが、作業環境によっ
てはできないこともある。

第３図はかかる宇宙ロボット20と作業対象物21を含む
作業環境の一例を示す図であり、これはちょうど前述の
テレビカメラ17からロボット装置を見た場合の外観画像
に相当する。第３図に示されるように、このロボット装
置は、複数の間接を持って折り曲がり動作しつつ作業を
行う４本のアーム14と、それらアーム14の作業を適当な
位置からモニタできるように移動可能なカメラ15とを備
えている。21は宇宙建造物などの作業対象物であり、こ
の組立てをロボット20で遠隔操作で行うものとする。

地上側装置22は、ティーチングボックス等の操縦装置
１、操縦装置１を操作することによってロボットへの操
作指令信号を発生するロボット操縦装置コントローラ
２、コントローラ２からの操作指令信号に応じてロボッ
トの動作を計算機処理により模擬画像（シミュレーショ
ン画像）を生成しつつシミュレーションする宇宙ロボッ
トシミュレータ３、シミュレーションにより得られた模
擬画像を表示するための画像表示装置（高精細グラフィ
ックディスプレイ）４、宇宙ロボット20との間で衛星回
線を介して情報の送受を行う通信装置７、ロボット20か
ら受信したロボット側の実画像を表示するための１台ま
たは複数台のモニタテレビ８、フレームキャンコンバー
タ９、ロボット実画像信号と模擬画像から生成した同定
画像信号とを同一画面上に重ね合わせるオーバレイ装置
10、オーバレイ装置10で重ね合わせた画像を表示するロ
ボット作業環境監視用モニタテレビ11などを含み構成さ
れる。

シミュレータ３は、ロボット20の例えば構造に関する
種々のデータを格納したロボットデータファイル５と、
ロボットが作業を行う宇宙環境や作業対象物21に関する
種々のデータを格納した宇宙環境データファイル６とを
備えており、これらのデータに基づきコントローラ２か
らのロボット操作指令信号に応じて宇宙空間に設置され
たロボットの動きをシミュレーションにより求めて、こ
れを模擬画像として画像表示装置４にリアルタイムで表
示する。

画像表示装置４における模擬画像の表示態様として
は、例えば第４図に示されるように、一つの画面を四分
割し、それぞれの分割画面に、ロボット全体の斜視画像
Ａ（カメラ17で撮影した画像に相当）、ロボット20の側
面画像Ｂ、その正面画像Ｃ、および、アーム14の作業状
態を表示する画像Ｄ（カメラ15で撮影した画像に相当）
を表示するなどの方法が可能である。またこれらの分割
画面のうちの一つだけを１画面全体に拡大表示すること
も可能である。なお、第５図は、第３図の外観構成のロ
ボットと宇宙構造物についてシミュレーションにより作
成した模擬画像の一具体例を示すものである。

操縦装置１の具体例が第６図に示される。第６図にお
いて、100はロボットアームの６軸の間接を駆動するθ
_１〜θ_６駆動釦、101はハンド開閉釦、102は編集釦、10
3はLEDディスプレイ、104はロボット暴走停止用の緊急
停止用釦、105はXYZモード／増速モード間の速度制御ス
イッチ、107は速度を３段階に切り換える速度切換えス
イッチである。ここで編集釦102は、これらの釦を押す
ことによりティーチング時のロボットの位置情報をロボ
ット操縦装置コントローラ２内のメモリに格納するため
のものである。

以下、このロボット遠隔操作装置の動作を説明する。
オペレータは操縦装置１を用いて宇宙ロボット20にさせ
たい動作の操縦を行い、コントローラ２を介してロボッ
ト操作指令信号をシミュレータ３に送る。シミュレータ
３はロボットデータファイル５と宇宙環境データファイ
ル６からデータを読み込み、これらのデータに基づき、
ロボット操作指令信号に対応したロボット動作を計算機
処理によるシミュレーションで求め、そのシミュレーシ
ョン結果の模擬画像を画像表示装置４にリアルタイムで
連続的な動画像により表示する。

この場合、オペレータはリアルタイムで連続動作する
模擬画像を見ながら操縦装置１で操縦を行うことができ
るので、このロボットのシミュレーション操縦を容易に
行うことができる。しかも模擬画像としては、ロボット
の全体姿勢の斜視画像Ａ、側面画像Ｂ、正面画像Ｃ、上
面からみた画像Ｄなどを計算処理により随意に得て第５
図に示される如くに表示することができるので、この模
擬画像を見ての操縦は一層容易である。

シミュレーション操縦に際しては、画像表示装置４上
で、正常に動いたロボット動作のみを逐次取り出して編
集しつつ一連の動作を組み立て、この動作の確認を行っ
た後に、その動作の操作情報を通信装置７を介して宇宙
空間のロボット20に送る。

ロボット20ではこの操作情報を通信装置12で受信し、
その操作情報に基づきコントローラ13でロボットアーム
14を動作させる。このロボットアーム14の動作は理論的
にはシミュレータ３で行ったロボットアーム14のシミュ
レーション動作と同じになるはずである。このロボット
アーム14の動作はテレビカメラ15で撮影され、ロボット
アーム14の実画像として通信装置12によって地上側装置
22に送られる。またカメラ17がある場合にはこれらの撮
影画像も同様に地上側装置に送られる。この場合、前述
したようにこれらの実画像は一般的には半静止画像であ
る。

地上側装置22では受信した実画像をモニタテレビ６で
表示する。カメラ17が存在する場合にはその画像も他の
モニタテレビ８で表示する。これと共にテレビカメラ15
の実画像信号（NTSC信号）をオーバーレイ装置10に送
る。

このオーバーレイ装置10にはフレームスキャンコンバ
ータ９を介して同定画像が入力される。この同定画像は
シミュレーションにより作成された模擬画像をシミュレ
ータ３内で所定時間遅延させたものであり、例えばロボ
ット20から送られたオーバーレイ装置10に入力された実
画像がテレビカメラ15の撮影画像である場合には、この
画像に対応する第５図の画像Ｄの部分を取り出してこれ
をフレームスキャンコンバータ９で１画面のNTSC信号に
変換したものである。所定の遅延時間としては、地上側
装置22からロボット操作情報を送ってから、それに応じ
てロボット20で操作されたロボットアーム14の動作状態
をテレビカメラ15で撮影した実画像が地上側装置に到着
するまでの時間に設定される。

この結果、ロボット20からの実画像と同定画像とは理
論的には同じタイミングで同じ動きをするばずである。
そこでオーバーレイ装置10によりこの二つの画像信号を
同一画面上に重ね合わせる。重ね合わせ方としては、一
方の画像たとえば同定画像を半透明な画像とし、他方の
画像たとえば実画像はそのままの画像とするなどの方法
が可能である。

オーバーレイされた画像は監視用モニタテレビ11上に
表示される。この場合、同定画像は連続的な動画像とな
り、実画像は間欠的な動作の半静止画像となる。したが
って半静止している画像に、連続的に動く同定画像が一
致することを確認していくことで、ロボット20のロボッ
トアーム14の作業状態とシミュレーションによる作業状
態との同定を行え、ロボットアーム14が操作指令した通
りに動いていることを確認できる。

このようにシミュレータ３が生成する同定画像とロボ
ット20からの実画像とをオーバーレイして１台のモニタ
テレビ11上に表示することによって、ロボットを操作し
ている操作者はロボットアーム14の作業が正しく行われ
てるか否かを１台のモニタテレビ11を見るだけで確認す
ることができるため、ロボットの作業の監視が非常に容
易になる。

［発明が解決しようとする課題］ 上述のロボット遠隔操作システムが正常に動作するた
めには、宇宙空間等における実際の作業環境（すなわち
ロボットと作業対象物との相対的位置・姿勢等）とシミ
ュレーション計算機内の作業環境とが同一であるという
条件が伴う。しかしながら、ロボット遠隔操作の開始
時、あるいはロボットが作業を失敗した時などには、実
環境とシミュレーション環境との作業対象物の位置・姿
勢が必ずしも同一とならない場合がある。特に無重力状
態の宇宙空間では、ロボットが例えばアームで作業対象
物をつかみ損ねたような場合にも、その影響で作業対象
物の位置・姿勢が大きく変わることが予想される。

このように実環境とシミュレーション環境とに食い違
いが生じた場合には、シミュレーション計算機内の作業
対象物の位置・姿勢データを修正する必要があるが、従
来はこの環境モデルの位置・姿勢の違いを簡単に修正で
きる手段がなかった。この修正方法として、作業対象物
の位置・姿勢を何らかの手段で測定し、計算機内のモデ
ルデータに修正をかける方法も提案されるが、装置が大
掛かりとなり、現実的ではない。

このようにロボットが作業を失敗した時など、実際の
作業対象物の位置・姿勢が計算機内の環境モデルデータ
と違ってしまった場合には、この位置・姿勢の修正には
非常に多くの手間を要するという問題がある。

したがって本発明の目的は、シミュレーション環境モ
デルの位置・姿勢が実環境のそれと違ってしまったよう
な場合に、シミュレーション環境モデルの位置・姿勢デ
ータを実環境のそれと一致するように簡単に修正を行え
るようにすることにある。

［課題を解決するための手段］ 第１図は本発明に係る原理説明図である。

本発明に係るロボットの遠隔操作装置は、ロボット作
業環境を撮影する撮影手段36と共に遠隔場所に配置され
たロボット35を遠隔操作するロボットの遠隔操作装置で
あって、ロボット作業環境の模擬画像をリアルタイムで
表示しつつロボットの操縦をシミュレーションにより行
うシミュレータ31と、シミュレータ31により生成したロ
ボット操縦情報をロボット側に送ると共に、ロボット側
からのロボット作業環境の実画像情報を受信する通信手
段32と、通信手段32で受信されたロボット作業環境の実
画像とシミュレータ31で生成された模擬画像をオーバレ
イして表示する表示手段33と、該表示手段33上の実画像
と模擬画像の作業環境画像が一致するように、シミュレ
ータ31の環境モデルに関する位置・姿勢データを修正す
る修正手段34とを具備してなる。

［作用］ 遠隔地にある作業モニター用の撮影手段36で撮影した
実環境画像とシミュレータ31が生成する模擬画像とを表
示手段33上で重ね合わせて表示する。このオーバレイ画
像において、実環境画像と模擬画像とが同一に重なれ
ば、環境の位置・姿勢の違いはないと判断できる。一
方、これらが重ならない場合、実環境とシミュレータ31
内の位置・姿勢データに食い違いがあると判断できる。

そこで、オペレータは修正手段34を用いてシミュレー
タ31の生成する模擬画像の位置・姿勢に相違のある物体
を指示し、その物体の位置をずらすことにより模擬画像
のモデルが実環境画像と重なるように操作する。そし
て、完全に重なったならば、それをシミュレータ31に通
知し、それによりシミュレータ31の内部のモデルデータ
の位置・姿勢に修正をかける。

［実施例］ 以下、本発明に係るロボット遠隔操作装置の実施例を
説明する。この実施例装置のハードウェア構成は第２図
で説明した遠隔操作装置とほぼ同じであるが、相違点と
して、シミュレータ３にシミュレーションにより生成し
た環境モデルの位置・姿勢を修正するための修正情報入
力手段が備えられている。

この修正情報入力手段としてはタブレット、マウス、
コントロールスティック等が利用でき、これらの手段で
修正すべきシミュレーション生成環境モデルをピックア
ップして回転、移動等を行って所望の位置・姿勢に修正
するものである。

この実施例装置による環境モデルの位置・姿勢修正操
作が以下に説明される。

ロボット遠隔操作開始時あるいはロボット作業に失敗
した時などにおいて、宇宙空間におけるロボット20と作
業対象物21との相対的位置・姿勢がシミュレータ３の生
成するそれらの環境モデルとずれが生じたものとする。
この時の宇宙ロボット側の実環境状態はテレビカメラ1
5、17で撮影されて情報伝送装置12、７を介して地上側
装置22に伝送される。

地上側装置22ではこの実環境画像をオーバレイ装置10
を用いて監視用モニタTV11に表示する。これと共に、シ
ミュレータ３が生成した宇宙環境のシミュレーション
（模擬）画像も同じくオーバレイ装置10を用いてモニタ
TV11上で前記の実環境画像に重ね合わせて表示する。

これら実環境画像とシミュレーション画像とがモニタ
TV11の画面上で同一に重なれば、宇宙側の実環境と地上
側のシミュレーション環境との間に位置・姿勢の違いは
ないことになり、修正の必要はない。一方、両画像が同
一に重ならない場合、実環境と計算機内部のシミュレー
ション環境モデルの位置・姿勢データに違いがあること
が分かる。

相違があった場合、オペレータはモニタTV11の画面を
見つつ前述の修正情報入力手段を用いてシミュレータ３
の生成画像中の位置・姿勢に違いのある物体（例えば作
業対象物）を指示し、その物体の位置を回転、移動等さ
せてずらすことにより実環境画像と重なるように指示す
る。

そして両画像が完全に同一に重なったら、それをシミ
ュレータ計算機３に通知する。するとシミュレータ３は
保持するモデルデータをその一致時のモデルデータの位
置・姿勢となるように修正をかける。この後、前述のシ
ミュレーションによるロボット遠隔操作を再開すること
になる。

［発明の効果］ 本発明によれば、シミュレーション環境モデルの位置
・姿勢が実環境のそれと相違してしまったような場合
に、シミュレーション環境モデルの位置・姿勢データを
実環境のそれを一致するように簡単に修正を行える。

【図面の簡単な説明】

第１図は本発明に係る原理説明図、 第２図はシミュレーションによるロボットの遠隔操作装
置を示すブロック図、 第３図は宇宙空間にあるロボットと作業対象物の例を示
す外観図、 第４図は地上側装置の画像表示装置の分割表示方法の例
を示す図、 第５図は第４図の分割表示方法により表示されたロボッ
ト画像の具体例を示す図、 第６図は地上側装置のロボット操縦装置の具体例を示す
外観図、および、 第７図は従来のロボットの遠隔操作装置を示すブロック
図である。 図において、 １……ロボット操縦装置 ２……ロボット操縦装置コントローラ ３……宇宙ロボットシミュレータ ４……画像表示装置（グラフィックディスプレイ） ５……ロボットデータファイル ６……宇宙環境データファイル ７、12……情報通信装置 ８……モニタテレビ ９……フレームスキャンコンバータ 10……オーバレイ装置 11……ロボット作業環境監視用テレビ 13……ロボットコントローラ 14……ロボットアーム 15、17……テレビカメラ 16……照明装置 20……宇宙ロボット 21……宇宙建造物 22……地上側装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】ロボット作業環境を撮影する撮影手段（3
   6）と共に遠隔場所に配置されたロボット（35）を遠隔
   操作するロボットの遠隔操作装置であって、 ロボット作業環境の模擬画像をリアルタイムで表示しつ
   つロボット（35）の操縦をシミュレーションにより行う
   シミュレータ（31）と、 該シミュレータ（31）により生成したロボット操縦情報
   をロボット側に送ると共に、ロボット側からのロボット
   作業環境の実画像情報を受信する通信手段（32）と、 該通信手段（32）で受信されたロボット作業環境の実画
   像と該シミュレータ（31）で生成された模擬画像をオー
   バレイして表示する表示手段（33）と、 該表示手段（33）の実画像と模擬画像との作業環境画像
   が一致するように、該シミュレータ（31）の環境モデル
   に関する位置・姿勢データを修正する修正手段（34）と を具備してなるロボットの遠隔操作装置。