JP2634880B2 - ロボットの遠隔操作装置 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 宇宙空間などの遠隔場所にあるロボットを地上から遠
隔操作するロボットの遠隔操作装置に関し， 伝送信号の伝搬遅延が大きいような遠隔場所にあるロ
ボットの操縦を簡単に行えるようにするとともに，希望
したとおりにロボットが作動されたかの確認も簡単に行
えるようにすることを目的とし， ロボット作業状態を監視する撮像手段と共に遠隔場所
に位置されたロボットを遠隔操作するロボットの遠隔操
作装置であって，ロボットへの操作指令を発する操縦手
段と，操縦手段からの操作指令に応じてロボット動作の
シミュレーションを，模擬画像をリアルタイムで表示し
つつ行うシミュレータと，シミュレーションに用いたロ
ボット操作指令情報をロボットに送信すると共に撮像手
段で撮像されてロボット側から送られてきたロボット作
業状態の実画像を受信する伝送手段と，伝送手段で受信
された実画像とシミュレータによる模擬画像を所定時間
遅延させた同定画像とを同一画面上に重ね合わせて表示
する表示手段とを具備してなる。

〔産業上の利用分野〕

本発明は宇宙空間などの遠隔場所にあるロボットを地
上から遠隔操作するロボットの遠隔操作装置に関する。

〔従来の技術〕

近年の宇宙開発に伴い，環境条件の厳しい宇宙でロボ
ットに作業を行わせる必要性が生じている。例えば宇宙
空間における宇宙ステーション建造のための作業，ある
いは無人の宇宙ステーション内における各種実験等の作
業などである。これらの作業は人が容易に近付けない宇
宙での作業であるため，ロボットの操作は地上あるいは
宇宙ステーションからの遠隔操作で行われるのが一般的
である。

第８図はかかるロボットの遠隔操作システムの従来例
を示すブロック図である。第８図において，宇宙空間に
設置されるロボット20は，ロボットコントローラ13で制
御されるロボットアーム14を備え，ロボットアーム14に
はアームの作業状態を監視するためのテレビカメラ15と
照明装置16が取り付けられており，ロボットコントロー
ラ20と地上との間の各種情報の送受用に通信装置12が備
えられる。またロボット20の全体的な姿勢をとらえるた
めのテレビカメラ17も可能であれば設置される。

地上側装置22′は，ティーチングボックス等のロボッ
ト操縦装置26とロボット操縦装置コントローラ18,これ
らの装置で発生されるロボット操作指令信号あるいはロ
ボット側からの監視画像信号などの送受を宇宙ロボット
20との間で行う通信装置7,宇宙ロボット20のカメラ16と
17で撮影された監視用の実画像を地上側で表示するため
の複数のモニタテレビ８等を含み構成されている。

この遠隔操作システムでは，地上にいるオペレータ
は，ロボット操縦装置19を用いてテレビモニタ８に表示
されるロボットの実画像を見ながらロボットアーム14を
遠隔操作して所望の作業を行わせている。

〔発明が解決しようとする課題〕

例えばロボットが搭載される可能性があるスペースシ
ャトルの周回軌道は数百kmの高さであり，その周回時間
は１〜２時間程度である。このため地上局に対してスペ
ースシャトルの位置が地球裏側となったりする時間帯も
あるので，地上局とスペースシャトル間の通信は直接通
信で常に行うことができず，したがって通常は静止衛星
を幾つか介した衛星通信で地上局・宇宙ロボット間の通
信を行っている。

この結果，電波の伝搬長が大きくなるので電波伝搬遅
延が非常に大きくなる。しかも地上側装置でのロボット
操縦はモニタテレビ８でロボット動作を確認しつつ行う
ので，地上側装置からロボット操作指令を発してから宇
宙のロボットが希望した動作を実際に行ったかをモニタ
テレビ８で確認するまでの時間は，少なくとも地上側装
置・ロボット間の伝搬遅延の２倍必要となり，したがっ
てロボットの操縦はロボット動作をリアルタイムで確認
しつつ行う場合に比較してはなはだ難しくなる。

また一般に衛星通信回線はその通信容量が限られてお
り，この衛星通信回線を通してはロボット操作指令情報
の他にも他の種々の制御情報を伝送する必要がある。こ
のためロボット操作指令情報伝送に割り当て可能な通信
回線の容量は小さく制限される。一方，ロボットの動き
を監視するための画像情報は一般に情報量が大きい。こ
のため，容量が小さい衛星回線を介してロボットの作業
状態を連続的な動画像信号で地上側装置に送ることは不
可能であり，ロボット監視用の画像は例えば１秒に１枚
程度の半静止画像とならざるを得ない。このような半静
止画像はロボットの動きを間欠的に伝えるに過ぎないた
め，この半静止画像を見ながらのロボット操縦は容易で
はない。

さらに，モニタテレビを見ながらロボットを遠隔操縦
する場合には，単にロボットアーム14部分の画像をカメ
ラ15で撮像するだけでなく，ロボットが作業対象物に対
して全体としてどのような姿勢をとっているかをカメラ
17で撮像することが，遠隔操縦をより簡単にする上で必
要である。特にロボットの姿勢が固定的に定まらない宇
宙空間ではなおさらである。

ところが，宇宙ロボット20の場合，ロボットアーム14
部分を撮影するカメラ15はロボット自体に備え付け可能
であるが，ロボット全体の姿勢を撮影するカメラ17は作
業環境によっては用意することが必ずしもできない。こ
のため，カメラ17が用意できない場合はカメラ15で撮影
されたロボットアーム14周辺の画像のみを頼りに遠隔操
作を行うこととなるが，この操作は一般に難しいもので
あり，満足に操作するにはオペレータにかなりの熟練が
必要である。

このように宇宙等の遠隔場所にあるロボットをモニタ
画像を見つつ遠隔操作する場合には，動作遅延のある半
静止画像を，しかも場合によってはアーム部分等の限ら
れた方向のみから見た画像を頼りに操縦を行うことにな
るので，かなり熟練しないと操縦が難しいという問題が
ある。

したがって本発明の目的は，伝送信号の伝搬遅延が大
きいような遠隔場所にあるロボットの操縦を簡単に行え
るようにするとともに，希望したとおりにロボットが作
動されたかの確認も簡単に行えるようにすることにあ
る。

〔課題を解決するための手段〕

第１図は本発明に係る原理説明図である。

本発明に係るロボットの遠隔操作装置は，ロボット作
業状態を監視する撮像手段56と共に遠隔場所に位置され
たロボット55を遠隔操作するロボットの遠隔操作装置で
あって，ロボット55への操作指令を発する操縦手段51
と，操縦手段51からの操作指令に応じてロボット動作の
シミュレーションを，模擬画像をリアルタイムで表示し
つつ行うシミュレータ52と，シミュレーションに用いた
ロボット操作指令情報をロボット55に送信すると共に撮
像手段56で撮像されてロボット側から送られてきたロボ
ット作業状態の実画像を受信する伝送手段53と，伝送手
段53で受信された実画像とシミュレータ52による模擬画
像を所定時間遅延させた同定画像とを同一画面上に重ね
合わせて表示する表示手段54とを具備してなる。

〔作用〕

操作者は操縦手段51を用いてシミュレータ52で作成さ
れた模擬画像を見ながらシミュレーションによるロボッ
ト操作を行う。この模擬画像としては連続的な動画像を
リアルタイムで作成でき，しかも種々の方向からロボッ
ト55を見た画像を作成できる。このため，このシミュレ
ーションによるロボット操作は容易に行うことができ
る。

シミュレーションに用いた操作指令情報は伝送手段53
を用いてロボット55に送られ，ロボット55はその操作指
令情報に基づいて動作を行う。この動作は理論的にはシ
ミュレーションによるロボット動作と同じになるはずで
ある。

操作者が希望した通りに実際にロボット55が動作した
か否かの確認は撮像手段56で撮像されたロボット作業状
態の実画像を受信表示することによって行う。

この時，受信した実画像と同じタイミングで同じ動作
をするようにシミュレーション模擬画像を遅延させた同
定画像を作成し，この同定画像と実画像とを表示手段54
で同一画面上に重ね合わせて表示する。これにより作業
状態の同定が簡単に行えるようになる。

〔実施例〕

以下，図面を参照しつつ本発明の実施例を説明する。

第２図には，本発明の一実施例としてのロボットの遠
隔操作装置のブロック構成が示される。この実施例はロ
ボット20を宇宙に設置した場合のものである。

第２図において，宇宙側のロボット20は，第８図で説
明したものと同じ構成であり，情報通信装置12,ロボッ
トコントローラ13,ロボットアーム14,テレビカメラ15,
照明装置16,テレビカメラ17を含み構成される。ここで
テレビカメラ15はロボットアーム14の動きをモニタする
ようにロボット装置に備えられるものである。またテレ
ビカメラ17はロボット装置の全体的に姿勢を撮影するた
めのカメラであり種々の方向から見るため複数台のこと
もあるが，作業環境によっては用意できないこともあ
る。

第３図はかかる宇宙ロボット20の外観斜視図の一例を
示す図であり，これはちょうど前述のテレビカメラ17か
らロボット装置を見た場合の外観像に相当する。第３図
に示されるように，このロボット装置は，複数の関節を
持って折り曲がり動作しつつ作業を行う４本のアーム14
と，それらアーム14の作業を適当な位置からモニタでき
るように移動可能なカメラ12とを備えている。なお，図
中,21は宇宙建造物であり，この組立てをロボット20で
遠隔操作で行うものとする。

地上側装置22は，ティーチングボックス等の操縦装置
1,操縦装置１を操作することによってロボットへの操作
指令信号を発生するロボット操縦装置コントローラ2,コ
ントローラ２からの操作指令信号に応じてロボットの動
作を計算機処理により模擬画像を生成しつつシミュレー
ションする宇宙ロボットシミュレータ3,シミュレーショ
ンにより得られた模擬画像を表示するための画像表示装
置（高精細グラフィックディスプレイ）4,宇宙ロボット
20との間で衛星回線を介して情報の送受を行う通信装置
7,ロボット20から受信したロボット側の実画像を表示す
るための１又は複数のモニタテレビ8,フレームスキャン
コンバータ9,ロボット実画像信号と模擬画像から生成し
た同定画像信号とを同一画面上に重ね合わせるオーバー
レイ装置10,オーバーレイ装置10で重ね合わせた画像を
表示するロボット作業環境監視用モニタテレビ11などを
含み構成される。

シミュレータ３は，ロボット20の例えば構造に関する
種々のデータを格納したロボットデータファイル５と，
ロボットが作業を行う宇宙環境や作業対象物に関する種
々のデータを格納した宇宙環境データファイル６とを備
えており，これらのデータに基づきコントローラ２から
のロボット操作指令信号に応じて宇宙空間に設置された
ロボットの動きをシミュレーションにより求めて，これ
を模擬画像として画像表示装置４にリアルタイムで表示
する。

画像表示装置４における模擬画像の表示態様として
は，例えば第４図に示されるように，一つの画面を４分
割し，それぞれの分割画面に，ロボット全体の斜視画像
Ａ（カメラ17で撮影した画像に相当），ロボット20の側
面画像B,その正面画像C,および，アーム14の作業状態を
表示する画像Ｄ（カメラ15で撮影した画像に相当）を表
示するなどの方法が可能である。またこれらの分割画面
のうちの一つだけを１画面全体に拡大表示することも可
能である。

なお第５図は，第３図の外観構成のロボットと宇宙構
造物についてシミュレーションにより作成した模擬画像
の一具体例を示すものであり，第６図はこのうちの作業
状態表示画像Ｄを画面全体に拡大表示した場合の画像で
ある。

操縦装置１の一構成例が第７図に示される。第７図に
おいて,100はロボットアームの６軸の関節を駆動するθ
_１〜θ_６駆動釦,101はハンド開閉釦,102は編集釦,103は
LEDディスプレイ,104はロボット暴走停止用の緊急停止
用釦,105はXYZモード／アームモード／θモード間の切
換えスイッチ,106は１ステップモード／低速モード／増
速モード間の速度制御スイッチ,107は速度を３段階に切
り換える速度切換えスイッチである。ここで編集釦102
は，これらの釦を押すことによりティーチング時のロボ
ットの位置情報をロボット操縦装置コントローラ２内の
メモリに格納するためのものである。

以下，実施例装置の動作を説明する。

オペレータは操縦装置１を用いて宇宙ロボット20にさ
せたい動作の操縦を行い，コントローラ２を介してロボ
ット操作指令信号をシミュレータ３に送る。シミュレー
タ３はロボットデータファイル５と宇宙環境データファ
イル６からデータを読み込み，これらのデータに基づ
き，ロボット操作指令信号に対応したロボット動作を計
算機処理によりシミュレーションで求め，そのシミュレ
ーション結果の模擬画像を画像表示装置４にリアルタイ
ムで連続的な動画像により表示する。

この場合，オペレータはリアルタイムで連続動作する
模擬画像を見ながら操縦装置１で操縦を行うことができ
るので，このロボットのシミュレーション操縦を容易に
行うことができる。しかも模擬画像としては，ロボット
の全体姿勢の斜視画像A,側面画像B,正面画像C,上面から
みた画像Ｄなどを計算処理により随意に得て第５図に示
される如くに表示することができるので，この模擬画像
を見ての操縦は一層容易である。

シミュレーション操縦に際しては，画像表示装置４上
で，正常に動いたロボット動作のみを逐次取り出して編
集しつつ一連の希望の動作を組み立て，この動作の確認
を行った後に，その動作の操作情報を通信装置７を介し
て宇宙空間のロボット20に送る。

ロボット20ではこの操作情報を通信装置12で受信し，
その操作情報に基づきコントローラ13でロボットアーム
14を動作させる。このロボットアーム14の動作は理論的
にはシミュレータ３で行ったロボットアーム14のシミュ
レーション動作と同じになるはずである。このロボット
アーム14の動作はテレビカメラ15で撮影され，ロボット
アーム14の実画像として通信装置12によって地上側装置
22に送られる。またカメラ17がある場合にはこれらの撮
影画像も同様に地上側装置に送られる。この場合，前述
したようにこれらの実画像は一般的には半静止画像であ
る。

地上側装置22では受信した実画像をモニタテレビ８で
表示する。カメラ17が存在する場合にはその画像も他の
モニタテレビ８で表示する。これと共にテレビカメラ15
の実画像信号（NTSC信号）をオーバーレイ装置10に送
る。

このオーバーレイ装置10にはフレームスキャンコンバ
ータ９を介して同定画像が入力される。この同定画像は
シミュレーションにより作成された模擬画像をシミュレ
ータ３内で所定時間遅延させたものであり，例えばロボ
ット20から送られオーバーレイ装置10に入力された実画
像がテレビカメラ15の撮影画像である場合には，この画
像に対応する第５図の画像Ｄの部分を取り出してこれを
フレームスキャンコンバータ９で１画面のNTSC信号に変
換したものである。所定の遅延時間としては，地上側装
置22からロボット操作情報を送ってから，それに応じて
ロボット20で操作されたロボットアーム14の動作状態を
テレビカメラ15で撮影した実画像が地上側装置に到着す
るまでの時間に設定される。

この結果，ロボット20からの実画像と同定画像とは理
論的には同じタイミングで同じ動きをするはずである。
そこでオーバーレイ装置10によりこの二つの画像信号を
同一画面上に重ね合わせる。重ね合わせ方としては，一
方の画像たとえば同定画像を半透明な画像とし，他方の
画像たとえば実画像はそのままの画像とするなどの方法
が可能である。

オーバーレイされた画像は監視用モニタテレビ11上に
表示される。この場合，同定画像は連続的な動画像とな
り，実画像は間欠的な動作の半静止画像となる。したが
って半静止している実画像に，連続的に動く同定画像が
一致することを確認していくことで，ロボット20のロボ
ットアーム14の作業状態とシミュレーションによる作業
状態との同定を行え，ロボットアーム14が操作指令した
通りに動いていることを確認できる。

このようにシミュレータ３が生成する同定画像とロボ
ット20からの実画像とをオーバーレイして１台のモニタ
テレビ11上に表示することによって，ロボットを操作し
ている操作者はロボットアーム14の作業が正しく行われ
ているか否かを１台のモニタテレビ11を見るだけで確認
することができるため，ロボットの作業の監視が非常に
容易になる。

〔発明の効果〕

本発明によれば，伝送信号の伝搬遅延が大きいような
遠隔場所にあるロボットの遠隔操縦を簡単に行えるよう
になるとともに，希望したとおりにロボットが作動され
たか否かの確認も簡単に行えるようになる。

【図面の簡単な説明】

第１図は本発明に係る原理説明図， 第２図は本発明の一実施例としてのロボットの遠隔操作
装置を示すブロック図， 第３図は宇宙空間にあるロボットの構成例を示す外観斜
視図， 第４図は地上側装置の画像表示装置の分割表示方法の例
を示す図， 第５図は第４図の分割表示方法により表示されたロボッ
トの具体例を示す図， 第６図は第５図中の分割画面を画面全体に拡大表示した
場合の例を示す図， 第７図は地上側装置のロボット操縦装置の具体例を示す
外観図，および， 第８図は従来のロボットの遠隔操作装置を示すブロック
図である。 図において， １……ロボット操縦装置 ２……ロボット操縦装置コントローラ ３……宇宙ロボットシミュレータ ４……画像表示装置（グラフィックディスプレイ） ５……ロボットデータファイル ６……宇宙環境データファイル 7,12……情報通信装置 ８……モニタテレビ ９……フレームスキャンコンバータ 10……オーバーレイ装置 11……ロボット作業環境監視用テレビ 13……ロボットコントローラ 14……ロボットアーム 15,17……テレビカメラ 16……照明装置 20……宇宙ロボット 21……宇宙建造物 22……地上側装置

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】ロボット作業状態を監視する撮像手段（5
   6）と共に遠隔場所に位置されたロボット（55）を遠隔
   操作するロボットの遠隔操作装置であって， ロボット（55）への操作指令を発する操縦手段（51）
   と， 該操縦手段（51）からの操作指令に応じてロボット動作
   のシミュレーションを，模擬画像をリアルタイムで表示
   しつつ行うシミュレータ（52）と， 該シミュレーションに用いたロボット操作指令情報を該
   ロボット（55）に送信すると共に，該撮像手段（56）で
   撮像されてロボット側から送られてきたロボット作業状
   態の実画像を受信する伝送手段（53）と， 該伝送手段（53）で受信された実画像と該シミュレータ
   （52）による模擬画像を所定時間遅延させた同定画像と
   を同一画面上に重ね合わせて表示する表示手段（54）と を具備してなるロボットの遠隔操作装置。