JPH0386484A - ロボットの遠隔操作装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要］ 宇宙空間などの遠隔場所にあるロボットを、シミュレー
タを用いて遠隔操作するロボットの遠隔操作装置に関し
。

ロボットの置かれている実環境での対象物の位置・姿勢
とシミュレータ内における環境モデルのそれとの間に食
い違いが生じた場合に、これを自動的に修正できるよう
にすることを目的とし。

計Ｗ機を用いてシミュレーション画像を表示しつつロボ
ット動作のシミュレーションを行うシミュレータを使用
したロボットの遠隔操作装置において、遠隔場所のロボ
ットが作業する実環境にある物体の位置と姿勢を測る位
置姿勢測定手段とを備え、この位置姿勢測定手段で得ら
れた実環境物体の位置姿勢データに基づきシミュレータ
内にある環境モデルの位置姿勢データが修正されるよう
に構成される。

［産業上の利用分野］ 本発明は、宇宙空間などの遠隔場所にあるロボットをシ
ミュレータを用いて遠隔操作するロボットの遠隔操作装
置に係り、特にシミュレータ内にある環境モデルの位置
・姿勢を修正する機能を備えたロボットの遠隔操作装置
に関する。

［従来の技術］ 近年の宇宙開発に伴い、環境の厳しい宇宙でロボットに
作業を行わせる必要性が生じている。例えば宇宙空間に
おける宇宙ステーション建造のための作業、あるいは無
人の宇宙ステーション内における各種実験等の作業など
である。これらの作業は人が容易に近づけない宇宙での
作業であるため、ロボットの操作は地上あるいは宇宙ス
テーションからの遠隔操作で行われるのが一般的である
。

かかる遠隔操作を行う遠隔操作システムとしては、ロボ
ットが作業をする実環境の画像をカメラで撮影し、その
画像を衛星通信回線を介してリアルタイムで地上側に送
り、地上側のオペレータがテレビモニタでその実環境画
像を監視しながらロボットを遠隔操作するものが考えら
れる。

しかしながら、上述の方法では、ロボットと地上装置と
を結ぶ衛星通信回線での電波伝搬遅延が大きいこと１画
像データの情報量が大きいにもかかわらず利用できる衛
星通信回線の容量が小さいこと、さらに実環境下での制
約により、ロボットの作業状態を種々の方向から撮影で
きないことなどの理由により、ロボットをスムーズに遠
隔操作することは難しく、操作にはかなりの熟練が必要
である。

そこで、このようなリアルタイム操作によるロボット操
縦の問題点を解決する手法として、グラフィックデイス
プレィと計算機を用いたシミュレータによりロボット動
作のシミュレーションを地上側で行い、そのシミュレー
ションによりロボット動作を事前に検証しておいてから
、宇宙側ロボットへシミュレーションで生成した操作デ
ータを転送し、それによりシミュレーションで行ったの
と同一の動作を宇宙側ロボットに行わせる方法が提案さ
れている。

第５図にはかかるシミュレータを用いたロボットの遠隔
操作システムが示される。第５図において、宇宙空間に
設置されるロボット２０は、ロボットコントローラ１３
で制御されるロボットアーム１４を備え、ロボットアー
ム１４にはアームの作業状態を監視するためのテレビカ
メラ１５と照明装置１６が取り付けられており、ロボッ
ト２０と地上との間の各種情報の送受用に通信装置１２
が備えられる。またロボット２０の全体的な位置・姿勢
をとらえるためのテレビカメラ１７も可能であれば設置
される。

第６図はかかる宇宙ロボット２０と作業対象物２１を含
む実環境の一利を示す図であり、これはちょうど前述の
テレビカメラ１７からロボット２０を見た場合の外観画
像に相当する。第６図に示されるように、このロボット
２０は、複数の関節を持って折り曲がり動作しつつ作業
を行う４本のアーム１４と、それらアーム１４の作業を
適当な位置からモニタできるように移動可能なカメラ１
５とを備えている。２１は宇宙建造物などの作業対象物
であり、この組み立てをロボット２０で遠隔操作で行う
ものとする。

地上装置２２は、ティーチングボックス等の操縦装置ｌ
、操縦装置１を操作することによってロボットへの操作
指令信号を発生するロボット操縦コントローラ２．コン
トローラ２からの操作指令信号に応じてロボット動作の
シミュレーションを計算機処理により模擬画像（シミュ
レーション画像）を表示しつつ行う宇宙ロボットシミュ
レータ３、シミュレーションにより得られた模擬画像を
表示するための画像表示装置（高精細グラフィックデイ
スプレィ）４．宇宙ロボット２０との間で衛星回線を介
して情報の送受を行う通信装置７゜ロボット２０から受
信したロボット側の実画像を表示するための１台または
複数台のモニタテレビ８、フレームキャンコンバータ９
．ロボット実画像信号と模擬画像から生成したロボット
動作同定用の画像信号とを重ねあわせるオーバレイ装置
１０、オーバレイ装置１０で重ね合わせた画像を同一画
面上に表示するロボット作業環境監視用のモニタテレビ
１１などを含み構成される。

シミュレータ３は、ロボット２０の例えば構造に関する
種々のモデルデータを格納したロボットデータファイル
５と、ロボットが作業を行う宇宙環境や作業対象物２１
に関する種々のモデルデータを格納した宇宙環境データ
ファイル６とを備えており、これらのデータに基づきコ
ントローラ２からのロボット操作指令信号に応じて宇宙
空間に設置されたロボットの動きをシミュレーションに
より求めて、これを模擬画像として画像表示装置４にリ
アルタイムで表示する。

画像表示装置４における模擬画像の表示態様としては１
例えば第７図に示されるように、一つの画面を四分割し
、それぞれの分割画面に、ロボット全体の斜視画像Ａ（
カメラ１７で撮影した画像に相当）、ロボット２０の側
面画像Ｂ、その正面画像Ｃ１および、アーム１４の作業
状態を表示する画像Ｄ（カメラ１５で撮影した画像に相
当）を表示するなどの方法が可能である。またこれらの
分割画面のうちの一つだけをＩ画面全体に拡大表示する
ことも可能である。

このロボット遠隔操作システムによるロボット操作を以
下にする。オペレータは操縦装置１を用いて宇宙ロボッ
ト２０に行わせたい動作の操縦を行い、コントローラ２
を介してロボットの操作指令信号をシミュレータ３に送
る。シミュレータ３はロボットデータファイル５と宇宙
環境データファイル６からデータを読み込み、これらの
ブタに基づき、ロボット操作指令信号に対応したロボッ
ト動作を計算機処理によりシミュレーションで求め、そ
のシミュレーション結果の模擬画像を画像表示装置４に
リアルタイムで連続的な動画像として表示する。

この場合、オペレータはリアルタイムで動作する！ｉ凝
両画像見ながら操縦装置１を用いて操縦を行えるので、
このロボットのシミュレーション操縦は容易である。特
に模擬画像として、ロボットの全体姿勢の斜視画像Ａ、
側面画像Ｂ、正面画像Ｃ１上面からみた画像りなどを計
算処理により得て第７図に示される如くに表示できるの
で、操縦は一層容易である。

シミュレーション操作に際しては２画像表示装置４上で
、正常に動いたロボット動作のみを逐次取り出して編集
しつつ一連の動作を組み立て、この動作の検証を行った
後に、その動作の操作情報を通信装置７に介して宇宙空
間のロボット２０に送る。

ロボット２０ではこの操作情報を通信装置１２で受信し
、その操作情報に基づきコントローラ１３でロボットア
ーム１４を動作させる。このロボットアーム１４の動作
は理論的にはシミュレータ３で行ったロボットアーム１
４のシミュレーション動作と同じになるはずである。こ
のロボットアーム１４の動作はテレビカメラ１５で撮影
され、ロボットアーム１４の実画像として通信装置１２
によって地上装置２２に送られる。またカメラ１７があ
る場合にはこれらの撮影画像も同様に地上装置２２に送
られる。

地上装置２２では受信した実画像をモニタテレビ８で表
示する。カメラ１７が存在する場合にはその画像も他の
モニタテレビ８で表示する。これと共にテレビカメラ１
５の実画像信号（ＮＴＳＣ信号）をオーバーレイ装置ｌ
Ｏに送る。

このオーバレイ装置１０にはフレームスキャンコンバー
タ９を介してロボット動作同定用の画像が入力される。

この同定用の画像は、ロボット２０側から送られてきた
実画像と動作タイミングが一致するように模擬画像を遅
延させたものであり、モニタテレビ１１上で実画像と模
擬画像の動きが一致していることを確かめることで、望
みどおりのロボット動作がロボット２０側でなされたこ
とを確認できるものである。

［発明が解決しようとする課題］ 上述のシミュレータによる遠隔操作装置は、ロボットに
大きな動きをさせる場合には、他との干渉の問題などか
らみて非常に有効なものと考えられる。

しかし９手首センサや手のひらセンサ等の多くのセンサ
を使用する細かい作業には向いておらず、このような細
かい作業を行う場合には、シミュレータを用いずにロボ
ット操作装置で直接に遠隔地にあるロボットを動かした
ほうがよいと考えられる。

この場合、ロボットを直接に遠隔操作することにより、
宇宙ロボットの実環境における作業対象物の位置・姿勢
が変化し、それにより地上側のロボットシミュレータ内
の環境モデルの位置・姿勢データとの間で食い違いが生
じることになる。

方、シミュレーションによる遠隔操作が正常に動作する
ためには、宇宙空間の実環境とシミュレータ内の環境モ
デルとが同一であるということが条件となる。したがっ
て、上述の直接遠隔操作の後に再びシミュレーション遠
隔操作を行おうとしても、うまくいかないことになる。

またシミュレーションによる遠隔操作だけを行っている
場合でも、ロボットが作業に失敗した時９例えばアーム
で作業対象物をつかみ損ねたような時には、無重力状態
の宇宙空間でのことであるため、実環境での作業対象物
の位置・姿勢が大きく変わることが予想され、シミュレ
ータ内の環境モデルと大きく食い違うことになる。

このように実環境とシミュレーションによる環境モデル
との間に食い違いが生じた場合には、シミュレータ内の
作業対象物の位置・姿勢データを修正する必要があるが
、従来はこの環境モデルの位置・姿勢の食い違いを簡単
に修正できる手段がなかった。

一つの提案される修正方法としては９作業対象物の位置
・姿勢を多数のセンサを用いて測定し。

計算機内のモデルデータに修正をかける方法もあるが、
装置が大掛かりとなり、現実的ではない。

このようにロボットが作業を失敗した時など。

実際の作業対象物の位置・姿勢がシミュレータ内の環境
モデルデータと違ってしまった場合には。

この位置・姿勢の修正に非常に多くの手間を要するとい
う問題がある。

したがって本発明の目的は、シミュレーション環境モデ
ルの位置・姿勢が実環境のそれと違ってしまったような
場合に、シミュレーション環境モデルの位置・姿勢デー
タを実環境のそれと一致させるように自動的に修正を行
えるようにすることにある。

［課題を解決するための手段］ 第１図は本発明に係る原理説明図である。図中、４１は
ロボット動作のシミュレータ、４２は通信機、４３は画
像表示器、４５はロボット側の実環境を撮影するカメラ
、４６はロボットである。

本発明に係るロボットの遠隔操作装置は、計算機を用い
てシミュレーション画像を表示しつつロボット動作のシ
ミュレーションを行うシミュレタ４１を使用したロボッ
トの遠隔操作装置において、遠隔場所のロボット４６が
作業する実環境にある物体の位置と姿勢を測る位置姿勢
測定手段４７または４８を備え、この位置姿勢測定手段
で得られた実環境物体の位置姿勢データに基づきシミュ
レータ４１内にある環境モデルの位置姿勢データが修正
されるよう構成されるものである。

この位置姿勢測定手段は、一つの形態としてロボット側
に備え付けることができ、この位置姿勢測定手段４７で
得られた位置姿勢データが通信機４２によってシミュレ
ータ側に送られるように構成できる。

またこの位置姿勢測定手段は、他の形態として、シミュ
レータ４１側に備え付、けることができ、この位置姿勢
測定手段４８により、ロボット測から送られてくる実環
境の画像から物体の位置姿勢データが得られるように構
成できる。

［作　　用　　］ シミュレータ４１側の環境モデルの状態がロボット４６
側の実環境の状態と食い違ってしまった場合、実環境に
おける物体の位置と姿勢を位置姿勢測定手段４７または
４８で測り、この結果得られた位置姿勢データに環境モ
デルのそれを一致させる。

位置姿勢測定手段はロボット４６側に設けることができ
、その場合、その測定手段４７で得られた位置姿勢デー
タは通信機４２でシミュレータ４１側に送られ、それに
より環境モデルの修正が行われる。

また位置姿勢測定手段はシミュレータ４１側に設けるこ
ともでき、その場合、カメラ４５で撮影された実環境の
画像がシミュレータ４１側に送られ、この画像に基づき
位置姿勢測定手段４８で位置姿勢データが求められ、こ
れを用いて環境モデルの修正が行われる。

［実施例］ 以下９図面を参照して本発明の詳細な説明する。　第２
図には本発明の一実施例としてのロボットの遠隔操作装
置が示される。この第２図中、前述の従来例で説明した
ものと同じ参照番号のものは同一機能の回路であるので
、これらについては詳しい説明を省略する。

従来例との相違点として、宇宙ロボット２０側には、宇
宙の実環境におかれた物体１例えば作業対象物２１の位
置（距離）を測定するレーザレーダ１９と、対象物２１
をカメラ１７で撮影した画像に基づき対象物２１の姿勢
を推定する姿勢推定装置１８とが備えられていることで
ある。

この姿勢推定装置１８は、計算機内部に対象とする物体
のモデルを持ち、モデルマツチング手法により３次元空
間に存在する物体の姿勢を推定するものである。この推
定アルゴリズムとしては種々の方法が提案されており２
例えば本出願人に係る特開平１−１０６１８７　（特願
昭６２−２６２７３１）、特開平１−１０６１８８　（
特願昭６２−２６２７３２）、および特開平１−１０６
１８９（特願昭６２−２６２７３３）の各公報において
も「３次元空間に存在する物体の姿勢推定方法」と称さ
れる方法が提案されている。

第３図はこの姿勢推定方法の概念を概略的に説明する図
である。この推定方法は、物体を撮影して得た２次元画
像の濃淡情報から抽出したその物体の姿勢に関する特徴
パラメータと、その物体のモデルについて種々の姿勢を
想定して生成したそのモデルの姿勢に関するモデル側の
特徴パラメータ（以下、モデルパラメータと称する）の
群とを照合してマツチングをとることによって対象物体
の姿勢を推定するものである。

第３図において、カメラで撮影された撮影画像３２から
対象物の姿勢を表す特徴パラメータが抽出される。一方
、対象物３１のモデルデータ３３からはそのモデルの種
々の姿勢に関するモデルパラメータが抽出され、これら
特徴パラメータとモデルパラメータとのパラメータマツ
チングにより対象物の姿勢が推定される。

パラメータとしては対象物の面ベクトルと重心位置ベク
トルが用いられる。例えばモデルは第４図に示されるよ
うに、多面体の各面の頂点座標Ａ−Ｈで表現され、この
モデルの各面について面ベクトルと重心位置が計算され
る。そして対象物内に適当に設けた回軸中心＊Ｏが始点
となるよう各面ベクトルを移動させ、またこの回軸中心
＊Ｏを始点とし重心位置を終点とする重心位置ベクトル
を作る。

一方、カメラ側では、撮影した対象物３１の２次元画像
の濃淡値により対象物を領域分割してそれを構成する各
面３２．．３２□、３２３を切り出し、これら各面につ
いての面積Ｓ、、Ｓ２゜Ｓ３と重心位置（Ｘ＋　、”Ｊ
＋　）　、（Ｘ２ｙｚ　）、（Ｘ３　、ｙ３）を求める
。

そしてモデル側の各ベクトルを回軸中心＊０の回りで回
転させつつ、カメラ側で抽出したデータとパラメータマ
ツチングさせ、マツチングの一致時におけるモデルの姿
勢から、対象物の姿勢を推定するものである。なお、モ
デルはレーザレーダ１９で測定された位置データに基づ
きその大きさが縮小、拡大されてパラメータマツチング
に使用される。

次に実施例のロボット遠隔操作装置の動作を説明する。

宇宙ロボット２０側の実環境とシミュレータ３内の環境
モデルのデータ６とに食い違いが生じた場合、宇宙ロボ
ット２０側において。

レーザレーダ１９と姿勢推定装置１８とを用いて、実環
境の対象物２１の位置測定と姿勢推定とを行い、その結
果得られた位置データと姿勢データを通信装置１２，７
を用いて地上装置２２側に送る。

地上装置２２では、この実環境での位置データと姿勢デ
ータをシミュレータ３に送り、シミュレータ３はシミュ
レータ３内に備えられた宇宙環境データファイル６の内
容を、送られてきた実環境の位置データを姿勢データに
一致するようその位置姿勢データの修正を行う。これに
より宇宙の実環境とシミュレータ内の環境モデルとが一
致することになり、以降、シミュレーションによる遠隔
操作が正常に行われるようになる。

本発明の実施にあたっては種々の変形形態が可能である
。例えば上述の実施例では、宇宙における対象物２１の
位置測定を行うレーザレーダ１９と姿勢推定を行う姿勢
推定装置１８とを宇宙ロボット２０側に備え付けたが２
本発明はこれに限られるものではなく、これらの機能を
地上装置２２側に備え付けることも可能である。

すなわち１例えば特開平１−１０６１８７で提案された
ような、対象物２１の実画像データに基づきその対象物
の位置と姿勢を推定する位置姿勢推定装置を地上装置２
２側に設け、この装置を用いて、宇宙ロボット２０側か
ら送られてきた実環境画像から対象物２１の位置データ
と姿勢データを得るようにしてもよい。

またこの位置姿勢推定装置では十分な精度の位置情報が
得られないような場合には、宇宙ロボット２０側にレー
ザレーダ１９を置き、一方、地上装置２２側には姿勢推
定のみを行う姿勢推定装置１８を置くようにしてもよい
。

［発明の効果］ 本発明によれば、シミュレータ内の環境モデルの位置・
姿勢が実環境のそれと食い違ってしまったような場合に
も、これらを一致させるよう自動的に修正を行うことが
可能になる。

【図面の簡単な説明】

第１図は本発明に係る原理説明図。 第２図は本発明の一実施例としてのロボットの遠隔操作
装置を示すブロック図。 第３図はモデルを使った特徴パラメータマツチングによ
る姿勢推定の概念を示す図。 第４図はモデルの面ベクトルおよび重心位置ベクトルの
抽出方法を説明する図。 第５図はシミュレータを用いたロボット遠隔操作装置の
従来例を示す図。 第６図は宇宙空間にあるロボットと作業対象物の外観の
例を示す図、および。 第７図は地上装置のシミュレータにより生成された分割
表示画像の一例を示す図である。 図において。 ｌ・・・ロボット操縦装置 ２・・・ロボット操縦装置コントローラ３・・・宇宙ロ
ボットシミュレータ ４・・・画像表示装置（グラフィックデイスプレィ） ５・・・ロボットデータファイル ６・・・宇宙環境データファイル ７．１２・・・通信装置 ８・・・モニタテレビ ９・・・フレームスキャンコンバータ １０・・・オーバレイ装置 １１・・・ロボット作業環境監視用テレビ１３・・・ロ
ボットコントローラ １４・・・ロボットアーム １５．１７・・・テレビカメラ １６・・・照明装置 １８・・・姿勢推定装置 １９・・・レーザレーダ ２０・・・宇宙ロボット ２１・・・宇宙建造物 ２２・・・地上装置

Claims (1)

1. 【特許請求の範囲】 １、計算機を用いてシミュレーション画像を表示しつつ
   ロボット動作のシミュレーションを行うシミュレータ（
   ４１）を使用したロボットの遠隔操作装置において、 遠隔場所のロボットが作業する実環境にある物体の位置
   と姿勢を測る位置姿勢測定手段（４７；４８）を備え、 この位置姿勢測定手段（４７；４８）で得られた実環境
   物体の位置姿勢データに基づきシミュレータ内にある環
   境モデルの位置姿勢データが修正されるように構成され
   たロボットの遠隔操作装置。 ２、位置姿勢測定手段（４７）はロボット側に備えられ
   ており、この位置姿勢測定手段（４７）で得られた位置
   姿勢データが通信手段（４２）によってシミュレータ側
   に送られるように構成された請求項１記載のロボットの
   遠隔操作装置。 ３、位置姿勢測定手段（４８）はシミュレータ（４１）
   側に備えられており、この位置姿勢測定手（４８）によ
   りロボット側から送られてくる実環境の画像から物体の
   位置姿勢データが得られるように構成された請求項１記
   載のロボットの遠隔操作装置。