JP4320305B2 - 遠隔操作装置および遠隔操作方法 - Google Patents

Description

本発明は、作業空間にある作業装置を遠隔操作する遠隔操作装置および遠隔操作方法に関する。

宇宙空間、原子力発電所、海底、災害現場、医療現場等の作業空間でロボットを用いて作業を行う場合、操作者はロボットを遠隔操作することが必要となる。

操作者が作業空間にあるロボットを直視できない場合には、作業空間にカメラを設置し、操作者はカメラから伝送されてくる実映像を見ながら操作デバイスを操作することによりロボットの作業アームを操作する。

また、カメラを作業空間に適切に設置することが困難な場合にカメラからの映像と同等の映像をグラフィックシミュレータにより作成し、グラフィック映像を操作者に呈示するロボットの遠隔操作支援装置も提案されている（特許文献１参照）。
特開平６−３９７５３号公報

作業空間でのロボットによる作業では、上記のように、操作者は遠隔場所から伝送される実映像またはそれと同等のグラフィック映像を見ながら操作デバイスを用いてロボットの作業アームを遠隔操作し、移動する物体を作業アームにより把持し、あるいは移動する他のロボットの作業アームと協調作業を行う場合がある。

このような場合、操作者は、映像から運動物体や他の作業アームの動きを正確に把握することが困難である。そのため、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができない。

本発明の目的は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる遠隔操作装置および遠隔操作方法を提供することである。

本発明者は、動的な視覚環境が３次元運動物体の位置予測の精度にどのような影響を与えるかを調べた結果、自己運動を模擬した動的視覚環境の条件において位置予測の精度が向上することを見出した。この知見に基づいて以下の発明を案出した。

本発明に係る遠隔操作装置は、実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作装置であって、操作者の操作に基づいて作業装置を遠隔操作する操作手段と、操作手段により遠隔操作される作業装置の映像を取得する取得手段と、操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像を生成する生成手段と、取得手段により取得された映像の背景として生成手段により生成された動画像を合成して合成映像を得る合成手段と、合成手段により得られた合成映像を表示することにより操作者に合成映像を呈示する表示手段とを備えたものである。

その遠隔操作装置においては、操作者による操作手段の操作に基づいて作業装置が遠隔操作される。このとき、遠隔操作される作業装置の映像が取得手段により取得される。一方、操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像が生成手段により生成される。取得された映像の背景として生成された動画像が合成手段により合成されて合成映像が得られ、表示手段に表示されることにより操作者に呈示される。

この場合、表示手段に表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、動的な視覚環境条件において、表示手段に表示される合成映像に基づいて作業空間の作業装置を操作手段により正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。

本発明に係る遠隔操作方法は、実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作方法であって、操作者の操作に基づいて作業装置を遠隔操作するステップと、遠隔操作される作業装置の映像を取得するステップと、操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像を生成するステップと、取得された映像の背景として生成手段により生成された動画像を合成して合成映像を得るステップと、合成映像を表示することにより操作者に合成映像を呈示するステップとを備えたものである。

その遠隔操作方法においては、操作者の操作に基づいて作業装置が遠隔操作される。このとき、遠隔操作される作業装置の映像が取得される。一方、操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像が生成される。取得された映像の背景として生成された動画像が合成されて合成映像が得られ、表示されることにより操作者に呈示される。

この場合、表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、動的な視覚環境条件において、表示される合成映像に基づいて作業空間の作業装置を正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。

本発明によれば、表示される合成映像の動画像が移動することにより操作者の動的な視覚環境が得られる。それにより、操作者による運動物体の位置予測の精度が向上する。したがって、操作者は、動的な視覚環境条件において作業空間の作業装置を表示される合成映像に基づいて正確に遠隔操作することができる。その結果、操作者は、運動物体に関連する作業を映像に基づいて正確に遠隔操作することができる。

（１）遠隔操作装置の構成
図１は本発明の一実施の形態に係る遠隔操作装置の構成を示すブロック図である。

図１において、実作業空間１００に作業アーム１１、作業アーム制御システム１２およびカメラ１３が設けられている。

ここで、実作業空間１００は、例えば、宇宙空間、原子力発電所、海底、災害現場、医療現場、工場等である。作業アーム１１は、実作業空間１００内で種々の作業を行うマニピュレータである。カメラ１３は、例えばＣＣＤ（電荷結合素子）カメラ等であり、作業アーム１１を撮像するように配置される。

一方、仮想作業環境２００にマスタアーム２１、マスタアーム処理システム２２、映像合成装置２３、動画像生成装置２４および広視野ディスプレイ２５が設けられている。

マスタアーム２１は、実作業空間１００の作業アーム１１を遠隔操作するために用いられる。操作者５０がマスタアーム２１を操作することにより実作業空間１００の作業アーム１１を遠隔操作することができる。

マスタアーム処理システム２２は、マスタアーム２１の操作を示す操作信号を出力する。動画像生成装置２４は、後述する動画像を生成する。

映像合成装置２３は、実作業空間１００から送信される映像と動画像生成装置２４により生成される動画像とを合成する。以下、動画像が合成された映像を合成映像と呼ぶ。

この合成映像においては、動画像が背景となり、背景上に作業アーム１１の映像が表示される。

映像と動画像との合成方法としては、実作業空間１００から送信される映像のうち作業アーム１１の領域を抽出し、抽出された領域を動画像に重ね合わせる方法、実作業空間１００から送信される映像のうち作業アーム１１の周囲の領域を透過状態にし、その映像を動画像に重ね合わせる方法等の種々の方法を用いることができる。

映像合成装置２３および動画像生成装置２４の一方または両方は、例えばパーソナルコンピュータおよびアプリケーションプログラムにより構成されてもよく、映像合成装置２３および動画像生成装置２４の一方または両方が論理回路等の種々の電子回路により構成されてもよい。

広視野ディスプレイ２５は、映像合成装置２３により得られた合成映像を表示する。広視野ディスプレイ２５としては、大画面液晶表示パネル、プラズマディスプレイパネル等のフラットパネルディスプレイ、投射型映像表示装置等の種々の映像表示装置を用いることができる。また、広視野ディスプレイ２５として操作者５０の前部だけでなく、両側部、底部および上部のうち一部または全部に画面を有する映像表示装置を用いてもよい。さらに、広視野ディスプレイ２５として、３次元立体映像を表示する立体映像表示装置を用いてもよく、あるいは平面映像を表示する映像表示装置を用いてもよい。

実作業空間１００の作業アーム制御システム１２およびカメラ１３ならびに仮想作業環境２００のマスタアーム処理システム２２および映像合成装置２３は、通信回線３０に接続されている。

実作業空間１００は、仮想作業環境２００から離れた場所にあってもよく、あるいは近接した場所にあってもよい。

通信回線３０は、通信ケーブルであってもよく、公衆回線網であってもよく、インターネット、ローカルネットワーク等のネットワークであってもよい。

（２）遠隔操作装置の動作
次に、図１の遠隔操作装置の動作について説明する。

実作業空間１００において、カメラ１３は作業アーム１１を撮像し、その映像を映像信号として通信回線３０を経由して仮想作業環境２００の映像合成装置２３に送信する。

仮想作業環境２００の動画像生成装置２４は、合成映像の背景となる動画像を生成する。映像合成装置２３は、実作業空間１００から映像信号として送信された映像に動画像生成装置２４により生成された動画像を合成する。広視野ディスプレイ２５は、映像合成装置２３により得られる合成映像を表示する。

操作者５０は、広視野ディスプレイ２５に表示された合成映像を見ながらマスタアーム２１を操作する。マスタアーム処理システム２２は、マスタアーム２１の操作に基づく操作信号を通信回線３０を経由して実作業空間１００の作業アーム制御システム１２に送信する。作業アーム制御システム１２は、仮想作業環境２００から送信された操作信号に基づいて作業アーム１１の動作を制御する。

このようにして、仮想作業環境２００の操作者５０によるマスタアーム２１の操作にしたがって実作業空間１００の作業アーム１１が遠隔操作される。

本実施の形態に係る広視野ディスプレイ２５には、実作業空間１００の作業アーム１１の映像が動画像からなる背景とともに表示される。すなわち、作業アーム１１の映像の背景が移動する。それにより、操作者５０に自己が運動している感覚（自己運動感覚）を擬似的に起こさせることができる。

後述する実験によると、自己運動感覚を擬似的に起こさせる動的な視覚環境条件においては、静的な視覚環境条件に比べて運動物体の位置予測の精度が向上する。

作業アーム１１の映像に背景として合成される動画像は、操作者５０に向かって近づいてくる背景映像であることが好ましい。

本実施の形態に係る遠隔操作装置においては、広視野ディスプレイ２５に表示される作業アーム１１の背景が移動することにより操作者５０の動的な視覚環境条件が得られる。それにより、移動する作業アーム１１の位置予測の精度が向上する。したがって、操作者５０は、作業アーム１１を広視野ディスプレイ２５に表示される合成映像に基づいて正確に遠隔操作することができる。

（３）運動物体の位置予測実験
ここで、動的視覚環境が３次元運動物体の位置予測に与える効果を実験により調べた。

まず、実験方法および実験条件について説明する。実験装置として視覚環境シミュレータを用いて被験者に３次元立体映像による３次元仮想空間を呈示した。

図２は視覚環境シミュレータの概略図である。図２に示すように、視覚環境シミュレータ５００は、前面、両側面および底面にそれぞれスクリーン５０１，５０２，５０３を有する。スクリーン５０１，５０２，５０３に立体映像が表示されることにより、視覚環境シミュレータ５００内の被験者３００に３次元仮想空間が呈示される。本実験では、４名の被験者３００を採用した。

各被験者５００に視覚環境シミュレータ５００により４種類の映像を呈示した。図３は視覚環境シミュレータ５００により被験者３００に呈示した４種類の映像を示す模式図である。

図３（ａ）の映像は、矢印で示すように、部屋の正面の壁、両側面の壁、天井および床の全体が被験者に向かって接近するように移動する映像である。この部屋の床の中央に被験者３００の位置から前方に延びるように白線ＷＬが描かれている。この状態で、側方からボールＢＬの映像が白線ＷＬに近づくように移動する。

図３（ｂ）の映像は、矢印で示すように、床が被験者に向かって接近するように移動する映像である。図３（ａ）と同様に、この床の中央に、被験者３００の位置から前方に延びるように白線ＷＬが描かれている。この状態で、側方からボールＢＬの映像が白線ＷＬに近づくように移動する。

図３（ｃ）の映像は、暗闇の映像である。この映像では、被験者３００の位置から前方に延びるように白線ＷＬのみが描かれている。この状態で、側方からボールＢＬの映像が白線ＷＬに近づくように移動する。

図３（ｄ）の映像は、部屋の正面の壁、両側面の壁、天井および床の全体が静止した映像である。図３（ａ）と同様に、この部屋の床の中央に被験者３００の位置から前方に延びるように白線ＷＬが描かれている。この状態で、側方からボールＢＬの映像が白線ＷＬに近づくように移動する。

図４は視覚環境シミュレータ５００内で被験者３００に呈示されるボールＢＬの映像を示す平面図である。ボールＢＬの映像は、白線ＷＬに近づくように移動するが、白線ＷＬに到達する前の位置Ｐで消滅する。被験者３００は、ボールＢＬが白線ＷＬと交差する位置を予測する。

この視覚環境シミュレータ５００では、被験者３００のリモコン操作により白線ＷＬ上の任意の位置にポールの映像を表示することができる。被験者３００は、ボールＢＬが白線ＷＬと交差すると予測した位置（以下、予測交差位置と呼ぶ）にポールの映像を表示させる。それにより、被験者３００から予測交差位置までの距離が測定される。各被験者３００について、ボールＢＬの移動方向を３パターンに変えて予測交差位置を調べた。

図５は視覚環境シミュレータ５００内で被験者３００に呈示されるボールＢＬの映像の移動方向を示す平面図である。

ボールＢＬの映像の移動方向は、白線ＷＬに垂直に交差する方向（０度の方向）Ｄ０、方向Ｄ０から奥側（被験者３００から遠ざかる方向）に２０度傾斜した方向（＋２０度の方向）Ｄ１および方向Ｄ０から手前（被験者３００に近づく方向）に２０度傾斜した方向（−２０度の方向）Ｄ２の３パターンである。

図６は視覚環境シミュレータ５００を用いた３次元運動物体の位置予測の結果を示す図である。

図６の横軸はボールＢＬの移動方向を示し、縦軸は予測交差位置および実際の交差位置を示す。黒丸印は部屋全体が移動する図３（ａ）の映像を表示した場合の予測交差位置を示し、黒四角印は床が移動する図３（ｂ）の映像を表示した場合の予測交差位置を示し、菱形印は暗闇である図３（ｃ）の映像を表示した場合の予測交差位置を示し、Ｘ印は部屋全体が静止している図３（ｄ）の映像を表示した場合の予測交差位置を示す。また、十字印は実際の交差位置を示す。図６の結果は４人の被験者の予測交差位置の平均値を表わしている。

十字印で示すように、ボールの移動方向が−２０度の場合には、実際の交差位置は５４ｃｍであり、ボールの移動方向が０度の場合には、実際の交差位置は２００ｃｍであり、ボールの移動方向が＋２０度の場合には、実際の交差位置は３４６ｃｍである。

菱形印で示すように暗闇の映像を表示した場合およびＸ印で示すように部屋全体が静止している映像を表示した場合には、予測交差位置と実際の交差位置との誤差が大きくなった。

これに対して、黒丸印で示すように部屋全体が移動する映像を表示した場合および黒四角矢印で示すように床が移動する映像を表示した場合には、予測交差位置と実際の交差位置との誤差が小さくなった。

特に、黒丸印で示すように部屋全体が移動する映像を表示した場合には、予測交差位置と実際の交差位置との誤差がより小さくなった。

上記の結果から、被験者３００の周囲に動的視覚環境を呈示することにより３次元運動物体の位置予測の精度が向上することがわかった。特に、床だけでなく壁および天井の映像を移動させることにより、３次元運動物体の位置予測の精度がさらに向上することがわかった。

したがって、図１の遠隔操作装置において、仮想作業環境２００の広視野ディスプレイ２５に作業アーム１１の映像に背景として動画像を表示することにより、操作者５０による作業アーム１１の位置予測の精度が向上する。それにより、仮想作業環境２００の操作者５０は、広視野ディスプレイ２５に表示される合成映像を見ながらマスタアーム２１を操作することにより、実作業空間１００の作業アーム１１を正確かつ容易に遠隔操作することができる。

（４）請求項の各構成要素と実施の形態の各部との対応
上記実施の形態では、作業アーム１１が作業装置に相当し、マスタアーム２１が操作手段に相当し、カメラ１３が取得手段に相当し、動画像生成装置２４が生成手段に相当し、映像合成装置２３が合成手段に相当し、広視野ディスプレイ２５が表示手段に相当する。

（５）他の実施の形態
なお、広視野ディスプレイ２５に表示される合成映像は３次元立体映像であってもよく、あるいは２次元平面映像であってもよい。

また、作業アーム１１の背景として表示される動画像は、部屋の映像に限らず、移動する種々の環境、景色、模様、物体等の映像を用いることができる。この場合、背景として表示される動画像は、操作者５０に近づく方向に移動することが好ましいが、他の方向に移動してもよい。

また、上記実施の形態では、作業装置として作業アーム１１が用いられているが、これに限定されず、作業装置として種々のロボット、マニピュレータ等を用いることができる。

さらに、上記実施の形態では、操作手段としてマスタアーム２１が用いられているが、これに限定されず、操作手段としてマウス、リモートコントローラ等の種々の入力装置等を用いることができる。

また、上記実施の形態では、表示手段として広視野ディスプレイ２５が用いられているが、これに限定されず、ＣＲＴ（陰極線管）等の種々の映像表示装置を用いることができる。

本発明は、宇宙空間、原子力発電所、海底、災害現場、医療現場等の実作業空間の作業装置を遠隔操作等に利用することができる。

本発明の一実施の形態に係る遠隔操作装置の構成を示すブロック図である。 視覚環境シミュレータの概略図である。 視覚環境シミュレータにより被験者に呈示した４種類の映像を示す模式図である。 視覚環境シミュレータ内で被験者に呈示されるボールの映像を示す平面図である。 視覚環境シミュレータ内で被験者に呈示されるボールの映像の移動方向を示す平面図である。 視覚環境シミュレータを用いた３次元運動物体の位置予測の結果を示す図である。

符号の説明

１１ 作業アーム
１２ 作業アーム制御システム
１３ カメラ
２１ マスタアーム
２２ マスタアーム処理システム
２３ 映像合成装置
２４ 動画像生成装置
２５ 広視野ディスプレイ
３０ 通信回線
５０ 操作者
１００ 実作業空間
２００ 仮想作業環境
３００ 被験者
５００ 視覚環境シミュレータ
５０１，５０２，５０３ スクリーン
ＷＬ 白線
ＢＬ ボール

Claims (2)

1. 実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作装置であって、
   前記操作者の操作に基づいて前記作業装置を遠隔操作する操作手段と、
   前記操作手段により遠隔操作される前記作業装置の映像を取得する取得手段と、
   操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像を生成する生成手段と、
   前記取得手段により取得された映像の背景として前記生成手段により生成された動画像を合成して合成映像を得る合成手段と、
   前記合成手段により得られた合成映像を表示することにより前記操作者に合成映像を呈示する表示手段とを備えたことを特徴とする遠隔操作装置。
2. 実作業空間に存在する作業装置を操作者が遠隔操作するための遠隔操作方法であって、
   前記操作者の操作に基づいて前記作業装置を遠隔操作するステップと、
   遠隔操作される前記作業装置の映像を取得するステップと、
   操作者が空間内を前進移動した場合に操作者に近づく方向に移動する視覚映像を模擬した動画像を生成するステップと、
   前記取得された映像の背景として前記生成手段により生成された動画像を合成して合成映像を得るステップと、
   前記合成映像を表示することにより前記操作者に前記合成映像を呈示するステップとを備えたことを特徴とする遠隔操作方法。

Images