JP6038701B2

JP6038701B2 - 遠隔視認装置および遠隔視認操作システム

Info

Publication number: JP6038701B2
Application number: JP2013063815A
Authority: JP
Inventors: 佐藤　勝彦; 勝彦佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-03-26
Filing date: 2013-03-26
Publication date: 2016-12-07
Anticipated expiration: 2033-03-26
Also published as: JP2014188600A

Description

本発明の実施形態は、遠隔視認装置およびこれを用いた遠隔視認操作システムに関する。

放射性物質を扱う施設、例えば使用済み燃料集合体の再処理施設などでは、放射線レベルが高くて人が直接近づくことができない機器、部屋が存在する。そのような施設においては、機械式や電動式のマニピュレータを用い、遠隔操作により各種機器の分解、部品の交換、組立などの保守、補修作業が行われている。

放射線による被ばくを防止するために、遠隔保守、補修を行う部屋は、鉛やコンクリート等の遮へい壁により包囲されており、たとえば、マスタースレーブマニピュレータ（以下、「ＭＳＭ」と略す。）が、遮へい壁を貫通し、遮へい壁に固定されている。

ＭＳＭでは、遮へい壁の外側にいる操作者がマスターアームを操作すると、遮へい壁の内側の部分のスレーブアームがそれに従って動くことにより遠隔操作が可能となっている。通常のＭＳＭの操作では、ＭＳＭが取り付けられた遮へい壁の正面に遮へい窓があり、この遮へい窓越しにスレーブ側の作業状況をオペレータが直接目視で確認しながら遠隔作業を実施している。したがって、ＭＳＭ操作の遠隔保守作業の遠隔視認装置は遮へい窓が主体となっている。

特開平９−２３４６８５号公報

上述した遠隔視認のシステムでは、主として、遮へい窓の正面に遠隔操作する対象物を置き、ＭＳＭでこれらの作業対象物を扱うのが一般的である。ＭＳＭは床よりたとえば２ないし３ｍの高さの位置で遮へい壁を貫通し、遮へい窓は、通常、ＭＳＭが固定されている遮へい壁の真下で、オペレータの立ち位置での目の高さの位置に設けられている。

このようなレイアウトでは、スレーブアームは遮へい窓正面に上から下に下がってくる状況となり、作業中、しばしば、作業対象物が操作者から見てスレーブアームの向こう側となり、遮へい窓を通して見えない状況が発生する。

従来のこの形態で、スレーブアームの先端に取り付けられたグリップの先端を見ようとすると、手首を左右のどちらか横に捻った姿勢をとるようにすることが必要であり、この制約条件で遠隔保守作業を計画する必要があった。本来は、遮へい窓から作業状態が見えるのであれば、グリップを真直ぐ正面に伸ばした姿勢で遠隔保守作業を可能とすべきであるが、グリップを正面とする普通の作業姿勢と異なるこのような姿勢のために作業性が劣ることや、グリップが占める空間が広くなるなどの課題があった。

そこで、本発明の実施形態は、通常の姿勢でマスタースレーブマニピュレータの操作を可能とすることを目的とする。

上述の目的を達成するため、本発明の実施形態は、対象物が配置される領域と、操作者がいる領域とを分ける壁に固定され、前記操作者に遠隔操作されて前記対象物を取り扱うスレーブアームを有するマニピュレータ装置の操作のための遠隔視認装置であって、前記操作者の視点情報をリアルタイムで計測する視点計測機構部と、前記壁の操作者側に取り付けられたシースルー式モニタと、前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、前記カメラ機構部からの映像データに基づき前記対象物の３次元的形状を演算し、前記視点計測機構部からの視点情報データおよび前記マニピュレータ装置からの前記スレーブアームの位置情報に基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない範囲を算出し、前記範囲について前記スレーブアームに妨げられなければ操作者が見ることができるはずの仮想的な２次元映像を生成して、前記シースルー式モニタ上の前記見えない部分に相当する範囲に表示するように前記シースルー式モニタに表示信号を出力する制御処理部と、を備えることを特徴とする。

また、本発明の実施形態は、放射線に対する遮へい壁を貫通して前記遮へい壁に固定されて対象物を操作者が遠隔で取り扱うマニピュレータ装置と、前記マニピュレータ装置の操作のための遠隔視認装置とを備える遠隔視認操作システムであって、前記遠隔視認装置は、前記操作者の目の３次元的な位置と前記操作者の視線方向に関する視点情報をリアルタイムで計測する視点計測機構部と、前記遮へい壁の操作者側から前記遮へい壁の対象物側を観察するための遮へい窓を覆うようにして取り付けられたモニタと、前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、前記カメラ機構部からの映像データに基づき前記対象物の３次元的形状を演算し、前記視点計測機構部からの視点情報データに基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない部分を映像で補完して前記スレーブアームに妨げられなければ前記操作者が見ることのできるはずの仮想的な２次元映像を生成して前記見えない部分に相当する範囲に表示するように前記モニタに表示信号を出力する制御処理部と、を有することを特徴とする。

本発明の実施形態によれば、通常の姿勢でマスタースレーブマニピュレータの操作が可能となる。

本発明の第１の実施形態に係る遠隔視認装置の構成を示す平面図である。本発明の第１の実施形態に係る遠隔視認装置の構成を示す側面図である。本発明の第１の実施形態に係る遠隔視認装置の構成を示すブロック図である。映像処理演算部等における処理の流れを示すフロー図である。本発明の第２の実施形態に係る遠隔視認装置の構成を示す平面図である。本発明の第２の実施形態に係る遠隔視認装置の構成を示す側面図である。本発明の第３の実施形態に係る遠隔視認装置の構成を示す側面図である。本発明の第４の実施形態に係る遠隔視認装置のレーザ光投光機構の構成を示す側面図である。本発明の第５の実施形態に係る遠隔視認装置のカメラの構成を示す側面図である。本発明の第５の実施形態に係る遠隔視認装置のカメラ内のフィルターを示す正面図である。

以下、図面を参照して本発明の実施形態に係る遠隔視認装置について説明する。ここで、互いに同一または類似の部分には、共通の符号を付して、重複説明は省略する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る遠隔視認装置の構成を示す平面図である。また、図２は、本発明の第１の実施形態に係る遠隔視認装置の構成を示す側面図である。

遠隔視認操作システムは、マスタースレーブマニピュレータ（以下、「ＭＳＭ」と略す。）３およびこのＭＳＭ３の操作のための遠隔視認装置１００を有する。遠隔視認装置１００は、シースルー式モニタ５、カメラ機構部５１ａ、５１ｂ、視点計測機構部６、投光機構部７および制御処理部５０を有する。

対象物２０と操作者４０の間には、遮へい壁１が設けられている。遮へい壁１を貫通してＭＳＭ３が遮へい壁１に固定された状態で設けられている。ＭＳＭ３は、遮へい壁１の外側すなわち操作者４０側に操作者４０が操作するマスターアーム３ａを有する。

また、ＭＳＭ３は、遮へい壁１の内側すなわち対象物２０側に、対象物２０を直接に取り扱うスレーブアーム３ｂを有する。スレーブアーム３ｂは、マスターアーム３ａの動きに追従して操作者４０の操作と同じ動きをする。ＭＳＭ３のたとえばスレーブアーム３ｂの回転軸や伸縮軸などの動作軸にはポジションセンサ、レゾルバなどの位置検出センサが取り付けられており、ＭＳＭ３の各部の位置情報が出力される。

遮へい壁１には、遮へい壁１を貫通するように遮へい窓１ａが嵌め込まれ固定されている。遮へい窓１ａは、操作者４０側から対象物２０側を見るための窓であり、操作者４０から、遮へい壁１の反対側の対象物２０側が見えるような位置にあり、必要な範囲が見渡せる大きさである。また、遮へい窓１ａは、対象物２０側から操作者４０側への放射線を遮へいする機能を有している。

遮へい窓１ａの操作者４０側には、遮へい窓１ａを覆うようにシースルー式モニタ５が取り付けられている。シースルー式モニタ５は、モニタ表示がされないときは、操作者４０は、シースルー式モニタ５および遮へい窓１ａを通して遮へい壁１の対象物２０側を見ることができる。

また、シースルー式モニタ５の所定の範囲でのモニタ表示信号がシースルー式モニタ５に入力された場合は、この所定の表示範囲については、シースルー式モニタ５によるモニタ映像が表示され、その他の範囲については、操作者４０は、シースルー式モニタ５および遮へい窓１ａを通して遮へい壁１の対象物２０側を見ることができる。

シースルー式モニタ５は、たとえば、液晶モニタでよい。たとえば、有機ＥＬ素子と透明電極を用いることにより、非表示時には透明度が透明ガラスのように高い透明なモニタを製造することができることが知られている。

遮へい壁１の内側の壁面の遮へい窓１ａの斜め上方のそれぞれには、カメラ機構部５１ａ、５１ｂが取り付けられている。カメラ機構部５１ａ、５１ｂは、それぞれ、カメラ８ａおよびカメラ８ｂの向きを調節するカメラ駆動部５２ａおよび５２ｂを有する。カメラ８ａ、８ｂは、いずれも、対象物２０およびスレーブアーム３ｂが撮影範囲となるような方向を向いている。

なお、本実施形態で示したように、カメラは複数台必要である。すなわち、対象物２０を３次元的に把握するために少なくとも２つの違う場所からの映像が必要である。なお、本実施形態ではカメラが２台設けられている場合を示したが、必要に応じて３台以上でもよい。

また、対象物２０の大きさ、作業上、関連する器具等にアクセスするためにスレーブアーム３ｂの動く範囲などを考慮するとカメラ８ａ、８ｂで撮影するエリアの範囲が広い場合は、カメラ８ａ、８ｂは広角カメラであることが望ましい。

遮へい壁１の外側には、視点計測機構部６が設けられている。視点計測機構部６は、操作者４０の目の方角の情報として、操作者４０の目の位置および視線の方角をリアルタイムに計測する。視点計測機構部６はアイトラッキング機能を有している。これは、レーザレンジファインダーとカメラと画像処理装置などの組合せで実現できる。たとえば、ホビー用民生品でも精度のよいモーション検出用のデバイスが市販されており、このようなものを使用することでもよい。

遮へい壁１の内側の壁面の遮へい窓１ａの上方には、投光機構部７が取り付けられている。投光機構部７は、対象物２０を含む範囲に光を投光する。ここで、対象物２０の把握を精度良く行う必要がある場合は、光は、レーザ光であることが望ましい。この場合は、投光機構部７は、図示しないレーザ発信器を備えている。

また、光は、非可視光（たとえば赤外線）を含むことでもよい。なお、この場合は、カメラ８ａ、８ｂは、非可視光にも感度を有するものとする。非可視光については、たとえば、図２に示すようにグリッド光投光機構部７ｃを備えることによって、グリッド線上のグリッド光を投光することでもよい。この場合、グリッド光により対象物２０上に照射されたグリッド線をカメラ８ａ、８ｂが撮影可能であり、対象物２０の形状の把握の精度向上に有効である。また、グリッド光は非可視光で投光されているため、対象物２０上のグリッド線は目には見えないので、グリッド線が加わって操作上見にくいという事態を避けることができる。あるいは、グリッド光を投光する代わりに単一方向の投光をスキャンさせることでもよい。

遮へい壁１の外側には、遠隔視認装置１００の一部を構成する制御処理部５０が設けられている。ＭＳＭ３の各部の位置情報信号は、リアルタイムに制御処理部５０に送られる。さらに、カメラ機構部５１ａ、５１ｂからのカメラ映像信号、視点計測機構部６からの操作者４０の目の位置および視線情報がリアルタイムに制御処理部５０に送られる。また、制御処理部５０から視点計測機構部６には視線情報がリアルタイムに送られる。さらに、制御処理部５０からシースルー式モニタ５には、モニタ表示に関する信号がリアルタイムに送られる。

これらの信号の送受信は、ケーブル１２を介して行われる。なお、本実施形態では、以上の情報の入出力の全てがケーブル１２を介する場合を示したが、これに限らない。たとえば、一部、または全部の入出力を無線により行ってもよい。

図３は、本発明の第１の実施形態に係る遠隔視認装置の構成を示すブロック図である。遠隔視認装置１００は、前述のように、シースルー式モニタ５、カメラ機構部５１ａ、５１ｂ、視点計測機構部６、投光機構部７および制御処理部５０を有する。また、制御処理部５０は、入力部１３、映像取り込み部１５、映像処理演算部１６および２次元映像出力部１８を有する。

入力部１３には、視点計測機構部６から出力された操作者４０の目の位置および視線情報に関する信号が入力される。また、入力部１３には、ＭＳＭ３から出力されたＭＳＭ３各部の位置情報が入力される。

映像取り込み部１５には、カメラ機構部５１ａ、５１ｂそれぞれから出力されたカメラ８ａ、８ｂの撮影映像信号が入力される。

映像処理演算部１６には、入力部１３に入力された操作者４０の目の位置および視線情報、ＭＳＭ３各部の位置情報、映像取り込み部１５に入力されたカメラ８ａ、８ｂの撮影映像信号が入力される。

映像処理演算部１６は、マッピング演算部６１および２次元映像演算部６２を有する。映像処理演算部１６のマッピング演算部６１は、カメラ８ａ、８ｂの撮影映像信号に基づき対象物２０およびスレーブアーム３ｂの３次元データを算出する。すなわち、３次元空間における対象物２０の形状およびスレーブアーム３ｂの外形ラインなどの形状データを算出する。

具体的には、対象物２０の代表の複数個の点を選択点として同定し、各選択点について、三角測量の原理により実空間の３次元位置を計算し、計算した点群により作成された３次元空間の曲面上に３次元合成映像をマッピングして３次元的形状を出力する。

また、映像処理演算部１６の２次元映像演算部６２は、マッピング演算部６１で合成した３次元合成映像と、視点計測機構部６から受けた操作者４０の目の位置、視線方向に関する情報と、ＭＳＭ３の各部の位置情報信号とに基づいて、操作者４０から対象物２０を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲を算出する。さらに、この範囲について、以上の演算の結果に基づき操作者４０から対象物２０を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲の２次元的な画像を合成する。

２次元映像出力部１８は、映像処理演算部１６において合成された画像を、操作者４０から対象物を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲の場所に表示されるように位置を特定した上で、シースルー式モニタ５にこの範囲の画像信号を出力する。

この結果、シースルー式モニタ５には、スレーブアーム３ｂにより対象物２０が見えない範囲の映像がリアルタイムに表示される。なお、シースルー式モニタ５の表示を、映像が無い場合すなわち対象物を遮っているスレーブアーム３ｂが見える場合と、対象物２０のその部分の映像が映し出されている場合とを、操作者４０がたとえば切り替え操作で切り替えるようにしてもよい。

ここで、操作者４０が視覚上、対象物２０を立体的に把握しながら作業を行うことができれば操作がしやすくなる。このためには、視点計測機構部６は、操作者４０の左右の目のそれぞれの位置および視線方向を別々に計測する。

また、映像処理演算部１６は、スレーブアーム３ｂにより対象物２０が見えない範囲について、操作者４０の左右それぞれの目から対象物４０を見た場合の２種類について、それぞれ２次元的な画像を合成する。この２次元的な２種類の画像を交互に出力するとともに、同期信号を出力する。

操作者４０は、同期信号を受けてこの映像と同期可能な同期メガネ２１を装着する。同期メガネ２１は、左右それぞれに対する同期信号を受ける左右がそれぞれ別個に開閉する。操作者４０は、同期メガネ２１を装着してこの映像を見ることにより、視覚的にも立体的に把握することができる。同期メガネ２１としては、たとえば液晶シャッター付きメガネでよい。

なお、ＭＳＭ３の操作は主として、遮へい窓１ａの正面で行われることから、ＭＳＭ３での作業中は、投光機構部７からの光の一部はスレーブアーム３ｂに遮られ、対象物２０の表面にはスレーブアーム３ｂの非投光部の形状が影絵となって投影される。

図４は、映像処理演算部等における処理の流れを示すフロー図である。

映像処理演算部１６においてこの非投光部分すなわち影絵の外の境界を利用して、対象物の把握をさらに精度よく行うことができる。具体的には、たとえば、以下の方法がある。

映像処理演算部１６は、影絵のエッジ画像を抽出する（ステップＳ１）。

ステップＳ１の後に、カメラ８ａ、８ｂの撮影映像（以下、左右映像という。）の非投光部である影絵の外側境界の代表点を選択点として同定する。同定は、特異点などを含んで、左右映像の相関から導き出す。なお、選択点としては、たとえば、エッジ部や辺上に数分割された点等がある（ステップＳ２）。

ステップＳ２の後に、同定されたそれぞれの選択点について、左右映像の２次元位置すなわち（ｘ、ｙ）座標位置から三角測量の原理により、各点の実際の空間上の位置（Ｘ、Ｙ、Ｚ）を算出する（ステップＳ３）。

ステップＳ３で得られた映像を仮想の３次元空間にマッピングし、すでに合成した３次元画像があればこれに付加し、３次元ディジタル映像を作成する（ステップＳ４）。

ステップＳ４で得られ仮想の３次元空間にマッピングされた３次元ディジタル映像に基づき、操作者４０の目の位置および視線方向を仮想のカメラとしてこの３次元ディジタル映像を見たときの２次元ディジタル映像を作成する（ステップＳ５）。なお、２次元ディジタル映像の合成は、操作者４０の利き目の位置からの映像とする。どちらが利き目かは入力してもよいし、最初のキャリブレーションの際に決定してもよい。

２次元映像出力部１８は、ステップＳ５で得られた２次元ディジタル映像から、仮想空間において仮想カメラから見るとスレーブアーム３ｂによって遮られている範囲のみ抜き出し、その抜き出した範囲の映像をシースルー式モニタ５に出力する（ステップＳ６）。

次に、以上のように構成された本実施形態の作用を説明する。操作者４０が、ＭＳＭ３を用いて対象物２０を取り扱う際に、操作者４０から対象物２０等を見た場合にスレーブアーム３ｂによって遮られて見えない部分が生ずる。

一方、視点計測機構部６は、そのアイトラッキング機能によって、操作者４０の左右の目の位置、それぞれの視線方向を常時追跡し、その情報信号を出力している。また、スレーブアーム３ｂ自身の各部の位置情報も出力されている。これらの出力信号は、制御処理部５０の入力部１３に取り込まれる。

また、カメラ８ａ、８ｂはそれぞれ、対象物２０およびそれを取り扱うスレーブアーム３ｂの映像を出力しており、この映像情報信号は、制御処理部５０の映像取り込み部１５に取り込まれる。

制御処理部５０においては、入力部１３に取り込まれた操作者４０の目および視線に関する情報信号、スレーブアーム３ｂ各部の位置情報信号、および映像取り込み部１５に取り込まれたカメラ８ａ、８ｂの映像情報信号が、映像処理演算部１６に入力される。

映像処理演算部１６では、カメラ８ａ、８ｂの映像情報信号に基づき対象物２０の３次元的情報を算出する。また、操作者４０の位置および視線情報と、ＭＳＭ３各部の位置情報に基づき、操作者４０から対象物を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲を算出する。

映像処理演算部１６は、さらに、以上の演算の結果に基づき操作者４０から対象物２０を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲の２次元的な画像を合成する。この結果が、２次元映像出力部１８からシースルー式モニタ５に出力される。

シースルー式モニタ５を見る操作者４０は、実際に見える対象物２０と、見えない部分をカバーするシースルー式モニタ５上の画像とにより、実際に全体が見えるような感覚で操作を行うことができる。

また、見えない部分をカバーするシースルー式モニタ５上の画像が、左右の目に対応する画像として交互に映し出されるように構成した場合は、この画像に同期する同期メガネを装着することによって、この見えない部分をカバーするシースルー式モニタ５上の画像をさらに立体的に見ることができる。

以上のように、本実施形態によれば、対象物２０の一部が、スレーブアーム３ｂにより遮られることを避けるために不自然な姿勢でＭＳＭ３を操作する必要がなく、通常の姿勢でＭＳＭ３の操作が可能となる。

［第２の実施形態］
図５は、本発明の第２の実施形態に係る遠隔視認装置の構成を示す平面図である。また、図６は、本発明の第２の実施形態に係る遠隔視認装置の構成を示す側面図である。

本実施形態は、第１の実施形態の変形である。対象物２０のうちで、操作者４０から見てＭＳＭ３の操作中にスレーブアーム３ｂに妨げられて見えない部分の外郭と、投光機構部７の発光部７ａからの光を受ける照射範囲と光を受けない非照射範囲の境界の差を最小とするように、投光機構部７を追従させるものである。

第１の実施形態では、投光機構部７は、遮へい壁１の内側すなわち対象物２０側の遮へい壁１の壁面に設けられていたが、本実施形態では、遮へい壁１の外側すなわち操作者４０側に設けられている。また、投光機構部７の発光部７ａは、操作者４０の頭の直上に設けられている。

なお、直上に設けられている理由は、操作者４０の動きの妨げにならないようにするためであり、操作者４０の動きの妨げにならなければ、操作者４０の目の近傍として、左右あるいは、操作者４０の顔の前面の下側などでもよい。

投光機構部７は、視点計測機構部６によってリアルタイムに得られる操作者４０の目の位置情報に基づいて操作中に移動する操作者４０の目を追って、操作者４０の近傍の位置に発光部７ａの位置が保たれるように発光部位置をリアルタイムに移動させる。なお、この機能を、操作者４０に発光部７ａを装着させることにより行ってもよい。

なお、カメラ８ａ、８ｂによる撮影は、非照射部も撮影し、映像化する必要がある。非照射部の撮影が、対象が暗いために困難である場合など、非照射部の識別のための照度が必要な場合は、必要に応じて、投光機構部７とは別に対象物２０全体を照らす投光装置を設ければよい。

このように構成された本実施形態においては、映像処理演算部１６が、カメラ８ａ、８ｂの撮影映像信号に基づき対象物２０の３次元空間における形状情報を算出する際に、対象物２０の非投光部分の境界点の選択点を用いる場合の精度が向上する。

また、３次元的形状の合成の目的は、操作者４０から対象物２０を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲の２次元的な映像を合成することであるが、この２次元的な映像のうち対象物２０の照射範囲の映像をそのまま使用できる点で２次元画像生成が効率的、かつ精度よく行える。

［第３の実施形態］
図７は、本発明の第３の実施形態に係る遠隔視認装置の構成を示す側面図である。本実施形態は、第１の実施形態あるいは第２の実施形態の変形である。本実施形態では、さらに、対象物２０のうちで操作者４０からみてＭＳＭ３の操作中にスレーブアーム３ｂに妨げられて見えない部分の外郭と、投光機構部７の発光部７ａからの光を受ける照射範囲と光を受けない非照射範囲の境界を、近づけるだけでなく、一致させるように投光機構部７を追従させるものである。

本実施形態においては、ハーフミラー２５が、シースルー式モニタ５と遮へい窓１ａの間に設けられている。また、投光機構部７は、ハーフミラー２５の上方に下向きに光を発する方向に取り付けられている。

ここで、ハーフミラー２５は、透過と反射の割合が５０％ずつの場合に限定されず、一部の光が透過して一部の光が反射する機能を有するものを指してハーフミラーと呼んでいる。

また、投光機構部７を上方から支持する投光部駆動機構２３が設けられている。投光部駆動機構２３は、遮へい壁１に固定支持されている。投光部駆動機構２３は、投光機構部７の投光方向を調節するとともに、投光機構部７の水平位置も調節する。

投光部駆動機構２３には、視点計測機構部６からの信号が入力され、操作者４０の目の位置情報に基づいてリアルタイムに投光機構部７の水平位置、投光方向を制御する。

このような構成による本実施形態においては、投光部駆動機構２３は、投光機構部７の水平位置および投光方向を調節することにより、投光機構部７から発せられる光の中心が、操作者４０の目の位置から発せられたのと等価にすることができる。

この結果、操作者４０から見た対象物２０において、スレーブアーム３ｂによって遮られて見えない範囲と、光がスレーブアーム３ｂによって遮られて対象物２０に光を当てられない非投光部分の範囲が一致する。

この結果、操作者４０は、シースルー式モニタ５上の２次元映像以外の実際に見る対象物２０の範囲には非投光範囲はなく全てに光があてられているため、見やすくなる。

また、映像処理演算部１６が、カメラ８ａ、８ｂの撮影映像信号に基づき対象物２０の３次元空間における形状情報を算出する際に、対象物２０の非投光部分の境界点の選択点を用いる場合の精度が向上する。

また、３次元的形状の合成の目的は、操作者４０から対象物を見た場合に、スレーブアーム３ｂにより対象物２０が見えない範囲の２次元的な映像を合成することであるが、この２次元的な映像のうち対象物２０の照射範囲の映像をそのまま使用できる点で２次元画像生成が効率的、かつ精度よく行える。

［第４の実施形態］
図８は、本発明の第４の実施形態に係る遠隔視認装置のレーザ光投光機構の構成を示す側面図である。本実施形態は、第３の実施形態の変形であり、第３の実施形態における投光機構部７に代えてレーザ光投光機構７ｂが投光部駆動機構２３（図７参照）に支持されて設けられている。

レーザ光投光機構７ｂは、筐体２４、筐体２４に取り付けられたハーフミラー２７ａおよび筐体２４内に収納されたハーフミラー２５、レンズ２６ａ、２６ｂ、ハーフミラー２７ｂ、レーザ発振器２８およびカメラ機構２９を有する。

ハーフミラー２７ａおよび２７ｂは、第３の実施形態のおけるハーフミラー２５と同様に、本実施形態においては、透過と反射の割合が５０％ずつでない場合を含めて透過と反射の機能を有するものを指してハーフミラーと呼んでいる。

レーザ発振器２８から発せられたレーザ光は、レンズ２６ｂを経由し、ハーフミラー２７ｂおよびハーフミラー２７ａを透過して、投光される。

一方、カメラ機構２９から見た映像は、ハーフミラー２７ａを透過し、ハーフミラー２７ｂで反射し、ハーフミラー２５で反射して、レンズ２６ａを通過して入ってくる。

このように構成された本実施形態においては、レーザ光が等価的に操作者４０の目の位置から発せされたように見えることに加えて、操作者４０から見た映像と同じ映像が、カメラ機構２９によって撮影される。

この結果、映像処理演算部１６が、カメラ８ａ、８ｂの撮影映像信号に基づき対象物２０の３次元空間における形状情報を算出し、操作者４０から対象物２０を見た場合にスレーブアーム３ｂに遮られて見えない範囲を設定する際に、カメラ機構２９による映像を直接使用することによって、演算処理を大幅に削減することができ、また、より精度の高い２次元画像合成を行うことができる。

［第５の実施形態］
図９は、本発明の第５の実施形態に係る遠隔視認装置のカメラの構成を示す側面図である。本実施形態は、第１ないし第３の実施形態の変形であり、第１ないし第３の実施形態において、投光機構部７に代えてレーザ光投光機構７ｂが設けられているか、レーザ光投光機構７ｂがさらに設けられているかによって、レーザ光が発信されている場合の実施形態である。

本実施形態におけるカメラ機構２９は、カメラ２９ａおよびフィルター機構３１を有する。フィルター機構３１は、モータ３２、制御回路３３、回転機構３４および円盤３６を有する。

図１０は、本発明の第５の実施形態に係る遠隔視認装置のカメラ内のフィルターを示す正面図である。円盤３６は円環状であり、その内側には、フィルター３５ａおよびフィルター３５ｂの２種類のフィルターがそれぞれ半円形状に設けられている。

２種類のフィルターの内、一方のフィルター３５ａは、非可視光である赤外線をカットして可視光のみを通過する。もう一つのフィルター３５ｂはレーザ発振器からの赤外線の波長のみ通過させるためのフィルターである。なお、本実施形態では、非可視光について長波長側の赤外線の場合を示しているが、これに限定されない。たとえば、短波長側の紫外線の場合でもよい。

制御回路３３は、モータ３２を制御し、映像フレーム毎、すなわちたとえば１／３０秒ごとに正確に１回転し、フィルター３５ａ、３５ｂが交互に半フレームごとにレンズ３０の正面になるように回転制御する。

また、制御回路３３は、制御処理部５０からの同期信号により左右のカメラ８ａ、８ｂを同期運転させて駆動し、可視光の映像、赤外線の映像を交互に左右同時に取り込み可能とする。

非可視光と可視光の使い分けは、たとえば、非可視光は、グリッド線上のグリッド光を投光し、可視光は通常の照明とすることでもよい。この場合、グリッド光により対象物２０上に照射されたグリッド線をカメラ２９ａが撮影可能であり、対象物２０の形状の把握の精度向上に有効である。また、グリッド光は非可視光で投光されているため、対象物２０上のグリッド線は目には見えないので、グリッド線が加わって操作上見にくいという事態を避けることができる。あるいは、グリッド光を投光する代わりに単一方向の投光をスキャンさせることでもよい。

このようなカメラ機構２９を、第１ないし第３の実施形態における複数のカメラ８ａ、８ｂが設けられている箇所に設けることにより、より確実に、簡単にカメラの映像からレーザ光の影の部分を抽出することができるようになる。

［その他の実施形態］
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。たとえば、実施形態では、対象物２０の中のスレーブアーム３ｂにより遮られる範囲を映像化して表示することで示したが、対象物２０には限定されない。たとえば、映像化する対象は、対象物を取り扱うための機械器具類などを含むものであってもよい。また、各実施形態の特徴を組み合わせてもよい。

さらに、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、各実施形態の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…遮へい壁、１ａ…遮へい窓、３…マスタースレーブマニピュレータ（ＭＳＭ、マニピュレータ装置）、３ａ…マスターアーム、３ｂ…スレーブアーム、５…シースルー式モニタ（モニタ）、６…視点計測機構部、７…投光機構部、７ａ…発光部、７ｂ…レーザ光投光機構、７ｃ…グリッド光投光機構部、８ａ、８ｂ…カメラ、１２…ケーブル、１３…ディジタル入力インターフェイスボード（入力部）、１５…映像取り込み部、１６…映像処理演算部、１８…２次元映像出力部、２０…対象機器（対象物）、２１…同期メガネ、２３…投光部駆動機構、２４…筐体、２５…ハーフミラー、２６ａ、２６ｂ…レンズ、２７ａ、２７ｂ…ハーフミラー、２８…レーザ発振器、２９…カメラ機構、２９ａ…カメラ、３０…レンズ、３１…フィルター機構、３２…モータ、３３…制御回路、３４…回転機構、３５ａ、３５ｂ…フィルター、３６…円盤、４０…操作者、５０…制御処理部、５１ａ、５１ｂ…カメラ機構部、５２ａ、５２ｂ…カメラ駆動部、６１…マッピング演算部、６２…２次元映像演算部、１００…遠隔視認装置

Claims

対象物が配置される領域と、操作者がいる領域とを分ける壁に固定され、前記操作者に遠隔操作されて前記対象物を取り扱うスレーブアームを有するマニピュレータ装置の操作のための遠隔視認装置であって、
前記操作者の視点情報をリアルタイムで計測する視点計測機構部と、
前記壁の操作者側に取り付けられたシースルー式モニタと、
前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、
前記カメラ機構部からの映像データに基づき前記対象物の３次元的形状を演算し、前記視点計測機構部からの視点情報データおよび前記マニピュレータ装置からの前記スレーブアームの位置情報に基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない範囲を算出し、前記範囲について前記スレーブアームに妨げられなければ操作者が見ることができるはずの仮想的な２次元映像を生成して、前記シースルー式モニタ上の前記見えない部分に相当する範囲に表示するように前記シースルー式モニタに表示信号を出力する制御処理部と、
を備えることを特徴とする遠隔視認装置。
前記制御処理部は、
前記視点計測機構部から出力された前記視点情報の信号と前記マニピュレータ装置から出力された前記マニピュレータ装置の各部の位置情報の信号とを入力するための入力部と、
前記カメラからのディジタル映像の信号を取り込む映像取り込み部と、
前記入力部および前記映像取り込み部からの出力を受けて、映像処理計算により合成した前記３次元的形状を演算し、前記２次元映像を生成して出力する映像処理演算部と、
前記映像処理演算部からの前記２次元映像を前記モニタへ出力する２次元映像出力部と、
を有することを特徴とする請求項１に記載の遠隔視認装置。
前記カメラは、前記壁の対象物側空間内に互いに所定の間隔で設けられており、
前記映像処理演算部は、
前記対象物の複数個の点を選択点として同定し、各前記選択点について、三角測量の原理により実空間の３次元位置を計算し、計算した点群により作成された３次元空間の曲面上に３次元合成映像をマッピングして前記３次元的形状を出力するマッピング演算部と、
前記３次元合成映像と、前記視点計測機構部から受けた前記操作者の視点情報および前記マニピュレータ装置の各部の位置情報の信号とに基づき、前記操作者の目の位置および視線方向から見た前記２次元映像を作成する２次元映像演算部と、
を有することを特徴とする請求項２に記載の遠隔視認装置。
左右のシャッターそれぞれが別個に開閉可能な同期メガネをさらに備えて、
前記視点計測機構部は、前記操作者の左右の目の位置および視線方向を計測し、左目の位置および視線方向の情報からなる左目情報と、右目の位置および視線方向の情報からなる右目情報を前記制御処理部に出力し、
前記２次元映像演算部は、前記左目情報に基づく前記操作者の左目から見た２次元映像と、前記右目情報に基づく前記操作者の右目から見た２次元映像とを作成し、前記モニタに交互に出力し、かつ、前記同期メガネに前記左右のシャッターそれぞれの開閉のための同期信号を出力し、
前記操作者が、前記同期メガネを装着することにより立体的視覚を得ることが可能なことを特徴とする請求項３に記載の遠隔視認装置。
前記対象物にグリッド光を投光して前記対象物上で光るグリッド線を生じさせるグリッド光投光機構部をさらに備え、
前記映像処理演算部は前記グリッド線からの情報に基づいて前記対象物の３次元演算を行う、
ことを特徴とする請求項２ないし請求項４のいずれか一項に記載の遠隔視認装置。
前記グリッド光は非可視光であり、
前記カメラは、色フィルターおよび分光装置を有し、可視光映像、非可視光映像の２つの映像を分離して取り込み可能であることを特徴とする請求項５に記載の遠隔視認装置。
前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部をさらに備え、
前記制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記投光機構部に前記発光部位置を前記操作者の目の近傍位置に追従するように指令信号を発する、
ことを特徴とする請求項１または請求項２に記載の遠隔視認装置。
前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部と、
前記照明光を反射し、かつ前記操作者による前記対象物側の視認を可能とするハーフミラーと、
をさらに備えて、
前記発光部は、前記ハーフミラーに向けて配されて前記照明光が前記ハーフミラーで反射され前記壁の対象物側の対象機器を照らすように構成され、
制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記発光部からの光の原点が前記操作者の目の位置の位置であるように前記投光機構部が追従するよう指令信号を発する、
ことを特徴とする請求項１または請求項２に記載の遠隔視認装置。
前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部をさらに備え、
前記制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記投光機構部に前記発光部位置を前記操作者の目の近傍位置に追従するように指令信号を発する、
ことを特徴とする請求項３ないし請求項６のいずれか一項に記載の遠隔視認装置。
前記対象物に照明光を投光する発光部を有して当該発光部位置を調整可能な投光機構部と、
前記照明光を反射し、かつ前記操作者による前記対象物側の視認を可能とするハーフミラーと、
をさらに備えて、
前記発光部は、前記ハーフミラーに向けて配されて前記照明光が前記ハーフミラーで反射され前記壁の対象物側の対象機器を照らすように構成され、
制御処理部は、前記対象物の中で前記発光部からの光に照射される照射範囲と照射されない非照射範囲の境界と、前記見えない部分の外郭との差を最小とするように、前記発光部からの光の原点が前記操作者の目の位置の位置であるように前記投光機構部が追従するよう指令信号を発する、
ことを特徴とする請求項３ないし請求項６のいずれか一項に記載の遠隔視認装置。
前記選択点は、前記対象物の照射範囲と、前記スレーブアームに遮られて前記照明光が当たらない非照射範囲との境界の点であることを特徴とする請求項９または請求項１０に記載の遠隔視認装置。
放射線に対する遮へい壁を貫通して前記遮へい壁に固定されて対象物を操作者が遠隔で取り扱うマニピュレータ装置と、前記マニピュレータ装置の操作のための遠隔視認装置とを備える遠隔視認操作システムであって、
前記遠隔視認装置は、
前記操作者の目の３次元的な位置と前記操作者の視線方向に関する視点情報をリアルタイムで計測する視点計測機構部と、
前記遮へい壁の操作者側から前記遮へい壁の対象物側を観察するための遮へい窓を覆うようにして取り付けられたモニタと、
前記対象物を撮影するカメラと当該カメラを駆動するカメラ駆動部とをそれぞれ有する複数のカメラ機構部と、
前記カメラ機構部からの映像データに基づき前記対象物の３次元的形状を演算し、前記視点計測機構部からの視点情報データに基づき前記操作者から見た前記対象物のうち前記スレーブアームで妨げられ見えない部分を映像で補完して前記スレーブアームに妨げられなければ前記操作者が見ることのできるはずの仮想的な２次元映像を生成して前記見えない部分に相当する範囲に表示するように前記モニタに表示信号を出力する制御処理部と、
を有することを特徴とする遠隔視認操作システム。