JP3924495B2

JP3924495B2 - 遠隔操作制御装置

Info

Publication number: JP3924495B2
Application number: JP2002122796A
Authority: JP
Inventors: 朋之浜田; 敬二田中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-04-24
Filing date: 2002-04-24
Publication date: 2007-06-06
Anticipated expiration: 2022-04-24
Also published as: JP2003311661A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば保守員が容易に立ち入ることのできない場所にある装置などをロボットの操作を通じて遠隔的に保守したりするのに用いられる遠隔操作制御装置に関する。
【０００２】
【従来の技術】
例えば放射線環境下や宇宙環境など人が容易に立ち入ることのできない環境下にある装置、あるいは遠隔地にあってそこに保守員が出向くのに手間やコストのかかる場所にある装置を定期的に保守したりするためには、作業用のロボットを用いて離れた場所から遠隔的に作業することが望ましい。この時、保守において実施すべき作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、予めロボットの動作をプログラミングしておき、人間が操作することなく自動運転で作業ができると効率的である。（なお、本明細書において「ロボット」とは、マニピュレータなども含めた、遠隔操作で作業を行なわせる機械装置一般を意味するものとする。）
【０００３】
しかしながら、たとえ定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況が発生していることが考えられる。現状のロボット技術においては、このような不測の事態を正しく解釈してプログラムにより自動的に回避することは困難であるため、従来は遠隔地にいる人の手の動きをマニピュレータに伝えるマスタースレーブマニピュレータのような装置によって手動で保守作業を行うことが多い。あるいは、不測の事態が生じたら必ず検出が可能な保守対象や作業内容に限定したり、不測の事態を検出可能となるように、保守対象である装置に特殊な仕掛けを設けることにより、自動運転の保守作業を実現している。
【０００４】
【発明が解決しようとする課題】
上記従来の技術におけるマスタースレーブマニピュレータを用いた方法では、マニピュレータの作業現場にテレビカメラを設置し、このカメラが捉えた映像を見ながら作業をするため、作業がやりづらく、時間がかかると言う問題がある。また、このような状況でマスターアームを操作する方式では操作者の疲労が著しく、長時間の作業が難しいと言う問題がある。
【０００５】
一方、上記従来の技術における自動運転の方法では、適用可能な保守対象や作業内容が著しく制限されるという問題がある。また、不測の事態が生じない場合であっても、部品の着脱など微妙な位置合わせや力加減を必要とする作業の中には、まだ十分な信頼性を持って自動化できない作業も多く残っていると言う問題がある。
【０００６】
なお、ロボットを用いる遠隔操作制御装置については、例えば特開平９−２５４０６５号公報に開示の例などが知られている。しかし特開平９−２５４０６５号公報の技術は、ロボットの遠隔操作のためにロボットとその作業環境をディスプレイ装置に表示するについて、その表示の効率を高めることを意図しているものであり、上記のような問題に対しては解決をもたらしていない。
【０００７】
そこで、本発明の目的は、操作者の負担を軽減することができ、また従来よりも広い範囲の保守対象や作業内容に適用することを可能な遠隔操作制御装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、作業環境中に設置されるロボットを遠隔的に操作制御する遠隔操作制御装置であり、作業環境の映像を捉えるカメラと、前記作業環境中に存在する作業対象物の位置と姿勢を記憶する環境モデル記憶手段と、前記ロボットの自動運転のための動作指令を生成する動作指令生成手段と、前記ロボットを手動で操作するための操作手段と、作業対象物の位置と姿勢を計測する位置および姿勢計測手段を備えた遠隔操作制御装置において、前記動作指令生成手段は前記位置および姿勢計測手段で計測した作業対象物の位置と姿勢と前記環境モデル記憶手段に記憶されている位置と姿勢の差が予め設定した範囲以内である場合には、生成した動作指令を前記位置と姿勢の差に応じて補正することで自動運転を継続し、前記位置と姿勢の差が前記予め設定した範囲を超える場合には、前記手動で操作するための操作手段による手動運転に切り換えるものである動作指令生成手段と、前記手動運転においては前記位置と姿勢の差が前記予め設定した範囲を超えた作業対象物の位置と姿勢に基づいて計算した前記ロボットの到達すべき目標位置と姿勢を図形として前記カメラが捉えた作業環境の映像に重ね合わせて表示する合成画像生成手段とを備えたものである遠隔操作制御装置を開示する。
【０００９】
更に本発明は、前記の遠隔操作制御装置において、前記カメラから作業対象物あるいはロボットの表面までの距離を面的に計測する距離計測手段を備え、前記作業対象物あるいはロボットの到達すべき目標位置と姿勢における前記作業対象物あるいはロボットの図形画像の描画において、描画部位の奥行きが前記距離計測手段で計測した距離データよりも手前にある部位については描画し、奥にある部位については描画しないようにした合成画像生成手段を備えたものである遠隔操作制御装置を開示する。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を説明する。図１に、本発明の一実施形態による遠隔操作制御装置の構成をブロック図にして示す。この遠隔操作制御装置は、作業現場に設置されて装置や設備の保守等の作業を行うロボット１と、このロボット１を遠隔的に操作制御する操作制御系からなる。その操作制御系は、ロボット１を手動で操作するのに用いられる操作手段２、ロボット１が作業する作業環境の映像を捉えるカメラ３、作業環境に含まれる物体の位置姿勢を認識して環境モデルを修正する環境モデル修正手段４、作業環境に含まれる物体の位置姿勢情報やロボット操作に必要な位置決めに関する情報などを環境モデルとして記憶する環境モデル記憶手段５、ロボット１に対して自動動作に関する動作司令を生成する動作司令生成手段６、動作司令生成手段６が生成した動作司令と操作手段２より入力された動作司令のいずれかを選択してロボット１に転送する切替え手段７、環境モデル記憶手段５に格納の情報を用いてロボット操作に必要な位置決めに関する情報を図形化して表示した画像とカメラ３が捉えた映像とを合成した画像を生成する合成画像生成手段８、合成画像の表示手段９、カメラ３が捉えた映像上の位置や種々の指令を遠隔操作制御装置に入力するための入力手段１０、および入力手段１０より入力された位置情報に基づいて作業環境内の物体を選択する対象物体選択手段１１を備えている。なお、図１の例では、作業環境に物体１２と物体１３があり、ロボット１で物体１２を物体１３の穴１４に挿入する作業をなす状況を示してある。
【００２１】
ここで、環境モデル修正手段４から対象物体選択手段１１までを含む操作制御系はコンピュータシステムとして構成したものであってもよい。そのようにする場合には、環境モデル修正手段４、動作司令生成手段６、切替え手段７、合成画像生成手段８および対象物体選択手段１１は、コンピュータシステム上のソフトウエアとして、また環境モデル記憶手段５はコンピュータシステムの記憶装置として、また合成画像の表示手段９はコンピュータシステムの表示装置として、そして入力手段１０はコンピュータシステムの入力装置として構成することになる。
【００２２】
以下、個々の構成要素の詳細について説明する。本実施形態におけるロボット１は、回転型の関節を備え、先端に物体を把持する把持機構を備えたアーム型のロボットであり、駆動装置によって関節の角度を変えることで把持機構の位置姿勢を変えることができるようになっている。本発明においては、このよなアーム型のロボットの他に、例えば脚機構や車輪のような移動機構を備えた走行型のロボットであってもよい。また、ロボットが物体把持機構を備えている必要は必ずしもないし、アーム型ロボットであっても回転型の関節を備えている必要もなく、直動型の関節を備えたものであってもよい。
【００２３】
操作手段２は、本実施形態におけるアーム型のロボット１に対してはその把持機構の取るべき位置姿勢を入力する装置である。一方、ロボットとして走行型を用いる場合であれば、操作手段はその走行型ロボットに対してそれ自身の位置姿勢を入力する装置となる。具体的構成としては、例えばロボット１と同一形状のアーム型多関節機構として構成し、把持機構に相当する場所を手に持って操作するようなマスターアーム型の装置であってもよい。あるいは、前後左右の位置を入力するジョイスティックやコンピュータのマウスのような装置を用いるものであってもよい。
【００２４】
環境モデル記憶手段５は、図２に例示するような実際の作業環境における物体の配置状態を図４に示すような形で記憶するものである。図２の例では、作業環境内に、ｆｌｏｏｒ（作業環境の床の意）と名付けられる物体１００、ｂｏｄｙ（本体）と名付けたられる物体１０１およびｃａｐ（ふた）と名付けられる物体１０２があり、物体１０２は穴１０３を有している。
【００２５】
この作業環境については、物体の位置姿勢や物体の位置決め点を表すための座標系１０４〜１１０が設定される。座標系１０４は、環境モデル全体の基準となる座標系（ワールド座標系）であり、環境モデルに含まれる全ての物体や位置決め点の位置姿勢はこの座標系に対する座標値として表現される。座標系１０５、１０６はそれぞれｆｌｏｏｒとｂｏｄｙの位置姿勢を表す座標系であり、１０７はｂｏｄｙに対するｃａｐの位置決め点を表す座標系であると同時にｃａｐの位置姿勢を表す座標系である。即ち、図２ではｃａｐがｂｏｄｙの位置決め点に位置決めされた状態となっていることを表している。座標系１０８は、ｃａｐをロボットが把持する場合の把持機構の位置決め点を表す座標系である。１０９は、ｃａｐに設けられた穴１０３に物体を挿入する場合の物体の位置決め点を表す座標系である。１１０は穴１０３に物体を挿入する際にその物体を挿入する直前の段階で位置決めする点を表す座標系である。なお、「位置姿勢」とは、物体等の位置と姿勢（向き）を含んだ概念である。
【００２６】
ここで、位置決め点１０９（座標系１０９で表される位置決め点）と位置決め点１１０（座標系１１０で表される位置決め点）の関係について図３を用いて説明する。ｃａｐの穴１０３に例えばボルト１１１のような物体を挿入する作業を行う場合、まず図３（ａ）に示すようにボルト１１１を穴の真上の位置決め点１１０の場所に穴の中心軸とボルトの中心軸が一致するように位置決めし、続いて図３（ｂ）に示すように真っ直ぐ所定の位置決め点１０９まで挿入することが望ましい。同様に、ボルト１１１を取外す場合にも、位置決め点１１０まで持っていってから取外すことが望ましい。このような挿入・取外し動作を行うことで、ボルトが穴の側壁に引っ掛かるようなトラブルの発生を防ぐことができる。
【００２７】
このように、位置決め点１０９は、穴に挿入された状態においてボルトが取るべき位置姿勢を表す座標系であるのに対して、位置決め点１１０は、挿入あるいは取外す途中でボルトが位置決めすべき位置姿勢を表す座標系である。以後、１０９のような位置決め点をアタッチ・ポイント（attach point）と呼ぶのに対して、１１０のような位置決め点をアプローチ・ポイント（approach point）と呼ぶことにする。また、１０８のようにロボットの把持機構を位置決めする位置決め点をグラスプ・ポイント（grasp point）と呼ぶことにする。
【００２８】
環境モデル記憶手段５は、以上のような作業環境の状況を図４に示すような構造体変数１２０〜１２６として記憶する。個々の構造体変数（構造体）には物体名称１２０ａ、接続先１２０ｂ、座標変換パラメータ１２０ｃの各情報が記憶される。物体名称１２０ａは構造体が表す物体または位置決め点の名称を表し、接続先１２０ｂは構造体が表す物体または位置決め点が接続される物体または位置決め点を表し、座標変換パラメータ１２０ｃは接続先の物体または位置決め点に対する相対的な位置姿勢を表す。図４において、構造体１２０、１２１、１２３はそれぞれ図２に示す物体１００（ｆｌｏｏｒ）、１０１（ｂｏｄｙ）、１０２（ｃａｐ）に対応し、構造体１２２、１２４、１２５、１２６は位置決め点１０７、１０８、１０９、１１０に対応する。
【００２９】
座標変換パラメータは、例えば以下のような４×４行列によって表現する。Ｘ軸、Ｙ軸、Ｚ軸まわりの回転移動変換行列をそれぞれ
【数１】

とし、平行移動を表す３次元ベクトルを
【数２】

とする時、座標変換パラメータＡを以下の式で与える。
【数３】

【００３０】
上記のような座標変換パラメータを用いることにより、ある物体あるいは位置決め点のワールド座標系に対する位置姿勢は、当該物体あるいは位置決め点に対応する構造体の座標変換パラメータとその接続先から出発して接続先が末端（root）である構造体までの座標変換パラメータを全て掛け合せることにより求められる。例えば、位置決め点１１０の位置姿勢は、対応する構造体１２６の座標変換パラメータＡ７とその接続先である構造体１２５から順次接続先を辿ってゆき、接続先がrootである構造体１２０に至るまでの全ての座標変換パラメータＡ６、Ａ４、Ａ３、Ａ２、Ａ１を掛け合せることにより得られる。
【００３１】
同様にして、ある物体あるいは位置決め点Ａの座標系に対する物体あるいは位置決め点Ｂの位置姿勢は、Ｂに対応する構造体の座標変換パラメータとその接続先から出発して接続先がＡである構造体までの座標変換パラメータを全て掛け合せることにより得られる。
【００３２】
構造体には、図示しないが上記のほかにも、その構造体が物体を表すものであるのか位置決め点を表すものであるのかを識別するための情報や、物体を表すものであれば物体の形状の情報や、物体の種類を表す情報など必要に応じて種々の情報が記憶されている。
【００３３】
次に、環境モデル修正手段４の詳細について説明する。環境モデル修正手段４は、図５に示す手順によって物体の位置姿勢を認識し、環境モデルに記録されている物体の位置姿勢情報を更新する。まず、カメラ３により取り込んだ作業環境の画像から位置姿勢を認識すべき物体のエッジ画像を取得する（ｓ１０）。エッジ画像とは、例えば画像の中で明るさが大きく変化する部分を抽出する等の処理を行うことにより得られる画像である。これは、取り込んだ画像の各画素に対して隣接する画素との間で輝度（明るさ）の差を求め、その差が予め設定したしきい値より大きい画素を残す等の処理を行うことにより得ることができる。このようにして得られた画像は、例えば図６に示す画像１３３のようなパターンの画像となる。この画像１３３は、物体の輪郭線を多く含む画像であるが、必ずしも全ての輪郭を含むものではない。
【００３４】
次に、位置姿勢を認識すべき物体について、環境モデル記憶手段５に記憶されている情報の中からそれの位置姿勢を取り出し、その位置姿勢においてカメラ３の位置から眺めた場合に見えるはずの輪郭画像（参照画像）を生成する（ｓ１１）。物体の位置姿勢は、環境モデルの中の対応する構造体に対して、既に述べた手順によりワールド座標系に対する位置姿勢を計算することにより求められる。また、物体の形状データは環境モデルの中の対応する構造体に記憶されている情報として得られる。これらのデータとカメラの位置姿勢データより、コンピュータグラフィック（ＣＧ）を生成する手順と同様の手段により、例えば図６に示すような物体の輪郭画像１３４を生成する。
【００３５】
次に、エッジ画像と参照画像（輪郭画像）の間に働く仮想的な引力を計算する（ｓ１２）。これは、例えばエッジ画像のパターンに正の電荷が帯電し、参照画像のパターンに負の電荷が帯電していると仮定した場合に二つのパターンの間に働く２次元的な引力として計算する。この処理は、実際の作業環境中での物体の状況を表すエッジ画像と環境モデルに記録されている物体の状況を表す参照画像との間のずれ量を近似的に求めることに相当する。
【００３６】
次に、上記二つのパターンを重なり合わせるように物体の位置姿勢を修正する（ｓ１３）。これは、上記引力の働く方向と上記引力により参照パターンに働くモーメントの方向をもとの三次元空間における平行移動方向と回転移動方向に変換し、これらの方向に物体の位置姿勢を移動・回転しながら参照画像のパターンとエッジ画像のパターンを重ねあわせるようにして行う。この時、物体の位置姿勢の修正結果は環境モデルの中の対応する構造体の座標変換パラメータに反映させる。
【００３７】
次に、二つのパターンの一致度を計算する（ｓ１４）。これは、例えば手順ｓ１３における物体の位置姿勢の修正量の大小などによって計算し、修正量が小さければ一致度が大きい（二つのパターンが十分重なり合っている）とし、大きければ一致度が小さい（二つのパターンがまだ十分重なり合っていない）とするものである。
【００３８】
最後に、ｓ１１からｓ１４で示すパターンの重ね合せ処理が収束状態であるかを判定する。判定結果が収束状態であれば処理を終了し、未収束状態ならｓ１１に戻る（ｓ１５）。収束・未収束の判定は、例えばｓ１４で計算した一致度があるしきい値以上であるなら収束状態とし、そうでなければ未収束と判定することにより行う。
【００３９】
次に、動作司令生成手段６の詳細について説明する。動作司令生成手段６には、ロボットを自動的に運転するための動作司令データが記憶されており、この動作司令データに基いて図７に示す手順によってロボットの動きを制御する。ここで、動作司令データは、例えばロボットの把持機構をある位置姿勢に移動させることを指示する指令データや、把持機構に備えられた指の開閉を指示する指令データや、自動運転から手動運転への切替えを指示する指令データなどから構成される。
【００４０】
まず、Ｔを１として最初の動作司令を読込み（ｓ２０、ｓ２１）、その動作司令が手動動作への切替えを指示する指令であれば手動操作を実行し、そうでなければ自動動作を実行する（ｓ２２、ｓ２３、ｓ２４）。そして、Ｔを１増加して次の動作司令を読み込み、全ての動作司令を実行するまで同様の処理を繰り返す（ｓ２５、ｓ２６）。
【００４１】
図７に示す手順の中の自動動作を実行する手順ｓ２４においては、動作司令生成手段６が生成した動作司令をロボット１に転送する状態に切替え手段７をセットする。そして、動作司令がロボットの把持機構をある位置姿勢に移動する指令である場合には、それに対応した関節角度の制御データをロボットに転送する。また、動作司令がロボットの把持機構の開閉を指示する指令である場合には、把持機構の指の制御データをロボットに転送する。ｓ２４の自動動作の実行は現在のステップの動作司令が完了すると終了する。
【００４２】
図７に示す手順の中の手動運転を実行する手順ｓ２３においては、操作手段２より入力された動作司令をロボット１に転送する状態に切替え手段７をセットする。そして、操作手段２より入力された動作司令に対応した関節角度の制御データや把持機構の指の制御データをロボットに転送する。ｓ２３においては、一旦手動運転の実行が開始されたなら、操作手段２による手動運転の状態を継続する。そして、入力装置１０から手動運転の終了を指示する入力があった時に終了する。
【００４３】
また、手順ｓ２３においては、以下に述べる合成画像生成手段８により、ロボットや位置決めすべき物体の位置決めに関する情報を図形化して表示した画像を表示装置９に表示する。この時表示すべき位置決め点は、手動動作への切替えを指示する指令データの中で指定される。
【００４４】
合成画像生成手段８は、図８に示す手順により合成画像を生成する。まず、手動動作への切り替え時に動作司令データで指定された位置決め点の接続している物体（対象物体）を特定する（ｓ３０）。これは、環境モデルおいて、位置決め点に対応する構造体の接続先を順次辿ってゆき、最初に到達した物体を表す構造体を見つけることにより行われる。例えば、指定された位置決め点がapproach_point1（１２６）である場合、対象物体はｃａｐ（１２３）となる。次に、環境モデル修正手段４により対象物体の位置姿勢を認識し（ｓ３１）、環境モデルを更新する（ｓ３２）。これは、既に述べた図５に示した手順により行われる。次に、更新された環境モデルから対象物体の位置姿勢を取得し、これに基いて手動操作誘導用のマークを参照図形として表示する際の位置姿勢座標を計算する（ｓ３３）。それからマークの形態をとる参照図形をその位置姿勢で描画し、カメラ３より取り込んだ実際の作業環境の映像に重ね合せて表示する（ｓ３４）。
【００４５】
以上の手順において、参照図形の好ましい表示方法としては以下のような方法が考えられる。例えば、図９に示すように物体１４２上に設けられた穴１４３に物体１４１を挿入する際のapproach point（１４４）に関する位置決め情報を表示する場合には、例えばロボットの把持機構の位置姿勢（または把持機構で把持されている物体１４１の位置姿勢）に参照図形（第２のマーク）１４５を表示すると同時に、物体１４１がapproach point（１４４）の位置に位置決めされた時にロボットの把持機構（または把持機構で把持されている物体１４１）が来るべき位置姿勢にも参照図形１４５と対になる参照図形１４６（第１のマーク）を表示する。そして、これらの参照図形をカメラ３が取り込んだ画像１４０に重ね合せた映像を見ながらロボットの把持機構を操作手段２により動かして、二つの参照図形が重なるように持っていけば、物体１４１を所定の位置決め点に位置決めすることができる。
【００４６】
この場合、参照図形１４５を表示すべき位置姿勢はロボットの把持機構の位置姿勢である。これは、以下の手順で計算される。まず、ロボットについても図４に示したものと同様の形のモデルを持っておき、そのモデルの位置姿勢情報をロボットの関節角度情報などに基づいて実際の状態と合うように常に更新しておく。そして、そのモデルにおける把持機構の位置姿勢を既に述べた手順により計算することで得ることができる。一方、参照図形１４６を表示すべき位置姿勢は、物体１４１の座標系に対する物体１４１のgrasp pointの相対的な位置姿勢を求め、これとapproach point（１４４）の位置姿勢を掛け合せることにより求めることができる。
【００４７】
上記の例は、ロボットのモデルから計算される把持機構の位置姿勢と実際の位置姿勢が一致する場合には有効であるが、一般的には必ずしもそうならない。例えば、ロボットが重量の大きな物体を把持している場合には、たわみなどが生じて把持機構の位置姿勢が関節角度などから計算される位置姿勢からずれることが考えられる。このような場合には、例えば以下のような方法を用いる。
【００４８】
図１０に示すように、位置決めすべき物体１４１の位置決めされた状態において見えるであろう外観形状を参照図形１４７として生成させ、これをカメラ３が取り込んだ実際の作業環境の画像１４０に重ね合せて表示する。この時、参照図形１４７は物体１４１の実際の映像との重なり具合を分かり易くするため、例えばワイヤーフレームのような線画により表示する。この映像を見ながらロボットの把持機構を操作手段２により動かして、物体１４１の実際の映像が参照図形１４７と重なるように持っていけば、物体１４１を所定の位置決め点に位置決めすることができる。
【００４９】
上記の例では、ロボットの把持機構の実際の位置姿勢が不明であり、対象物体の実際の位置姿勢は環境モデル修正手段４の機能により既知となっているが、逆に把持機構の位置姿勢が既知であり、対象物体の位置姿勢が不明となる場合も考えられる。これは、例えば環境モデル修正手段がうまく働かないような状況に該当する。このような場合には、例えば以下に示すような方法を用いる。
【００５０】
図１１に示すように、位置決めすべき物体１４１と対象物体１４２との相対的な位置関係が、位置決め点と対象物体との相対的な位置関係と同じになるような位置姿勢に対象物体１４２の外観形状を参照図形１４８として生成させ、これをカメラ３が取り込んだ実際の作業環境の画像１４０に重ね合せて表示する。この時、参照図形１４８は物体１４２の実際の映像との重なり具合を分かり易くするため、例えばワイヤーフレームのような線画により表示する。この映像を見ながらロボットの把持機構を操作手段２により動かして、参照図形１４８が物体１４２の実際の映像と重なるように持っていけば、物体１４１を所定の位置決め点に位置決めすることができる。
【００５１】
図１０および図１１に示した例では、参照図形をワイヤフレームのような線画として描画しているが、これに代えて図１２に示すように３次元的な奥行情報を持ったソリッド画像１４９を参照図形として表示するものであってもよい。この場合、ソリッド画像１４９は以下の手順により描画する。
【００５２】
まず、例えばレーザスキャナ等の装置を用いてカメラ３の位置から見た作業環境の距離画像を得る。距離画像とは、画像上の画素に対してその点における奥行情報が付加された画像である。次に、この距離画像の上に参照図形を奥行も計算しながら描画し、奥行が距離画像の奥行より手前にある画素については参照図形の画素を書き込み、奥にある場合にはカメラ３から取り込んだ画像の画素を書き込むようにする。以上の結果得られる映像では、参照図形と実際の物体との３次元的な重なり具合が明確になるので、参照図形と実際の物体の映像を重ね合わせる操作が容易になる。
【００５３】
次に、対象物体選択手段１１の詳細について説明する。対象物体選択手段１１は、ロボットの操作者が入力装置１０を用いて入力した表示装置９の画面上での位置情報から、操作者が選択した対象物体を図１３に示す手順により特定する。ここで、入力装置１０は、例えばコンピュータの入力装置であるマウスやジョイスティックなど位置を入力する装置であればよい。
【００５４】
まず、入力装置１０で入力した位置情報を読み取り、それを画面上での位置に換算する（ｓ１）。そして、ｉを１として物体ｉ＝１をカメラ３の位置から見た場合に描画される領域を計算する（ｓ２、ｓ３）。そして、ｓ１で計算した位置がｓ３で計算した領域に含まれる否かを判定し（ｓ４）、含まれていた場合には対象物体はｉ＝１と判定され、そうで無い場合はｉをｉ＋１として次の物体に進み（ｓ５）、対象物体が特定されるまで、または環境モデルに含まれる全ての物体について終了するまで同様の調査を行う（ｓ６）。もし、ｓ１で計算した位置が全ての物体の描画領域に含まれない場合は、対象物体は無しと判定される。
【００５５】
例えば、カメラ３から見た情景が図１４に示すような状況である場合、物体１３０、１３１、あるいは物体１３１上に設けられた穴１３２が描画される領域は、それぞれ図中の太線で囲まれた領域となる。この時、物体１３０において、ロボットの把持機構の指１３３によって隠れる部分は物体１３０の描画領域とはならない。同様に、物体１３１において、物体１３０によって隠れる部分や穴１３２の領域と重なる部分は物体１３１の描画領域とはならない。このような状況において、×印で示す位置１３４が入力装置１０で入力されている場合、対象物体は１３１となる。
【００５６】
次に、本発明による遠隔操作制御装置を用いた遠隔保守作業の全体的な流れについて説明する。まず、保守作業におけるロボットの動作手順を動作司令データとして作成し、動作司令生成手段６に記憶させておく。この時、ボルト穴へのボルトの挿入作業など、自動化が難しい作業や微妙な位置合わせを必要とする作業については、その作業に入るところで手動動作への切替え指令を入れておく。また、実際の作業環境と環境モデルとの間のずれについて、例えばずれ量に関する適当なしきい値を設定しておき、環境モデル修正手段４による上述のような物体の位置姿勢認識を通じて実際の作業環境と環境モデルの間にしきい値以上のずれが生じていたならば、そのことを条件に手動操作へ自動的に切替える指令も入れておく。このようにするのは以下のような理由による。即ち、一定以上に大きいずれを生じている状況では、そのずれを環境モデル修正手段４で修正できてもなおロボットの自動運転の遂行に支障を来たすおそれのある障害の存在が予測されるからである。言い換えれば、このような対応をとることで、ロボットによる作業をより安全に行わせることが可能となり、ひいては、より広い範囲の保守対象や作業内容に遠隔操作制御装置を適用することを可能とする。
【００５７】
ロボットを所定の位置に設置して作業を開始する準備が整ったなら、入力装置１０より作業開始の指示を入力する。すると、動作司令生成手段６は、予め記憶された動作司令データに基づいてロボット１を制御して作業を進める。この時、操作者は表示装置９に表示されるカメラ３が捉えた作業環境の映像により、ロボットの作業状況を監視する。
【００５８】
動作指令データの実行ステップが手動動作への切替え指令のところに来ると、動作司令生成手段６は手動動作モードとなり、切替え手段７は、操作手段２の入力をロボット１へ転送するように切り替わる。また、合成画像生成手段８は手動動作への切替え指令により指定された位置決め点に関する参照図形をカメラ３の画像に重ね合せて表示装置９に表示する。
【００５９】
そして操作者はこの参照図形を見ながらロボットを操作し、所定の作業を実施する。例えば、ボルトをボルト穴に挿入する作業では、ボルト穴に挿入する際のapproach pointに関する位置決め情報が参照図形の形態で表示される。操作者は、参照図形と実際のボルトの映像が重なるようにロボットを操作することにより、ボルトを正しい位置に持っていくことができる。そのため、この後の挿入操作においてもボルトをボルト穴側壁に引っ掛けることなく作業を進めることができる。
【００６０】
手動操作による作業が終了したなら、その旨を入力装置１０より入力し、手動動作モードを終了する。すると、動作司令生成手段６は、再び自動運転モードとなり、後続する動作司令データの実行を再開する。
【００６１】
このように、保守作業の中で自動化が難しい作業や、微妙な作業のみを手動操作として、他の部分を自動運転とすることにより、操作者の負担を軽減することができる。また、手動操作においても、操作における位置決め点を目視で誘導することのできる操作ガイド情報を参照図形などの形態で表示して操作対象物体の位置決めをやり易くしているので、容易に手動操作を行うことができる。
【００６２】
操作者は、自動運転によるロボットの作業状況を常に表示装置９の画面により監視している。この時、例えば環境モデルには記録されていないような予期せぬ障害物が存在してロボットが干渉する可能性があると判断したなら、入力装置１０より指示して、自動運転を停止させる。すると、動作司令生成手段６は、手動動作への切替え指令を受けた時と同様に手動動作モードに切り替わる。そして、障害物の影響が無くなるところまで手動操作で作業を進め、再び自動運転に切り替える。この時、動作司令データにおいて、手動操作で実施された部分はスキップするように指示する。
【００６３】
上記のように、自動運転を中断した状態で手動操作を行う場合は、参照図形を表示すべき位置決め点は自動的に指定されない。そこで、対象物体選択手段１１により対象物体を指定して、表示すべき位置決め点の情報を指定する。例えば、ボルトをボルト穴に挿入する作業の直前に作業を中断した場合は、ボルト穴の設けられている物体を入力装置１０で選択する。これにより、ボルトを位置決めすべき位置決め点の情報を表示することができる。
【００６４】
このように、作業環境に予期せぬ障害物がある場合には、適宜手動操作に切り替えることにより、柔軟に対処することが可能である。また、このような場合にも、対象物体の位置決めをやり易くする情報が表示されるため、容易に手動操作を行うことができる。
【００６５】
ここで、環境モデル修正手段４による物体の位置姿勢の認識方法は、必ずしも以上の実施形態において説明した手法に限定されるものではなく、画像認識手法として一般に知られている他の方法を用いることができる。
【００６６】
また以上の実施形態では、動作司令生成手段６が設けられているが、これは本発明の趣旨にとって必ずしも必要でない。即ち、本発明は参照図形などを表示することで手動操作時の操作者の負担軽減を可能とするものである。従って、操作者が逐次対象物体を指定し、その物体に関する位置決め情報を表示しながら、手動操作により全ての作業を進める構成であっても、操作者の負担軽減の実をあげることができる。
【００６７】
また、以上の実施形態では作業環境の映像を捉えるためのカメラを１台だけ設ける構成としていたが、必要に応じて複数台のカメラを設けるようにしてもよい。複数台のカメラを設ける場合には、表示装置９に表示する画像を取り込むカメラが切り替わるようにしておき、あるカメラの画像が表示される時には、それに対応した視点位置姿勢で参照図形を表示することにより、対象物を多様な方向から見ることができるので、更に操作性を高めることができる。また、複数台のカメラを用いて対象物の多様な方向からの画像を入力することにより、物体の位置姿勢の計算精度を向上させることができる。即ち、図５に示した手順により物体の位置姿勢を求める場合、視点の奥行方向に関する情報は物体の大きさの変化として現れる。奥行方向の位置の変化に対する画像上での物体の大きさの変化は、画像の上下・左右方向の位置の変化に比べて小さいため、一つのカメラからの画像では、奥行方向の位置精度が悪くなるという問題がある。これに対して、第１のカメラと直角な方向から対象物を捉える第２のカメラがある場合には、その第２のカメラの画像から第１のカメラの画像における奥行方向の位置情報を上下・左右方向の情報として得ることができる。従って、これらの情報を合わせることによりカメラが一つの場合よりも高精度に物体の位置姿勢を特定することができる。
【００６８】
また、以上の実施形態ではロボット１から離れた位置にカメラを設けるようにしていたが、これに代えて、カメラをロボット１の把持機構の部分に設けるようにしてもよい。この場合、合成画像生成手段８が表示する参照図形は以下のようにすればよい。例えば、図９に示すように物体１４２上に設けられた穴１４３に物体１４１を挿入する際のapproach point（１４４）に関する位置決め情報を表示する場合には、例えば物体１４１が位置決め点１４４に位置決めされた状態で、把持機構に備えられたカメラから見えるはずである物体１４２あるいは穴１４３の形状を図１５に示すような形で参照図形１５０として表示する。これにより、実際の物体１４２や穴１４３の映像が前記の参照図形と重なるように把持機構を移動した時に、物体１４１は所定の位置に位置決めされることになる。この場合には、対象物体の位置姿勢データやロボットの把持機構の位置姿勢データは不要であり、作業環境モデルのデータのみがあれば足りる。
【００６９】
【発明の効果】
以上説明したように本発明では、作業環境中でのロボットや物体の位置決めに関する情報を図形化して表示し、この表示図形でロボットの手動操作を行う際の誘導を行えるようにしているので、手動でのロボットの操作をより容易に行えるようになる。したがって本発明によれば、遠隔操作制御装置の操作に携わる者の負担を軽減することができる。また本発明では、ロボットの自動運転と手動操作を組み合わせるについて、ロボットの自動運転の基礎となる環境モデルが実際の作業環境と一定以上にずれている場合に、それを検出して自動運転から手動操作に自動的に切替えることができるようにしているので、ロボットによる作業をより安全に行わせることが可能となる。したがって本発明によれば、より広い範囲の保守対象や作業内容に遠隔操作制御装置を適用することを可能となる。
【図面の簡単な説明】
【図１】一実施形態による遠隔操作制御装置の構成を示すブロック図である。
【図２】作業環境における物体と位置決め点の位置関係を説明する図である。
【図３】物体の挿入動作における位置決め点の関係を説明する図である。
【図４】作業環境モデル内に記憶される情報を説明する図である。
【図５】環境モデル修正手段の動作手順を説明する図である。
【図６】環境モデル修正手段において使用されるエッジ画像と参照画像の例を示す図である。
【図７】動作司令生成手段の動作手順を説明する図である。
【図８】合成画像生成手段の動作手順を説明する図である。
【図９】合成画像生成手段が生成する画像の例を示す図である。
【図１０】合成画像生成手段が生成する画像の例を示す図である。
【図１１】合成画像生成手段が生成する画像の例を示す図である。
【図１２】合成画像生成手段が生成する画像の例を示す図である。
【図１３】対象物体選択手段の動作手順を説明する図である。
【図１４】物体の描画領域の例を示す図である。
【図１５】合成画像生成手段が生成する画像の例を示す図である。
【符号の説明】
１ロボット
２操作手段
３カメラ
４環境モデル修正手段
５環境モデル
６動作司令生成手段
７切替え手段
８合成画像生成手段
９表示装置
１０入力装置
１１対象物体選択手段

Claims

作業環境中に設置されるロボットを遠隔的に操作制御する遠隔操作制御装置であり、作業環境の映像を捉えるカメラと、前記作業環境中に存在する作業対象物の位置と姿勢を記憶する環境モデル記憶手段と、前記ロボットの自動運転のための動作指令を生成する動作指令生成手段と、前記ロボットを手動で操作するための操作手段と、作業対象物の位置と姿勢を計測する位置および姿勢計測手段を備えた遠隔操作制御装置において、前記動作指令生成手段は前記位置および姿勢計測手段で計測した作業対象物の位置と姿勢と前記環境モデル記憶手段に記憶されている位置と姿勢の差が予め設定した範囲以内である場合には、生成した動作指令を前記位置と姿勢の差に応じて補正することで自動運転を継続し、前記位置と姿勢の差が前記予め設定した範囲を超える場合には、前記手動で操作するための操作手段による手動運転に切り換えるものである動作指令生成手段と、前記手動運転においては前記位置と姿勢の差が前記予め設定した範囲を超えた作業対象物の位置と姿勢に基づいて計算した前記ロボットの到達すべき目標位置と姿勢を図形として前記カメラが捉えた作業環境の映像に重ね合わせて表示する合成画像生成手段とを備えたものである遠隔操作制御装置。
請求項１記載の遠隔操作制御装置において、前記カメラから作業対象物あるいはロボットの表面までの距離を面的に計測する距離計測手段を備え、前記作業対象物あるいはロボットの到達すべき目標位置と姿勢における前記作業対象物あるいはロボットの図形画像の描画において、描画部位の奥行きが前記距離計測手段で計測した距離データよりも手前にある部位については描画し、奥にある部位については描画しないようにした合成画像生成手段を備えたものである遠隔操作制御装置。