JPWO2017033360A1 - 遠隔操縦マニピュレータシステム及びその運転方法 - Google Patents

Abstract

本発明に係る遠隔操縦マニピュレータシステムは、操作者からの操作指示を受け付ける操作器（２）と、複数の工程からなる一連の作業を行うスレーブアーム（１）と、スレーブアーム（１）の動作を撮影するカメラ（３）と、カメラ（３）で撮影した映像を表示する表示装置（６）と、作業空間内の環境に関する情報を環境モデル（５２）として記憶する記憶装置（５）と、制御装置（４）と、を備え、スレーブアーム（１）を手動運転又はハイブリッド運転しているときに、制御装置（４）は、記憶装置（５）に記憶されている環境モデル（５２）から、カメラ（３）で撮影された領域の周辺領域に関する情報である周辺情報を取得し、カメラ（３）で撮影された映像と周辺情報が連動するように、表示装置（６）に表示させるように構成されている。

Description

本発明は、遠隔操縦マニピュレータシステム及びその運転方法に関する。

操作者が操作するマスターアームの動作にスレーブアームの動作を追従させるマスタースレーブ方式の遠隔操作制御装置が知られている（例えば、特許文献１参照）。特許文献１に開示されている遠隔操作制御装置では、作業環境の映像を捉えるカメラ、ロボットによる作業環境の対象となる物体の位置姿勢等に関する情報などを環境モデルとして記憶する環境モデル記憶手段、およびカメラで捉えた映像と環境モデル記憶手段から得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を生成する合成画像生成手段を備え、ロボットの手動操作を行う際に、合成画像を表示装置に表示することにより、手動操作を誘導できるようにされている。

特開２００３−３１１６６１号公報

しかしながら、上記特許文献１に開示されている遠隔マニピレーション装置では、操作者が操作しているロボット（スレーブアーム）の周辺状況については、考慮されていない。このため、操作者は、操作しているロボットが他のロボット等と接触しないように、又はロボットの移動ルートを選定するために、常に、カメラで撮影している領域以外の領域にも注視する必要があり、作業者の負担が大きく、作業効率の向上の観点から未だ改善の余地があった。

本発明は、上記従来の課題を解決するもので、作業者の負担を軽減して、作業効率を向上させることができる、遠隔操縦マニピュレータシステム及びその運転方法を提供することを目的とする。

上記従来の課題を解決するために、本発明に係る遠隔操縦マニピュレータシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、前記スレーブアームの動作を撮影するカメラと、前記カメラで撮影した映像を表示する表示装置と、前記作業空間内の環境に関する情報を環境モデルとして記憶する記憶装置と、制御装置と、を備え、前記スレーブアームを手動運転又はハイブリッド運転しているときに、前記制御装置は、前記記憶装置に記憶されている前記環境モデルから、前記カメラで撮影された領域の周辺領域に関する情報である周辺情報を取得し、前記カメラで撮影された映像と前記周辺情報が連動するように、前記表示装置に表示させるように構成されている。

これにより、表示装置にカメラで撮影された領域だけでなく、スレーブアームの周辺情報も表示されるため、操作者は、スレーブアームの状況を容易に把握することができる。このため、作業者の負担を軽減して、作業効率を向上させることができる。

また、本発明に係る遠隔操縦マニピュレータシステムの運転方法は、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、前記スレーブアームの動作を撮影するカメラと、前記カメラで撮影した映像を表示する表示装置と、前記作業空間内の環境に関する情報を環境モデルとして記憶する記憶装置と、を備える遠隔操縦マニピュレータシステムの運転方法であって、前記スレーブアームを手動運転又はハイブリッド運転しているときに、前記記憶装置に記憶されている前記環境モデルから、前記カメラで撮影された領域の周辺領域に関する情報である周辺情報を特定する（Ａ）と、前記表示装置が、前記カメラで撮影された映像と前記周辺情報が連動するように、表示する（Ｂ）と、を備える。

これにより、表示装置にカメラで撮影された領域だけでなく、スレーブアームの周辺情報も表示されるため、操作者は、スレーブアームの状況を容易に把握することができる。このため、作業者の負担を軽減して、作業効率を向上させることができる。

本発明の遠隔操縦マニピュレータシステム及びその運転方法によれば、作業者の負担を軽減して、作業効率を向上させることができる。

図１は、本実施の形態１に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。 図２は、図１に示す遠隔操縦マニピュレータシステムにおけるスレーブアームの概略構成を示す模式図である。 図３は、本実施の形態１に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。 図４は、図１に示す遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。 図５は、図１に示す遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。 図６は、図１に示す遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。 図７は、図１に示す遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。 図８は、本実施の形態２に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。 図９は、本実施の形態３に係る遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本発明を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本発明は以下の実施の形態に限定されない。

（実施の形態１）
本実施の形態１に係る遠隔操縦マニピュレータシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、スレーブアームの動作を撮影するカメラと、カメラで撮影した映像を表示する表示装置と、作業空間内の環境に関する情報を環境モデルとして記憶する記憶装置と、制御装置と、を備え、スレーブアームを手動運転又はハイブリッド運転しているときに、制御装置は、記憶装置に記憶されている環境モデルから、カメラで撮影された領域の周辺領域に関する情報である周辺情報を取得し、カメラで撮影された映像と周辺情報が連動するように、表示装置に表示させるように構成されている。

また、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、表示装置は、カメラで撮影された映像を中央部分に表示し、周辺情報を周縁部分に表示するように構成されていてもよい。

また、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、制御装置は、スレーブアームの姿勢情報を取得し、当該姿勢情報からカメラの撮影位置を特定して、環境モデルから周辺情報を特定するように構成されていてもよい。

さらに、本実施の形態１に係る遠隔操縦マニピュレータシステムでは、周辺情報は、スレーブアームの作動領域であってもよい。

以下、本実施の形態１に係る遠隔操縦マニピュレータシステムの一例について、図１〜図６を参照しながら説明する。

［遠隔操縦マニピュレータシステムの構成］
図１は、本実施の形態１に係る遠隔操縦マニピュレータシステムの概略構成を示すブロック図である。

図１に示すように、本実施の形態１に係る遠隔操縦マニピュレータシステム１００は、スレーブアーム１、操作器２、カメラ３、制御装置４、記憶装置５、及び表示装置６を備えていて、操作者が操作器２を操作することにより、スレーブアーム１が動作するように構成されている。

スレーブアーム１は、作業空間内に設置され、複数の工程からなる一連の作業を行うロボットである。なお、複数の工程からなる一連の作業としては、製品に対する部品の組付、塗装等の作業が例示できる。

本実施の形態１に係るスレーブアーム１は、ライン生産方式又はセル生産方式で、電気・電子部品等を組み立てて製品を生産する生産工場で利用され、この生産工場に設けられた作業台に沿って配置され、作業台上のワークに対して、移送、パーツの組み付け又は配置換え、姿勢変換等の作業のうち少なくとも１つを行うことができる多関節ロボットである。但し、スレーブアーム１の実施態様は上記に限定されず、水平多関節型・垂直多関節型を問わず多関節ロボットに広く適用することができる。

ここで、図２を参照しながら、スレーブアーム１の構成について、説明する。

図２は、図１に示す遠隔操縦マニピュレータシステムにおけるスレーブアームの概略構成を示す模式図である。

図２に示すように、スレーブアーム１は、基部１０、基軸部１１、及び先端部１２を備えていて、先端部１２に取り付けられている各種のエンドエフェクタにより、種々の作業を実行できるように構成されている。なお、本実施の形態１においては、先端部１２に、対象物１３を把持するためのハンド部が取り付けられている形態を採用したが、これに限定されず、対象物に対して溶接を行うための溶接装置等のエンドエフェクタが取り付けられていてもよい。

基部１０は、スレーブアーム１を地面又は載置台等に設置するための土台である。基部１０の上面には、基軸部１１が設けられている。基軸部１１は、スレーブアーム１の主たる動作姿勢を規定する部分であり、複数の関節部１４ａ〜１４ｅ及び各関節部を接続するリンク部１５ａ〜１５ｄから構成されている。

関節部１４ａは、基部１０の先端部とリンク部１５ａの基端部とを接合していて、リンク部１５ａが、垂直（鉛直）方向に延在する回転軸周り、水平方向に延在する回転軸周り、及びリンク部１５ａの延伸方向に延在する回転軸周りに回動自在となるように構成されている。

同様に、関節部１４ｂは、リンク部１５ａの先端部とリンク部１５ｂの基端部とを接合していて、リンク部１５ｂが、リンク部１５ｂの延伸方向に延在する回転軸周り及びリンク部１５ｂの延伸方向に延在する回転軸に対して垂直な方向に延在する回転軸周りに回動自在となるように構成されている。

関節部１４ｃは、リンク部１５ｂの先端部とリンク部１５ｃの基端部とを接合していて、リンク部１５ｃが、リンク部１５ｃの延伸方向に延在する回転軸周り及びリンク部１５ｃの延伸方向に延在する回転軸に対して垂直な方向に延在する回転軸周りに回動自在となるように構成されている。

関節部１４ｄは、リンク部１５ｃの先端部とリンク部１５ｄの基端部とを接合していて、リンク部１５ｄが、リンク部１５ｄの延伸方向に延在する回転軸周り及びリンク部１５ｄの延伸方向に延在する回転軸に対して垂直な方向に延在する回転軸周りに回動自在となるように構成されている。

関節部１４ｅは、リンク部１５ｄの先端部と先端部１２とを接合していて、先端部１２が、先端部１２の延伸方向に延在する回転軸周り及び先端部１２の延伸方向に延在する回転軸に対して垂直な方向に延在する回転軸周りに回動自在となるように構成されている。

先端部１２は、作業を行うエンドエフェクタの細かい位置決めを制御する部分である。すなわち、本実施の形態１に係るスレーブアーム１は、基軸部１１によって主たる姿勢を規定し、先端部１２によってエンドエフェクタの作業位置に応じるように細かい位置決めがなされるように構成されている。

そして、スレーブアーム１では、関節部１４ａ〜１４ｅのそれぞれが備える駆動モータ（図示せず）によって、隣接するリンク部同士が相対的に回転するように接合されている。このため、操作器２から出力されるスレーブアーム１の操作指示情報、又は後述する記憶装置５の動作シーケンス情報５１に規定されている動作情報に従って、制御装置４が、駆動モータにより回転させられる各関節部１４ａ〜１４ｅの角度を制御することにより、スレーブアーム１の先端部位置を決定することができる。

なお、上述したスレーブアーム１の構成は一例であって、スレーブアーム１の構成はこれに限定されるものではなく、該スレーブアーム１を用いて実施する作業内容及び作業空間等に応じて適宜、構成は変更される。

操作器２は、作業空間外に設置され、操作者からの操作指示を受け付ける装置である。操作器２としては、例えば、マスターアーム、ジョイスティック、又はタブレット等が挙げられる。なお、操作器２には、後述する作業の開始指示、操縦運転（手動運転）による作業の完了通知等を入力する入力部等が、別途、設けられていてもよい。また、操作器２は、作業空間内に設置されていてもよい。

カメラ３は、作業空間内におけるスレーブアーム１を映像として撮影する。例えば、作業空間内におけるスレーブアーム１の位置又は姿勢、スレーブアーム１とワークとの位置関係、又はスレーブアーム１とワークを組付ける被組付部品との位置関係等を映像として記録する。

カメラ３は、スレーブアーム１自体に配置されていてもよく、作業空間内の適所に配置されていてもよい。また、配置されているカメラ３の数は１つであってもよく、複数であってもよい。適切に状況情報を取得できる位置に適切な個数のカメラ３が配置されていればよく、取り付け位置及び取り付け個数は任意である。

記憶装置５は、読み書き可能な記録媒体であり、遠隔操縦マニピュレータシステム１００の動作シーケンス情報５１と環境モデル５２が記憶されている。なお、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、記憶装置５は、制御装置４と別体に設けられているが、制御装置４と一体として設けられていてもよい。

動作シーケンス情報５１とは、作業空間内でスレーブアーム１によって実施される一連の作業を規定した動作シーケンスに関する情報であって、スレーブアーム１の自動運転を実行させるためのプログラムを含む。具体的には、動作順とスレーブアーム１の運転モード（運転モード）と該運転モードにおける動作フローとを対応付けた情報となっている。

環境モデル５２は、作業空間内に配置されているスレーブアーム１、ベルトコンベア等の各機器、ワーク等の対象物１３、ワークが組み付けられる被組み付け対象物等の名称、形状、配置位置（座標）、及び姿勢等の情報である。具体的には、例えば、作業空間内におけるスレーブアーム１の位置又は姿勢、スレーブアーム１とワークとの位置関係、又はスレーブアーム１とワークを組付ける被組付部品との位置関係等の情報である。

制御装置４は、スレーブアーム１の動作を制御するものであり、機能ブロックとして、受信部４０、周辺情報取得部４１、姿勢情報取得部４２、動作制御部４３、及び出力制御部４４を備えている。制御装置４は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、論理回路等からなる演算部（図示せず）と、ＲＯＭ又はＲＡＭ等からなるメモリ部（図示せず）と、により構成することができる。また、制御装置４が備える各機能ブロックは、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出し実行することにより実現できる。なお、制御装置４は、単独の制御装置で構成される形態だけでなく、複数の制御装置が協働して、スレーブアーム１（遠隔操縦マニピュレータシステム１００）の制御を実行する制御装置群で構成される形態であっても構わない。

受信部４０は、制御装置４の外部から送信された入力信号を受信するものである。受信部４０によって受信する入力信号としては、例えば、操作器２から送信された信号、操作器２以外の図示されない操作指示部から送信された信号等が挙げられる。

周辺情報取得部４１は、記憶装置５に記憶されている環境モデル５２の各情報と、受信部４０によってカメラ３から受信した映像情報と、姿勢情報取得部４２から取得したスレーブアーム１の姿勢情報と、から、カメラ３で撮影されている領域の周辺領域に関する情報である周辺情報をモデル化（シミュレーション）して、取得する。

なお、周辺情報のモデル化は、公知の技術により適宜実行することができる。また、周辺情報は、スレーブアーム１の各リンク部１５ａ〜１５ｄ全体の姿勢情報であってもよく、スレーブアーム１の動作範囲に配置されている各機器の情報であってもよく、スレーブアーム１が設置されている作業レーン内の各機器の情報であってもよい。さらに、周辺情報は、コンピュータグラフィックであってもよく、デフォルメされた図形、又はイラスト等であってもよい。

姿勢情報取得部４２は、動作制御部４３からスレーブアーム１の各関節部１４ａ〜１４ｅに設けられている駆動モータの回転角度を取得、又はスレーブアーム１の各リンク部１５ａ〜１５ｄに位置センサが配置されている場合には、当該位置センサからの位置情報を受信することにより、操作者が操作しているスレーブアーム１の姿勢情報を取得する。

動作制御部４３は、受信部４０が入力信号として操作器２から操作指示を受け付けた場合、この操作指示をトリガとして一連の作業においてスレーブアーム１が実施する工程の運転モードを判定する。動作制御部４３は、次にスレーブアーム１が実施する工程の運転モードの判定を記憶装置５に記憶された動作シーケンス情報５１を参照して行うことができる。動作制御部４３は、自動運転モード、手動運転モード、及びハイブリッド運転モードのうち、いずれの運転モードであるかを判定すると、判定された運転モードでスレーブアーム１を動作させるように制御する。

ここで、自動運転モードとは、スレーブアーム１が予め設定されているプログラムに従って、自動的に動作を実施することをいう。また、手動運転モードとは、スレーブアーム１が、操作器２から受け付けた操作指示に従って動作することをいい、操作器２から受け付けた操作指示に完全に従うように、スレーブアーム１を動作させてもよく、操作器２から受け付けた操作指示に対して、予め設定されているプログラムにより補正（例えば、手ブレ補正）をしながら、スレーブアーム１を動作させてもよい。さらに、ハイブリッド運転モードとは、自動運転により動作中のスレーブアームを手動運転により動作を補正されることをいう。

動作制御部４３は、スレーブアーム１を自動運転とすると判定した場合には、動作シーケンス情報５１を読み出し、動作シーケンス情報５１に含まれるプログラムにより規定された動作を実施するようにスレーブアーム１を制御する。

また、動作制御部４３は、スレーブアーム１を手動運転とすると判定した場合には、操作器２から受信部４０が受信した操作指示に基づいて動作するようにスレーブアーム１を制御する。

さらに、動作制御部４３は、スレーブアーム１をハイブリッド運転とすると判定した場合には、動作シーケンス情報５１を読み出し、動作シーケンス情報５１に含まれるプログラムにより規定された動作を実施し、スレーブアーム１を自動運転により動作中に、操作器２から入力信号として補正指示信号を受信部４０が受信すると、スレーブアーム１の自動運転による動作を操作器２からの補正指示信号に従った動作に補正する。

そして、動作制御部４３は、操作器２から補正指示信号の出力が停止され、受信部４０が当該補正指示信号の受信を停止した場合、又は、操作器２からスレーブアーム１の自動運転の再開を指示する信号を受信部４０が受信した場合には、スレーブアーム１の自動運転を再開する。

また、動作制御部４３は、手動運転モード又はハイブリッド運転モードでスレーブアーム１を動作させているときに、操作者が操作器２を操作して、カメラ３で撮影している被写体をズームアップ又はズームインした場合（操作器２からズームアップ又はズームイン情報を、受信部４０を介して取得した場合）に、姿勢情報取得部４２から周辺情報を取得して、受信部４０を介して受信したカメラ３で撮影している映像情報と周辺情報を出力制御部４４に出力する。

出力制御部４４は、表示装置６を制御し、操作者等に通知する情報を映像情報又は画像情報として出力する。出力制御部４４は、動作制御部４３から入力されたカメラ３で撮影している映像情報と周辺情報を表示装置６に出力する。

表示装置６は、操作器２の操作者が出力された情報を検知できる位置（作業空間外；操作器２が設置されている空間）に設けられていて、制御装置４から送信された情報を表示するものであり、例えば、モニタで構成されていてもよく、操作器２がタブレットで構成されている場合には、当該タブレットであってもよい。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
次に、本実施の形態１に係る遠隔操縦マニピュレータシステム１００の動作及び作用効果について、図１〜図７を参照しながら説明する。なお、操作者が操作器２を操作して、スレーブアーム１を動作させて、一連の作業を行う動作については、公知の遠隔操縦マニピュレータシステムと同様に実行されるため、その詳細な説明は省略する。また、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図３は、本実施の形態１に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。図４〜図７は、図１に示す遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。

まず、図４に示すように、スレーブアーム１の先端部１２で対象物１３を把持していて、当該対象物１３を物体１６の孔１６ａに挿入する作業をしていて、カメラ３が、ズームバック又はズームアウトの状態で、スレーブアーム１と物体１６を撮影し、撮影した映像を表示装置６の表示画面６０で表示しているとする。そして、図５に示すように、操作者が操作器２を操作して、スレーブアーム１の先端部１２近傍を撮影するように、カメラ３をズームアップ又はズームインしたとする。

このような場合に、従来の遠隔操縦マニピュレータシステムでは、図５に示すように、表示装置６の表示画面６０には、スレーブアーム１全体の姿勢が表示されず、また、スレーブアーム１と物体１６の位置関係も表示されない。このため、操作者は、スレーブアーム１等を目視、又はカメラ３のズームを頻繁に切替えることにより、スレーブアーム１の姿勢、又はスレーブアーム１と物体１６の位置関係を確かめる必要があり、作業者の負担が大きかった。

しかしながら、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、以下の動作を実行することにより、上記従来の遠隔操縦マニピュレータシステムの不具合を解消することができる。

図３に示すように、制御装置４は、スレーブアーム１が手動運転モード又はハイブリッド運転モードで運転されているか否かを判定する（ステップＳ１０１）。スレーブアーム１が自動運転モードを実行している場合には、操作者は、操作器２により、スレーブアーム１を操作する必要がないからである。

具体的には、制御装置４の動作制御部４３が、受信部４０を介して、操作器２からスレーブアーム１の操作指示情報が受信されているか否か、操作器２から補正指示信号が受信されているか否かを判定する。

制御装置４の動作制御部４３は、スレーブアーム１が手動運転モード又はハイブリッド運転モードで運転されていないと判定した場合（ステップＳ１０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。一方、制御装置４の動作制御部４３は、スレーブアーム１が手動運転モード又はハイブリッド運転モードで運転されていると判定した場合（ステップＳ１０１でＹｅｓ）には、ステップＳ１０２に示す処理を実行する。

ステップＳ１０２において、制御装置４の動作制御部４３は、操作器２からカメラ３のズームアップ情報又はズームイン情報を、受信部４０を介して取得したか否かを判定する。制御装置４の動作制御部４３は、操作器２からカメラ３のズームアップ情報又はズームイン情報を、受信部４０を介して取得していないと判定した場合（ステップＳ１０２でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４の動作制御部４３は、操作器２からカメラ３のズームアップ情報又はズームイン情報を、受信部４０を介して取得したと判定した場合（ステップＳ１０２でＹｅｓ）には、ステップＳ１０３に示す処理を実行する。

ステップＳ１０３において、制御装置４の動作制御部４３は、受信部４０を介して、カメラ３で撮影している映像情報を取得する。ついで、制御装置４の動作制御部４３は、姿勢情報取得部４２から周辺情報を取得する（ステップＳ１０４）。

具体的には、制御装置４の姿勢情報取得部４２が、動作制御部４３からスレーブアーム１の各関節部１４ａ〜１４ｅに設けられている駆動モータの回転数等を取得することにより、スレーブアーム１の姿勢情報を取得する。そして、制御装置４の周辺情報取得部４１が、記憶装置５に記憶されている環境モデル５２の各情報、ステップＳ１０３で取得した映像情報、及び姿勢情報取得部４２から取得したスレーブアーム１の姿勢情報から、シミュレーションして、周辺情報を取得し、動作制御部４３に出力する。これにより、動作制御部４３は、周辺情報を取得する。

次に、制御装置４の動作制御部４３は、出力制御部４４を介して、ステップＳ１０３で取得した映像情報と、ステップＳ１０４で取得した周辺情報を表示装置６に出力し（ステップＳ１０５）、本プログラムを終了する。

これにより、表示装置６は、カメラ３で撮影している映像情報と、カメラ３で撮影されている領域の周辺領域に関する情報である周辺情報と、を表示画面６０に表示することができる。このとき、表示装置６は、例えば、図６に示すように、映像情報を表示画面６０の中央部分６０Ａに表示し、周辺情報を表示画面６０の周縁部分６０Ｂに表示してもよい。

このように、表示装置６が、カメラ３で撮影している映像情報と、カメラ３で撮影されている領域の周辺領域に関する情報である周辺情報と、を連動するように、表示画面６０に表示することにより、操作者は、スレーブアーム１の姿勢、又はスレーブアーム１と物体１６の位置関係を表示装置６の表示画面６０を見ることにより、把握することができる。このため、図７に示すように、操作者は、対象物１３の鉛直方向の中心軸と物体１６の孔１６ａの鉛直方向の中心軸とが一致するように、スレーブアーム１を容易に操作させることができる。

このように構成された、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、スレーブアーム１を手動運転又はハイブリッド運転しているときに、操作者がカメラ３をズームアップ又はズームインした場合に、表示装置６が、カメラ３で撮影している映像情報と、カメラ３で撮影されている領域の周辺領域に関する情報である周辺情報と、を連動するように、表示画面６０に表示する。

これにより、スレーブアーム１の姿勢、又はスレーブアーム１と物体１６の位置関係を表示装置６の表示画面６０を見ることにより、把握することができる。このため、従来の遠隔操縦マニピュレータシステムのように、スレーブアーム１等を目視、又はカメラ３のズームを頻繁に切替えることにより、スレーブアーム１の姿勢、又はスレーブアーム１と物体１６の位置関係を確かめる必要がなくなり、作業負担を低減することができる。

したがって、本実施の形態１に係る遠隔操縦マニピュレータシステム１００では、操作者が、遠隔操作の作業に集中しやすくなり、操作の失敗を低減することができ、作業者の疲労を軽減することができる。また、遠隔操作の作業効率を向上させることができる。

なお、本実施の形態１においては、映像情報を表示画面６０の中央部分６０Ａに表示し、周辺情報を表示画面６０の周縁部分６０Ｂに表示する形態を採用したが、これに限定されない。例えば、表示画面６０を２分割して、一方に映像情報を表示させ、他方に周辺情報を表示させる形態を採用してもよい。この場合、画面の比率は、１：１であってもよく、２：１であってもよく、３：１であってもよく、４：１であってもよく、５：１であってもよい。

（実施の形態２）
本実施の形態２に係る遠隔操縦マニピュレータシステムは、実施の形態１に係る遠隔操縦マニピュレータシステムにおいて、制御装置は、操作者が操作しているスレーブアームが、作業空間内に配置されている機材と接触するか否かを判定するように構成されている。

また、本実施の形態２に係る遠隔操縦マニピュレータシステムでは、制御装置は、操作者が操作しているスレーブアームが、作業空間内に配置されている機材と接触すると判定すると、表示装置に警告を表示させるように構成されていてもよい。

以下、本実施の形態２に係る遠隔操縦マニピュレータシステムの一例について、図７を参照しながら詳細に説明する。なお、本実施の形態２に係る遠隔操縦マニピュレータシステム１００は、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

［遠隔操縦マニピュレータシステムの動作及び作用効果］
図８は、本実施の形態２に係る遠隔操縦マニピュレータシステムの動作を示すフローチャートである。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図８に示すように、制御装置４は、操作器２から操作指示情報又は補正指示情報を取得したか否かを判定する（ステップＳ２０１）。具体的には、制御装置４の動作制御部４３が、受信部４０を介して、操作器２から操作指示情報又は補正指示情報を取得したか否かを判定する。

制御装置４の動作制御部４３は、操作器２から操作指示情報又は補正指示情報を取得していないと判定した場合（ステップＳ２０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４の動作制御部４３は、操作器２から操作指示情報又は補正指示情報を取得したと判定した場合（ステップＳ２０１でＹｅｓ）には、ステップＳ２０２に示す処理を実行する。

ステップＳ２０２において、制御装置４の動作制御部４３は、受信部４０を介して、カメラ３で撮影している映像情報を取得する。ついで、制御装置４の動作制御部４３は、姿勢情報取得部４２から周辺情報を取得する（ステップＳ２０３）。

次に、制御装置４の動作制御部４３は、ステップＳ２０１で取得した操作指示情報又は補正指示情報と、ステップＳ２０２で取得した映像情報と、ステップＳ２０３で取得した周辺情報と、を基に、操作器２で操作しているスレーブアーム１が、作業空間内に配置されている他の機材と接触しないか否かを判定する（ステップＳ２０４）。

具体的には、制御装置４の動作制御部４３は、操作器２で操作しているスレーブアーム１と他の機材との距離、スレーブアーム１の移動方向又は移動速度、及び他の機材が移動している場合には、当該機材の移動方向又は移動速度から、操作器２で操作しているスレーブアーム１が、他の機材と接触しないか否かを判定する。

ここで、作業空間内に配置されている他の機材は、例えば、操作器２で操作しているスレーブアーム１と隣接するスレーブアーム１であってもよく、他のスレーブアーム１が把持しているワークであってもよく、工場の壁、柱、又は天井であってもよく、ベルトコンベア等のワーク等を運搬する機器であってもよい。

制御装置４の動作制御部４３は、操作器２で操作しているスレーブアーム１が、他の機材と接触するおそれがあると判定した場合（ステップＳ２０４でＮｏ）には、出力制御部４４を介して、表示装置６に警告を表示させる（ステップＳ２０５）。なお、警告は、「他の機材と接触するおそれあり」等の文字情報（画像情報）を表示装置６に表示（出力）させてもよい。また、表示装置６に代えて、スピーカ等により音声情報として出力させてもよい。

次に、制御装置４の動作制御部４３は、スレーブアーム１の動作を抑制し（ステップＳ２０６）、スレーブアーム１が、他の機材と接触しないと判定するまで、ステップＳ２０１〜ステップＳ２０６を繰り返す。

なお、スレーブアーム１の動作の抑制は、例えば、スレーブアーム１の移動速度を小さくして、動作させるようにしてもよく、スレーブアーム１の動作を禁止してもよい。

一方、制御装置４の動作制御部４３は、操作器２で操作しているスレーブアーム１が、作業空間内に配置されている他の機材と接触しないと判定した場合（ステップＳ２０４でＹｅｓ）には、スレーブアーム１の動作を許可し（ステップＳ２０７）、本プログラムを終了する。なお、スレーブアーム１の動作を許可とは、スレーブアーム１の動作を抑制することなく、動作させることをいう。

このように構成された、本実施の形態２に係る遠隔操縦マニピュレータシステム１００では、操作器２で操作しているスレーブアーム１が、作業空間内に配置されている他の機材と接触するおそれがある場合には、スレーブアーム１の動作を抑制するため、他の機材と接触して、作業が中断されることを抑制することができる。

（実施の形態３）
本実施の形態３に係る遠隔操縦マニピュレータシステムは、実施の形態１又は２に係る遠隔操縦マニピュレータシステムにおいて、作業空間内には、複数のスレーブアームが設置されていて、制御装置は、操作者が操作しているスレーブアームと隣接するスレーブアームの姿勢情報を周辺情報として、表示装置に表示させるように構成されている。

以下、本実施の形態３に係る遠隔操縦マニピュレータシステムの一例について、図９を参照しながら説明する。

［遠隔操縦マニピュレータシステムの構成及び作用効果］
本実施の形態３に係る遠隔操縦マニピュレータシステム１００は、実施の形態１に係る遠隔操縦マニピュレータシステム１００と同様の構成であるが、表示装置６に表示される映像情報と周辺情報とが異なる。

図９は、本実施の形態３に係る遠隔操縦マニピュレータシステムにおける表示装置の表示画面を示す模式図である。

図９に示すように、本実施の形態３に係る遠隔操縦マニピュレータシステム１００では、表示装置６の表示画面６０に、操作者が操作器２により操作しているスレーブアーム１の姿勢情報に加えて、操作者が操作器２により操作しているスレーブアーム１と隣接するスレーブアーム１Ａ、１Ｂの姿勢情報を表示画面６０の右側縁部６０Ｃに表示している。

また、右側縁部６０Ｃでは、スレーブアーム１が、隣接するスレーブアーム１Ａ、１Ｂと接触するおそれがあるか否かを操作者に理解しやすくするために、上方から見た映像を表示している。

このように構成された、本実施の形態３に係る遠隔操縦マニピュレータシステム１００であっても、実施の形態１及び実施の形態２に係る遠隔操縦マニピュレータシステム１００と同様の作用効果を奏する。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

本発明の遠隔操縦マニピュレータシステム及びその運転方法は、作業者の負担を軽減して、作業効率を向上させることができるため、産業ロボットの分野において有用である。

１ スレーブアーム
２ 操作器
３ カメラ
４ 制御装置
５ 記憶装置
６ 表示装置
１０ 基部
１１ 基軸部
１２ 先端部
１３ 対象物
１４ａ 関節部
１４ｂ 関節部
１４ｃ 関節部
１４ｄ 関節部
１４ｅ 関節部
１５ａ リンク部
１５ｂ リンク部
１５ｃ リンク部
１５ｄ リンク部
１６ 物体
１６ａ 孔
４０ 受信部
４１ 周辺情報取得部
４２ 姿勢情報取得部
４３ 動作制御部
４４ 出力制御部
５１ 動作シーケンス情報
５２ 環境モデル
６０ 表示画面
６０Ａ 中央部分
６０Ｂ 周縁部分
６０Ｃ 右側縁部
１００ 遠隔操縦マニピュレータシステム

Claims (14)

1. 操作者からの操作指示を受け付ける操作器と、
   作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、
   前記スレーブアームの動作を撮影するカメラと、
   前記カメラで撮影した映像を表示する表示装置と、
   前記作業空間内の環境に関する情報を環境モデルとして記憶する記憶装置と、
   制御装置と、を備え、
   前記スレーブアームを手動運転又はハイブリッド運転しているときに、前記制御装置は、前記記憶装置に記憶されている前記環境モデルから、前記カメラで撮影された領域の周辺領域に関する情報である周辺情報を取得し、前記カメラで撮影された映像と前記周辺情報が連動するように、前記表示装置に表示させるように構成されている、遠隔操縦マニピュレータシステム。
2. 前記表示装置は、前記カメラで撮影された映像を中央部分に表示し、前記周辺情報を周縁部分に表示するように構成されている、請求項１に記載の遠隔操縦マニピュレータシステム。
3. 前記制御装置は、前記スレーブアームの姿勢情報を取得し、当該姿勢情報から前記カメラの撮影位置を特定して、前記環境モデルから前記周辺情報を特定するように構成されている、請求項１又は２に記載の遠隔操縦マニピュレータシステム。
4. 前記周辺情報は、前記スレーブアームの作動領域である、請求項１〜３のいずれか１項に記載の遠隔操縦マニピュレータシステム。
5. 前記作業空間内には、複数の前記スレーブアームが設置されていて、
   前記制御装置は、前記操作者が操作しているスレーブアームと隣接するスレーブアームの姿勢情報を前記周辺情報として、前記表示装置に表示させるように構成されている、請求項１〜３のいずれか１項に記載の遠隔操縦マニピュレータシステム。
6. 前記制御装置は、前記操作者が操作している前記スレーブアームが、前記作業空間内に配置されている機材と接触するか否かを判定するように構成されている、請求項１〜５のいずれか１項に記載の遠隔操縦マニピュレータシステム。
7. 前記制御装置は、前記操作者が操作している前記スレーブアームが、前記作業空間内に配置されている機材と接触すると判定すると、前記表示装置に警告を表示させるように構成されている、請求項６に記載の遠隔操縦マニピュレータシステム。
8. 操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うスレーブアームと、前記スレーブアームの動作を撮影するカメラと、前記カメラで撮影した映像を表示する表示装置と、前記作業空間内の環境に関する情報を環境モデルとして記憶する記憶装置と、を備える遠隔操縦マニピュレータシステムの運転方法であって、
   前記スレーブアームを手動運転又はハイブリッド運転しているときに、前記記憶装置に記憶されている前記環境モデルから、前記カメラで撮影された領域の周辺領域に関する情報である周辺情報を特定する（Ａ）と、
   前記表示装置が、前記カメラで撮影された映像と前記周辺情報が連動するように、表示する（Ｂ）と、を備える、遠隔操縦マニピュレータシステムの運転方法。
9. 前記表示装置は、前記カメラで撮影された映像を中央部分に表示し、前記周辺情報を周縁部分に表示するように構成されている、請求項８に記載の遠隔操縦マニピュレータシステムの運転方法。
10. 前記（Ａ）では、前記スレーブアームの姿勢情報から前記カメラの撮影位置を特定して、前記環境モデルから前記周辺情報が特定される、請求項８又は９に記載の遠隔操縦マニピュレータシステムの運転方法。
11. 前記周辺情報は、前記スレーブアームの作動領域である、請求項８〜１０のいずれか１項に記載の遠隔操縦マニピュレータシステムの運転方法。
12. 前記作業空間内には、複数の前記スレーブアームが設置されていて、
    前記（Ａ）では、前記操作者が操作しているスレーブアームと隣接するスレーブアームの姿勢情報を前記周辺情報として、前記表示装置が表示する、請求項８〜１０のいずれか１項に記載の遠隔操縦マニピュレータシステムの運転方法。
13. 前記操作者が操作している前記スレーブアームが、前記作業空間内に配置されている機材と接触するか否かを判定する（Ｃ）をさらに備える、請求項８〜１２のいずれか１項に記載の遠隔操縦マニピュレータシステムの運転方法。
14. 前記（Ｃ）で、前記操作者が操作している前記スレーブアームが、前記作業空間内に配置されている機材と接触すると判定すると、前記表示装置は警告を表示する（Ｄ）をさらに備える、請求項１３に記載の遠隔操縦マニピュレータシステムの運転方法。

Images