JP6807280B2 - 遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法 - Google Patents

Description

本発明は、遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法に係わる。

自律監視ロボットの制御に関する技術として、例えば、特許文献１には、オペレータにとって操作が可能な数の操作変数を選択して組み合わせた制御モードから選択し、操作された操作変数の変化に応じてその他の操作変数を間接的に制御する技術が開示されている。

また、特許文献２には、ウェアラブルシステムを装着した人間の置かれている状況をコンピュータが意図理解し、その意図理解に基づいて３次元ロボットシステムが遂行する技術が開示されている。

また、特許文献３には、自律移動ロボットに操作検出部を設け、オペレータの意図する移動および姿勢の変化を実現する技術が開示されている。

特開２００４−２７６１２３号公報 特開２００２−３６１５７６号公報 特開２００２−０３６１５２号公報

人間の立ち入りが困難な災害現場等に代表される苛酷環境の状況を改善していくためには、遠隔地にいるオペレータが遠隔作業ロボットを用いながら、未知な作業対象物の把持、切断、穿孔等の作業を行う必要がある。

その際、遠隔作業オペレータは監視映像を見ながら遠隔作業を行うことになる。この監視画像を得るために、従来は、監視映像を提供するために、遠隔作業ロボットとは別に、別のオペレータによって操作される監視映像を提供するための監視映像ロボットを用いている。

このような従来の方法では、監視オペレータを別途必要とし、オペレータ間の意思疎通に時間を要していた。そのため、監視等の支援を自律的に提供するロボットが求められている。

ここで、上記したような特許文献１−３においては、ロボットが１台の中での意図推定に基づく動作支援や、移動等の意図の規定が容易な作業を対象としていた。しかしながら、未知な対象物の接触作業を監視するときの遠隔作業オペレータの意図を推定することは不確定要素が多く、困難であるとの課題がある。

本発明は、少数のオペレータで複数の遠隔作業ロボットを制御することを可能とする遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法を提供する。

本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、オペレータの居る場所とは異なる遠隔地に配置された作業ロボットと、前記オペレータによる前記作業ロボットの操作を指示する操作装置と、前記操作装置による前記オペレータの操作信号の入力を受けて前記作業ロボットを操作する操作信号を生成する操作制御装置と、前記操作信号を前記作業ロボットの指令信号に変換する作業ロボット制御装置と、前記作業ロボットの各駆動部に取り付けられた作業ロボットセンサと、前記作業ロボットを撮像する監視カメラを有し、前記作業ロボットによる遠隔作業を監視する自律監視ロボットと、前記オペレータの挙動を検出するオペレータセンサと、前記オペレータセンサおよび前記作業ロボットセンサとのうち少なくともいずれか一方からのセンサ情報に基づいて前記自律監視ロボットによる自律監視動作のための制御動作信号を生成するデータ処理装置と、前記データ処理装置で生成された前記制御動作信号を前記自律監視ロボットの指令信号に変換する自律監視ロボット制御装置と、前記自律監視ロボットの前記監視カメラが撮像した監視映像を表示する表示装置と、を備えたことを特徴とする。

本発明によれば、少数のオペレータで複数の遠隔作業ロボットを制御することができる。上記した以外の課題、構成および効果は、以下の実施の形態の説明により明らかにされる。

作業環境と、本実施形態に係る遠隔作業ロボット制御システムの機器構成を示す図である。 本実施形態に係る遠隔作業ロボット制御システムの全体構成を示す機能ブロック図である。 本実施形態の遠隔作業ロボット制御システムにおける、作業ロボットと自律監視ロボットの動作制御処理の処理内容を概略的に示すＰＡＤ（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）図である。 本実施形態の遠隔作業ロボット制御システムにおける、作業ロボット関節角度センサ信号から自律監視動作への変換処理フローを示すＰＡＤ図である。 本実施形態の遠隔作業ロボット制御システムにおける、センサ信号による作業フェーズ判定例を示す図である。 本実施形態の遠隔作業ロボット制御システムにおける、センサ信号による作業フェーズ判定例を示す図である。 本実施形態の遠隔作業ロボット制御システムにおける、目標となる幾何学配置の関係例を示す図である。 本実施形態の遠隔作業ロボット制御システムにおける、目標となる幾何学配置の決定例を示す図である。 本実施形態の遠隔作業ロボット制御システムにおける、目標となる幾何学配置の決定例を示す図である。

本発明の遠隔作業ロボット制御システムおよび遠隔作業ロボットの制御方法の一実施の形態を、図１乃至図６Ｃを用いて説明する。

本実施の形態では、対象物が未知な状況、かつ高放射線環境において作業装置が運搬作業を実施する場合を例示しながら遠隔作業ロボット（作業ロボット７および自律監視ロボット１０）を制御するための遠隔作業ロボット制御システム１０００の内容を説明する。

最初に、遠隔作業ロボット制御システム１０００の概要について図１および図２を用いて説明する。図１は、本実施の形態に係る作業環境における機器構成を示す図である。図２は、作業ロボットの遠隔作業ロボットの制御システムの全体構成を示す機能ブロック図である。

図１および図２において、オペレータ１の居る場所とは異なる作業環境（遠隔地）１３には、作業ロボット７が存在しており、対象物１２に対する作業をアーム機構（把持アーム）７１および移動機構７２により実施する。本実施の形態では、作業ロボット７は移動機構７２としてクローラ型、作業機構としてのアーム機構７１をマニピュレータ型とする構成としているが、それらに限定はされない。

作業ロボット７は作業ロボット制御装置６と有線および／または無線で接続されており、作業ロボット制御装置６はデータ処理装置５と接続されている。

作業ロボット７のアーム機構７１の各駆動部には、作業フェーズ判定用として関節角度センサ（作業ロボットセンサ）８が取り付けられている。この関節角度センサ８は、例えば、作業ロボット７内に搭載された、各駆動部の移動量や回転量を検出する検出装置としてのレーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサのうち、いずれか一つ以上とすることができる。なお、関節角度センサ８に加えて、対象物１２との相互作用を検出する検出装置としてのとして周辺環境の映像データを取得するカメラ、超音波距離計、周辺環境や対象物１２の形状を測定するレーザ距離計、ロボットの手先に加わる力・トルクを測定する力・トルクセンサ、温度計、感圧センサ、各駆動部の動作を検出する検出装置としての電流センサ、のうちいずれか一つ以上を用いることができるとともに、関節角度センサ８の代わりにこれらのセンサのうちいずれか一つ以上を用いることができる。

作業を管理・監視するオペレータ１は、オペレータ１による作業ロボット７の操作を指示するジョイスティックコントローラ（操作装置）３を用いて操作制御装置４へ作業指示を入力し、作業ロボット７を操作する。

このオペレータ１の居る環境にはオペレータ１の挙動を検出することで作業フェーズを判定するために用いられるオペレータセンサとして、監視映像表示部４５に表示された監視映像中でのオペレータ１の注視点を検出する視線計測装置２が設けられている。

なお、オペレータセンサは、視線計測装置２の他に、オペレータの操作を検知する力・トルクセンサ、感圧センサ、地磁気センサ、ジャイロセンサ、加速度センサ等の装着型センサ、モーションキャプチャ等の非接触型センサを一つ以上用いることができる。

自律監視ロボット１０は、作業ロボット７による遠隔作業を監視するロボットであり、自律監視ロボット１０を移動させる移動機構１０２と、作業ロボット７を撮像する監視カメラと、この監視カメラを把持するアーム機構１０１と、自律監視ロボット１０の各駆動部に取り付けられた関節角度センサ（自律監視ロボットセンサ）１００を有している。監視カメラは、光学カメラ１１、超音波スキャナ、レーザスキャナのいずれか１つとすることができる。ここでは光学カメラ１１とする。

自律監視ロボット１０は自律監視ロボット制御装置９と有線および／または無線で接続されており、自律監視ロボット制御装置９はデータ処理装置５と接続されている。

自律監視ロボット１０では、オペレータ１が装着した視線計測装置２と作業ロボット７の関節角度センサ８からの信号をもとに、データ処理装置５において作業フェーズを判定し、自律監視ロボット制御装置９において自律監視ロボット１０の動作を生成する。作業中は、オペレータ１は、自律監視ロボット１０に取り付けた光学カメラ１１からの監視映像を通して、作業の進行状況や装置の状態等を監視することが可能となっている。

監視映像表示部（表示装置）４５は、自律監視ロボット１０の光学カメラ１１が撮像した監視映像を表示する液晶等のディスプレイである。

操作制御装置４はジョイスティックコントローラ３によるオペレータ１の操作信号の入力を受けて作業ロボット７を操作する操作信号を生成する装置であり、操作入力部４０、目標値算出部４１、注視点位置パターン検出部（パターン検出部）４２、監視映像出力部４３、およびデータ送受信部４４を含んでいる。

操作入力部４０は、オペレータ１がジョイスティックコントローラ３を用いた操作入力を操作制御装置４へ取り込む部分である。

目標値算出部４１は、操作入力部４０において取り込んだ操作入力に基づいて作業ロボット７の目標動作を算出する部分である。

注視点位置パターン検出部４２は、オペレータ１が装着した視線計測装置２により監視映像表示部４５に表示された監視映像中でオペレータ１が注視する作業位置パターンを検出する部分である。

監視映像出力部４３は、オペレータ１への監視映像を監視映像表示部４５に対して出力する部分である。

データ送受信部４４は、データ処理装置５とのデータの送受信を管理する部分である。

データ処理装置５は、視線計測装置２や関節角度センサ８からのセンサ情報に基づいて自律監視ロボット１０による自律監視動作のための制御動作信号を生成する装置であり、データ送受信部５０、作業フェーズ判定部５１、記憶部５３、カメラ位置・姿勢生成部５２、および自律動作算出部５５を含んでいる。

データ送受信部５０は、操作制御装置４、作業ロボット制御装置６、自律監視ロボット制御装置９とのデータ授受を管理する部分である。

作業フェーズ判定部５１は、作業のフェーズを判定する部分である。この作業フェーズ判定部５１では、作業ロボット７に搭載された関節角度センサ８の信号から作業ロボット７のアーム機構７１の操作速度を求め、アーム機構７１の操作速度およびアーム機構７１と対象物１２との距離との関係から作業フェーズを判定し、判定した作業フェーズに適した制御動作信号を生成する。また、作業フェーズ判定部５１は、視線計測装置２によって取得したオペレータ１の注視点に基づいて作業フェーズを判定，生成し、判定した作業フェーズをカメラ位置・姿勢生成部５２に出力する。

記憶部５３は、作業フェーズ判定部５１での作業フェーズを判断するために用いる作業訓練データ５４を格納するハードディスクやＲＡＭから構成される装置である。

カメラ位置・姿勢生成部５２は、作業フェーズの推定結果と、作業ロボット７と対象物１２との幾何学的位置関係と、から光学カメラ１１の位置を生成する部分である。

自律動作算出部５５は、光学カメラ１１をカメラ目標位置に配置するための自律監視ロボット１０の動作に必要な動作信号を生成する部分である。

作業ロボット制御装置６は、ジョイスティックコントローラ３によって入力され、操作制御装置４内で生成された操作信号を作業ロボット７の指令信号に変換する装置であり、データ送受信部６０、指令電圧算出部６１、およびロボット制御部６２を含んでいる。

データ送受信部６０は、データ処理装置５とデータの授受を行う部分である。

指令電圧算出部６１は、データ処理装置５から送信される作業ロボット７の指令信号から作業ロボット７の移動機構７２とアーム機構７１の目標制御量（移動機構７２のクローラ回転速度、アーム機構７１の各関節の関節角度）を算出する部分である。

ロボット制御部６２は、算出された目標値と作業ロボット７の各駆動部に内蔵される関節角度センサ８の信号から算出される現在角度（現在姿勢）を用いて作業ロボット７の各駆動部の目標指令電圧を生成する部分である。

自律監視ロボット制御装置９は、データ処理装置５で生成された制御動作信号を自律監視ロボット１０の指令信号に変換する装置であり、データ送受信部９０、指令電圧算出部９１、ロボット制御部９２、および監視映像取得部９３を含んでいる。

データ送受信部９０は、データ処理装置５とデータの授受を行う部分である。

指令電圧算出部９１は、データ処理装置５から送信される自律監視ロボット１０の指令信号から自律監視ロボット１０の移動機構１０２とアーム機構１０１の目標制御量（移動機構１０２のクローラ回転速度、アーム機構１０１の各関節の関節角度）を算出する部分である。

ロボット制御部９２は、算出された目標値と自律監視ロボット１０の各駆動部に内蔵される関節角度センサ１００の信号から算出される現在角度（現在姿勢）を用いて自律監視ロボット１０の各駆動部の目標指令電圧を生成する部分である。

監視映像取得部９３は、自律監視ロボット１０のアーム機構１０１に取り付けられた光学カメラ１１からの映像を取得する部分である。

なお、操作制御装置４、データ処理装置５、作業ロボット制御装置６、および自律監視ロボット制御装置９の各装置は、統合・分割が適宜可能であり、図１，２の構成に限定されない。例えば、操作制御装置４とデータ処理装置５を統合して一つの装置にしても良いし、作業ロボット制御装置６を移動機構用と作業機構用に分割しても良い。また、各装置間は有線ケーブルにより接続されているが無線化されたシステム構成でも良い。

次に、本実施の形態に係る作業ロボット７および自律監視ロボットからなる遠隔作業ロボットの制御処理の方法について図３乃至図６Ｃを参照して説明する。

図３は、本実施形態の遠隔作業ロボット制御システムによる作業ロボットの動作制御処理および自律監視ロボット制御処理内容を概略的に示すＰＡＤ図である。図４は、本実施形態の遠隔作業ロボット制御システムにおける、作業ロボット関節角度センサ信号から自律監視動作への変換処理フローを示すＰＡＤ図である。

最初に、遠隔作業ロボットの制御処理の全体の流れについて図３を用いて説明する。なお、遠隔作業ロボット制御システム１０００では、図３に示す処理を電源がＯＮの間は実行し続ける。

図３において、遠隔作業ロボット制御システム１０００は、まず、作業ロボット７の関節角度センサ８を初期化する（ステップＳ１）。

次に、オペレータ１によって操作指示が入力されたことを認識する（ステップＳ１０）と、以下の処理を開始する。

最初に、入力信号に応じて移動機構７２の移動方向・移動速度を算出（ステップＳ１１）して、移動機構７２の制御量（クローラ等の電圧指令値）を生成（算出）する（ステップＳ１２）。また、オペレータ１が操作指示するアーム手先位置からアーム機構７１の各関節座標を求める逆運動学を用いて、目標関節の位置・角度を算出（ステップＳ１３）して、アーム機構７１の制御量（各関節モータの電圧指令値）を生成（算出）する（ステップＳ１４）。

次に、作業ロボット７の動作生成処理を開始する（ステップＳ２０）。このステップＳ２０は、オペレータ１の操作指示による作業ロボット７の操作信号を作業ロボット７の指令信号に変換する作業ロボット制御ステップであり、上述したステップＳ１２，Ｓ１４において作業指示から算出されたロボットの制御量を基に、作業ロボット７の目標動作を生成する。

ステップＳ２０では、まず、ステップＳ１２，Ｓ１４で算出された移動機構７２・アーム機構７１の電圧指令値を読み込む（ステップＳ２１）と、各モータへの電圧指令値を出力する（ステップＳ２２）。その後、作業ロボット７に搭載した関節角度センサ８の情報を基に、作業ロボット７の状態を検出し（ステップＳ２３）、データ処理装置５を介して操作制御装置４に向けて関節角度センサ８の取得データを送信する（ステップＳ２４）。

次に、作業ロボット制御装置６から得られる情報を基に、作業状況を分析する（ステップＳ３０）。このステップＳ３０は、オペレータ１の挙動を検出する視線計測装置２および作業ロボット７の各駆動部に取り付けられた関節角度センサ８とからのセンサ情報に基づいて自律監視ロボット１０による自律監視動作のための制御動作信号を生成するデータ処理ステップである。

ステップＳ３０では、まず、データ処理装置５から出力された作業ロボット７の関節角度センサ８の取得データを受信する（ステップＳ３１）。次いで、取得データから作業ロボット７の姿勢を順運動学により導出する（ステップＳ３２）。その後、作業アームの姿勢と対象物１２との位置関係（アーム機構７１と対象物１２との距離との関係）や作業アームの姿勢の時間変化などの動作信号（アーム機構７１の操作速度）や、注視点位置パターン（オペレータ１の注視点）により作業フェーズを判定する（ステップＳ３３）。その後、ステップＳ３３で判定した作業フェーズに応じて、作業ロボット７と対象物１２との位置関係から光学カメラ１１の目標位置・姿勢を生成する（ステップＳ３４）。次いで、ステップＳ３４で生成した光学カメラ１１の目標位置・姿勢となるような自律監視ロボット１０の自律動作（移動機構１０２の制御量等）を算出する（ステップＳ３５）。その後、自律監視ロボット１０のアーム機構１０１の制御量（各関節モータの電圧指令値）を生成する（ステップＳ３６）。

次に、ステップＳ３０において算出された自律監視ロボット１０の制御量を基に、自律監視ロボット１０の目標動作を生成する動作生成処理を開始する（ステップＳ４０）。このステップＳ４０はデータ処理ステップ中のステップＳ３５で生成された制御動作信号を自律監視ロボット１０の指令信号に変換する自律監視ロボット制御ステップである。

ステップＳ４０では、まず、ステップＳ３５で算出された移動機構１０２・アーム機構１０１の電圧指令値を読み込む（ステップＳ４１）と、各モータへの電圧指令値を出力する（ステップＳ４２）。その後、自律監視ロボット１０に搭載した光学カメラ１１で監視映像を取得し（ステップＳ４３）、取得した監視映像をデータ処理装置５に向けて送信する（ステップＳ４４）。

次に、オペレータ１への監視映像の提示を開始する（ステップＳ５０）。このステップＳ５０は自律監視ロボット１０の光学カメラ１１が撮像した監視映像を表示する表示ステップである。

ステップＳ５０では、最初に、操作制御装置４の監視映像出力部４３はステップＳ４４で出力された監視映像を受信（ステップＳ５１）し、次いで、監視映像を監視映像表示部４５に対して出力する（ステップＳ５２）。

ここで、図４を用いて、ステップＳ３３のアーム動作信号、注視点位置パターンによる作業フェーズ判定処理の詳細について説明する。

図４において、最初に、作業ロボット７に搭載した関節角度センサ８のデータを読み込むとともに、視線計測装置２から監視映像表示部４５に表示された監視映像におけるオペレータ１の注視点位置パターンを読み込む（ステップＳ１００）。

その後、作業ロボット７の位置・姿勢・移動速度を導出（ステップＳ１０１）して、対象物１２とアーム機構７１との幾何学的位置関係を検出する（ステップＳ１０２）。

その後、導出，検出した現在の作業ロボット７の位置・姿勢・移動速度や幾何学的位置関係と、予めトレーニング等で取得し、記憶部５３において記憶しておいた作業訓練データ５４における、作業ロボット７の位置，姿勢，移動速度，対象物１２との位置関係やオペレータ１の注視点位置などの動作信号とから、作業フェーズを判定する（ステップＳ１０３）。

また、作業訓練データ５４を現状作業用に更新していくために、現状の動作信号と作業フェーズの組み合わせを記録する（ステップＳ１０４）。以上が作業フェーズ判定処理の基本処理となる。

次いで、図３のステップＳ３０中のステップＳ３３の作業フェーズの判定の一例について図５Ａ乃至図６Ｃを用いて詳しく説明する。

図５Ａおよび図５Ｂは、本実施形態の遠隔作業ロボット制御システムにおける、センサ信号による作業フェーズ判定例を示す図である。図６Ａは、本実施形態の遠隔作業ロボット制御システムにおける、目標となる幾何学配置の関係例を示す図、図６Ｂおよび図６Ｃは、目標となる幾何学配置の決定例を示す図である。

まず、図５Ａおよび図５Ｂを用いて、遠隔作業を把持としたときの作業ロボット７のアーム機構７１の操作速度とアーム機構７１と対象物１２との距離との関係に基づいた作業フェーズの判定処理の一例を説明する。

本実施形態のような遠隔作業ロボットの制御方法では、予め、把持完了までの作業フェーズを、アーム機構７１が対象物１２に対して近づいたり離れたりする「接近フェーズ」、アーム機構７１によって対象物１２を把持するための微妙な位置を調整する「位置調節フェーズ」、および対象物１２と作業ロボット７の距離の近さに比べてアーム機構７１の速度が速く、通常の操作ではない場合である「異常操作フェーズ」、の３段階に設定しておく。また、各作業フェーズの境界を、オペレータ１の遠隔操作の事前訓練時のデータから求めておき、図５Ａに示すような作業訓練データ５４として記憶部５３に記憶させておく。

実際の遠隔作業時は、作業フェーズ判定部５１において、作業ロボット７のアーム機構７１と対象物１２との距離の値と作業ロボット７のアーム機構７１の速度の値の組み合わせが、図５Ａ中のどこに位置するのかをオンラインで判定し、判定した位置が属する作業フェーズをカメラ位置・姿勢生成部５２に対して出力する。

この時、作業ロボット１のアーム機構７１が０のときは、操作停止中であり、「現状維持フェーズ」であると判定する。

対象物と作業ロボットの距離が０のときは、把持動作中であるとして「作業フェーズ」であると判定する。この場合、操作制御装置４の監視映像表示部４５に「把持可能」との表示を行うよう監視映像表示部４５に向けた信号を出力することが望ましい。

なお、本ステップにおける作業フェーズ判定部５１では、図４のステップＳ１０４に示すように、現状の動作信号と判定した作業フェーズの組合せを記録しておき、図５Ｂに示すようにオペレータ１、作業環境１３に応じて作業フェーズの境界値を更新し、記憶部５３で記憶しておくことが望ましい。

また、異常操作フェーズであるときは、不測の事態の発生が生じることを抑制するために、アーム機構７１や移動機構７２の動作を停止したり、オペレータ１のジョイスティックコントローラ３からの操作入力信号を無効化したりするための信号をカメラ位置・姿勢生成部５２を介して出力することが望ましい。

次に、図６Ａ乃至図６Ｃを用いて、オペレータが装着した視線計測装置２によって取得したオペレータ１の注視点位置パターンを用いた作業フェーズの判定処理の一例について説明する。

作業フェーズ判定部５１では、図６Ａに示すように、監視映像中の注視点の位置を作業ロボット本体Ｊ１、作業ロボット手先Ｊ２、対象物Ｊ３の３領域に分ける。

このように注視点を分けたときに、作業フェーズ判定部５１では、図６Ｂや図６Ｃに示すように、オペレータ１が各領域をどの程度の時間注視したかを注視点毎に求め、作業ロボット７を操作する単位時間当たりに各位置を注視する割合（注視割合）を求める。そして求めた中止割合から作業フェーズを判定する。

例えば、図６Ｂに示すように、作業ロボット本体Ｊ１、作業ロボット手先Ｊ２、対象物Ｊ３の各領域を比較的均等に注視しているときは、「接近フェーズ」であると判定する。また、図６Ｃに示すように、作業ロボット本体Ｊ１に比べて作業ロボット手先Ｊ２、対象物Ｊ３を注視している割合が高いときは、「位置調節フェーズ」であると判定する。

なお、注視点がＪ１，Ｊ２，Ｊ３とは異なる領域である割合が高いと判定されたときや、オペレータ１が当該監視画像を注視しておらずに単位時間当たりの注視点がほとんど存在しないと判定されたときは、「現状維持フェーズ」であると判定することが望ましい。

また、本ステップにおける作業フェーズ判定部５１では、図４のステップＳ１０４や図５Ｂに示すときと同様に、現状の注視割合と作業フェーズの組合せを記録し、作業フェーズの境界値を更新し、記憶部５３で記憶しておくことが望ましい。

また、図５Ａおよび図５Ｂに示すような作業ロボット７のアーム機構７１の操作速度とアーム機構７１と対象物１２との距離との関係に基づいた作業フェーズの判定結果と、図６Ａ乃至図６Ｃに示すような視線計測装置２によって取得したオペレータ１の注視点に基づいた作業フェーズの判定結果とが異なる場合は、作業フェーズ判定部５１は、どちらを優先してもよく、優先順位を設けておくことができる。

次いで、図３のステップＳ３０中のステップＳ３４の自律監視ロボット１０に設けられた光学カメラ１１の位置の算出方法の一例について説明する。

カメラ位置・姿勢生成部５２では、作業フェーズ判定部５１において作業フェーズが「接近フェーズ」と判定されたときは、光学カメラ１１による監視画像中に作業ロボット７全体や対象物１２が写り、位置関係が分かりやすい位置を生成する。また、判定された作業フェーズが「位置調整フェーズ」や「作業フェーズ」のときは、光学カメラ１１が対象物１２や作業ロボット７のアーム機構７１をズームするような位置を生成する。更には、「現状維持フェーズ」と判定されたときは、現在の位置を維持するように位置信号を生成する。

これらに対し、判定された作業フェーズが「異常操作」であった時は、自律監視ロボット１０の光学カメラ１１の位置、姿勢は現状維持を図るために、新たな位置、姿勢の算出は行わない。またこの場合、操作制御装置４の監視映像表示部４５に「異常操作」がなされている旨の警告表示を行うよう監視映像表示部４５に対する信号を出力することが望ましい。

次に、本実施の形態の効果について説明する。

上述した本発明の実施形態の遠隔作業ロボット制御システム１０００や、遠隔作業ロボットの制御方法によれば、視線計測装置２および関節角度センサ８とのうち少なくともいずれか一方からのセンサ情報に基づいてオペレータ１の作業を分類し、自律監視ロボット１０の自律監視動作に必要な動作信号を生成する。このため、作業ロボット７の操作に関連した動作から作業に必要となる監視映像をオペレータ１の意図を反映させて自律的に取得することができ、監視オペレータを配置することなく、従来技術では困難であった作業中に生じる作業環境や作業状況の変化に柔軟に対応することができるようになる。また、監視オペレータが不要になるため、オペレータ間の意思疎通に時間を要することがなくなり、少数のオペレータで複数ロボットを操作することが可能となる。

また、データ処理装置５は、作業ロボット７のアーム機構７１の操作速度とアーム機構７１と対象物１２との距離との関係から作業フェーズを判定し、判定した作業フェーズに適した制御動作信号を生成するため、高い精度でオペレータ１の意図を反映させた監視映像を取得することができ、作業中に生じる作業環境や作業状況の変化に対してより柔軟に対応することができる。

更に、オペレータセンサは、監視映像表示部４５に表示された監視映像中でのオペレータ１の注視点を検出する視線計測装置２であり、データ処理装置５は、視線計測装置２によって取得したオペレータ１の注視点に基づいて作業フェーズを判定し、判定した作業フェーズに適した制御動作信号を生成することによっても、高い精度でオペレータ１の意図を反映させた監視映像を取得することができ、作業中に生じる作業環境や作業状況の変化に対してより柔軟に対応することができる。

＜その他＞
なお、本発明は上記した実施の形態に限定されるものではなく、様々な作業例（切断、穿孔等）が含まれる。また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも全ての機能に限定されるものではない。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１…オペレータ
２…視線計測装置
３…ジョイスティックコントローラ
４…操作制御装置
５…データ処理装置
６…作業ロボット制御装置
７…作業ロボット
８…関節角度センサ
９…自律監視ロボット制御装置
１０…自律監視ロボット
１１…光学カメラ
１２…対象物
１３…作業環境
４０…操作入力部
４１…目標値算出部
４２…注視点位置パターン検出部
４３…監視映像出力部
４４…データ送受信部
４５…監視映像表示部
５０…データ送受信部
５１…作業フェーズ判定部
５２…カメラ位置・姿勢生成部
５３…記憶部
５４…作業訓練データ
５５…自律動作算出部
６０…データ送受信部
６１…指令電圧算出部
６２…ロボット制御部
７１…アーム機構
７２…移動機構
９０…データ送受信部
９１…指令電圧算出部
９２…ロボット制御部
９３…監視映像取得部
１００…関節角度センサ
１０１…アーム機構
１０２…移動機構
１０００…遠隔作業ロボット制御システム

Claims (11)

1. オペレータの居る場所とは異なる遠隔地に配置された作業ロボットと、
   前記オペレータによる前記作業ロボットの操作を指示する操作装置と、
   前記操作装置による前記オペレータの操作信号の入力を受けて前記作業ロボットを操作する操作信号を生成する操作制御装置と、
   前記操作信号を前記作業ロボットの指令信号に変換する作業ロボット制御装置と、
   前記作業ロボットの各駆動部に取り付けられた作業ロボットセンサと、
   前記作業ロボットを撮像する監視カメラを有し、前記作業ロボットによる遠隔作業を監視する自律監視ロボットと、
   前記オペレータの挙動を検出するオペレータセンサと、
   前記オペレータセンサおよび前記作業ロボットセンサとのうち少なくともいずれか一方からのセンサ情報に基づいて前記自律監視ロボットによる自律監視動作のための制御動作信号を生成するデータ処理装置と、
   前記データ処理装置で生成された前記制御動作信号を前記自律監視ロボットの指令信号に変換する自律監視ロボット制御装置と、
   前記自律監視ロボットの前記監視カメラが撮像した監視映像を表示する表示装置と、を備え、
   前記データ処理装置は、
   前記操作制御装置、前記作業ロボット制御装置、前記自律監視ロボット制御装置とのデータ授受を管理するデータ送受信部、
   前記オペレータセンサと前記作業ロボットセンサの信号から遠隔作業のフェーズを推定する作業フェーズ判定部、
   前記作業フェーズ判定部での作業フェーズを判断するために用いる作業訓練データを格納する記憶部、
   前記作業フェーズの推定結果と、前記作業ロボットと対象物との幾何学的位置関係と、から前記監視カメラの位置を生成するカメラ位置・姿勢生成部、
   前記監視カメラを目標位置に配置するための前記自律監視ロボットの動作に必要な動作信号を生成する自律動作算出部、を含む
   ことを特徴とする遠隔作業ロボット制御システム。
2. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記データ処理装置は、前記作業ロボットの把持アームの操作速度と前記把持アームと対象物との距離との関係から作業フェーズを判定し、判定した作業フェーズに適した前記制御動作信号を生成する
   ことを特徴とする遠隔作業ロボット制御システム。
3. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記オペレータセンサは、前記表示装置に表示された監視映像中でのオペレータの注視点を検出する視線計測装置であり、
   前記データ処理装置は、前記視線計測装置によって取得したオペレータの注視点に基づいて作業フェーズを判定し、判定した作業フェーズに適した前記制御動作信号を生成する
   ことを特徴とする遠隔作業ロボット制御システム。
4. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記操作制御装置は、
   前記オペレータの操作入力を取り込む操作入力部、
   取り込んだ前記操作入力に基づいて前記作業ロボットの目標動作を算出する目標値算出部、
   前記オペレータへの監視映像を出力する監視映像出力部、
   データの送受信を管理するデータ送受信部、を含む
   ことを特徴とする遠隔作業ロボット制御システム。
5. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記オペレータセンサは、視線計測装置、力・トルクセンサ、感圧センサ、地磁気センサ、ジャイロセンサ、加速度センサのいずれか一つ以上であり、
   前記操作制御装置は、前記表示装置に表示された監視映像中でのオペレータが対象とする作業位置を検出するパターン検出部を有する
   ことを特徴とする遠隔作業ロボット制御システム。
6. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記作業ロボットセンサは、前記作業ロボット内に搭載され、前記各駆動部の移動量や回転量を検出する検出装置としてのレーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサ、対象物との相互作用を検出する検出装置としてのとしてカメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサ、前記各駆動部の動作を検出する検出装置としての電流センサ、のうちいずれか一つ以上である
   ことを特徴とする遠隔作業ロボット制御システム。
7. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   作業ロボット制御装置は、
   前記データ処理装置とデータの授受を行うデータ送受信部、
   前記作業ロボットの指令信号から前記作業ロボットの移動機構およびアーム機構の目標制御値を算出する指令電圧算出部、
   算出された目標制御値と前記作業ロボットセンサの信号から算出される現在姿勢とを用いて前記作業ロボットの各駆動部の目標指令電圧を生成するロボット制御部、を含む
   ことを特徴とする遠隔作業ロボット制御システム。
8. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記自律監視ロボットの各駆動部に取り付けられた自律監視ロボットセンサを更に備え、
   前記自律監視ロボット制御装置は、
   前記データ処理装置とデータの授受を行うデータ送受信部、
   前記制御動作信号から前記自律監視ロボットの移動機構およびアーム機構の目標制御値を算出する指令電圧算出部、
   算出された目標制御値と前記自律監視ロボットセンサの信号から算出される現在姿勢とを用いて前記自律監視ロボットの各駆動部の目標指令電圧を生成するロボット制御部、
   前記監視カメラからの映像を取得する監視映像取得部、を含む
   ことを特徴とする遠隔作業ロボット制御システム。
9. 請求項１に記載の遠隔作業ロボット制御システムにおいて、
   前記監視カメラは、光学カメラ、超音波スキャナ、レーザスキャナのいずれか１つを含む
   を特徴とする遠隔作業ロボット制御システム。
10. オペレータの居る場所とは異なる遠隔地に配置された作業ロボット、および前記作業ロボットを撮像する監視カメラを有し、前記作業ロボットによる遠隔作業を監視する自律監視ロボットからなる遠隔作業ロボットの制御方法であって、
    前記オペレータの操作指示による前記作業ロボットの操作信号を前記作業ロボットの指令信号に変換する作業ロボット制御ステップと、
    前記オペレータの挙動を検出するオペレータセンサおよび前記前記作業ロボットの各駆動部に取り付けられた作業ロボットセンサとのうち少なくともいずれか一方からのセンサ情報に基づいて前記自律監視ロボットによる自律監視動作のための制御動作信号を生成するデータ処理ステップと、
    前記データ処理ステップで生成された前記制御動作信号を前記自律監視ロボットの指令信号に変換する自律監視ロボット制御ステップと、
    前記自律監視ロボットの前記監視カメラが撮像した監視映像を表示する表示ステップと、を有し、
    前記データ処理ステップでは、前記作業ロボットの把持アームの操作速度と前記把持アームと対象物との距離との関係から作業フェーズを判定し、判定した作業フェーズに適した前記制御動作信号を生成する
    ことを特徴とする遠隔作業ロボットの制御方法。
11. 請求項１０に記載の遠隔作業ロボットの制御方法において、
    前記オペレータセンサは、前記表示ステップにより表示された監視映像中でのオペレータの注視点を検出する視線計測装置であり、
    前記データ処理ステップでは、前記視線計測装置によって取得したオペレータの注視点に基づいて作業フェーズを判定し、判定した作業フェーズに適した前記制御動作信号を生成する
    ことを特徴とする遠隔作業ロボットの制御方法。

Images