JP7332497B2 - 作業ロボットの操作支援システム及び操作支援方法 - Google Patents

Description

本発明の実施形態は作業ロボットの操作支援システム及び操作支援方法に関する。

近年、過疎地に設置されたプラントや発電施設又は過酷環境下にある各種設備等において、人間の代わりに作業ロボットが保守点検作業やメンテナンス作業を行うことが考えられている。例えば、移動機構、マニピュレータ、カメラ、送受信装置、等を備えた作業ロボットを、ヘッドマウントディスプレイ（ＨＭＤ）を装着した作業員が遠隔操作し、各種点検やメンテナンス作業を行わせることが提案されている。

特開２０１９－１０６００９号公報

ところで、作業員が作業ロボットを遠隔操作する際、作業員は作業ロボットが搭載している撮像装置からの画像情報、作業対象物の位置情報や形状等の各種情報、作業ロボットの操作マニュアル等を参照しながら作業ロボットに作業を行わせる。

具体的には、作業対象物及び作業ロボットの位置情報、作業ロボットに搭載しているマニピュレータ（多関節アーム）の姿勢情報、保守点検作業を行うための作業マニュアル等、多くの情報を参照しながら作業を進めるが、このような情報を表示装置に全て表示するには広い表示領域が必要となる。

例えば、マニピュレータと移動機構を備えた作業ロボットを用いて保守点検作業を行う際、作業ロボットを作業箇所まで移動させる場合は、作業対象物及び作業ロボットの位置情報や移動機構の操作情報が必要となる。一方、作業ロボットに保守点検作業を行わせる場合には、作業対象物の位置情報やマニピュレータの操作情報が必要となる。
このように、遠隔操作で作業ロボットに保守点検作業を行わせる場合は、作業ロボットの作業態様に応じて大量の情報が必要となる。

その際、表示装置に、移動機構、作業対象物、マニピュレータ等の各種情報が常に表示されていると、進行中の作業に関する情報以外の不必要な情報も全て表示されるため、作業員が必要な情報を迅速に把握することが困難になるとともに、進行中の作業を集中して行うことも困難になる。
特に、複雑で微細な作業や即応性を要求される作業を行う場合には作業員の操作負担がさらに増加し、的確で瞬時的な判断力や集中力が損なわれるという課題がある。

また、複雑な作業や微細な作業等を行う際には、作業員は作業効率化のためにヘッドマウントディスプレイ（ＨＭＤ）を装着して作業ロボットの操作を行うことも想定されるが、ＨＭＤ内に表示できる領域は通常の表示装置よりも狭いため、作業時に表示する情報量が限定的となってしまうという課題がある。

本発明の実施形態は、上記課題を解決するためになされたもので、作業員が効率的かつ的確に作業ロボットの操作や保守点検作業を実行することが可能な作業ロボットの操作支援システム及び操作支援方法を提供することを目的とする。

上記課題を解決するために、本実施形態に係る作業ロボットの操作支援システムは、各種センサ、マニピュレータ、移動機構を備えた作業ロボットと、作業内容に応じた複数種別の操作装置と、作業員が保持している操作装置の種別を判別する操作装置種別判別部と、作業対象物の位置情報、作業項目、作業マニュアルを含む各種情報が格納されたデータベース部と、前記操作装置の種別及び前記作業ロボットの位置情報と、前記データベース部に格納されている各種情報とに基づいて作業員が行っている作業内容を判定する作業内容判定部と、前記作業ロボットに設けられた各種センサから取得した情報に基づいて表示装置に表示可能な表示情報を生成する表示情報生成部と、前記作業内容判定部で判定した作業内容に応じて前記表示装置に表示する表示インターフェイスを、前記表示情報生成部で生成した表示情報から選択し、表示インターフェイスを生成する表示インターフェイス生成部と、を備えることを特徴とする。

また、本実施形態に係る作業ロボットの操作支援方法は、作業員が保持している操作装置の種別を判別する操作装置種別判別ステップと、作業ロボットの位置情報を取得する位置情報取得ステップと、前記操作装置の種別及び前記作業ロボットの位置情報と、データベース部に格納された作業対象物の位置情報、作業項目、作業マニュアル等の各種情報と、に基づいて作業員が行っている作業内容を判定する作業内容判定ステップと、前記作業ロボットに設けられた各種センサから取得した情報に基づいて表示装置に表示可能な表示情報を生成する表示情報生成ステップと、前記作業内容判定ステップで判定した作業内容に応じて前記表示装置に表示する表示インターフェイスを、前記表示情報生成ステップで生成した表示情報から選択し、表示インターフェイスを生成する表示インターフェイス生成ステップと、を有することを特徴とする。

本発明の実施形態によれば、現行の作業に必要な情報のみを作業員に提示することで、作業員の作業負担を軽減するとともに、効率的かつ的確に保守点検作業を実行することができる。

本実施形態に係る作業ロボットの操作支援システムの全体構成図。 本実施形態に係る作業ロボットの模式図。 （ａ）は本実施形態に係る表示装置の模式図、（ｂ）は移動用操作装置を操作している例を示す模式図、（ｃ）は遠隔操作装置の模式図。 本実施形態に係る表示インターフェイスの生成フロー図。 本実施形態に係る表示項目データベース例を示す図。

以下、本発明に係る作業ロボットの操作支援システム及び操作支援方法の実施形態について図面を参照して説明する。

（全体構成）
本実施形態に係る作業ロボットの操作支援システムは、図１に示すように、作業員９が装着するヘッドマウントディスプレイ（ＨＭＤ）からなる表示装置１と、マニピュレータ２、撮像装置３、移動機構４、作業工具５等を備えた作業ロボット６と、作業員９が各種作業するための各種情報を生成し、表示装置１に出力する遠隔操作システム部７と、通信ネットワークを介して作業員９が作業ロボット６を移動させたり、マニピュレータ２を遠隔操作するための操作装置８と、から構成される。

本実施形態では、操作装置８として作業ロボット６を所望位置に移動させるための移動用操作装置８ａとマニピュレータ２を操作するための遠隔操作装置８ｂが用いられる。
図２及び図３（ａ）～（ｃ）は、これらの構成要素を模式的に示した図で、図２はマニピュレータ２、撮像装置３、移動機構４、作業工具５を備えた作業ロボット６の模式図であり、図３（ａ）はＨＭＤからなる表示装置１の模式図、図３（ｂ）は作業員９が表示装置１を装着して移動用操作装置８ａを操作している例を示す模式図、図３（ｃ）はマニピュレータ２を操作するための遠隔操作装置８ｂの模式図である。

なお、本実施形態では表示装置１としてヘッドマウントディスプレイ（ＨＭＤ）を用いた例について説明するが、これに限定されず小型パソコン、タブレット端末、携帯電話端末、ウエアラブル機器等の表示装置を用いてもよい。

（遠隔操作システム部の構成）
本実施形態に係る遠隔操作システム部７は、データベース部１０と、作業ロボット６の位置情報１７とデータベース部１０の格納されたデータに基づいて作業ロボット６の作業内容を判定する作業内容判定部１１と、移動用操作装置８ａ又は遠隔操作装置８ｂから入力された操作情報に基づいてマニピュレータ２又は移動機構４に操作制御信号を出力するための遠隔操作制御信号生成部１２と、作業員９が保持している移動用操作装置８ａと遠隔操作装置８ｂを判別するための操作装置種別判別部１３と、データベース部１０から作業内容に応じた情報を取得する作業別情報取得部１４と、表示情報生成部１５と、表示インターフェイス生成部１６と、から構成される。

データベース部１０は、作業対象物の位置情報データベース１０ａ、保守点検作業を行うための作業計画データベース１０ｂ、作業マニュアルデータベース１０ｃ、作業内容に応じて作業員９に提示する各種情報が記録された表示項目データベース１０ｄ等が格納されている。図５は表示項目データベース１０ｄの１例であり、作業ロボットの移動時、及び保守点検作業が作業Ａ～Ｃの場合に、作業員９に提示する表示項目例である。

（表示インターフェイスの生成フロー）
上述した作業ロボットの操作支援システムを用いて、表示装置１に表示する表示インターフェイスを生成するためのフローを説明する。

まず、操作装置種別判別部１３で作業員９が把持している操作装置８の種別を判別する（Ｓ１；操作装置種別判別ステップ）。本実施形態では、操作装置８の種別は移動用操作装置８ａと遠隔操作装置８ｂであるが、それぞれの操作装置８には圧電素子やマイクロスイッチ等の接触センサを備えており、作業員９が移動用操作装置８ａ又は遠隔操作装置８ｂを持ち替えたりした場合に、その接触センサからの信号に基づいて、作業員９がどの種別の操作装置８を保持しているか判別する。

次に、作業ロボット６の位置情報１７を取得する（Ｓ２；位置情報取得ステップ）。
次に、作業内容判定部１１でＳ１とＳ２で検出した操作装置８の種別及び作業ロボット６の位置情報１７と、データベース部１０に登録されている作業内容及び作業場所情報等に基づいて作業員９が行おうとしている作業内容を判定する（Ｓ３；作業内容判定ステップ）。

次に、作業別情報取得部１４において、作業員９に提示すべき情報として、Ｓ３で判定された作業内容に応じて、データベース部１０に格納してある作業別の表示項目データベース１０ｄから作業員９への提示情報を取得する（Ｓ４；提示情報取得ステップ）。

上記フローに並行して作業ロボット６に搭載した撮像装置３等の各種センサから、周囲の画像、現在位置情報、対象物までの距離、マニピュレータ２の関節角度情報等の各種情報を取得する（Ｓ５；作業ロボットの情報取得ステップ）。

次に、表示情報生成部１５において、Ｓ５で取得した各種情報に基づいて、例えば、作業ロボット６の自己位置を含むマッピング情報、マニピュレータの３次元画像等、表示装置１に表示することが可能な各種表示情報を生成する（Ｓ６；表示情報生成ステップ）。

次に、表示インターフェイス生成部１６において、Ｓ４で取得した作業別情報項目に応じてＳ６で作成された各種表示情報から表示装置１に表示するものを自動的に選択し（Ｓ７；表示情報選択ステップ）、表示装置１に表示する表示インターフェイスを生成する（Ｓ８；表示インターフェイス生成ステップ）。

（実施例）
上述した作業ロボットの操作支援システムを用いて作業対象物のスイッチをオンオフする作業の具体例を以下に説明する。

まず、作業員９は移動用操作装置８ａを持ち、作業ロボット６を作業対象物（図３（ａ）の１ｄ）が設置された場所まで移動操作を行っているとする。この際、作業員９が移動用操作装置８ａを保持していることを移動用操作装置８ａに設けられた接触センサが検知する。

同時に作業ロボット６に搭載されたＧＰＳ、撮像装置、距離計等から現在の位置情報１７を取得し、作業ロボット６が作業対象物１ｄに到達していないこと、及び作業員９が移動用操作装置８ａを保持していることから、作業員９の現時点における作業内容は「移動」と判定する。
そこで、表示項目データベース１０ｄから「移動」時に作業員９に表示する表示項目を取得し、表示装置１に表示する画面を作成する。

本例では作業内容が「移動」であることから、作業ロボット６の周辺地図、現在位置、目標場所等の位置情報（図３（ａ）の１ａ）、及び通信状態、バッテリー残量等の周辺情報（図３（ａ）の１ｂ）等、作業員９が作業ロボット６の「移動」作業を行うために必要な情報のみを、作業ロボット６の撮像装置３から得られた映像（図３（ａ）の１ｃ）に重ね合わせて表示する。

次に、作業ロボット６が作業対象物１ｄに到達すると、作業員９は当初の作業計画に基づきスイッチ操作のために移動用操作装置８ａからマニピュレータ２を操作するための遠隔操作装置８ｂに持ち替える。この持ち替えは遠隔操作装置８ｂに設けられた接触センサにより検出される。

そこで改めて作業ロボット６の現在位置を取得し、作業ロボット６の現在の位置情報１７と作業員９が遠隔操作装置８ｂを保持していることから、現在の作業内容が「スイッチ操作」であると判定する。

次に、表示項目データベース１０ｄから作業内容が「スイッチ操作」である場合の表示項目を取得し、表示装置１に表示する画面を作成する。
本例では、作業内容が「スイッチ操作」であるため、マニピュレータ２を構成する多関節アーム及びアーム先端部の把持具の姿勢や座標、スイッチ操作の作業手順を示すマニュアル、通信状態、等、作業員９が「スイッチ操作」作業を行うために必要な情報のみを、作業ロボット６の撮像装置３から得られた映像に重ね合わせて表示する。

（効果）
以上説明したように、本実施形態に係る作業ロボットの操作支援システム及び操作支援方法によれば、作業員９が保持している操作装置８の種別や作業ロボット６の位置情報に応じて、予め作業内容等の各種情報が格納されたデータベース部１０から現行の作業に必要な情報のみを作業員９に提示することができるため、作業員９の作業負担を軽減することが可能となるとともに、作業員９は効率的かつ的確に作業ロボット６の操作や保守点検作業を実行することが可能となる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、組み合わせ、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…表示装置（ＨＭＤ）、２…マニピュレータ、３…撮像装置、４…移動機構、５…作業工具、６…作業ロボット、７…遠隔操作システム部、８…操作装置、８ａ…移動用操作装置、８ｂ…遠隔操作装置、９…作業員、１０…データベース部、１０ａ…位置情報データベース、１０ｂ…作業計画データベース、１０ｃ…作業マニュアルデータベース、１０ｄ…表示項目データベース、１１…作業内容判定部、１２…遠隔操作制御信号生成部、１３…操作装置種別判別部、１４…作業別情報取得部、１５…表示情報生成部、１６…表示インターフェイス生成部、１７…位置情報

Claims (3)

1. 各種センサ、マニピュレータ、移動機構を備えた作業ロボットと、
   作業内容に応じた複数種別の操作装置と、
   作業員が保持している操作装置の種別を判別する操作装置種別判別部と、
   作業対象物の位置情報、作業項目、作業マニュアルを含む各種情報が格納されたデータベース部と、
   前記操作装置の種別及び前記作業ロボットの位置情報と、前記データベース部に格納されている各種情報とに基づいて作業員が行っている作業内容を判定する作業内容判定部と、
   前記作業ロボットに設けられた各種センサから取得した情報に基づいて表示装置に表示可能な表示情報を生成する表示情報生成部と、
   前記作業内容判定部で判定した作業内容に応じて前記表示装置に表示する表示インターフェイスを、前記表示情報生成部で生成した表示情報から選択し、表示インターフェイスを生成する表示インターフェイス生成部と、
   を備えることを特徴とする作業ロボットの操作支援システム。
2. 前記表示装置はヘッドマウントディスプレイであることを特徴とする請求項１記載の作業ロボットの操作支援システム。
3. 作業員が保持している操作装置の種別を判別する操作装置種別判別ステップと、
   作業ロボットの位置情報を取得する位置情報取得ステップと、
   前記操作装置の種別及び前記作業ロボットの位置情報と、データベース部に格納された作業対象物の位置情報、作業項目、作業マニュアル等の各種情報と、に基づいて作業員が行っている作業内容を判定する作業内容判定ステップと、
   前記作業ロボットに設けられた各種センサから取得した情報に基づいて表示装置に表示可能な表示情報を生成する表示情報生成ステップと、
   前記作業内容判定ステップで判定した作業内容に応じて前記表示装置に表示する表示インターフェイスを、前記表示情報生成ステップで生成した表示情報から選択し、表示インターフェイスを生成する表示インターフェイス生成ステップと、を有することを特徴とする作業ロボットの操作支援方法。

Images