WO2019187660A1 - 作業機械の遠隔操作システム - Google Patents

Abstract

装着型ディスプレイを装着しているオペレータが自身の周囲の状況を把握することを可能にする制御装置を備えた、作業機械の遠隔操作システムが提供される。制御装置は、取得された判定情報の内容に基づいてオペレータの遠隔操作レバーに対する操作意思の有無を判定する操作意思判定部と、表示映像切替部と、を含む。表示映像切替部は、操作意思があると判定された場合には作業領域撮影カメラによって撮影された作業領域映像を装着型ディスプレイの特定表示領域に表示させ、操作意思がないと判定された場合には特定表示領域の少なくとも一部の領域での作業領域映像の表示を中止させて当該少なくとも一部の領域をオペレータのその周囲の視認を可能にする周囲視認可能領域に切り替える。

Description

作業機械の遠隔操作システム

　本発明は、作業機械の遠隔操作システムに関する。

　従来、油圧ショベル等の作業機械が知られている。作業機械は、オペレータが着座する運転席と、当該運転席に着座しているオペレータが操作可能な操作レバーとを備えているのが一般的である。このような作業機械は、運転席に着座しているオペレータが操作レバーを操作することによって稼働される。

　また、近年では、上記のように運転席に着座しているオペレータによって稼働される作業機械の他に、作業機械から離れた位置に存在するオペレータによって遠隔操作されることで稼働される作業機械が提案されている。

　下記特許文献１は、作業機械を遠隔操作する際に用いられる遠隔操作支援用画像システムを開示する。当該遠隔操作支援用画像システムは、作業機械に設けられて施工対象を撮影する撮像機と、作業機械から離れた位置に設けられた遠隔操作室内の操作員により装着されるゴーグルとを含む。ゴーグルは左右一対の液晶パネルを有し、これらに前記撮像機が撮影した施工対象の画像が表示される。操作員は当該画像を見ながら、遠隔操作室内の遠隔操作手段を操作することにより、作業機械を遠隔操作することができる。

　しかし、特許文献１に記載される技術では、ゴーグルの装着中に操作員の視野が妨げられてしまう不都合がある。具体的には、当該ゴーグルを装着した操作員は、実質上、前記左右一対の液晶パネルに表示される画像しか見ることができず、操作員自身の周囲の状況を把握することが難しい。このことは遠隔操作手段の誤操作等の不都合を招くおそれがある。

特開平８－２３４２７５号公報

　本発明の目的は、作業機械のオペレータに装着された状態で当該オペレータに対して作業機の周囲の映像を表示可能な装着型ディスプレイと、当該装着型ディスプレイを装着したオペレータによる操作を受けることができる遠隔操作レバーとを備える作業機械の遠隔操作システムであって、上記装着型ディスプレイを装着したオペレータが自身の周囲の状況を把握することを可能にする作業機械の遠隔操作システムを提供することである。

　提供されるのは、作業機械を遠隔操作するためのシステムであって、前記作業機械から離れた位置に配置され、前記作業機械のオペレータによって把持された状態で前記オペレータによる操作を受けることができる遠隔操作レバーと、前記オペレータが前記遠隔操作レバーに対して操作を与える意思である操作意思の有無を判定するための判定情報を取得可能な少なくとも１つの判定情報取得装置と、前記作業機械に配置され、前記作業機械の周囲の映像である作業領域映像を撮影可能な作業領域撮影カメラと、前記オペレータに装着された状態で当該オペレータに対して映像を表示可能なディスプレイであって、前記作業領域映像を表示可能な特定表示領域を有する装着型ディスプレイと、前記少なくとも１つの判定情報取得装置が取得した前記判定情報の内容に応じて前記装着型ディスプレイに前記特定表示領域での前記作業領域映像の表示を行わせる制御装置と、を備える。前記制御装置は、前記少なくとも１つの判定情報取得装置により取得された前記判定情報の内容に基づいて前記操作意思の有無を判定する操作意思判定部と、前記操作意思判定部が前記オペレータに前記操作意思があると判定した場合には前記装着型ディスプレイに前記特定表示領域での前記作業領域映像の表示を行わせる一方、前記操作意思判定部が前記オペレータに前記操作意思がないと判定した場合には前記特定表示領域の少なくとも一部の領域における前記作業領域映像の表示を中止させかつ当該少なくとも一部の領域を前記オペレータが当該オペレータの周囲を視認することを可能にする周囲視認可能領域に切り替える表示映像切替部と、を含む。

本発明の実施の形態による作業機械の遠隔操作システムの全体構成を示すブロック図である。 図１に示す作業機械の外観を示す側面図である。 図１に示す前記遠隔操作システムのマスターに含まれる制御装置の機能構成を示すブロック図である。 前記制御装置によって実現される映像切替制御を示すフローチャートである。

　以下、添付図面を参照しながら、本発明の実施の形態について詳述する。

　図１を参照しながら、本発明の実施の形態による作業機械の遠隔操作システム（以下、単に遠隔操作システムと称する）について説明する。図１は、遠隔操作システムの全体構成を示すブロック図である。

　図２は、本発明の実施の形態に係る遠隔操作システムが適用される作業機械３０の外観を示す側面図である。

　前記作業機械３０は、油圧ショベルである。前記作業機械３０は、例えば、クローラ式の下部走行体３１０と、下部走行体３１０上に旋回可能に設けられた上部旋回体３２０と、上部旋回体３２０に取り付けられた作業装置３３０とを備える。作業装置３３０は、例えば、上部旋回体３２０に対して起伏可能に取り付けられたブーム３３１と、ブーム３３１の先端部に対して揺動可能に取り付けられたアーム３３２と、アーム３３２の先端部に対して揺動可能に取り付けられたアタッチメント３３３とを備える。前記上部旋回体３２０は、運転室３２２を有し、当該運転室３２２内に図１に示すような複数の実機操作レバー３１が配置されている。また、前記作業機械３０には、前記複数の実機操作レバー３１の他、図１に示されるような作業領域撮影カメラ３２、ゲートレバー３３及びこれを駆動するための駆動機構３４が搭載されている。これらについては後に詳述する。

　なお、本実施の形態に係る遠隔操作システムによって遠隔操作される作業機械は前記のような油圧ショベルに限定されない。

　図１は、前記遠隔操作システムの全体構成を示す。当該遠隔操作システムは、スレーブ１０とマスター２０を備える。以下、これらについて説明する。

　前記スレーブ１０は、前記作業機械３０の操縦席に配置され、前記マスター２０に与えられた操作の内容（操作量及び操作方向）に基づいて前記作業機械３０の前記複数の実機操作レバー３１を直接操作する従操作装置である。スレーブ１０は、いわばオペレータのダミーとなって作業機械３０を操作する機械である。

　前記マスター２０は、前記作業機械３０から離れた位置に配置され、作業機械３０を動かすためのオペレータによる操作が直接与えられる主操作装置である。前記マスター２０は、前記作業機械３０の運転席を模擬した構成を有する。

　前記スレーブ１０及び前記マスター２０は、通信路１００を介して相互に通信可能に接続されている。前記通信路１００としては、例えば、特定省電力無線及びブルーツース（登録商標）といった、前記スレーブ１０と前記マスター２０を数十ｍ～数百ｍ程度の距離で無線通信させる通信路が採用される。但し、これは一例であり、通信路１００としては、携帯電話通信網及びインターネット通信網等を含む公衆通信回線が採用されてもよい。この場合、マスター２０とスレーブ１０は長距離通信が可能となる。

　マスター２０は、通信部２１と、マスター制御装置２２と、オペレータによる操作を直接受ける複数の遠隔操作レバー２３と、オペレータが着座する操縦席としてのシート２４と、オペレータに装着される装着型ディスプレイ２５と、オペレータの周囲を撮影する周囲撮影カメラ２６と、オペレータが前記複数の遠隔操作レバー２３のそれぞれに対して操作を与える意思である操作意思の有無を判定するための判定情報を取得する複数の判定情報取得装置と、を備える。以下、これらについて説明する。

　前記通信部２１は、前記通信路１００に採用される前記通信方式に対応する通信装置で構成されている。前記通信部２１は、前記マスター２０の前記複数の遠隔操作レバー２３にそれぞれ与えられた操作についての操作情報、つまり操作量及び操作方向についての情報、を前記スレーブ１０に送信する。前記通信部２１は、前記スレーブ１０から送られてくる映像（後に詳述される前記作業領域カメラ３２が撮影している映像）を受信する。

　前記マスター制御装置２２は、ＣＰＵ、ＡＳＩＣ等のプロセッサとＲＯＭ及びＲＡＭといった記憶装置とを含むコンピュータで構成されている。前記マスター制御装置２２は、各種の情報（例えば前記操作情報や、後に詳述される前記ゲートレバー３３の位置を指示するゲートレバー指令を通信部２１に送信させる。前記マスター制御装置２２は、装着型ディスプレイ２５に表示される映像を切り替える。当該マスター制御装置２２の詳細については、後述する。

　前記複数の遠隔操作レバー２３のそれぞれは、前記作業機械３０から離れた位置に配置され、当該作業機械３０のオペレータによって把持された状態で当該オペレータによる操作を受ける。前記複数の遠隔操作レバー２３は、前記作業機械３０の前記複数の実機操作レバー３１とそれぞれ同様の構成を有する。前記複数の遠隔操作レバー２３は、ＡＴＴ（アタッチメント）レバー２３１と走行レバー２３２とを含む。

　前記ＡＴＴレバー２３１は、前後左右の４方向に傾倒可能な操作レバーで構成され、前記作業機械３０の作業装置（例えば、アタッチメント３３３及びブーム３３１）を動かすためのオペレータによる操作を受けることが可能である。具体的に、前記ＡＴＴレバー２３１は、ブーム倒伏操作と、ブーム起立操作と、アタッチメント引き操作と、アタッチメント押し操作と、を受けることが可能である。前記ブーム倒伏操作は、前記ブーム３３１を倒伏させるために前記ＡＴＴレバー２３１を前方に傾倒させる操作である。前記ブーム起立操作は、前記ブーム３３１を起立させるために前記ＡＴＴレバー２３１を後方に傾倒させる操作である。前記アタッチメント引き操作は、前記アタッチメント３３３を前記運転室３３２に近づく向きに揺動させるために前記ＡＴＴレバー２３１を左方に傾倒させる操作である。前記アタッチメント押し操作は、前記アタッチメント３３３を前記運転席から離れる向きに揺動させるために前記ＡＴＴレバー２３１を右方に傾倒させる操作である。

　前記走行レバー２３２は、前方向及び後方向に傾倒可能な操作レバーで構成され、前記作業機械３０を前進及び後進させるためのオペレータによる前進操作及び後進操作を受けることが可能である。前記前進操作は、前記作業機械３０を前進させるために前記走行レバー２３２を前方に傾倒させる操作であり、前記後進操作は、前記作業機械３０を後進させるために前記走行レバー２３２を後方に傾倒させる操作である。

　図１に示す前記複数の遠隔操作レバー２３は、前記ＡＴＴレバー２３１と前記走行レバー２３２とを含むが、本発明に係る遠隔操作レバーはこれに限定されない。例えば、前記作業機械３０が、前記作業装置３３０を動かすための前後方向の操作と前記上部旋回体３２０を動かすための左右方向の操作とを受けることが可能な４方向の実機操作レバーを備えている場合、その実機操作レバーと同じ構成を有する遠隔操作レバーを前記マスター２０が含んでいてもよい。このように、本発明に係る遠隔操作レバーは、作業機械に搭載された各種の実機操作レバーにそれぞれ対応するものであることが、好ましい。

　前記シート２４は、当該シート２４に着座しているオペレータが前記複数の遠隔操作レバー２３をそれぞれ把持できるように、当該複数の遠隔操作レバー２３の近傍に配置される。

　前記装着型ディスプレイ２５は、オペレータに装着された状態で当該オペレータに対して映像を表示することが可能なディスプレイである。前記装着型ディスプレイ２５は、例えば、オペレータの頭部に装着された状態で使用されるへッドマウントディスプレイである。

　装着型ディスプレイ２５がオペレータの頭部に装着され且つ映像を表示していない状態では、オペレータの視界が装着型ディスプレイ２５によって遮られる。つまり、この状態では、オペレータは自身の周囲を直接視認することが極めて困難である。

　装着型ディスプレイ２５は、前記作業領域撮影カメラ３２によって撮影される作業領域映像が表示されることが可能な特定表示領域２５１を有する。前記特定表示領域２５１は、例えば、装着型ディスプレイ２５を装着しているオペレータが視認可能な視認可能領域の全体に亘って設定されていてもよいし、当該視認可能領域の一部の領域に設定されていてもよい。前記特定表示領域２５１は、例えば、前記装着型ディスプレイ２５を装着しているオペレータの両目のそれぞれに設定されている。

　前記周囲撮影カメラ２６は、前記作業機械３０から離れた位置に配置され、オペレータの周囲の映像である周囲映像を撮影する。前記周囲撮影カメラ２６は、前記装着型ディスプレイ２５と一体に動くように当該装着型ディスプレイ２５に配置されて、当該装着側ディスプレイ２５を装着するオペレータの前方を撮影する。従って、前記周囲撮影カメラ２６の撮影範囲は、前記オペレータの顔の向きに応じて変化する。

　前記複数の判定情報取得装置のそれぞれは、前記操作意思、すなわちオペレータが前記遠隔操作レバー２３に操作を与える意思、の有無を判定するための判定情報を取得する。当該複数の判定情報取得装置は、把持情報取得装置２７１、２７２と、着座情報取得装置２７３とを含む。

　前記把持情報取得装置２７１は、オペレータによる前記ＡＴＴレバー２３１の把持動作の有無についての把持情報を前記判定情報として取得する。前記把持情報取得装置２７１は、例えば、前記ＡＴＴレバー２３１のうちオペレータが把持する部分に配置される。前記把持情報取得装置２７１は、例えば、把持センサを含む。当該把持センサは、オペレータによるＡＴＴレバー２３１の把持動作を検出できるものであればよい。把持センサは、例えば、ＡＴＴレバー２３１に配置されたセンサ電極と、当該センサ電極と人体（オペレータ）との間の静電容量の値を測定する測定部と、当該測定部が測定した静電容量値に基づいて前記把持動作の有無についての情報である把持情報を取得する取得部とを含むものであってもよい。あるいは、前記把持センサは、前記ＡＴＴレバー２３１に及ぼされるオペレータの把持力（圧力）を測定する測定部と、当該測定部が測定した把持力（圧力）に基づいて前記把持動作の有無についての把持情報を取得する取得部と、を含むものであってもよい。

　前記把持情報取得装置２７２は、オペレータによる前記走行レバー２３２の把持動作の有無についての情報である把持情報を前記判定情報として取得する。前記把持情報取得装置２７２は、例えば、前記走行レバー２３２のうちオペレータが把持する部分に配置される。前記把持情報取得装置２７２は、例えば、把持センサを含む。当該把持センサは、オペレータによる走行レバー２３２の把持動作を検出できるものであればよい。当該把持センサとしては、例えば、前記ＡＴＴレバー２３１に採用されるものと同様なものが採用される。

　前記着座情報取得装置２７３は、オペレータの前記シート２４への着座の有無についての情報である着座情報を判定情報として取得する。着座情報取得装置２７３は、例えば、前記シート２４のうちオペレータが着座する部分に配置される。前記着座情報取得装置２７３は、例えば、着座センサによって実現される。当該着座センサは、オペレータの前記シート２４への着座を検出できるものであればよい。前記着座センサとしては、例えば、超音波センサや赤外線センサ、近接センサ、重量センサ（例えば、歪ゲージ）等が採用される。

　前記スレーブ１０は、通信部１１と、スレーブ制御装置１２と、前記作業機械３０の前記複数の実機操作レバー３１をそれぞれ操作する複数の操作機構１４と、を備える。以下、これらについて説明する。

　前記通信部１１は、前記通信路１００に採用される通信方式に対応する通信装置で構成されている。前記通信部１１は、前記マスター２０から送信されてきた信号、例えば、前記操作情報及び前記ゲートレバー指令を受信する。前記通信部１１は、マスター２０に対して、前記作業領域撮影カメラ３２が撮影している映像を送信する。

　前記スレーブ制御装置１２は、ＣＰＵ、ＡＳＩＣ等のプロセッサとＲＯＭ及びＲＡＭといった記憶装置とを含むコンピュータで構成されている。前記スレーブ制御装置１２は、前記作業領域撮影カメラ３２が撮影した映像を前記通信部１１に送信させる。前記スレーブ制御装置１２は、前記マスター２０から送られてくる信号に基づいて前記操作機構１４の動作を制御する。

　前記複数の操作機構１４は、アクチュエータで構成され、マスター２０から送られてくる操作内容（操作量及び操作方向）に応じた操作力を発生させ、当該操作力を前記複数の実機操作レバー３１のうち対応するものに付与する。図１に示す例では、前記複数の実機操作レバー３１が前記ＡＴＴレバー３１１と前記走行レバー３１２とを含むので、前記複数の操作機構１４は、前記ＡＴＴレバー３１１に対応する操作機構１４Ａと、走行レバー３１２に対応する操作機構１４Ｂと、を含む。前記ＡＴＴレバー３１１は「前後」方向及び「左右」方向に操作可能であるため、前記操作機構１４Ａは前記ＡＴＴレバー３１１を「前後」方向に動かすためのアクチュエータと前記ＡＴＴレバー３１を「左右」方向に動かすアクチュエータとを含む。前記走行レバー３１２は「前後」方向に操作可能であるため、前記操作機構１４Ｂは前記走行レバー３１２を「前後」方向に動かすアクチュエータを含む。

　前記スレーブ制御装置１２は、前記通信部１１が前記ＡＴＴレバー２３１についての操作情報（操作量及び操作内容についての情報）を受信した場合、その操作情報に応じた制御信号を生成して操作機構１４Ａに入力する。前記スレーブ制御装置１２は、前記通信部１１が前記走行レバー２３２についての操作情報（操作量及び操作内容についての情報）を受信した場合、その操作情報に応じた制御信号を生成して操作機構１４Ｂに入力する。これにより、スレーブ１０はマスター２０を操作するオペレータのダミーとして作業機械３０に直接操作を与える。

　次に、前記作業機械３０に搭載されている、前記実機操作レバー３１、前記作業領域撮影カメラ３２、前記ゲートレバー３３、及び前記駆動機構３４について説明する。

　前記複数の実機操作レバー３１は、前記作業機械３０の前記運転室３２２内に設けられ、前記スレーブ１０から付与される操作力の方向に傾倒する。前記複数の実機操作レバー３１のうち、前記ＡＴＴレバー３１１は、前記ＡＴＴレバー２３１と同様、前後左右の４方向に傾倒可能な操作レバーで構成され、前記走行レバー３１２は、前記走行レバー２３２と同様、前方向及び後方向に傾倒可能な操作レバーで構成されている。前記ＡＴＴレバー３１１にこれを前方又は後方に傾倒させる操作が与えられることにより前記ブーム３３１が倒伏又は起伏する。前記ＡＴＴレバー３１にこれを左右方向に傾倒させる操作が与えられることにより、前記アタッチメント３３３が揺動する。前記走行レバー３２２にこれを前方に傾倒させる操作が与えられることにより前記下部走行体３１０が前進し、前記走行レバー３２２にこれを後方に傾倒させる操作が与えられることにより前記下部走行体３１０が後進する。

　前記作業領域撮影カメラ３２は、前記作業機械３０の周囲の作業領域についての映像である作業領域映像を撮影する。前記作業領域撮影カメラ３２は、例えば、前記運転室３２２に設けられて当該運転室３２２よりも前側の領域を撮影する。

　前記ゲートレバー３３は、前記運転室３２２において運転席に通じる乗降口を開閉するように配置される。当該ゲートレバー３３は、前記乗降口を開く開位置において、第三者（例えば、作業機械３０の周囲に存在する作業者）が前記運転席に乗り込むのを許容する。前記ゲートレバー３３は、前記乗降口を閉じる閉位置において、第三者が前記運転席に乗り込むのを阻止する。

　前記駆動機構３４は、前記乗降口を開閉する方向に前記ゲートレバー３３を駆動する。すなわち、前記ゲートレバー３３を前記開位置と前記閉位置との間で移動させる。駆動機構３４は、例えばアクチュエータを含み、前記マスター２０から送られてくるゲートレバー指令に応じて駆動力を発生させ、当該駆動力を前記ゲートレバー３３に付与する。

　続いて、図３を参照しながら、前記マスター制御装置２２についてさらに説明する。図３は、当該マスター制御装置２２を示す機能ブロック図である。

　前記マスター制御装置２２は、前記複数の判定情報取得装置、この実施の形態では前記把持情報取得装置２７１，２７２及び前記着座情報取得装置２７３、が取得した判定情報の内容に応じて作業領域映像を装着型ディスプレイ２５の特定表示領域２５１に表示させる。

　前記マスター制御装置２２は、操作意思判定部２２１と、表示映像切替部２２２と、駆動機構制御部２２３と、稼働制御部２２４とを含む。以下、これらについて説明する。

　前記操作意思判定部２２１は、前記複数の判定情報取得装置、この実施の形態では前記把持情報取得装置２７１，２７２及び前記着座情報取得装置２７３、により取得された判定情報の内容に基づいて前記複数の遠隔操作レバー２３のいずれかに対するオペレータの操作意思の有無を判定する。操作意思判定部２２１は、前記把持情報取得装置２７１、２７２により取得されることが可能な前記把持情報と前記着座情報取得装置２７３により取得されることが可能な前記着座情報とに基づいて、前記複数の遠隔操作レバー２３のいずれかに対するオペレータの操作意思があるか否か、この実施の形態では予め設定された操作意思判定条件が満たされているか否か、を判定する。前記操作意思判定条件は、この実施の形態では、前記複数の遠隔操作レバー２３である前記ＡＴＴレバー２３１及び前記走行レバー２３２のうちの少なくとも一方に対するオペレータの把持動作があり且つ前記シート２４への当該オペレータの着座があることである。

　前記表示映像切替部２２２は、前記操作意思の有無についての前記操作意思判定部２２１による判定の結果に応じて、装着型ディスプレイ２５に表示する映像を切り替える。具体的には、前記表示映像切替部２２２は、前記操作意思があると前記操作意思判定部２２１が判定した場合には前記装着型ディスプレイ２５に前記特定表示領域２５１での作業領域映像の表示を行わせる一方、前記操作意思がないと前記操作意思判定部２２１が判定した場合には前記特定表示領域２５１における前記作業領域映像の表示を中止させて当該特定表示領域２５１に周囲映像を表示させる。つまり、前記表示映像切替部２２２は、前記操作意思がないと判定された場合には前記特定表示領域２５１において前記作業領域映像の代わりに前記周囲映像の表示を前記装着型ディスプレイ２５に行わせる。従って、本実施の形態では、前記特定表示領域２５１の全体が周囲視認可能領域として機能する。

　前記駆動機構制御部２２３は、前記操作意思があると前記操作意思判定部２２１が判定した場合には、前記ゲートレバー３３を前記閉位置に移動させるように前記駆動機構３４を作動させるためのゲートレバー指令を生成する一方、前記操作意思がない場合と前記操作意思判定部２２１が判定した場合には前記ゲートレバー３３を開位置に移動させるように前記駆動機構３４を作動させるためのゲートレバー指令を生成する。前記駆動機構制御部２２３は、さらに、前記ゲートレバー指令を前記通信部２１に送信させる。当該ゲートレバー指令を前記スレーブ１０の通信部１１が受信すると、当該スレーブ１０のスレーブ制御装置１２はその受信した前記ゲートレバー指令に基づいて前記ゲートレバー３３を前記閉位置または前記開位置に移動させるように前記駆動機構３４の動作を制御する。

　前記稼働制御部２２４は、前記操作意思があると前記操作意思判定部２２１が判定した場合には前記複数の遠隔操作レバー２３のいずれかに与えられる操作に基づく前記作業機械３０の稼働を許容する一方、前記操作意思がないと前記操作意思判定部２２１が判定した場合には前記操作に基づく前記作業機械３０の稼働を禁止する。具体的に、前記稼働制御部２２４は、前記複数の遠隔操作レバー２３のいずれかに与えられる前記操作に基づく前記作業機械３０の稼働を許容するか否かについての指令である稼働許容指令または稼働禁止指令を前記通信部２１に送信させる。当該稼働許容指令または当該稼働禁止指令を前記スレーブ１０の通信部１１が受信すると、当該スレーブ１０のスレーブ制御装置１２はその受信した稼働許否指令に応じて前記操作機構１４Ａ、１４Ｂの動作を制御する。具体的に、前記稼働許容指令が受信された場合、前記スレーブ制御装置１２は、オペレータによって前記遠隔操作レバー２３に与えられた操作に対応する操作を前記実機操作レバー３１に与えるように前記操作機構１４Ａ，１４Ｂを作動させる。逆に、前記稼働禁止指令が受信された場合、前記スレーブ制御装置１２は、オペレータによって前記遠隔操作レバー２３に与えられた操作にかかわらず、前記操作機構１４Ａ，１４Ｂが前記実機操作レバー３１に操作を与える動作を禁止する。

　続いて、図４を参照しながら、前記マスター制御装置２２により実行される映像切替処理について説明する。図４は、当該映像切替処理を示すフローチャートである。

　先ず、前記マスター制御装置２２の前記操作意思判定部２２１は、ステップＳ１１において、前記複数の遠隔操作レバー２３のいずれかに対するオペレータの操作意思の有無を判定する。

　前記操作意思があると前記操作意思判定部２２１が判定した場合（ステップＳ１１でＹＥＳ）、前記マスター制御装置２２は、ステップＳ１２において、作業機械３０を稼働可能な状態にする。具体的には、前記マスター制御装置２２の前記稼働制御部２２４が前記複数の遠隔操作レバー２３に与えられる操作に基づく前記作業機械３０の稼働を許容する旨の稼働許容指令を前記通信部２１に送信させるとともに、前記駆動機構制御部２２３が前記ゲートレバー３３を閉位置に移動させる旨のゲートレバー指令を前記通信部２１に送信させる。

　続いて、前記マスター制御装置２２の前記表示映像切替部２２２は、ステップＳ１３において、前記装着型ディスプレイ２５にその特定表示領域２５１での作業領域映像、つまり前記作業領域撮影カメラ３２が撮影している映像、の表示を行わせる。

　前記操作意思がないと前記操作意思判定部２２１が判定した場合（ステップＳ１１でＮＯ）、前記マスター制御装置２２は、ステップＳ１４において、前記作業機械３０を稼働不可の状態にする。具体的には、当該マスター制御装置２２の前記稼働制御部２２４が、前記複数の遠隔操作レバー２３に与えられる操作に基づく前記作業機械３０の稼働を禁止する旨の稼働禁止指令を前記通信部２１に送信させるとともに、前記駆動機構制御部２２３が前記ゲートレバー３３を開位置に移動させる旨のゲートレバー指令を前記通信部２１に送信させる。

　続いて、前記マスター制御装置２２の前記表示映像切替部２２２は、ステップＳ１５において、装着型ディスプレイ２５にその特定表示領域２５１での周囲映像、すなわち前記周囲撮影カメラ２６が撮影している映像、の表示を行わせる。

　このような遠隔操作システムにおいては、オペレータが前記操作意思、すなわち前記複数の遠隔操作レバー２３のいずれかに対して操作を与える意思、を有していると判定された場合、前記作業領域撮影カメラ３２によって撮影される作業領域映像が前記装着型ディスプレイ２５の前記特定表示領域２５１に表示される。この表示は、オペレータが前記装着型ディスプレイ２５を通じて前記作業機械３０の周囲を視認することを可能にする。つまり、オペレータが前記操作意思を有している場合には、オペレータに対して主に前記作業機械３０の周囲の状況を認識できるような環境を提供することができる。このことは、オペレータが前記作業機械３０の遠隔操作を的確に行うことを可能にする。

　一方、オペレータが前記操作意思を有していない場合、前記特定表示領域２５１において作業領域映像の表示が中止されるとともに当該特定表示領域２５１に周囲映像（周囲撮影カメラ２６によって撮影される映像）が表示される。この表示は、オペレータが前記装着型ディスプレイ２５を装着したまま当該オペレータ自身の周囲の状況を把握することを可能にする。つまり、オペレータが前記操作意思を有していない場合には、オペレータに対して主に自身の周囲の状況を認識できるような環境を提供することができる。このことは、オペレータが前記複数の遠隔操作レバー２３に対する前記操作意思を有していないにもかかわらず誤って当該操作レバー２３に操作を与えてしまうことを防ぐ。

　上述の遠隔操作システムにおいては、作業機械３０の遠隔操作に必要な遠隔操作レバー２３の把持動作だけでなくオペレータの操作姿勢（具体的には、シート２４への着座）も考慮することにより、オペレータの前記遠隔操作レバー２３に対する操作意思の有無をより的確に判定することができる。

　上述の遠隔操作システムにおいては、前記装着型ディスプレイ２５の前記特定表示領域２５１における前記周囲映像の表示が、当該装着型ディスプレイ２５の透過性の有無にかかわらずオペレータが前記装着型ディスプレイ２５を装着したまま自身の周囲の状況を把握することを可能にする。

　上述の遠隔操作システムの前記周囲撮影カメラ２６は、オペレータの頭部に装着される前記装着型ディスプレイ２５と一体に動きかつ前記オペレータの前方を撮影するように前記装着型ディスプレイ２５に配置されるので、オペレータの顔の向きに応じて当該周囲撮影カメラ２６自身の向きを変化させて常にオペレータの前方の映像を撮影することができる。このことは、オペレータの顔の向きに関わらず当該オペレータが自身の周囲の状況を的確に把握することを可能にする。

　上述の遠隔操作システムにおいては、オペレータの前記遠隔操作レバー２３に対する操作意思に応じて作業機械３０の運転席に通じる乗降口をゲートレバー３３が開閉するので、オペレータによる作業機械３０の遠隔操作が行われているときに第三者（例えば、作業機械３０の周囲に存在する作業者等）が作業機械３０の運転席に乗り込むのを防ぐことができる。

　また、前記遠隔操作システムは、前記複数の操作レバー２３に対するオペレータの前記操作意思に応じて作業機械３０の稼働の許否を切換えることにより、さらに高い安全性を確保することができる。例えば、オペレータが前記複数の操作レバー２３に対する前記操作意思を有していないにもかかわらず誤って当該複数の操作レバー２３のいずれかに操作を与えたとしても、その誤った操作に基づく作業機械３０の稼働を防ぐことができる。つまり、作業機械３０がオペレータの意思に反して稼働するのを防ぐことができる。

　以上、本発明の実施の形態について詳述してきたが、これらはあくまでも例示であって、本発明は、上述の実施の形態によって、何等、限定されない。

　図１に示す遠隔操作システムは、前記マスター２０における前記複数の遠隔操作レバー２３に与えられるオペレータの操作に対応して、前記作業機械３０の運転席に配置された前記スレーブ１０が前記作業機械３０における前記複数の実機操作レバー３１のうち前記操作に対応するものに実機操作を与えるものであるが、本発明に係る遠隔操作システムは、図１に示す態様に限定されない。本発明は、例えば、前記スレーブ１０のない態様や前記作業機械３０が前記実機操作レバー３１を有しない態様も包含する。また、本発明に係る遠隔操作レバーは単数であってもよい。

　本発明における判定情報取得装置は、上記実施の形態にて説明した把持情報取得装置２７１，２７２や着座情報取得装置２７３のように作業機械を遠隔操作するオペレータの体の一部が常時接触する部分に配置されるものに、限定されない。例えば、オペレータが押圧操作可能なスイッチによって判定情報取得装置を実現してもよい。このようなスイッチは、例えば、遠隔操作レバーの周囲に配置されるのが好ましい。

　本発明に係る遠隔操作システムは、単数の判定情報取得装置のみを備えてもよいし、複数の判定情報取得装置を備えてもよい。複数の判定情報取得装置を備える遠隔操作システムでは、前記複数の判定情報取得装置の各々によって取得された判定情報の全てがオペレータの操作意思があることを示すものである場合にのみ当該オペレータの操作意思があると判定するように操作意思判定部が構成されてもよい。例えば、上記実施の形態に係る操作意思判定部２２１は、２つの前記把持情報取得装置２７１、２７２の各々によって取得された把持情報が何れも把持動作を示すものであって且つ着座情報取得装置２７３によって取得された着座情報がオペレータのシート２４への着座を示すものである場合に限り前記操作意思があると判定するように構成されていてもよい。或いは、本発明に係る操作意思判定部は、複数の判定情報取得装置の各々によって取得された判定情報の少なくとも一つがオペレータの操作意思があることを示す場合にオペレータの操作意思があると判定してもよい。例えば、上記実施の形態において前記着座情報取得装置２７３が省略された態様において、前記操作意思判定部２２１は、残りの２つの把持情報取得装置２７１、２７２の何れかによって取得された把持情報がオペレータの操作意思があることを示すものであればオペレータの操作意思があると判定するように構成されていてもよい。単一の判定情報取得装置の例としては、上記のようにオペレータが押圧操作可能なスイッチが挙げられる。

　本発明に係る表示映像切換部は、前記実施の形態のように装着型ディスプレイに特定表示領域の全体に亘る周囲映像の表示を行わせるものに限定されない。例えば、前記周囲映像を前記特定表示領域の一部にのみ表示させるものでもよい。つまり、本発明に係る周囲視認可能領域は前記特定表示領域の一部であってもよい。また、本発明は周囲視認可能領域に周囲映像を表示させる態様に限定されない。例えば、本発明に係る周囲視認可能領域は、当該周囲視認可能領域を透過してオペレータの周囲を視認することを許容する透過性をもった領域すなわち透過領域であってもよい。当該透過領域は前記オペレータが当該透過領域を通じて自身の周囲を視認することを可能にする。また、前記周囲視認画像領域が前記特定表示領域の一部である場合、オペレータは、作業領域映像を見ながら当該オペレータ自身の周囲を視認することができる。

　本発明に係る前記周囲撮影カメラは、前記装着型ディスプレイに設けられるものに限定されない。例えば、オペレータが着座する操縦席の上方に本発明に係る周囲撮影カメラを設けてもよい。

　本発明において、前記周囲撮影カメラは必須ではない。例えば、装着型ディスプレイにおいて特定表示領域の周辺にオペレータの周囲を透過可能な透過領域が設けられている場合、オペレータは当該透過領域を通じて自身の周囲を常時視認できるため、前記周囲撮影カメラは必ずしも要しない。

　以上のように、作業機械のオペレータに装着された状態で当該オペレータに対して作業機の周囲の映像を表示可能な装着型ディスプレイと、当該装着型ディスプレイを装着したオペレータによる操作を受けることができる遠隔操作レバーとを備える作業機械の遠隔操作システムであって、上記装着型ディスプレイを装着したオペレータが自身の周囲の状況を把握することを可能にする作業機械の遠隔操作システムが、提供される。

　提供されるのは、作業機械を遠隔操作するためのシステムであって、前記作業機械から離れた位置に配置され、前記作業機械のオペレータによって把持された状態で前記オペレータによる操作を受けることができる遠隔操作レバーと、前記オペレータが前記遠隔操作レバーに対して操作を与える意思である操作意思の有無を判定するための判定情報を取得可能な少なくとも１つの判定情報取得装置と、前記作業機械に配置され、前記作業機械の周囲の映像である作業領域映像を撮影可能な作業領域撮影カメラと、前記オペレータに装着された状態で当該オペレータに対して映像を表示可能なディスプレイであって、前記作業領域映像を表示可能な特定表示領域を有する装着型ディスプレイと、前記少なくとも１つの判定情報取得装置が取得した前記判定情報の内容に応じて前記作業領域映像を前記特定表示領域に表示させる制御装置とを備える。前記制御装置は、前記少なくとも１つの判定情報取得装置により取得された前記判定情報の内容に基づいて前記操作意思の有無を判定する操作意思判定部と、前記操作意思判定部が前記オペレータに前記操作意思があると判定した場合には前記装着型ディスプレイに前記特定表示領域での前記作業領域映像の表示を行わせる一方、前記操作意思判定部が前記オペレータに前記操作意思がないと判定した場合には前記特定表示領域の少なくとも一部の領域における前記作業領域映像の表示を中止させかつ当該少なくとも一部の領域を前記オペレータが当該オペレータの周囲を視認することを可能にする周囲視認可能領域に切り替える表示映像切替部と、を含む。

　上記作業機械の遠隔操作システムにおいては、オペレータが前記遠隔操作レバーに対する前記操作意思を有していると前記操作意思判定部が判定した場合、前記表示映像切替部は、前記装着型ディスプレイにその特定表示領域において前記作業領域映像を表示させることにより、オペレータが当該装着型ディスプレイを通じて前記作業機械の周囲を視認することを可能にする。従って、前記遠隔操作システムは、オペレータが前記遠隔操作レバーに対する前記操作意思を有している場合には、当該オペレータに対して主に作業機械の周囲の状況を認識できるような環境を提供することができる。このことは、当該オペレータが作業機械の遠隔操作を的確に行うことを可能にする。

　一方、オペレータが前記遠隔操作レバーに対する前記操作意思を有していないと操作意思判定部が判定した場合、前記表示映像切替部は、前記装着型ディスプレイによる前記特定表示領域の少なくとも一部の領域での前記作業領域映像の表示を中止させるとともに当該少なくとも一部の領域がオペレータが自身の周囲の視認を可能にする状態に切換える。これにより、オペレータは、装着型ディスプレイを装着したまま自身の周囲の状況を把握することができる。このように、前記遠隔操作システムは、オペレータが前記遠隔操作レバーに対する前記操作意思を有していない場合には当該オペレータに対して主に当該オペレータ自身の周囲の状況を認識できるような環境を提供することができる。このことは、前記遠隔操作レバーに対する前記操作意思を有していないオペレータが誤って当該遠隔操作レバーを操作してしまう事態を防ぐことを可能にする。

　好ましくは、前記少なくとも１つの判定情報取得装置は、前記オペレータが前記遠隔操作レバーを把持する動作である把持動作の有無についての情報である把持情報を前記判定情報として取得可能な把持情報取得装置を含み、前記操作意思判定部は、前記前記把持動作があるという把持情報が取得された場合に前記操作意思があると判定するように構成される。

　このように構成された前記操作意思判定部は、作業機械の遠隔操作に必要な前記遠隔操作レバーに対する前記把持動作の有無に基づき、前記操作意思の有無を的確に判定することができる。

　好ましくは、前記少なくとも１つの判定情報取得装置は、オペレータが前記遠隔操作レバーを把持しながら着座可能な位置に設けられた操縦席への前記オペレータの着座の有無についての情報である着座情報を前記判定情報として取得可能な着座情報取得装置をさらに含み、前記操作意思判定部は、前記把持動作があるという前記把持情報が取得され且つ前記着座があるという前記着座情報が取得されるという判定条件が満たされる場合にのみ前記操作意思がある場合と判定するように構成されている。

　このように構成された前記操作意思判定部は、前記把持動作の有無だけでなくオペレータの操作姿勢、具体的にはオペレータの着座の有無、も考慮することにより、オペレータの前記遠隔操作レバーに対する前記操作意思の有無をより的確に判定することができる。

　前記遠隔操作システムは、好ましくは、前記作業機械から離れた位置に配置され、前記オペレータの周囲の映像である周囲映像を撮影する周囲撮影カメラをさらに備え、前記表示映像切替部は、前記操作意思がないと前記操作意思判定部が判定した場合に前記周囲視認可能領域に前記周囲映像を表示させるように構成される。

　このように構成された前記表示映像切替部は、前記装着型ディスプレイの透過性の有無にかかわらず、オペレータが装着型ディスプレイを装着したまま自身の周囲の状況を把握することを可能にする。

　好ましくは、前記装着型ディスプレイは、前記オペレータの頭部に装着された状態で使用され、前記周囲撮影カメラは、前記装着型ディスプレイと一体に動きかつ前記オペレータの前方を撮影するように前記装着型ディスプレイに配置される。

　このように配置された前記周囲撮影カメラは、オペレータの顔の向きにかかわらず当該オペレータの前方を撮影することができ、これにより、オペレータの顔の向きにかかわらず当該オペレータが自身の周囲の状況を的確に把握することを可能にする。

　前記遠隔操作システムは、好ましくは、前記作業機械に設けられた運転席に通じる乗降口を閉じる閉位置と当該乗降口を開く開位置との間で移動可能なゲートレバーと、前記ゲートレバーを前記閉位置と前記開位置との間で移動させるように当該ゲートレバーを駆動する駆動機構と、をさらに備え、前記制御装置は、前記操作意思があると前記操作意思判定部が判定した場合には前記ゲートレバーを前記閉位置に移動させ、前記操作意思がないと前記操作意思判定部が判定した場合には前記ゲートレバーを前記開位置に移動させるように前記駆動機構を制御する駆動機構制御部をさらに含む。

　前記駆動機構及び前記駆動機構制御部は、前記操作意思の有無に応じて前記乗降口を開閉するように前記ゲートレバーの位置を切換えることにより、オペレータによる前記作業機械の遠隔操作が行われているときに第三者（例えば、当該作業機械の周囲に存在する作業者等）が当該作業機械の運転席に乗り込むのを防ぐことができる。

　好ましくは、前記制御装置は、前記操作意思があると前記操作意思判定部が判定した場合には前記遠隔操作レバーに与えられる操作に基づく前記作業機械の稼働を許容する一方、前記操作意思がないと前記操作意思判定部が判定した場合には前記遠隔操作レバーに与えられる前記操作に基づく前記作業機械の稼働を禁止する稼働制御部をさらに含む。

　このように、前記遠隔操作レバーに対するオペレータの前記操作意思の有無に基づいて作業機械の稼働を制御する前記稼働制御部は、前記遠隔操作レバーに対する前記操作意思を有していないオペレータが誤って当該遠隔操作レバーに操作を与えることにより前記作業機械が前記オペレータの意思に反して稼働するのを、防ぐことができる。

Claims (7)

1. 　作業機械を遠隔操作するためのシステムであって、
   　前記作業機械から離れた位置に配置され、前記作業機械のオペレータによって把持された状態で前記オペレータによる操作を受けることができる遠隔操作レバーと、
   　オペレータが前記遠隔操作レバーに対して操作を与える意思である操作意思の有無を判定するための判定情報を取得可能な少なくとも１つの判定情報取得装置と、
   　前記作業機械に配置され、前記作業機械の周囲の映像である作業領域映像を撮影可能な作業領域撮影カメラと、
   　前記オペレータに装着された状態で当該オペレータに対して映像を表示可能なディスプレイであって、前記作業領域映像を表示可能な特定表示領域を有する装着型ディスプレイと、
   　前記少なくとも１つの判定情報取得装置が取得した前記判定情報の内容に応じて前記特定表示領域での前記作業領域映像の表示を前記装着型ディスプレイに行わせる制御装置と、を備え、
   　前記制御装置は、前記少なくとも１つの判定情報取得装置により取得された前記判定情報の内容に基づいて前記操作意思の有無を判定する操作意思判定部と、前記操作意思があると前記操作意思判定部が判定した場合には前記装着型ディスプレイに前記特定表示領域での前記作業領域映像の表示を行わせ、前記操作意思がないと前記操作意思判定部が判定した場合には前記特定表示領域の少なくとも一部の領域における前記作業領域映像の表示を中止させて当該少なくとも一部の領域を前記オペレータが当該オペレータの周囲を視認することを可能にする周囲視認可能領域に切り替える表示映像切替部と、を含む、作業機械の遠隔操作システム。
2. 　請求項１に記載の作業機械の遠隔操作システムであって、前記少なくとも１つの判定情報取得装置は、前記オペレータが前記遠隔操作レバーを把持する動作である把持動作の有無についての情報である把持情報を前記判定情報として取得可能な把持情報取得装置を含み、前記操作意思判定部は、前記把持動作があるという前記把持情報が取得された場合に前記操作意思があると判定するように構成されている、作業機械の遠隔操作システム。
3. 　請求項２に記載の作業機械の遠隔操作システムであって、前記少なくとも１つの判定情報取得装置は、オペレータが前記操作レバーを把持しながら着座可能な位置に設けられた操縦席への前記オペレータの着座の有無についての情報である着座情報を前記判定情報として取得可能な着座情報取得装置をさらに含み、前記操作意思判定部は、前記把持動作があるという前記把持情報が取得され且つ前記着座があるという前記着座情報が取得されるという判定条件が満たされた場合にのみ前記操作意思があると判定するように構成されている、作業機械の遠隔操作システム。
4. 　請求項１～３の何れか１項に記載の作業機械の遠隔操作システムであって、前記作業機械から離れた位置に配置され、前記オペレータの周囲の映像である周囲映像を撮影する周囲撮影カメラをさらに備え、前記表示映像切替部は、前記操作意思がないと前記操作意思判定部が判定した場合には前記周囲視認可能領域に前記周囲映像を表示させる、作業機械の遠隔操作システム。
5. 　請求項４に記載の作業機械の遠隔操作システムであって、前記装着型ディスプレイは、前記オペレータの頭部に装着された状態で使用され、前記周囲撮影カメラは、前記装着型ディスプレイと一体に動きかつ前記オペレータの前方を撮影するように前記装着型ディスプレイに配置されている、作業機械の遠隔操作システム。
6. 　請求項１～５の何れか１項に記載の作業機械の遠隔操作システムであって、前記作業機械に設けられた運転席に通じる乗降口を閉じる閉位置と当該乗降口を開く開位置との間で移動可能なゲートレバーと、前記ゲートレバーを前記閉位置と前記開位置との間で移動させるように当該ゲートレバーを駆動する駆動機構と、をさらに備え、前記制御装置は、前記操作意思があると前記操作意思判定部が判定した場合には前記ゲートレバーを前記閉位置に移動させ、前記操作意思がないと前記操作意思判定部が判定した場合には前記ゲートレバーを前記開位置に移動させるように前記駆動機構を制御する駆動機構制御部をさらに含む、作業機械の遠隔操作システム。
7. 　請求項１～６の何れか１項に記載の作業機械の遠隔操作システムであって、前記制御装置は、前記操作意思があると前記操作意思判定部が判定した場合には前記遠隔操作レバーに与えられる操作に基づく前記作業機械の稼働を許容する一方、前記操作意思がないと前記操作意思判定部が判定した場合には前記遠隔操作レバーに与えられる操作に基づく前記作業機械の稼働を禁止する稼働制御部をさらに含む、作業機械の遠隔操作システム。

Images