WO2019187565A1

WO2019187565A1 - 遠隔操作システム及び主操作装置

Info

Publication number: WO2019187565A1
Application number: PCT/JP2019/002333
Authority: WO
Inventors: 佐々木　均; 誠司佐伯; 上田　員弘
Original assignee: コベルコ建機株式会社
Priority date: 2018-03-28
Filing date: 2019-01-24
Publication date: 2019-10-03
Also published as: EP3754120A4; US11732439B2; CN111868335B; CN111868335A; US20210025131A1; JP6947101B2; EP3754120B1; JP2019173379A; EP3754120A1

Abstract

マスター２０は、建設機械３０の操縦席３Ｃ内から建設機械３０の周囲が撮影された周囲画像Ｇ３１をスレーブ１０から取得し、周囲画像Ｇ３１に作業装置３３０が含まれているか否かを判定し、周囲画像Ｇ３１に作業装置３３０が含まれていないと判定された場合、建設機械３０の姿勢から作業装置３３０の位置を算出し、算出した位置をオペレータに知らせるための表示オブジェクトＯＢＸを周囲画像Ｇ３１と共に表示装置２３に表示する。

Description

遠隔操作システム及び主操作装置

　本発明は、主操作装置と従操作装置とを備える遠隔操作システム等に関するものである。

　近年、オペレータの操作を直接受け付けるマスターと称される主操作装置と、マスターに対して通信可能に接続されたスレーブと称される従操作装置とを用いて建設機械を遠隔操作する遠隔操作システムが知られている（例えば、特許文献１）。

　このような遠隔操作システムでは、建設機械の操縦席内に設けられたカメラによって撮影された建設機械の周囲画像がマスターに設けられた表示装置に表示され、オペレータはこの表示装置に表示された周囲画像を見ながら建設機械の作業装置（ブーム、アーム、及びバケット等）を遠隔操作する。

　本願に関連する先行技術文献として特許文献１の他に特許文献２がある。特許文献２は、建設機械の後部に設けられた後方監視カメラで撮影された画像から上部旋回体に対する下部走行体の相対角度を検知し、検知した相対角度を示す画像を操縦席内に設けられた表示装置に表示する技術を開示する。

　しかし、作業装置の取り得る姿勢によっては、操縦席内に設けられたカメラの視野外に作業装置が位置する事態が発生する。この場合、マスターの表示装置に表示される周囲画像から作業装置が消失し、マスターのオペレータは作業装置が現在どの方向に位置しているかを確認できず、オペレータに不安を与えるという課題が生じる。

　特に、昼休みなどの休憩後に建設機械の遠隔操作を再開させる場合、周囲画像に作業装置が表れていないと、オペレータは作業装置の位置を予想しながら作業装置を慎重に操作することが要求され、操作負担が増大するという課題がある。

　上述の特許文献２は、そもそも遠隔操作システムに関する発明ではなく、操縦席内にカメラを設置することについての開示もないので、マスターの表示画面に表示される周囲画像から作業装置が消失した場合に生じる上記の課題を解決できない。

特開平１０－２５２１０１号公報特開２０１２－１０７３９５号公報

　本発明の目的は、主操作装置の表示装置に表示される周囲画像から作業装置が消失したとしても、作業装置の位置を主操作装置のオペレータに認識させることができる遠隔操作システム等を提供することである。

　本発明の一態様は、作業装置を含む建設機械を遠隔操作する遠隔操作システムであって、
　前記建設機械を遠隔操作するための主操作装置と、前記建設機械に搭載され、前記主操作装置が受け付けた操作に基づいて前記作業装置を操作する従操作装置とを備え、
　前記従操作装置は、
　前記建設機械の操縦席内から前記建設機械の周囲を撮影した周囲画像を取得するカメラと、
　前記作業装置の姿勢を検知する姿勢検知部と、
　前記周囲画像及び前記姿勢検知部が検知した前記作業装置の姿勢を示す姿勢情報を前記主操作装置に送信する第１通信部とを備え、
　前記主操作装置は、
　オペレータの操作を受け付ける操作部材と、
　前記従操作装置から送信された前記周囲画像及び前記姿勢情報を受信する第２通信部と、
　前記第２通信部が受信した前記周囲画像を含む表示画面を表示する表示装置と、
　前記第２通信部が受信した前記周囲画像に前記作業装置が含まれているか否かを判定する判定部と、
　前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記第２通信部が受信した前記姿勢情報から前記作業装置の位置を算出し、算出した前記位置を前記オペレータに知らせるための表示オブジェクトを前記表示画面に表示する表示制御部とを備える。

　本発明によれば、主操作装置の表示装置に表示される周囲画像から作業装置が消失したとしても、作業装置の位置を主操作装置のオペレータに認識させることができる。

本発明の実施の形態に係る遠隔操作システムの全体構成を示すブロック図である。図１に示す建設機械の外観を示す図である。マスターの表示装置に表示される表示画面の一例を示す図である。表示オブジェクトの表示位置のパターンを示す図である。本実施の形態に係る表示オブジェクトの表示・非表示タイミングを纏めた表である。本発明の実施の形態に係る遠隔操作システムの処理の一例を示すフローチャートである。本発明の実施の形態に係る遠隔操作システムの通信開始時の処理の一例を示すフローチャートである。

　図１は、本発明の実施の形態に係る遠隔操作システムの全体構成を示すブロック図である。遠隔操作システムは、スレーブ１０及びマスター２０を備える。スレーブ１０は、建設機械３０の操縦席に配置され、マスター２０が受け付けた操作量に基づいて建設機械３０の操作レバー３１を直接操作する従操作装置である。スレーブ１０は、いわばオペレータのダミーとなって建設機械３０を操作する機械である。マスター２０は、建設機械３０のオペレータの操作を直接受け付けて建設機械３０を遠隔操作するための主操作装置である。本実施の形態では、マスター２０は建設機械３０の操縦席を模擬した操作装置で構成されており、建設機械３０の操作レバー３１と同様の操作レバー２４が建設機械３０と同様のポジションで配置されている。また、マスター２０は、オペレータが着座するシートを備えている。

　スレーブ１０及びマスター２０は通信路１００を介して相互に通信可能に接続されている。通信路１００としては、特定省電力無線、及びブルーツース（登録商標）といったスレーブ１０及びマスター２０を数十ｍ～数百ｍ程度の距離で無線通信させる通信路が採用される。但し、これは一例であり、通信路１００としては、携帯電話通信網及びインターネット通信網等を含む公衆通信回線が採用されてもよい。この場合、マスター２０及びスレーブ１０は長距離通信が可能となる。

　図２は、図１に示す建設機械３０の外観を示す図である。図２に示す建設機械３０は、油圧ショベルで構成されている。建設機械３０は、クローラ式の下部走行体３１０と、下部走行体３１０上に旋回可能に設けられた上部旋回体３２０と、上部旋回体３２０に取り付けられた作業装置３３０とを備えている。

　作業装置３３０は、上部旋回体３２０に対して起伏可能に取り付けられたブーム３３１と、ブーム３３１の先端部に対して揺動可能に取り付けられたアーム３３２と、アーム３３２の先端部に対して揺動可能に取り付けられたアタッチメント３３３とを備えている。

　また、作業装置３３０は、上部旋回体３２０に対してブーム３３１を起伏させるブームシリンダ３３４と、ブーム３３１に対してアーム３３２を揺動させるアームシリンダ３３５と、アーム３３２に対してアタッチメント３３３を揺動させるアタッチメントシリンダ３３６とを備えている。上部旋回体３２０は、オペレータが搭乗する操縦席３Ｃを備えている。

　図１に参照を戻す。マスター２０は、通信部２１（第２通信部の一例）、コントローラ２２、表示装置２３、操作レバー２４（操作部材の一例）、遮断レバー２５、及びセンサＳ１，Ｓ２を備える。

　通信部２１は、通信路１００が採用する通信方式に対応する通信装置で構成され、スレーブ１０から送信された、建設機械３０の周囲画像と、作業装置３３０の姿勢を示す姿勢情報とを受信する。作業装置３３０の姿勢情報には、例えば、角度センサ１３の検出値が含まれる。また、通信部２１は、マスター２０の操作レバー２４が受け付けた操作量をスレーブ１０に送信する。

　コントローラ２２は、ＣＰＵ、ＡＳＩＣ等のプロセッサとＲＯＭ及びＲＡＭといった記憶装置とを含むコンピュータで構成されている。コントローラ２２は、判定部２２１及び表示制御部２２２を備えている。なお、判定部２２１及び表示制御部２２２は、プロセッサが制御プログラムを実行することで実現されてもよいし、専用のハードウェア回路で構成されてもよい。

　判定部２２１は、通信部２１により受信された周囲画像に作業装置３３０が含まれているか否かを判定する。ここで、判定部２２１は、予め記憶装置に記憶された作業装置３３０のテンプレート画像を用いたテンプレートマッチングを周囲画像に適用することで、周囲画像に作業装置３３０が含まれているか否かを判定してもよい。或いは、判定部２２１は、スレーブ１０から送信された姿勢情報に含まれる角度センサ１３の検出値と、周囲画像に作業装置３３０が含まれているか否かの判定結果とが予め対応付けられた記憶装置に記憶された判定テーブルを参照することで、周囲画像に作業装置３３０が含まれているか否かを判定してもよい。

　表示制御部２２２は、通信部２１がスレーブ１０から受信した周囲画像を表示装置２３に表示させる。また、表示制御部２２２は、判定部２２１により周囲画像に作業装置３３０が含まれていないと判定された場合、通信部２１が受信した姿勢情報から作業装置３３０の位置を算出し、算出した位置をオペレータに知らせるための表示オブジェクトを周囲画像と共に表示装置２３に表示する。

　表示装置２３は、マスター２０の座席前方に設けられた液晶ディスプレイ及び有機ＥＬディスプレイ等の表示装置で構成され、通信部２１がスレーブ１０から受信した周囲画像を表示する。また、表示装置２３は、表示制御部２２２の制御の下、表示オブジェクトを表示させたり表示させなかったりする。マスター２０のオペレータは、表示装置２３に表示された周囲画像を見ながら、建設機械３０を遠隔操作する。

　操作レバー２４は、建設機械３０が備える操作レバー３１に対応しており、建設機械３０を遠隔操作するオペレータからの操作を受け付ける。本実施の形態では、操作レバー２４は、建設機械３０の作業装置３３０を操作するためのオペレータの操作を受け付ける操作レバーとして説明する。例えば、操作レバー２４は、前方に傾倒されるとブーム３３１を倒伏させ、後方に傾倒されるとブーム３３１を起伏させ、左方に傾倒されるとアタッチメント３３３を運転席側に揺動させ、右方に傾倒されるとアタッチメント３３３を運転席から反対側に揺動させる前後左右の４方向に傾倒可能なＡＴＴ（アタッチメント）レバーで構成されてもよい。或いは、操作レバー２４は、建設機械３０を前進又は後進させる走行レバーで構成されてもよい。或いは、操作レバー２４は、アーム３３２を揺動させ、且つ、上部旋回体３２０を旋回させる前後左右の４方向に傾倒可能な旋回レバーで構成されてもよい。或いは、操作レバー２４は、ＡＴＴレバー、走行レバー、及び旋回レバーの３つの操作レバーで構成されていてもよい。いずれにせよ、操作レバー２４は、建設機械３０の操作レバー３１が備える各種の操作レバーに対応するように各種の操作レバーを備えている。

　センサＳ１は、例えば、ポテンショ式のセンサで構成され、操作レバー２４の操作量を検知してコントローラ２２に出力する。ここで、センサＳ１は、操作レバー２４の前後左右のそれぞれの操作量を個別に検知し、コントローラ２２に出力する。なお、センサＳ１は、前後左右のそれぞれの方向において操作レバー２４の傾倒量が増大するにつれて検知する操作量を増大させる。なお、操作レバー２４が複数の操作レバーで構成されている場合、センサＳ１は、各操作レバーに対応して複数のセンサで構成される。

　遮断レバー２５は、ロック位置と解放位置との間で傾倒可能な操作レバーで構成され、操作レバー２４の操作を遮断するためのオペレータからの操作を受け付ける。遮断レバー２５がロック位置に位置決めされると、コントローラ２２は作業装置３３０の姿勢をその状態のまま保持させることで、操作レバー２４への操作を遮断させる。一方、遮断レバー２５が解放位置に位置決めされると、コントローラ２２は作業装置３３０の姿勢保持を解除し、操作レバー２４への操作に応じて作業装置３３０を稼働させる。

　センサＳ２は、遮断レバー２５がロック位置に位置するか、解放位置に位置するかを検出するセンサである。

　スレーブ１０は、通信部１１（第１通信部の一例）、コントローラ１２、角度センサ１３（姿勢検知部の一例）、カメラ１４、及び操作機構１５を備える。

　通信部１１は、通信路１００が採用する通信方式に対応する通信装置で構成され、カメラ１４が取得した周囲画像と、作業装置３３０の姿勢情報とをマスター２０に送信する。また、通信部１１は、マスター２０が受け付けた操作レバー２４の操作量をマスター２０から受信する。

　コントローラ１２は、ＣＰＵ、ＡＳＩＣ等のプロセッサとＲＯＭ及びＲＡＭといった記憶装置とを含むコンピュータで構成されている。コントローラ１２は、マスター２０とスレーブ１０との通信接続が確立されている場合、カメラ１４が取得した周囲画像と、作業装置３３０の姿勢情報とが所定のサンプリング周期で周期的にマスター２０に送信されるよう通信部１１を制御する。

　角度センサ１３は、例えば、リゾルバ又はポテンショ式のセンサで構成され、作業装置３３０の姿勢を検出する。角度センサ１３は、ブーム３３１の上部旋回体３２０に対する角度（ブーム角度）を検知するブームセンサと、アーム３３２のブーム３３１に対する角度（アーム角度）を検知するアームセンサと、アタッチメント３３３のアーム３３２に対する角度（アタッチメント角度）を検知するアタッチメントセンサと、下部走行体３１０に対する上部旋回体３２０の旋回角度を検出する旋回センサとで構成されている。

　したがって、マスター２０の表示制御部２２２は、ブームセンサ、アームセンサ、及びアタッチメントセンサのそれぞれの検出値とブーム３３１、アーム３３２、及びアタッチメント３３３のそれぞれの既知の長さとを用いてアタッチメント３３３の先端位置を算出し、算出した先端位置を作業装置３３０の位置として算出すればよい。そして、表示制御部２２２は、建設機械３０の例えば重心位置を中心とする建設機械３０の３次元のローカル座標空間Ｑ（図２）に、アタッチメント３３３の先端位置をプロットすることで作業装置３３０の位置を算出すればよい。

　操作機構１５は、アクチュエータで構成され、通信部１１により受信された操作量に応じた操作力を発生させるための制御信号が入力され、操作量に応じた操作力を発生させ、建設機械３０の操作レバー３１に付与する。例えば、操作レバー３１が、ＡＴＴレバー、走行レバー、及び旋回レバーで構成されているとすると、操作機構１５は、各操作レバーに対応する３つの操作機構で構成される。また、この例において、ＡＴＴレバーが前後左右の４方向に傾倒可能な操作レバーで構成されている場合、操作機構１５は、前後方向にＡＴＴレバーを傾倒させるアクチュエータと、左右方向にＡＴＴレバーを傾倒させるアクチュエータとを備える。

　カメラ１４は、例えば、ＣＭＯＳセンサー又はＣＣＤセンサーで構成され、操縦席３Ｃ内から建設機械３０の周囲を所定のサンプリング周期で周期的に撮影することで、建設機械３０の周囲を示す周囲画像を取得する。ここで、カメラ１４は、操縦席３Ｃの前方に視線が向くように操縦席３Ｃの内部に取り付けられており、操縦席３Ｃの前方を閉塞する前面ガラスごしに建設機械３０の周囲の画像を撮影する。すなわち、カメラ１４は、操縦席３Ｃの座席にオペレータが着座しているとすれば、そのオペレータが前面ガラスごしに見る景色を撮影する。

　コントローラ１２は、通信部１１が操作レバー２４の操作量を受信した場合、その操作量に応じた制御信号を操作機構１５に出力する。これにより、スレーブ１０はマスター２０を操作するオペレータのダミーになって建設機械３０を直接操作する。

　建設機械３０は、操作レバー３１（操作部材の一例）及びコントローラ３２を備える。操作レバー３１は、建設機械３０の操縦席３Ｃに設けられており、スレーブ１０の操作機構１５から操作力が付与されることで傾倒される。操作レバー３１は、マスター２０の操作レバー２４と同様、ＡＴＴレバー、走行レバー、及び旋回レバーの少なくとも１又は複数で構成されている。この場合、操作レバー３１を構成するＡＴＴレバー及び旋回レバーの少なくとも１又は複数はマスター２０の操作レバー２４を構成するＡＴＴレバー及び旋回レバーと同様に、前後左右の４方向に傾倒可能な操作レバーで構成される。また、操作レバー３１を構成する走行レバーは、マスター２０の操作レバー２４を構成する走行レバーと同様、前後の２方向に傾倒可能な操作レバーで構成される。

　コントローラ３２は、操作レバー３１が一定時間操作がされていない場合、建設機械３０のエンジンをアイドル状態にするデセルレイター機能を作動させる。

　図３は、マスター２０の表示装置２３に表示される表示画面Ｇ３の一例を示す図である。表示画面Ｇ３は、周囲画像Ｇ３１と周囲画像Ｇ３１の周囲を覆う余白領域Ｇ３２とを備えている。図３の例では、周囲画像Ｇ３１の外枠形状は、操縦席３Ｃの前面ガラスの形状を模擬して、下側に向かうにつれて横幅が徐々に短くなる矩形形状で構成されている。

　図３の上側に示す表は本実施の形態で用いられる表示オブジェクトの種類を纏めた表である。本実施の形態では、表示オブジェクトは、２次元矢印画像ＯＡ、３次元矢印画像ＯＢ、建設機械画像ＯＣ、及び作業装置画像ＯＤのいずれか１つが採用される。

　２次元矢印画像ＯＡは、操縦席３Ｃに対して作業装置３３０のアタッチメント３３３の先端位置を２次元的に示す矢印状の画像である。図２を参照して、作業装置３３０のローカル座標空間Ｑは、建設機械３０の例えば重心に原点が設定され、高さ方向にＹ軸、左右方向にＸ軸、前後方向にＺ軸が設定されている。Ｘ軸、Ｙ軸、Ｚ軸は相互に直交している。

　図２において、アタッチメント３３３の先端位置が点Ｐ１に位置する場合、表示制御部２２２は、ローカル座標空間Ｑ内の所定の基準位置Ｏ１から点Ｐ１に向かう３次元ベクトルＶ１を算出する。そして、表示制御部２２２は、操縦席３Ｃの前面と平行なＸＹ平面への３次元ベクトルＶ１の射影ベクトルを求め、その射影ベクトルと同一方向に向く所定長さの矢印状の画像を２次元矢印画像ＯＡとして生成する。そして、表示制御部２２２は、表示画面Ｇ３上の所定の表示位置に２次元矢印画像ＯＡを表示する。基準位置Ｏ１は、表示画面Ｇ３における２次元矢印画像ＯＡの表示位置に対応するローカル座標空間Ｑ上の位置が採用される。図３では、周囲画像Ｇ３１の左上の所定の位置が２次元矢印画像ＯＡの表示位置とされている。そのため、この場合、基準位置Ｏ１のＸ成分及びＹ成分は、例えば、この表示位置に対応するローカル座標空間ＱのＸ座標及びＹ座標が採用され、基準位置Ｏ１のＺ成分は、例えば、前面ガラスの座標が採用される。

　３次元矢印画像ＯＢは、操縦席３Ｃに対して作業装置３３０のアタッチメント２３３の先端位置を３次元的に示す矢印状の画像である。ここでは、３次元矢印画像ＯＢは、斜め方向に延びる２本の三角柱のそれぞれを長手方向に対して鋭角に切断し、切断面同士を貼り合わせた楔型の楔部ＯＢ１と、楔部ＯＢ１に挟まれた球体部ＯＢ２とを含む３次元モデルを仮想スクリーンに投影することで得られた画像であり、楔部ＯＢ１の先端Ｅ１の向きにより作業装置３３０の方向を示す。なお、仮想スクリーンは、例えば、操縦席３Ｃの前面ガラスに対応するローカル座標空間Ｑ内の位置に設定される。

　表示制御部２２２は、２次元矢印画像ＯＡの場合と同様、３次元ベクトルＶ１を求め、３次元矢印画像ＯＢの３次元モデルの先端Ｅ１が３次元ベクトルＶ１の終点（点Ｐ１）を向くように基準位置Ｏ１に当該３次元モデルを配置する。そして、表示制御部２２２は、配置した３次元モデルを仮想スクリーンに投影することで３次元矢印画像ＯＢを生成し、表示画面Ｇ３に表示する。図３の例では、周囲画像Ｇ３１の中央位置が３次元矢印画像ＯＢの表示位置とされているので、基準位置Ｏ１のＸ成分及びＹ成分は、例えば、中央位置のＸ成分及びＹ成分に対応するローカル座標空間ＱのＸ座標及びＹ座標が採用され、Ｚ成分は、例えば、前面ガラスから前方に所定距離離間したローカル座標空間ＱのＺ座標が採用される。

　なお、表示制御部２２２は、２次元矢印画像ＯＡ又は３次元矢印画像ＯＢを採用する場合、操縦席３Ｃに対する作業装置３３０のアタッチメント３３３の先端位置が近づくにつれて２次元矢印画像ＯＡ又は３次元矢印画像ＯＢのサイズを大きく表示してもよい。この場合、表示制御部２２２は、３次元ベクトルＶ１のノルムが小さいほど、拡大率が増大するように両者の関係を規定するテーブル又は関数を予め備えておき、このテーブル又は関数を用いて３次元ベクトルＶ１の大きさに対応する拡大率を決定する。そして、表示制御部２２２は、デフォルトのサイズを持つ２次元矢印画像ＯＡ又は３次元矢印画像ＯＢの３次元モデルに対して、決定した拡大率を乗じることで、２次元矢印画像ＯＡ又は３次元矢印画像ＯＢの３次元モデルを拡大すればよい。なお、拡大率は、０以上の値を持ち、１以下の場合、２次元矢印画像ＯＡ又は３次元矢印画像ＯＢは縮小されることになる。

　図３を参照する。建設機械画像ＯＣは、側面視からの建設機械３０の実際の姿勢を模擬した画像である。表示制御部２２２は、角度センサ１３の検出値に含まれるブーム角度、アーム角度、アタッチメント角度、及び旋回角度を用いて、側面視からのデフォルト姿勢の建設機械３０の画像を修正することで、建設機械画像ＯＣを生成する。そして、表示制御部２２２は、生成した建設機械画像ＯＣを表示画面Ｇ３上の所定の表示位置に表示する。図３の例では、建設機械画像ＯＣは余白領域Ｇ３２内の左中央の位置に表示されている。デフォルト姿勢としては、例えば、下部走行体３１０及び上部旋回体３２０が共に正面を向いており、且つ、ブーム角度、アーム角度、及びアタッチメント角度がそれぞれ所定のデフォルト角度にあるときの姿勢が採用できる。

　作業装置画像ＯＤは、上部旋回体３２０に対する現在の作業装置３３０の姿勢を示す画像である。表示制御部２２２は、作業装置３３０の姿勢に応じた作業装置画像ＯＤが、ブーム角度、アーム角度、及びアタッチメント角度と対応付けて登録された作業装置画像テーブルを予め備えている。そして、表示制御部２２２は、角度センサ１３の検出値に含まれるブーム角度、アーム角度、及びアタッチメント角度の組み合わせに対応する作業装置画像ＯＤを作業装置画像テーブルから読み出して、表示画面Ｇ３上の所定の位置に表示すればよい。図３の例では、作業装置画像ＯＤは周囲画像Ｇ３１の上部の中央に表示されている。

　図４は、表示オブジェクトの表示位置のパターンを示す図である。図４の上側に示す表は表示位置のパターンを纏めた表である。図４に示す表示画面Ｇ３では、３つのパターンＰＡ，ＰＢ，ＰＣが示されている。パターンＰＡは、表示オブジェクトＯＢＸの全域を周囲画像Ｇ３１に重畳表示するパターンである。パターンＰＢは、表示オブジェクトＯＢＸの一部を周囲画像Ｇ３１に重畳表示し、表示オブジェクトＯＢＸの残りを余白領域Ｇ３２に重畳表示するパターンである。パターンＰＣは、表示オブジェクトＯＢＸの全域を余白領域Ｇ３２に重畳表示するパターンである。

　表示制御部２２２は、パターンＰＡ～ＰＣのうちのいずれか１のパターンで表示オブジェクトＯＢＸを表示する。図４の例では、パターンＰＡとして、３次元矢印画像ＯＢからなる表示オブジェクトＯＢＸを周囲画像Ｇ３１の中央に表示するパターンが示されている。また、パターンＰＢとして、３次元矢印画像ＯＢからなる表示オブジェクトＯＢＸを周囲画像Ｇ３１の上側において一部が周囲画像Ｇ３１に重畳表示されるパターンが示されている。また、一つ目のパターンＰＣとして、３次元矢印画像ＯＢからなる表示オブジェクトＯＢＸの全域を余白領域Ｇ３２の上側に表示するパターンが示されている。また、二つ目のパターンＰＣとして、建設機械画像ＯＣからなる表示オブジェクトＯＢＸの全域を余白領域Ｇ３２の左側に表示するパターンが示されている。

　図４の例では、パターンＰＡ、ＰＢ、及び一つ目のパターンＰＣとして３次元矢印画像ＯＢが用いられているが、これは一例であり、図３で示した、２次元矢印画像ＯＡ、建設機械画像ＯＣ、又は作業装置画像ＯＤが採用されてもよい。また、二つ目のパターンＰＣとして建設機械画像ＯＣが用いられているが、２次元矢印画像ＯＡ、３次元矢印画像ＯＢ、又は作業装置画像ＯＤが採用されてもよい。なお、２次元矢印画像ＯＡ及び３次元矢印画像ＯＢを採用した場合、図２で示す基準位置Ｏ１の座標は、パターンＰＡ～ＰＣで示される表示位置に対応するローカル座標空間Ｑの座標が採用される。

　また、パターンＰＡにおける表示オブジェクトＯＢＸの表示位置としては、図４に示す周囲画像Ｇ３１の中央に限定されず、周囲画像Ｇ３１内であり、且つ、表示オブジェクトＯＢＸが周囲画像Ｇ３１からはみ出さない位置であれば、どのような位置が採用されてもよい。また、パターンＰＢにおける表示オブジェクトＯＢＸの表示位置としては、図４に示す周囲画像Ｇ３１の上縁に跨る位置に限定されず、周囲画像Ｇ３１の左縁、右縁、又は下縁に跨る位置が採用されてもよい。また、パターンＰＣにおける表示オブジェクトＯＢＸの表示位置としては、図４に示す上側の余白領域Ｇ３２に限定されず、左側、右側、又は下側の余白領域が採用されてもよい。

　図５は、本実施の形態に係る表示オブジェクトＯＢＸの表示・非表示タイミングを纏めた表である。本実施の形態では、表示オブジェクトＯＢＸの表示・非表示タイミングのパターンは７つある。図５において、「表示系」は表示装置２３への表示オブジェクトＯＢＸの表示の有無を示す。「操作レバーの操作」は操作レバー２４がオペレータによって操作されているか否かを示す。「作業装置の位置」は周囲画像Ｇ３１に作業装置３３０が含まれているか否かを示す。「無操作経過時間」は操作レバー２４への操作がされなくなってからの経過時間が一定時間以上経過したか否かを示す。「システムの状態」はスレーブ１０とマスター２０との間で通信接続が確立されているか否かを示す。また、「システムの状態」において、「通信開始」はスレーブ１０とマスター２０との間で通信が開始された直後の状態を示す。「デセルレイター機能」はデセルレイター機能が作動中であるか否かを示す。「遮断レバー」は、遮断レバー２５がロックされているか否かを示す。

　パターン「１」では、表示制御部２２２は、操作レバー２４が操作されている場合、周囲画像Ｇ３１に作業装置３３０が含まれているか否かに拘わらず、表示オブジェクトＯＢＸを表示しない。これは、操作レバー２４の操作中においては周囲画像Ｇ３１から作業装置３３０が消失しても現在の操作からオペレータは作業装置３３０の位置をある程度予想でき、表示オブジェクトＯＢＸを表示させると却って作業の妨げになるとの考えに基づくものである。

　パターン「２」では、表示制御部２２２は、周囲画像Ｇ３１に作業装置３３０が含まれている場合、表示オブジェクトＯＢＸを表示しない。これは、周囲画像Ｇ３１に作業装置３３０が含まれている場合、表示オブジェクトＯＢＸを表示しなくても、オペレータは作業装置３３０の位置を認識できるとの考えに基づくものである。

　パターン「３」では、表示制御部２２２は、周囲画像Ｇ３１に作業装置３３０が含まれていない場合、操作レバー２４が操作されていない状態が一定時間以上継続されるまでは、表示オブジェクトＯＢＸの非表示を継続させる。

　パターン「４」は、パターン「３」の裏返しであり、表示制御部２２２は、周囲画像Ｇ３１に作業装置３３０が含まれていない場合、操作レバー３１が操作されていない状態が一定時間以上継続された後で、表示オブジェクトＯＢＸを表示する。これは、周囲画像Ｇ３１に対して作業装置３３０の出現と消失とが短時間に繰り返される場面において、表示オブジェクトＯＢＸの表示と非表示とが短時間に繰り返されるチャタリングの発生を防止するとの考えに基づくものである。なお、一定時間としては５秒、１０秒、３０秒、１分等の適宜設定された値が採用できる。

　パターン「５」において、表示制御部２２２は、マスター２０とスレーブ１０との通信開始時において周囲画像Ｇ３１に作業装置３３０が含まれていない場合、操作レバー２４が操作されているか否かに拘わらず、表示オブジェクトＯＢＸを表示する。これは、通信開始時において、周囲画像Ｇ３１に作業装置３３０が出現していない場合、オペレータが作業装置３３０の位置を認識できなくなることを防止させるとの考えに基づくものである。

　パターン「６」において、表示制御部２２２は、遮断レバー２５がロック状態にされ、且つ、周囲画像Ｇ３１に作業装置３３０が含まれていない場合、操作レバー２４が操作されているか否かに拘わらず、表示オブジェクトＯＢＸを表示する。

　これは、遮断レバー２５がロック状態にされており、作業装置３３０の作業が休止されている場合は、周囲画像Ｇ３１に作業装置３３０が含まれていなければ、表示オブジェクトＯＢＸを表示させて、オペレータに作業装置３３０の位置を認識させるのが好ましいとの考えに基づくものである。

　パターン「７」において、表示制御部２２２は、デセルレイター機能が作動中、且つ、周囲画像Ｇ３１に作業装置３３０が含まれていない場合、操作レバー２４が操作されているか否かに拘わらず、表示オブジェクトＯＢＸを表示する。これは、デセルレイター機能が作動中であり、作業装置３３０による作業が休止されている場合、周囲画像Ｇ３１に作業装置３３０が含まれていなければ、表示オブジェクトＯＢＸを表示させて、オペレータに作業装置３３０の位置を認識させるのが望ましいとの考えに基づいている。

　図６は、本発明の実施の形態に係る遠隔操作システムの処理の一例を示すフローチャートである。なお、図６のフローチャートは繰り返し実行される。Ｓ１０１では、判定部２２１は、周囲画像Ｇ３１の作業装置３３０が含まれているか否かを判定する。周囲画像Ｇ３１に作業装置３３０が含まれている場合（Ｓ１０１でＹＥＳ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示しない（Ｓ１０７）。

　周囲画像Ｇ３１に作業装置３３０が含まれていない場合（Ｓ１０１でＮＯ）、表示制御部２２２は、センサＳ２の検出結果から遮断レバー２５がロック位置にあるか否かを判定する（Ｓ１０２）。遮断レバー２５がロック位置にあると判定された場合（Ｓ１０２でＹＥＳ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示する（Ｓ１０３）。これにより、パターン「６」が実現される。

　一方、遮断レバー２５がロック位置にないと判定された場合（Ｓ１０２でＮＯ）、表示制御部２２２は、デセルレイター機能が作動中であるか否かを判定する（Ｓ１０４）。デセルレイター機能が作動中であると判定された場合（Ｓ１０４でＹＥＳ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示する（Ｓ１０３）。これにより、パターン「７」が実現される。

　一方、デセルレイター機能が作動中でないと判定された場合（Ｓ１０４でＮＯ）、表示制御部２２２は、センサＳ１の検出結果から操作レバー２４が操作中であるか否かを判定する（Ｓ１０５）。ここで、表示制御部２２２は、センサＳ１が検出した操作レバー２４の操作量が０でなければ、操作中であると判定し、センサＳ１が検出した操作レバー２４の操作量が０であれば、操作中でないと判定すればよい。

　操作レバー２４が操作中の場合（Ｓ１０５でＹＥＳ）、表示制御部２２２は、表示オブジェクトを表示画面Ｇ３に表示しない（Ｓ１０７）。一方、操作レバー２４が操作中でない場合（Ｓ１０５でＮＯ）、表示制御部２２２は、操作レバー２４の操作が停止されてから一定時間以上経過したか否かを判定する（Ｓ１０６）。操作レバー２４の操作が停止されてから一定時間以上経過した場合（Ｓ１０６でＹＥＳ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示する（Ｓ１０３）。一方、操作レバー２４の操作が停止されてから一定時間以上経過していない場合（Ｓ１０６でＮＯ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示しない（Ｓ１０７）。Ｓ１０５でＮＯ、Ｓ１０６でＹＥＳ、且つ、Ｓ１０３のフローにより、周囲画像Ｇ３１から作業装置３３０が消失した場合、操作レバー２４が操作中でない状態が一定時間以上経過した後で、表示オブジェクトＯＢＸが表示画面Ｇ３に表示されることになる。これにより、パターン「３」、「４」が実現される。

　また、Ｓ１０１でＹＥＳ且つＳ１０７のフローと、Ｓ１０５でＹＥＳ且つＳ１０７のフローとにより、操作レバー２４の操作中は、周囲画像Ｇ３１に作業装置３３０があるか否かに拘わらず、表示オブジェクトＯＢＸが表示されないことになる。これにより、パターン「１」が実現される。

　また、Ｓ１０１でＹＥＳの場合、処理がＳ１０７に進められている。これにより、パターン「２」が実現される。

　図７は、本発明の実施の形態に係る遠隔操作システムの通信開始時の処理の一例を示すフローチャートである。Ｓ２０１では、マスター２０の表示制御部２２２は、マスター２０とスレーブ１０との通信が開始されたか否かを判定する。ここで、通信の開始は、例えば、マスター２０のオペレータがマスター２０の電源を投入後、接続要求の送信指示をマスター２０の入力装置（図略）に入力し、マスター２０がその接続要求をスレーブ１０に送信することで行われる。ここで、接続要求にはスレーブ１０の識別情報等が含まれている。接続要求を受信したスレーブ１０は識別情報に基づいて認証処理を行い、認証を許可すると接続応答をマスター２０に送信する。これにより、マスター２０とスレーブ１０との通信接続が確立され、両者の間での通信が開始される。

　通信が開始されると（Ｓ２０１でＹＥＳ）、処理はＳ２０２に進み、通信が開始されなければ（Ｓ２０１でＮＯ）、処理はＳ２０１で待機する。

　Ｓ２０２では、判定部２２１は、周囲画像Ｇ３１に作業装置３３０が含まれているか否かを判定する。周囲画像Ｇ３１に作業装置３３０が含まれている場合（Ｓ２０２でＹＥＳ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示しない（Ｓ２０４）。一方、周囲画像Ｇ３１に作業装置３３０が含まれていない場合（Ｓ２０２でＮＯ）、表示制御部２２２は、表示オブジェクトＯＢＸを表示画面Ｇ３に表示する（Ｓ２０３）。これにより、通信開始時に周囲画像Ｇ３１に作業装置３３０が含まれていない場合に、表示オブジェクトＯＢＸが表示され、パターン「５」が実現される。

　このように、本実施の形態によれば、建設機械３０の操縦席３Ｃ内から撮影された建設機械３０の周囲画像Ｇ３１に作業装置３３０が含まれていない場合、作業装置３３０の位置をオペレータに知らせるための表示オブジェクトＯＢＸがマスター２０の表示画面に表示される。

　そのため、マスター２０の表示装置２３に表示される周囲画像Ｇ３１から作業装置３３０が消失したとしても、作業装置３３０の位置をマスター２０のオペレータに認識させることができる。その結果、オペレータに作業装置３３０を安心して操作させることができ、オペレータの作業負担を軽減できる。

　また、図６のフローは繰り返し実行されるので、表示オブジェクトＯＢＸは表示画面Ｇ３内でリアルタイム表示されることになる。

　なお、周囲画像Ｇ３１から作業装置３３０が消失することを防止するために、操縦席３Ｃ内に全方位カメラを設置し、全方位の周囲画像を撮影することも考えられる。しかし、この方法では、周囲画像のデータ量が増大するため主操作装置と従操作装置との通信トラフィックが嵩むと共に、マスターの表示装置の大画面化を招来するという課題が生じる。

　本実施の形態では、全方位カメラを設置しなくとも、作業装置３３０が周囲画像Ｇ３１から消失した場合、その位置をオペレータに知らせることができるので、このような課題を解決できる。

　本発明は以下の変形例が採用できる。

　（１）図４において、余白領域Ｇ３２に表示オブジェクトＯＢＸを表示するパターンＰＣを採用する場合、表示制御部２２２は、周囲画像Ｇ３１に作業装置３３０が含まれるか否かに拘わらず、表示オブジェクトＯＢＸを常時表示してもよい。特に、表示オブジェクトＯＢＸとして建設機械画像ＯＣ又は作業装置画像ＯＤを採用する場合、オペレータに建設機械３０の姿勢を俯瞰させることができるため、表示オブジェクトＯＢＸを常時表示させることが好ましい。

　（２）図４において、余白領域Ｇ３２に表示オブジェクトＯＢＸとして建設機械画像ＯＣ又は作業装置画像ＯＤを常時表示させるパターンＰＣと、２次元矢印画像ＯＡ又は３次元矢印画像ＯＢの全域を周囲画像Ｇ３１と重畳表示させるパターンＰＡとを組み合わせた表示態様が採用されてもよい。この場合、２次元矢印画像ＯＡ又は３次元矢印画像ＯＢは、図５に示すパターン「１」～「７」にしたがって表示及び非表示を決定する態様が採用されればよい。

Claims

　作業装置を含む建設機械を遠隔操作する遠隔操作システムであって、
　前記建設機械を遠隔操作するための主操作装置と、前記建設機械に搭載され、前記主操作装置が受け付けた操作に基づいて前記作業装置を操作する従操作装置とを備え、
　前記従操作装置は、
　前記建設機械の操縦席内から前記建設機械の周囲を撮影した周囲画像を取得するカメラと、
　前記作業装置の姿勢を検知する姿勢検知部と、
　前記周囲画像及び前記姿勢検知部が検知した前記作業装置の姿勢を示す姿勢情報を前記主操作装置に送信する第１通信部とを備え、
　前記主操作装置は、
　オペレータの操作を受け付ける操作部材と、
　前記従操作装置から送信された前記周囲画像及び前記姿勢情報を受信する第２通信部と、
　前記第２通信部が受信した前記周囲画像を含む表示画面を表示する表示装置と、
　前記第２通信部が受信した前記周囲画像に前記作業装置が含まれているか否かを判定する判定部と、
　前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記第２通信部が受信した前記姿勢情報から前記作業装置の位置を算出し、算出した前記位置を前記オペレータに知らせるための表示オブジェクトを前記表示画面に表示する表示制御部とを備える遠隔操作システム。
　前記表示制御部は、前記表示オブジェクトの少なくとも一部を前記周囲画像に重畳表示する請求項１記載の遠隔操作システム。
　前記表示制御部は、前記判定部により前記周囲画像に前記作業装置が含まれていると判定された場合、前記表示オブジェクトの表示を停止する請求項２記載の遠隔操作システム。
　前記表示制御部は、前記操作部材が操作されている場合、前記判定部による判定結果に拘わらず、前記表示オブジェクトの表示を停止する請求項２又は３記載の遠隔操作システム。
　前記表示制御部は、前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記操作部材が操作されていない状態が一定時間以上継続された後で、前記表示オブジェクトを表示する請求項２～４のいずれかに記載の遠隔操作システム。
　前記表示制御部は、前記主操作装置と前記従操作装置との通信開始時において前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記操作部材が操作されているか否かに拘わらず、前記表示オブジェクトを表示する請求項２～５のいずれかに記載の遠隔操作システム。
　前記主操作装置は、前記操作部材の操作を遮断するためのオペレータからの操作を受け付ける遮断レバーを更に備え、
　前記表示制御部は、前記遮断レバーがロック状態にされ、且つ、前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記操作部材が操作されているか否かに拘わらず、前記表示オブジェクトを表示する請求項２～６のいずれかに記載の遠隔操作システム。
　前記建設機械は、前記操作部材が一定時間操作されていない場合、前記建設機械のエンジンをアイドル状態にするデセルレイター機能を備え、
　前記表示制御部は、前記デセルレイター機能が作動中、且つ、前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記表示オブジェクトを表示する請求項２～７のいずれかに記載の遠隔操作システム。
　前記表示オブジェクトは、前記作業装置が位置する方向を３次元的に示す矢印画像で構成されている請求項１～８のいずれかに記載の遠隔操作システム。
　前記表示オブジェクトは、前記作業装置が位置する方向を２次元的に示す矢印画像で構成されている請求項１～８のいずれかに記載の遠隔操作システム。
　前記表示オブジェクトは、側面視からの前記建設機械の実際の姿勢を模擬した建設機械画像で構成されている請求項１～８のいずれかに記載の遠隔操作システム。
　前記表示オブジェクトは、前記作業装置の実際の姿勢を模擬した作業装置画像で構成されている請求項１～８のいずれかに記載の遠隔操作システム。
　前記表示制御部は、前記操縦席に対する前記作業装置の位置が近づくにつれて前記矢印画像のサイズを大きく表示する請求項９又は１０記載の遠隔操作システム。
　前記表示制御部は、前記操縦席に対して前記作業装置が位置する方向を前記周囲画像に投影した方向に前記矢印画像の先端を向ける請求項９又は１０記載の遠隔操作システム。
　前記表示制御部は、前記周囲画像に隣接して余白領域が含まれるように前記周囲画像を前記表示装置に表示させ、前記表示オブジェクトを前記余白領域に表示する請求項１に記載の遠隔操作システム。
　作業装置を含む建設機械を遠隔操作するための遠隔操作システムにおける主操作装置であって、
　オペレータの操作を受け付ける操作部材と、
　前記主操作装置と通信可能に接続された従操作装置から送信された前記建設機械の操縦席から前記建設機械の周囲を撮影した周囲画像及び前記作業装置の姿勢を示す姿勢情報を受信する通信部と、
　前記通信部が受信した前記周囲画像を含む表示画面を表示する表示装置と、
　前記通信部が受信した前記周囲画像に前記作業装置の画像が含まれているか否かを判定する判定部と、
　前記判定部により前記周囲画像に前記作業装置が含まれていないと判定された場合、前記通信部が受信した前記姿勢情報から前記作業装置の前記建設機械における位置を算出し、算出した前記位置を前記オペレータに知らせるための表示オブジェクトを前記表示画面に表示する表示制御部とを備える主操作装置。