WO2023026568A1

WO2023026568A1 - 遠隔操作システムおよび遠隔操作複合システム

Info

Publication number: WO2023026568A1
Application number: PCT/JP2022/015904
Authority: WO
Inventors: 均佐々木; 誠司佐伯; 洋一郎山▲崎▼
Original assignee: コベルコ建機株式会社
Priority date: 2021-08-27
Filing date: 2022-03-30
Publication date: 2023-03-02
Also published as: EP4365376A1

Abstract

処理負荷の軽減を図り、作業機械の下部走行体の前後方向を簡易な構成で示すことが可能な遠隔操作システムを提供する。遠隔操作システムは、下部走行体（４３０）及び下部走行体（４３０）に対して旋回可能な上部旋回体（４５０）を有する作業機械（４０）と、作業機械（４０）を遠隔操作するための遠隔操作装置（２０）と、のそれぞれとの相互通信機能を有する。遠隔操作システムは、作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、下部走行体（４３０）の映り込み態様と、下部走行体（４３０）の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、下部走行体（４３０）の前後方向の少なくとも一方を示す指標画像を撮像画像における作業機械（４０）又はその周囲に少なくとも部分的に重畳した合成画像を遠隔操作装置（２０）に送信する支援処理要素（１０１）を有する。

Description

遠隔操作システムおよび遠隔操作複合システム

　本発明は、作業機械と、当該作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムに関する。

　従来、作業機械の周囲を撮影するカメラ、又は当該作業機械を互いに異なる角度で撮像可能なカメラを複数台設け、当該複数のカメラによって撮像された複数の撮像画像を用いて、作業機械の俯瞰画像を生成することが行われている。

　このような作業機械の一例として、例えば、油圧ショベルの周囲を撮像する複数のカメラと、複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、を備えた油圧ショベルが特許文献１に開示されている。

　また、例えば、油圧ショベル等の作業機械は、下部走行体と、この下部走行体に対して旋回可能な上部旋回体を備えている。また、上部旋回体には運転室を構成するキャブが設けられている。

　このような作業機械では、下部走行体に対して上部旋回体が旋回することにより、キャブの正面方向と、作業機械の前進方向又は後退方向と、が相互に異なる方向となる可能性がある。このため、オペレータは、走行操作をしたときに何れの方向に作業機械が進行するのかが分かりにくいという問題がある。

　そこで、キャブ内に設けたモニターに作業機械の進行方向を矢印で示すことが行われている。例えば、特許文献２においては、下部走行体に対して上部旋回体が旋回可能であり、且つ、機械周辺を撮影するカメラを備え、前記カメラが撮影した画像をキャブ内に配置されたモニター画面に表示する建設機械のモニター装置が開示されている。

特開２０２０－１１２０３０号公報特許第５４７３８７０号公報

　しかしながら、オペレータは、当該俯瞰画像を見ただけでは下部走行体の前後方向を認識することは困難である。そのため、オペレータは、下部走行体の前後方向を認識するために、下部走行体を前進又は後退させなければならない問題がある。

　また、特許文献２のモニター装置では、モニター画面に表示された画像の時間変化により、上部旋回体に対する下部走行体の相対角度を推定する。このため、相対角度を推定するために複雑な画像処理が必要となり、処理負荷が高くなる問題がある。

　本発明は、かかる問題に鑑みてなされたものであり、処理負荷の軽減を図り、かつ簡易な構成で作業機械の前進方向又は後退方向を示すことが可能な遠隔操作システムおよび該遠隔操作システムを含む遠隔操作複合システムを提供することを目的とする。

　かかる目的を達成するため本発明の遠隔操作システムは、下部走行体及び前記下部走行体に対して旋回可能な上部旋回体を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、前記作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、前記下部走行体の映り込み態様と、前記下部走行体の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向の少なくとも一方を示す指標画像を前記撮像画像における前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する支援処理要素と、を有する。

　また、本発明の遠隔操作複合システムは、前記遠隔操作システムと、前記遠隔操作装置および前記作業機械のうち少なくとも一方と、により構成されている。

　本発明の遠隔操作システムおよび遠隔操作複合システムによれば、撮像画像に作業機械の下部走行体の前後方向を示す指標画像が重畳した合成画像が生成され、当該合成画像が遠隔操作装置に送信されることにより、オペレータは、当該合成画像を目視することにより容易に作業機械の下部走行体の前後方向を把握できる。

本発明の一実施形態としての作業支援システムの構成説明図である。図１の遠隔操作装置の構成に関する説明図である。図１の作業機械の構成に関する説明図である。図１の作業機械の周囲の環境に関する説明図である。作業支援システムの作業支援処理を示すフローチャートである。図２の遠隔操作装置の画像出力装置の表示態様を示す説明図である。図５の合成画像生成処理の説明図である。図２の遠隔操作装置の画像出力装置の他の表示態様を示す説明図である。作業支援システムの他の作業支援処理を示すフローチャートである。第１撮像画像の第１の表示態様を示す説明図である。第１撮像画像の第２の表示態様を示す説明図である。第１撮像画像の第３の表示態様を示す説明図である。本発明の一実施形態としての作業支援システムの構成説明図である。図１３の遠隔操作装置の構成に関する説明図である。図１３の作業機械の構成に関する説明図である。作業支援サーバによる作業支援処理の例を示すフローチャートである。図１６の前進後退方向算出処理の例を示すフローチャートである。撮像装置による撮影された画像の例を示す説明図である。撮像装置による撮影された画像の例を示す説明図である。撮像装置による撮影された画像の例を示す説明図である。撮像装置による撮影された画像の例を示す説明図である。撮像装置による撮影された画像の例を示す説明図である。作業支援サーバによる作業支援処理の他の例を示すフローチャートである。

　（実施例１）
　（遠隔操作システムの構成）
　図１に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置２０による複数の作業機械４０の遠隔操作を支援するための作業支援サーバ１０により構成されている。作業支援サーバ１０、遠隔操作装置２０、複数の作業機械４０、第１撮像装置５０および第２撮像装置６０のそれぞれは、共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、作業支援サーバ１０は、複数の作業機械４０と接続可能にされているが、作業支援サーバ１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。また、本図においては、第１撮像装置５０及び、第２撮像装置６０がネットワークを介して相互に通信可能に接続されているが、当該ネットワークに接続される撮像装置は、２台以上であってもよいし、１台のみでもよい。

　実施例１は、作業支援サーバ１０を、複数の作業機械４０と、当該複数の作業機械４０のうち遠隔操作対象となる一の作業機械４０を遠隔操作するための遠隔操作装置２０と、のそれぞれとの相互通信機能を有する遠隔操作システムである。

　本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

　（作業支援サーバの構成）
　作業支援サーバ１０は、支援処理要素１０１を含む遠隔操作支援装置１００と、データベース１１０と、サーバ無線通信機器１２２と、を備えている。

　支援処理要素１０１は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

　データベース１１０は、第１撮像装置５０及び、第２撮像装置６０等の撮像装置によって撮像された撮像画像データ等を記憶保持する。データベース１１０は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、オペレータによる操作の受付状態を切り替える遮断レバーと、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４３０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４４０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４６２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４６４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４６６を動かすために操作される。

　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータＯＰ１が着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰ１が着座できる任意の形態の着座部であってもよい。

　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰ１の操作指示によって任意に変更されてもよい。

　図略の遮断レバーは、シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられており、上げられた（ＯＦＦにされた）場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた（ＯＮにされた）場合に当該ロックを解除するための操作レバーとして機能する。

　遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。

　画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び中央画像出力装置２２１０の下方に配置された略矩形状の画面を有する下側画像出力装置２２１３により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

　中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

　（作業機械の構成）
　図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４６０と、を備えている。

　実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図３に示されているように、下部走行体４３０と、下部走行体４３０に旋回機構４４０を介して旋回可能に搭載されている上部旋回体４５０と、を備えている。上部旋回体４５０の前方左側部にはキャブ４５４（運転室）が設けられている。上部旋回体４５０の前方中央部には作動機構４６０が設けられている。

　下部走行体４３０は、図４に示されているように、左右一対のクローラ４３０ａ、４３０ｂを備える。また、下部走行体４３０は、図３にも示すように、右側のクローラ４３０ａを駆動させるための駆動部材４３１及び、左側のクローラ４３０ｂを駆動させるための駆動部材４３１を備えている。駆動部材４３１は、下部走行体４３０の前後方向における後方側に偏在して配置されている指定構成要素の１つである。駆動部材４３１としては、例えば、駆動モータ、駆動モータに係合する歯車等が挙げられる。

　実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２ａと、アタッチ撮像装置４１２ｂと、後方撮像装置４１２ｃと、を備えている。実機操作機構４１１は、キャブ４５４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。

　遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５４に設けられている。

　実機撮像装置４１２ａ（以後、メインカメラとも称される）は、例えばキャブ４５４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４６０の少なくとも一部を含む環境を撮像する。当該撮像画像には、フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

　アタッチ撮像装置４１２ｂ（以後、アタッチカメラとも称される）は、例えばアーム４６３に設置され、アタッチメントであるバケット４６５の少なくとも一部を含む環境を撮像する。

　後方撮像装置４１２ｃ（以後、後方カメラとも称される）は、例えば、上部旋回体４５０において、キャブ４５４のシートからみてフロントウィンドウが設けられている方向を前方とした場合、キャブ４５４の後方を撮像可能にボンネット（図示せず）やカウンタウェイト（図示せず）又はキャブ４５４に設けられている。

　実機入力インターフェース４１０は、実機状態センサ群（図示せず）を含む。実機状態センサ群（図示せず）は、上部旋回体４５０に対するブーム４６１の回動角度（起伏角度）、ブーム４６１に対するアーム４６３の回動角度、および、アーム４６３に対するバケット４６５の回動角度のそれぞれを測定するための角度センサ、下部走行体４３０に対する上部旋回体４５０の旋回角度を測定するための旋回角度センサ、バケット４６５に対して作用する外力を測定するための外力センサ、上部旋回体４５０に作用する３軸加速度を測定するための３軸加速度センサ、ＧＮＳＳ（Global Navigation Satellite System）等の位置情報取得センサ等により構成されている。

　実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

　作動機構としての作動機構４６０は、上部旋回体４５０に起伏可能に装着されているブーム４６１と、ブーム４６１の先端に回動可能に連結されているアーム４６３と、アーム４６３の先端に回動可能に連結されているバケット４６５と、を備えている。作動機構４６０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４６２、アームシリンダ４６４およびバケットシリンダ４６６が装着されている。作業部として、バケット４６５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

　ブームシリンダ４６２は、作動油の供給を受けることにより伸縮してブーム４６１を起伏方向に回動させるように当該ブーム４６１と上部旋回体４５０との間に介在する。アームシリンダ４６４は、作動油の供給を受けることにより伸縮してアーム４６３をブーム４６１に対して水平軸回りに回動させるように当該アーム４６３と当該ブーム４６１との間に介在する。バケットシリンダ４６６は、作動油の供給を受けることにより伸縮してバケット４６５をアーム４６３に対して水平軸回りに回動させるように当該バケット４６５と当該アーム４６３との間に介在する。

　図４に示すように、第１撮像装置５０及び、第２撮像装置６０は、例えば、作業機械４０の外観を撮像領域ＡＲ１，ＡＲ２に含むように、作業機械４０の外部に設けられている支柱に取り付けられている。第１撮像装置５０及び、第２撮像装置６０は、互いに異なる光軸方向ＡＸ１、ＡＸ２で作業機械４０の外観を撮像するように設置されている。尚、第１撮像装置５０及び、第２撮像装置６０は、例えば、作業支援サーバ１０からの指令に応じて、光軸方向ＡＸ１、ＡＸ２を自由に変更できるような雲台に取り付けられていてもよい。尚、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２の変更は、例えば、第１撮像装置５０及び、第２撮像装置６０に備えられている光学系の調整機構によって行ってもよい。例えば、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２は、クローラ４３０ａ，４３０ｂを撮像可能に、水平面に向けて調整するとよい。また、本図においては、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２が上面視において直交するように第１撮像装置５０及び、第２撮像装置６０を配置した。しかし、第１撮像装置５０及び、第２撮像装置６０は、任意に配置することができ、上面視でその光軸方向ＡＸ１、ＡＸ２が直交しない関係で配置することができる。

　例えば、図４に示すように、第１撮像装置５０は、作業機械４０の下部走行体４３０の前後方向の前方に配置され、第２撮像装置６０は、作業機械４０の下部走行体４３０の左右方向の左方（左クローラ４３０ｂ側）に配置されている。このように第１撮像装置５０及び、第２撮像装置６０が配置されていることにより、作業機械４０の下部走行体４３０が旋回しても第１撮像装置５０及び第２撮像装置６０の少なくとも一方は、その撮像領域に一対のクローラ４３０ａ、４３０ｂの側面を含ませることができる。すなわち、第１撮像装置５０及び第２撮像装置６０のうち、少なくとも一方は、下部走行体４３０に設けられている指定構成要素である駆動部材４３１を撮像可能である。

　尚、第１撮像装置５０及び、第２撮像装置６０は、互いに異なる光軸方向で作業機械４０の外観を撮像するように設置されていればよく、例えば、他の作業機械４０に搭載されている実機撮像装置４１２であってもよい。

　また、第１撮像装置５０及び、第２撮像装置６０は、実施の態様に応じて適宜増設してもよい。例えば、作業機械４０が移動することが想定される場合においては、作業機械４０の移動先においても、第１撮像装置５０及び第２撮像装置６０の少なくとも一方は、その撮像領域に一対のクローラ４３０ａ、４３０ｂの側面を含ませることができるように、適宜第１撮像装置５０及び第２撮像装置６０を設置するとよい。

　図５は上記の作業支援サーバ１０、遠隔操作装置２０、作業機械４０、第１撮像装置５０及び第２撮像装置６０の連携により発揮される作業支援システムの作業支援処理について示すフローチャートである。

　作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバーがＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２０１）。

　作業支援サーバ１０は、操作信号を受信すると、第１撮像装置５０及び第２撮像装置６０に対して画像送信要求を送信する（ＳＴＥＰ１０１）。

　第１撮像装置５０は、画像送信要求を受信すると、撮像した画像を作業支援サーバ１０に送信する（ＳＴＥＰ５０１）。

　第２撮像装置６０は、画像送信要求を受信すると、撮像した画像を作業支援サーバ１０に送信する（ＳＴＥＰ６０１）。

　作業支援サーバ１０の支援処理要素１０１は、第１撮像装置５０によって撮像された画像（第１撮像画像）及び第２撮像装置６０によって撮像された画像（第２撮像画像）を受信すると、第１撮像装置５０によって撮像された第１撮像画像又は、第２撮像装置５０によって撮像された第２撮像画像における、下部走行体の映り込み態様と、一対のクローラ４３０ａ，４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置されている指定構成要素の映り込み態様と、に基づいて、当該一対のクローラ４３０ａ，４３０ｂが映り込んでいる第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を推定する（ＳＴＥＰ１０２）。

　支援処理要素１０１は、ＳＴＥＰ１０２の処理において、例えば、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っている場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において、当該駆動部材４３１が位置する側を第１撮像画像におけるクローラ４３０ａ、４３０ｂの後退方向として推定する。

　例えば、支援処理要素１０１は、データベース１１０に格納された、予め機械学習（例えば、教師あり学習）によって構築された学習モデルを用いて、クローラ４３０ａ、４３０ｂの後退方向として推定できる。具体的には、作業機械４０の外観を様々な角度から撮像した複数の撮像画像を用いて、クローラ４３０ａ，４３０ｂの側方が映っている各々の撮像画像について、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向における当該クローラ４３０ａ，４３０ｂの後退方向が学習される。

　支援処理要素１０１は、当該学習モデルに第１撮像画像又は、第２撮像画像を入力して実空間におけるクローラ４３０ａ，４３０ｂの前後方向、すなわち、下部走行体４３０のクローラ４３０ａ、４３０ｂの前進方向又は、後退方向のベクトルを認識する。支援処理要素１０１は、第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を推定する。

　支援処理要素１０１は、ＳＴＥＰ１０２の処理において、例えば、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合であり、かつ第２撮像画像に下部走行体４３０の駆動部材４３１が映っている場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において当該駆動部材４３１が位置する側を第２撮像画像における下部走行体４３０のクローラ４３０ａ、４３０ｂの後退方向として推定する。こうすることで、第１撮像装置５０の光軸方向とクローラ４３０ａ，４３０ｂの前後方向との兼ね合いで第１撮像画像に駆動部材４３１が映っていない場合であっても、第２撮像画像から当該前後方向を推定することができる。

　また、支援処理要素１０１は、作業支援サーバ１０の支援処理要素１０１は、ＳＴＥＰ１０２において推定された第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を表す指標画像を、第１撮像画像、第２撮像画像及び、メイン画像の少なくとも１つの画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成し（ＳＴＥＰ１０３）、遠隔操作装置２０に送信する（ＳＴＥＰ１０４）。

　例えば、支援処理要素１０１は、第１撮像装置５０によって撮像された図６の右側画像出力装置２２１２に表示された第１撮像画像に指標画像Ｉ１を重畳した合成画像を生成する。例えば、図６においては、指標画像Ｉ１は、第１撮像画像における下部走行体４３０の前進方向を示している。

　支援処理要素１０１は、例えば、第１撮像画像及び第２撮像画像に下部走行体４３０の駆動部材４３１が映っている場合、上記のＳＴＥＰ１０２の前後方向推定処理によって推定された方向に基づいて、指標画像Ｉ１，Ｉ２を重畳させた合成画像を生成することが可能である。

　また、例えば、支援処理要素１０１は、一の撮像装置である第１撮像装置５０を通じて取得された第１撮像画像において下部走行体４３０の駆動部材４３１が映っていない場合、他の撮像装置である第２撮像装置６０を通じて取得された第２撮像画像における、下部走行体４３０の映り込み態様と、駆動部材４３１の映り込み態様と、に基づいて生成される、下部走行体４３０の前後方向を示す指標画像Ｉ１，Ｉ２を第１撮像画像に重畳するようにしてもよい。

　すなわち、支援処理要素１０１は、ＳＴＥＰ１０２の前後方向推定処理で推定した下部走行体４３０の前後方向に対応させて、指標画像Ｉ１，Ｉ２及びＩ３を第１撮像画像、第２撮像画像及び、メイン画像のうち、少なくとも１つの撮像画像に作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成する。

　具体的には、支援処理要素１０１は、例えば、第２撮像装置６０によって撮像された図６の左側画像出力装置２２１１に表示された第２撮像画像に指標画像Ｉ２を重畳した合成画像を生成する。さらに、支援処理要素１０１は、メインカメラ４１２によって撮像された図６の下側画像出力装置２２１３に表示されているメイン画像に指標画像Ｉ３を重畳した合成画像を生成する。

　例えば、第２撮像画像に基づいて認識された下部走行体４３０の前後方向を示す指標画像を第１撮像画像に重畳させる場合には、次のようにするとよい。図７に示すように、支援処理要素１０１は、上述のＳＴＥＰ１０２の処理によって、実空間におけるクローラ４３０ｂの前進方向のベクトルＢ１を得る。

　例えば、支援処理要素１０１は、当該ベクトルＢ１について座標変換を行うことにより、第１撮像画像座標系におけるベクトルＢ２を求めうる。

　具体的には、第２撮像画像座標系から第１撮像画像座標系への座標変換を表わす回転行列Ｒ及び並進行列Ｔに基づき、実空間座標系を基準としたクローラ４３０ｂの前進方向のベクトルＢ＝ＲＢ＋Ｔが計算される。回転行列Ｒ及び並進行列Ｔは、予めデータベース１１０に保存されている。回転行列Ｒ及び並進行列Ｔは、数学的にこれと等価なクォータニオンによって定義されていてもよい。

　実空間におけるベクトルＢ１の始点が、第１撮像画像座標系に座標変換された結果としての点位置Ｓ１’が求められる。

　第１撮像画像座標系を基準としたベクトルＢ１の始点は、ベクトル^ｐ１’＝ＤＳ１’^ｅ’（Ｓ１’）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ’（Ｓ１’）」は、第１撮像画像座標系のピクセル位置Ｓ１’を通る第１撮像装置５０の視線方向を示す単位ベクトルである。

　同様にして、実空間におけるベクトルＢ１の終点が、第１撮像画像座標系に座標変換された結果としての点位置Ｓ２’が求められる。

　第１撮像画像座標系を基準としたベクトルＢ１の終点は、ベクトル^ｐ２’＝ＤＳ２’^ｅ’（Ｓ２’）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ’（Ｓ２’）」は、第１撮像画像座標系のピクセル位置Ｓ２’を通る第１撮像装置５０の視線方向を示す単位ベクトルである。

　同様にして、支援処理要素１０１は、当該ベクトルＢ１について座標変換を行うことにより、第２撮像画像座標系におけるベクトルＢ３を求めることができる。

　実空間におけるベクトルＢ１の始点が、第２撮像画像座標系に座標変換された結果としての点位置Ｓ１”が求められる。

　第２撮像画像座標系を基準としたベクトルＢ１の始点は、ベクトル^ｐ１”＝ＤＳ１”^ｅ’（Ｓ１”）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ”（Ｓ１”）」は、第１撮像画像座標系のピクセル位置Ｓ１”を通る第２撮像装置６０の視線方向を示す単位ベクトルである。

　同様にして、実空間におけるベクトルＢ１の終点が、第２撮像画像座標系に座標変換された結果としての点位置Ｓ２”が求められる。

　第１撮像画像座標系を基準としたベクトルＢ１の終点は、ベクトル^ｐ２”＝ＤＳ２”^ｅ”（Ｓ２”）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ”（Ｓ２”）」は、第１撮像画像座標系のピクセル位置Ｓ２”を通る第２撮像装置６０の視線方向を示す単位ベクトルである。

　第１撮像画像座標系において当該座標位置Ｓ１’及びＳ２’（図７白丸参照）は、一般的にピクセル位置Ｓ０’（図７黒丸参照）に一致しない。このため、最近傍点補間法、双線形補間法又はバイキュービックスプライン法など、公知の補間方法にしたがって、基準画像座標系の各ピクセル位置Ｓ０’に対して、座標位置Ｓ０”に対応する距離ＺＳ”に基づいて定まる距離（実点距離）Ｚｓが割り当てられる。

　このようにして、実空間座標系のベクトルＢ１が、第１撮像画像座標系に座標変換された結果としてのベクトルＢ２が求められる。尚、このような合成画像の生成は、同様にして、下部走行体４３０の前後方向を示す指標画像をメイン画像に重畳させることができる。

　遠隔操作装置２０は、受信した合成画像を、画像出力装置２２１に表示する（ＳＴＥＰ２０２）。尚、合成画像は、画像出力装置２２１の任意の画像出力装置に表示させることができ、例えば、中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２、下側画像出力装置２２１３のいずれの画像出力装置に表示させてもよい。

　例えば、図６に示す表示例においては、中央画像出力装置２２１０は、左右に２分割された画面の領域を有し、左側の画面の領域にはアタッチカメラ４１２ｂによって撮像されたバケット４６５の拡大画像が表示されている。また、中央画像出力装置２２１０の右側の画面領域には、後方カメラ４１２ｃによって撮像された後方画像が表示されている。

　右側画像出力装置２２１２には、第１撮像装置５０によって撮像された第１撮像画像に指標画像Ｉ１が重畳された合成画像が表示されている。

　左側画像出力装置２２１１には、第２撮像画像６０によって撮像された第２撮像画像に指標画像Ｉ２が重畳された合成画像が表示されている。

　下側画像出力装置２２１３には、メインカメラ４１２ａによって撮像されたメイン画像に指標画像Ｉ３が重畳された合成画像が表示されている。

　尚、指標画像Ｉ１，Ｉ２，Ｉ３の表示態様は、下部走行体４３０の前方方向を示すものに限られず、例えば、下部走行体４３０の後退方向を示していてもよい。また、指標画像Ｉ１，Ｉ２，Ｉ３は、下部走行体４３０の前進方向及び後退方向を示す両矢印で示されてもよい。このように、指標画像Ｉ１，Ｉ２，Ｉ３を両矢印で示した場合、前進方向及び後退方向を相互に識別可能な態様で示すとよい。例えば、指標画像Ｉ１，Ｉ２，Ｉ３を両矢印で示す場合、前進方向を示し、後退方向を破線で示すとよい。

　また、合成画像における指標画像は、重畳させる画像に映り込んでいるクローラ４３０ａ，４３０ｂの位置、大きさ等に応じて、適宜サイズ等を調整するとよい。例えば、図８に示すように、右側画像出力装置２２１２の第１撮像画像に映っている作業機械４０よりも、左側画像出力装置２２１１の第２撮像画像に映っている作業機械４０の方が小さい場合、第２撮像画像のクローラ４３０ａ，４３０ｂの大きさや、幅に応じて指標画像Ｉ２のサイズを指標画像Ｉ１よりも小さく調整して重畳させるとよい。

　このように、支援処理要素１０１は、指標画像Ｉ１，Ｉ２，Ｉ３を合成画像におけるクローラ４３０ａ，４３０ｂのサイズ及び合成画像におけるクローラ４３０ａ，４３０ｂの位置に応じて生成するようにするとよい。

　尚、複数の作業機械４０が互いに近接して配置されている場合は、操作対象となる作業機械４０を特定した上で上記の作業支援処理を行うとよい。

　例えば、図９に示すように、作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバーがＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２１１）。

　作業支援サーバ１０は、操作信号を受信すると、操作対象となる作業機械４０に対して実空間の位置情報の送信を要求する（ＳＴＥＰ１１１）。

　作業機械４０は、実空間の位置情報送信要求を受信すると、ＧＮＳＳ（Global Navigation Satellite System）を通じて実空間の位置情報を取得し（ＳＴＥＰ４１１）、作業支援サーバ１０に実空間の位置情報及び、自身の作業機械の識別情報である号機情報（例えば、Ａ号機等の識別記号、製造番号等の識別番号等）と共に送信する（ＳＴＥＰ４１２）。

　作業支援サーバ１０は、実空間の位置情報を受信すると、作業機械４０の周囲に配置されている撮像装置の実空間の位置情報を参照して作業機械４０を撮像可能な撮像装置を選択し、当該選択によって選択された１の撮像装置である、例えば、第１撮像装置５０に対して画像送信要求を送信する（ＳＴＥＰ１１２）。

　第１撮像装置５０は、画像送信要求を受信すると、撮像した第１撮像画像を作業支援サーバ１０に送信する（ＳＴＥＰ５１１）。

　作業支援サーバ１０の支援処理要素１０１は、第１撮像画像を受信すると、予めデータベース１１０に登録されている第１撮像装置５０の実空間の設置位置及び、第１撮像画像に映り込んでいる作業機械４０の位置に基づいて、作業機械４０の実空間の位置を推定する（ＳＴＥＰ１１３）。

　作業支援サーバ１０の支援処理要素１０１は、作業機械４０から送信された実空間の位置情報と、ＳＴＥＰ１１３において推定した作業機械４０の実空間の位置（位置情報）が一致しているか否かを判定する（ＳＴＥＰ１１４）。

　ＳＴＥＰ１１４における判定は、例えば、支援処理要素１０１が、第１撮像装置５０の実空間の位置情報と、第１撮像装置５０の光軸方向とを、取得する。支援処理要素１０１は、第１撮像装置５０の光軸方向に基づいて、第１撮像装置５０の設置位置からみた作業機械４０が配置されている方向を推定する。支援処理要素１０１は、当該推定した作業機械４０の方向における実空間の位置情報を所定の範囲内（例えば、第１撮像装置５０から２００ｍ以内、かつ当該方向の中心から半径２０ｍ以内）で算出する。支援処理要素１０１は、当該算出した複数の実空間の位置情報に、作業機械４０から送信された実空間の位置情報と一致する位置情報が含まれているか否かによって判定する。

　支援処理要素１０１は、ＳＴＥＰ１１４において、２つの位置情報が一致すると判定した場合（ＳＴＥＰ１１４：ＹＥＳ）、当該作業機械４０を操作対象となる作業機械４０として認識し（ＳＴＥＰ１１５）、合成画像を遠隔操作装置２０に送信する（ＳＴＥＰ１１６）。

　すなわち、支援処理要素１０１は、操作対象の候補となる作業機械４０の実空間の位置情報を取得し、かつ第１撮像画像から算出される作業機械４０の位置及び、操作対象の候補となる作業機械４０の実空間の位置情報が合致する場合、操作対象の候補となる作業機械４０を操作対象となる作業機械４０として認識する。

　遠隔操作装置２０は、受信した合成画像を、画像出力装置２２１に表示する（ＳＴＥＰ２１２）。

　また、支援処理要素１０１は、ＳＴＥＰ１１４において、２つの実空間の位置情報が一致しないと判定した場合（ＳＴＥＰ１１４：ＮＯ）、ＳＴＥＰ１１２に戻り、ＳＴＥＰ１１４において、２つの実空間の位置情報が一致するまで処理が繰り返される。

　以上の実施例１の説明では、作業支援サーバ１０によって作業支援処理が実行される説明をした。しかし、作業支援処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

　以上の実施例１の説明では、支援処理要素１０１は、ＳＴＥＰ１０２の処理において、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合、第２撮像画像から前後方向を推定するようにしていたが、これに限られない。例えば、第１撮像画像において、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において指定構成要素が配されていない側を前方として推定するようにしてもよい。具体的には、支援処理要素１０１は、第１撮像画像に下部走行体４３０の前後方向に偏在した箇所（クローラ４３０ａ，４３０ｂの前後方向において指定構成要素が配されていない側の端部）が映っている場合であって、下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において当該偏在した箇所が位置する側（駆動部材４３１がない側）を第１撮像画像おける下部走行体４３０のクローラ４３０ａ、４３０ｂの前進方向として推定するようにしてもよい。こうすることで、第１撮像画像において駆動部材４３１等の指定構成要素が障害物等により隠れていることで映っていない場合であっても、当該前後方向を推定することができる。

　また、支援処理要素１０１は、データベース１１０に格納された、予め機械学習（例えば、教師あり学習）によって構築された学習モデルを用いて、クローラ４３０ａ、４３０ｂの後退方向として推定することができる旨を説明した。クローラ４３０ａ，４３０ｂの前後方向の推定は、このような態様に限られず、例えば、支援処理要素１０１は、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの見かけ上の形状に基づいて下部走行体４３０の前進方向又は後退方向のベクトルの傾きを認識するようにしてもよい。

　具体的には、支援処理要素１０１は、図１０のように、第１撮像画像において、クローラ４３０ａ，４３０ｂのどちらかの側方のみが映り込んでいる場合には第１撮像装置５０の光軸ＡＸ１に対して垂直な方向に当該ベクトルの傾きがあると認識する。

　また、図１１のように、第１撮像画像において、クローラ４３０ａ，４３０ｂの両方を認識しクローラ４３０ａの一端側に重なるように映り込んでいる（一方のクローラ４３０ａの外側の側面と、他方のクローラ４３０ｂの内側の側面が映り込んでいる）場合には、第１支援処理要素１０１１は第１撮像装置５０の光軸ＡＸ１に対して傾きがあるベクトルであると認識する。

　具体的には、図１１に示される例においては、第１支援処理要素１０１１は、第１撮像装置５０の光軸ＡＸ１方向から見てクローラ４３０ａとクローラ４３０ｂとが重なる一端側（図１１の第１撮像画像において、右側であり、クローラ４３０ａ及びクローラ４３０ｂの延在方向の一端側）が第１撮像装置５０の光軸ＡＸ１に対して比較的手前側（図１１の第１撮像画像において、下側）に位置し、クローラ４３０ａの一端側の反対側である他端側（図１１の第１撮像画像において、左側であり、クローラ４３０ａ及びクローラ４３０ｂの延在方向の他端側）が第１撮像装置５０の光軸に対して比較的奥側（図１１の第１撮像画像において、上側）に位置するように当該ベクトルの傾きがあると認識する。

　図１２のように、第１撮像画像において第１支援処理要素１０１１がクローラ４３０ａ，４３０ｂの両方を認識しかつクローラ４３０ａ，４３０ｂが重ならないように映り込んでいる場合（クローラ４３０ａ、４３０ｂの正面方向又は背面方向が映り込んでいる場合）には、第１支援処理要素１０１１は、第１撮像装置５０の光軸ＡＸ１に沿う方向又は当該光軸ＡＸ１と反対の方向に沿う方向に当該ベクトルの傾きがあると認識する。

　第１支援処理要素１０１１は、以上のような処理を行うことによってクローラ４３０ａ、４３０ｂの後退方向として推定することができる。　

　（実施例２）
　（遠隔操作システムの構成）
　図１３に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置２０による複数の作業機械４０の遠隔操作を支援するための作業支援サーバ１０により構成されている。作業支援サーバ１０と、遠隔操作装置２０、複数の作業機械４０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、作業支援サーバ１０は、複数の作業機械４０と接続可能にされているが、作業支援サーバ１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。

　実施例２は、作業支援サーバ１０を、複数の作業機械４０と、当該複数の作業機械４０のうち遠隔操作対象となる一の作業機械４０を遠隔操作するための遠隔操作装置２０と、のそれぞれとの相互通信機能を有する遠隔操作システムである。

　（作業支援サーバの構成）
　作業支援サーバ１０は、第１支援処理要素１０１１及び、第１支援処理要素１０１２を含む遠隔操作支援装置１００と、データベース１１０と、サーバ無線通信機器１２２と、を備えている。

　第１支援処理要素１０１１及び第１支援処理要素１０１２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

　データベース１１０は、撮像画像データ等を記憶保持する。データベース１１０は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

　遠隔入力インターフェース２１０は、遠隔操作機構２１１及び第６撮像装置２１２を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、オペレータによる操作の受付状態を切り替える油圧ロックレバー（遮断レバー）と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４３０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４４０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４６２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４６４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４６６を動かすために操作される。遮断レバーは、作業機械４０のパイロット圧弁の状態を切り替えるために操作される。

　遠隔操作機構２１１を構成する各操作レバーは、例えば、図１４に示されているように、オペレータＯＰ１が着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰ１が着座できる任意の形態の着座部であってもよい。

　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図１４に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図１４に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰ１の操作指示によって任意に変更されてもよい。

　シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられている遮断レバー２１１３は、上げられた（ＯＦＦにされた）場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた（ＯＮにされた）場合に当該ロックを解除するための操作レバーとして機能する。

　遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。

　遠隔画像出力装置２２１は、例えば図１４に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

　遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図１４に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２により構成されている。中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

　第６撮像装置２１２は、例えば、シートＳｔ及び遠隔操作機構２１１を撮像可能に設けられている。第６撮像装置２１２は、本実施例２においては、図１４にも示すように、中央遠隔画像出力装置２２１０の上端側において、光軸をシートＳｔに向けて設けられている。すなわち、第６撮像装置２１２は、オペレータＯＰ１がシートＳｔに着座した際に、遠隔操作機構２１１の操作するためのオペレータＯＰ１の動作を撮像可能に設置されている。

　（作業機械の構成）
　図１３に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図１５に示されているように、左右一対のクローラを備える下部走行体４３０と、下部走行体４３０に旋回機構４４０を介して旋回可能に搭載されている上部旋回体４５０と、を備えている。上部旋回体４５０の前方左側部にはキャブ４５４（運転室）が設けられている。上部旋回体４５０の前方中央部には作動機構４６０が設けられている。　

　図１８Ｂにも示すように、作業機械４０の一対のクローラ４３０ａ、４３０ｂのそれぞれの前方には指定構成要素としての第１マーカＭ１が設けられている。また、図２２Ｃにも示すように、作業機械４０の一対のクローラ４３０ａ、４３０ｂのそれぞれの後方には指定構成要素としての第２マーカＭ２が設けられている。

　第１マーカＭ１及び第２マーカＭ２は、互いに識別可能なマーカであればよく、例えば、前後情報を保持した二次元コード、〇、△等の図形、記号等であってもよい。また、第１マーカＭ１及び第２マーカＭ２は、互いに識別可能なマーカであれば、例えば、クローラから外方に突出して形成されているステップ（オペレータがキャブ４５４に乗り込む際に足をかけるためのステップ）、凸部等や、クローラから凹んで形成されている凹部等の立体的形状であってもよい。例えば、第１マーカＭ１及び第２マーカＭ２に泥等によって覆われた場合、記号、図形等を画像認識させることが困難であるが、立体的形状であれば、その立体形状に応じた形態が表れていれば、画像認識させることができる。

　すなわち、第１マーカＭ１及び第２マーカＭ２は、一対のクローラ４３０ａ、４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置され、相互に形態が異なる。尚、第１マーカＭ１及び、第２マーカＭ２は、を画像データとしてデータベース１１０記憶されている。

　実機入力インターフェース４１は、実機操作機構４１１と、第４撮像装置４１２ｄ、４１２eと、第５撮像装置４１２ｆと、を備えている。実機操作機構４１１は、キャブ４５４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。

　第４撮像装置（以後、足元カメラとも称される）４１２ｄは、図１５にも示すように、上部旋回体４５０に設けられ、かつ下部走行体４３０の少なくとも一方のクローラを撮像領域に含むよう設けられている。本実施例２において、足元カメラ４１２ｄは、上部旋回体４５０のキャブ４５４の底面（外壁面）に設けられている。具体的には、足元カメラ４１２ｄは、キャブ４５４のフロントウィンドウが設けられている正面方向に受光素子（撮像方向）を向けてキャブ４５４の底面（外壁面）に設けられている。尚、足元カメラ４１２ｄは、例えば、ブームフットの基端側等に設けられていてもよい。

　第４撮像装置は、上部旋回体４５０の下部走行体４３０に対する旋回方向において相互に異なる方向に向けて複数配置されることが好ましい。本実施例２においては、足元カメラ４１２ｄとは別に、第４撮像装置（以後、左カメラとも称される）４１２eが設けられている。足元カメラ４１２ｄと左カメラ４１２eとは、互いに光軸が異なる方向に設置されている。左カメラ４１２eは、足元カメラ４１２ｄの撮像領域に入らない領域を撮像領域とすることがさらに好ましい。

　言い換えれば、足元カメラ４１２ｄ及び左カメラ４１２eのうち少なくとも一方が、上部旋回体４５０の下部走行体４３０に対する角度がいずれの角度であっても、第１マーカＭ１及び第２マーカＭ２のうち少なくとも一方を撮像領域に含むように足元カメラ４１２ｄ及び左カメラ４１２eが設けられている。例えば、足元カメラ４１２ｄと左カメラ４１２eとは、互いの光軸方向のなす角度が約９０°であることが好ましい。本実施例２においては、左カメラ４１２eは、キャブ４５４の左側のサイドウィンドウが設けられている方向に受光素子（撮像方向）を向けてキャブ４５４の外壁面に設けられている。

　尚、左カメラ４１２eは、例えば、キャブ４５４の右側のサイドウィンドウが設けられている方向に受光素子（撮像方向）を向けてキャブ４５４の外壁面に設けられているようにしてもよい。また、左カメラ４１２eは、キャブ４５４の屋根に設けられていてもよいし、キャブ４５４の室内から外部（例えば、右側方、左側方）を撮影可能に設けられてもよい。

　第５撮像装置４１２ｆ（以後、メインカメラとも称される）は、足元カメラ４１２ｄ及び、左カメラ４１２eとは別個に上部旋回体４５０に設けられている。メインカメラ４１２ｆは、例えばキャブ４５４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４６０の少なくとも一部を含む環境を撮像する。当該撮像画像には、フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

　実機状態センサ群４１４は、上部旋回体４５０に対するブーム４６１の回動角度（起伏角度）、ブーム４６１に対するアーム４６３の回動角度、および、アーム４６３に対するバケット４６５の回動角度のそれぞれを測定するための角度センサ、下部走行体４３０に対する上部旋回体４５０の旋回角度を測定するための旋回角度センサ、バケット４６５に対して作用する外力を測定するための外力センサ、上部旋回体４５０に作用する３軸加速度を測定するための３軸加速度センサ等により構成されている。

　実機出力インターフェース４２は、実機画像出力装置４２１と、実機無線通信機器４２２と、を備えている。実機画像出力装置４２１は、例えば、キャブ４５４の内部であってフロントウィンドウの近傍に配置されている。実機画像出力装置４２１は、省略されていてもよい。また、実機無線通信機器４２２は、作業支援サーバ１０および作業機械４０との間で無線通信を実行する。

　図１６は、上記の作業支援サーバ１０、遠隔操作装置２０、作業機械４０の連携により発揮される作業支援システムの作業支援処理について示すフローチャートである。

　作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバー２１１３がＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２２１）。

　作業支援サーバ１０は、操作信号を受信すると、遠隔操作装置２０の操作対象である作業機械４０に対して画像の送信を要求する（ＳＴＥＰ１２１）。

　作業機械４０は、画像送信要求を受信すると、第４撮像装置４１２ｄ，４１２e、第５撮像装置４１２ｆによって撮像された画像（第４撮像画像、第５撮像画像）を作業支援サーバ１０に送信する（ＳＴＥＰ４２１）。

　作業支援サーバ１０の第１支援処理要素１０１１は、第４撮像装置４１２ｄ，４１２e、第５撮像装置４１２ｆによって撮像された画像（第４撮像画像、第５撮像画像）を受信すると、第４撮像装置４１２ｄ，４１２eによって撮像された第４撮像画像における、一対のクローラ４３０ａ，４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ一対のクローラの前方に設けられている第１マーカＭ１及び、一対のクローラ４３０ａ，４３０ｂの後方に設けられている第２マーカＭ２のそれぞれの映り込み態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する（前後方向推定処理）（ＳＴＥＰ１２２）。

　第１支援処理要素１０１２は、第１支援処理要素１０１１によって認識された下部走行体４３０の前進方向又は後退方向を表す指標画像を生成する（ＳＴＥＰ１２３）。

　また、第１支援処理要素１０１２は、指標画像を、第４撮像画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成し（ＳＴＥＰ１２４）、遠隔操作装置２０に送信する（ＳＴＥＰ１２５）。

　例えば、第１支援処理要素１０１２は、足元カメラ４１２ｄによって撮像された図１８Ｂ～１０Ｂの第４撮像画像（以後、足元画像とも称する）に指標画像Ｉ１を重畳した合成画像を生成する。また、第１支援処理要素１０１２は、例えば、左カメラ４１２eによって撮像された図２２Ｃの第４撮像画像（以後、左画像とも称する）に指標画像Ｉ１を重畳した合成画像を生成する。さらに、第１支援処理要素１０１２は、メインカメラ４１２ｆによって撮像された図１８Ｃ～９Ｃ、図２２Ｄの第５撮像画像（以後、メイン画像とも称する）に指標画像Ｉ２を重畳した合成画像を生成する。

　すなわち、第１支援処理要素１０１２は、第１支援処理要素１０１１によって認識された上部旋回体４５０の下部走行体４３０に対する旋回角度に対応した角度で、指標画像Ｉ１，Ｉ２を第４撮像画像（足元画像、左画像）及び、メイン画像のうち、少なくとも１つの撮像画像に作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成する。

　具体的には、第１支援処理要素１０１１は、第４撮像装置（足元カメラ、左カメラ）４１２ｄ，４１２eの撮像方向に対する左右のクローラ４３０ａ，４３０ｂの傾斜角度等及び、第４撮像画像（足元画像、左画像）に映っている第１マーカＭ１並びに第２マーカＭ２の別によって、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識する。第２支援処理要素は、例えば、第４撮像装置（足元カメラ、左カメラ）４１２ｄ，４１２eの撮像方向に対する左右のクローラ４３０ａ，４３０ｂの傾斜角度に対応して指標画像Ｉ１，Ｉ２を重畳させて合成画像を生成できる。

　遠隔操作装置２０は、受信した合成画像を、例えば、中央遠隔画像出力装置２２１０に表示する（ＳＴＥＰ２２２）。尚、合成画像は、中央遠隔画像出力装置２２１０以外に表示させてもよく、例えば、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２等の画像出力装置に表示させてもよい。

　ＳＴＥＰ１２２の第４撮像画像における第１マーカ又は、第２マーカの映りこみ態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する前後方向推定処理について説明する。

　図１７に示すように、第１支援処理要素１０１１は、足元画像に第１マーカＭ１又は第２マーカＭ２が映っているか否かを判定する（ＳＴＥＰ２３１）。

　ＳＴＥＰ２３１の判定は、例えば、データベース１１０にあらかじめ記録された第１マーカＭ１の画像データ（意匠のデータ）及び第２マーカＭ２の画像データ（意匠のデータ）を参照し、当該第１マーカＭ１の画像データ（意匠のデータ）又は、第２マーカＭ２の画像データ（意匠のデータ）に一致する意匠が足元画像に含まれているか否かに基づいて行われる。

　具体的には、第１支援処理要素１０１１は、足元画像に映り込んでいる第１マーカＭ１の意匠（又は、第２マーカＭ２の意匠）に対してアスペクト比を用いて補正を行った後に、データベース１１０に記録されている第１マーカＭ１（又は、第２マーカＭ２）の画像データとの類似度を算出する。第１支援処理要素１０１１は、当該類似度が所定値以上の場合を第１マーカＭ１（又は、第２マーカＭ２）が足元画像に含まれていると判定する。

　ＳＴＥＰ２３１の判定は、このような判定手法に限られず、例えば、上部旋回体４５０の下部走行体４３０に対する角度に応じた足元画像の第１マーカＭ１並びに第２マーカＭ２の複数の画像データ及び、左画像の第１マーカＭ１並びに第２マーカＭ２の複数の画像データを予めデータベース１１０に記録させておく。第１支援処理要素１０１１は、当該複数の画像データと、作業機械４０から送信された足元画像及び左画像の画像データを比較することによって、第１マーカＭ１及び第２マーカＭ２が足元画像又は左画像に含まれているか否かを判定するようにしてもよい。

　第１支援処理要素１０１１は、ＳＴＥＰ２３１の判定において、足元画像に第１マーカＭ１又は第２マーカＭ２が映っていると判定すると（ＳＴＥＰ２３１：ＹＥＳ）、そのマーカが第１マーカＭ１であるか否かを判定する（ＳＴＥＰ２３２）。

　ＳＴＥＰ２３２の判定は、例えば、第１支援処理要素１０１１が、ＳＴＥＰ２３１の判定において一致すると判定した画像に基づいて行われる。

　第１支援処理要素１０１１は、ＳＴＥＰ２３２の判定において、足元画像に映っているマーカが第１マーカＭ１である判定すると（ＳＴＥＰ２３２：ＹＥＳ）、足元画像に映っている第１マーカＭ１の数が１つであるか否かを判定する（ＳＴＥＰ２３３）。

　ＳＴＥＰ２３３の判定は、例えば、第１支援処理要素１０１１が、ＳＴＥＰ２３１の判定において一致すると判定した画像の数に基づいて行われる。

　第１支援処理要素１０１１は、足元画像に映っている第１マーカＭ１の数が１つではないと判定した場合（ＳＴＥＰ２３３：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を０±α°として認識する（ＳＴＥＰ２３４）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向が一致すると判定する。

　ここで、αは、０°を中心として、足元画像に２つの第１マーカＭ１が映っている角度の範囲である。角度αは、第４撮像装置４１２ｄに用いられているレンズの画角（広角レンズ、魚眼レンズ等）、下部走行体４３０の一対のクローラ４３０ａ、４３０ｂの離間距離等に応じて適宜設定することができる。尚、第１支援処理要素１０１１は、下部走行体４３０の後退方向については、前進方向とは反対側の方向を後退方向として認識する。

　例えば、図１８Ａに示すように、作業機械４０の下部走行体４３０の前進方向と、上部旋回体４５０の正面方向が一致している場合、図１８Ｂに示される足元画像には、左右一対のクローラ４３０ａ、４３０ｂと、各々のクローラ４３０ａ、４３０ｂに設けられた２つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１１は、足元画像に２つの第１マーカＭ１映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向が一致すると判定する。尚、第１支援処理要素１０１２は、上述のＳＴＥＰ１２４の合成画像生成理で説明したように、図１８Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図１８Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

　すなわち、第１支援処理要素１０１１は、上部旋回体４５０の下部走行体４３０に対する旋回に応じて変化する一対のクローラ４３０ａ、４３０ｂの足元画像における映り込み態様と、第１マーカＭ１及び、第２マーカＭ２のそれぞれの足元画像における映り込み態様と、に基づく、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識する。尚、第１支援処理要素１０１１は、実機状態センサ群４１４の旋回角度センサによって取得された旋回データを参照して当該旋回角度を認識するようにしてもよい。

　第１支援処理要素１０１１は、足元画像に映っている第１マーカの数が１つであると判定すると（ＳＴＥＰ２３３：ＹＥＳ）、足元画像に映っている第１マーカが付されているクローラが右クローラ４３０ａか否かを判定する（ＳＴＥＰ２３５）。

　例えば、第１支援処理要素１０１１は、上部旋回体４５０の下部走行体４３０に対する角度に応じた足元画像の右クローラ４３０ａ並びに、左クローラ４３０ｂの複数の画像データ及び、左画像の右クローラ４３０ａ並びに、左クローラ４３０ｂの複数の画像データを予めデータベース１１０に記録させておく。第１支援処理要素１０１１は、当該複数の画像データと、作業機械４０から送信された足元画像及び左画像の画像データを比較することによって、右クローラ４３０ａが足元画像又は左画像に含まれているか否かを判定する。

　第１支援処理要素１０１１は、足元画像に映っているクローラが右クローラ４３０ａであると判定すると（ＳＴＥＰ２３５：ＹＥＳ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を４５±α°として認識する（ＳＴＥＰ２３６）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が４５±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は４５°の方向を前進方向として認識する。

　例えば、図１９Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して４５±α°の角度をなす場合、図１９Ｂに示される足元画像には、例えば、右のクローラ４３０ａと、右のクローラ４３０ａに設けられた１つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１１は、足元画像に右のクローラ４３０ａ及び、１つの第１マーカＭ１が映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して４５±α°の角度をなすと判定する。尚、第１支援処理要素１０１２は、上述のＳＴＥＰ１２４の合成画像生成理で説明したように、図１９Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図１９Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

　第１支援処理要素１０１１は、足元画像に映っているクローラが左クローラ４３０ｂであると判定すると（ＳＴＥＰ２３５：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を３１５±α°として認識する（ＳＴＥＰ２３７）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が３１５±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は３１５±α°の方向を前進方向として認識する。

　例えば、図２０Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して３１５±α°の角度をなす場合、図２０Ｂに示される足元画像には、例えば、左のクローラ４３０ｂと、左のクローラ４３０ｂに設けられた１つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１１は、足元画像に左のクローラ４３０ｂ及び、１つの第１マーカＭ１映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して３１５°の角度をなすと判定する。尚、第１支援処理要素１０１２は、上述のＳＴＥＰ１２４の合成画像生成理で説明したように、図２０Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図２０Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

　第１支援処理要素１０１１は、ＳＴＥＰ２３２の判定において、足元画像に映っているマーカが第２マーカである判定すると（ＳＴＥＰ２３２：ＮＯ）、足元画像に映っている第２マーカＭ２の数が１つであるか否かを判定する（ＳＴＥＰ２３８）。

　第１支援処理要素１０１１は、足元画像に映っている第２マーカＭ２の数が１つではないと判定した場合（ＳＴＥＰ２３８：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を１８０±α°として認識する（ＳＴＥＰ２３９）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向とが反対の関係にあると判定する。　

　第１支援処理要素１０１１は、足元画像に映っている第２マーカＭ２の数が１つであると判定すると（ＳＴＥＰ２３８：ＹＥＳ）、足元画像に映っている第２マーカＭ２が付されているクローラが右クローラ４３０ａか否かを判定する（ＳＴＥＰ２４０）。

　第１支援処理要素１０１１は、足元画像に映っているクローラが右クローラ４３０ａであると判定すると（ＳＴＥＰ２４０：ＹＥＳ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を１３５±α°として認識する（ＳＴＥＰ２４１）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が１３５±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は１３５±α°の方向を前進方向として認識する。

　第１支援処理要素１０１１は、足元画像に映っているクローラが左クローラ４３０ｂであると判定すると（ＳＴＥＰ２４０：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を２２５±α°として認識する（ＳＴＥＰ２４２）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が２２５±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は２２５±α°の方向を前進方向として認識する。

　例えば、図２１Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して２２５±α°の角度をなす場合、図２１Ｂに示される足元画像には、例えば、左のクローラ４３０ｂと、左のクローラ４３０ｂに設けられた１つの第２マーカＭ２と、が映る。したがって、第１支援処理要素１０１１は、足元画像に左のクローラ４３０ｂ及び、１つの第２マーカＭ２映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して２２５±α°の角度をなすと判定する。尚、第１支援処理要素１０１２は、上述のＳＴＥＰ１２４の合成画像生成理で説明したように、図２１Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図２１Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

　第１支援処理要素１０１１は、ＳＴＥＰ２３１の判定において、足元画像に第１マーカＭ１又は第２マーカＭ２が映っていないと判定すると（ＳＴＥＰ２３１：ＮＯ）、上述のように足元画像又は、左画像のいずれかに第１マーカＭ１若しくは第２マーカＭ２が映っているため、左画像を参照し、左画像に映っているマーカが第１マーカＭ１であるか否かを判定する（ＳＴＥＰ２４３）。

　第１支援処理要素１０１１は、左画像に映っているマーカが第１マーカＭ１であると判定した場合（ＳＴＥＰ２４３：ＹＥＳ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を９０±α°として認識する（ＳＴＥＰ２４４）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が９０±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は９０±α°の方向を前進方向として認識する。

　第１支援処理要素１０１１は、左画像に映っているマーカが第２マーカＭ２であると判定した場合（ＳＴＥＰ２４３：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を２７０±α°として認識する（ＳＴＥＰ２４５）。言い換えれば、第１支援処理要素１０１１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が２７０±α°であると判定する。すなわち、第１支援処理要素１０１１は、キャブ４５４の正面方向に対して、下部走行体４３０は２７０±α°の方向を前進方向として認識する。

　例えば、図２２Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して２７０±α°の角度をなす場合、図２２Ｂに示される足元画像には、例えば、左のクローラ４３０ｂのみが映る。したがって、第１支援処理要素１０１１は、図２２Ｃに示される左画像を参照し、例えば、左右一対のクローラ４３０ａ、４３０ｂと、各々のクローラ４３０ａ、４３０ｂに設けられた２つの第１マーカＭ１と、が映っていることを認識する。したがって、第１支援処理要素１０１１は、左画像に２つの第１マーカＭ１が映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対する角度が２７０±α°であると判定する。尚、第１支援処理要素１０１２は、上述のＳＴＥＰ１２４の合成画像生成理で説明したように、図２２Ｃに示すように、当該角度の応じた指標画像Ｉ１を左画像に重畳させ、かつ図２２Ｄに示すように、指標画像Ｉ２をメイン画像に重畳させる。

　したがって、第１支援処理要素１０１１は、複数の第４撮像装置４１２ｄ，４１２eを通じて取得される複数の第４撮像画像（足元画像、左画像）における、第１マーカＭ１及び第２マーカＭ２のそれぞれの映り込み態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する。

　尚、上述の説明においては、足元画像、左画像において映り込んでいる、第１マーカＭ１並びに第２マーカＭ２の種別の判定及び、足元画像、左画像において映り込んでいる第１マーカＭ１並びに第２マーカＭ２の個数の判定は、ＳＴＥＰ２３１～２１３、ＳＴＥＰ２３８及びＳＴＥＰ２４３において、個別に判定した。しかし、これらの判定は、上記の画像処理により１のステップで行うようにしてもよい。

　また、上述の説明においては、第４撮像画像（足元画像、左画像）に映り込んでいるクローラ４３０ａ、４３０ｂの別を加味して上部旋回体４５０の下部走行体４３０に対する旋回角度を認識したが、これには限られない。

　例えば、第１支援処理要素１０１１は、第４撮像画像（足元画像、左画像）に映り込んでいる第１マーカＭ１並びに第２マーカＭ２の別及び、第４撮像画像（足元画像、左画像）に映り込んでいる第１マーカＭ１並びに第２マーカＭ２の個数に基づいて、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識するようにしてもよい。

　具体的には、第１支援処理要素１０１１は、第４撮像画像に映り込んでいるマーカが、第１マーカＭ１であるか、第２マーカであるかを認識しかつ、当該認識した、第１マーカＭ１又は、第２マーカの第４撮像画像に映り込んでいる個数を認識する。

　例えば、第１支援処理要素１０１１は、キャブ４５４の正面方向と、下部走行体４３０の前進方向が一致する角度を０±α°とするとき、２つの第１マーカＭ１又は、２つの第２マーカＭ２が第４撮像画像（足元画像）に映り込んでいる場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、０°又は、１８０°に近い角度（０±α°又は、１８０±α°）であることを認識する。

　また、第１支援処理要素１０１１は、例えば、１つの第１マーカＭ１又は、１つの第２マーカＭ２が第４撮像画像（足元画像）に映り込んでいる場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、４５°又は１３５°に近い角度（４５±α°又は、１３５±α°）であることを認識する。

　さらに、第１支援処理要素１０１１は、第４撮像画像（足元画像）に映り込んでいるマーカの別（第１マーカＭ１又は第２マーカＭ２）により、一対のクローラ４３０ａ、４３０ｂの前後方向を認識することが可能となる。さらにまた、第１マーカＭ１及び第２マーカＭ２が第４撮像画像（足元画像）に映り込んでいない場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば９０°に近い角度（９０±α°）であることが認識される。したがって、第４撮像画像（足元画像、左画像）における一対のクローラ４３０ａ，４３０ｂの映り込み態様を用いずに、上部旋回体４５０の下部走行体４３０に対する旋回角度及び、一対のクローラ４３０ａ、４３０ｂの前後方向を認識することが可能となる。これにより、一対のクローラ４３０ａ、４３０ｂの映り込み態様に必要な画像解析処理が不要になるため、第１支援処理要素１０１２の処理負荷の低減を図ることができる。

　また、第１支援処理要素１０１１は、第４撮像画像（足元画像、左画像）に含まれている第１マーカＭ１及び第２マーカＭ２の映り込み態様としての、第１マーカＭ１及び第２マーカＭ２の第４撮像画像（足元画像、左画像）における左右方向の位置に基づく上部旋回体４５０の下部走行体４３０に対する旋回角度を認識するようにしてもよい。

　このような態様によれば、例えば、キャブ４５４の正面方向と、下部走行体４３０の前進方向が一致する角度を０°とするとき、２つの第１マーカＭ１（又は、２つの第２マーカＭ２）の一方の第１マーカＭ１（又は、第２マーカＭ２）が、第４撮像画像（足元画像、左画像）の中央よりも右端側に位置し、他方の第１マーカＭ１（又は、第２マーカ）が第４撮像画像（足元画像）の中央よりも左端側に位置する場合、第１支援処理要素１０１１は、上部旋回体４５０の下部走行体４３０に対する角度が、特定の角度、例えば、０°又は１８０°に近い角度（０±α°又は１８０±α°）であることを認識する。

　尚、第１支援処理要素１０１１は、例えば、第１マーカＭ１同士を結ぶ線の中点の位置において、より詳細な角度判定を行ってもよい。例えば、上部旋回体４５０の下部走行体４３０に対する角度が３°である場合、当該角度が０°である場合よりも、第１マーカＭ１同士を結ぶ線の中点の位置は、足元画像の左右方向の右側に位置する。このような様々な当該角度に応じた第１マーカＭ１同士を結ぶ線の中点の位置を画像データとしてデータベース１１０に複数記録しておく。第１支援処理要素１０１１は、当該中点の位置を参照して、足元画像の中点の位置の一致度を算出して詳細な当該角度の判定を行ってもよい。

　また、例えば、第４撮像画像（足元画像）において、右側のクローラ４３０ａの第１マーカＭ１が左右方向の中央近傍に位置するときは、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、４５°に近い角度（４５±α°）であることが認識される。また、例えば、第４撮像画像（足元画像）において、左側のクローラ４３０ｂの第１マーカＭ１が左右方向の中央近傍に位置するときは、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、１３５°に近い角度（１３５±α°）であることが認識される。

　このように、第４撮像画像に含まれている第１マーカＭ１及び第２マーカＭ２の映り込み態様は、上部旋回体４５０の下部走行体４３０に対する旋回角度に応じて変化する。具体的には、その旋回角度の変化に応じて第１マーカＭ１及び第２マーカＭ２の第４撮像画像における左右方向の位置が変化する。したがって、第１支援処理要素１０１１は、第４撮像画像（足元画像）における第１マーカＭ１及び第２マーカＭ２の左右方向の位置を認識することにより、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識することが可能となる。

　第１支援処理要素１０１２は、合成画像の表示又は、非表示を所定のタイミングに基づいて行うとよい。以下、第１支援処理要素１０１２による合成画像の表示又は、非表示の制御が説明される。

　図２３に示すように、遠隔操作装置２０は、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータＯＰ１によって、例えば、遮断レバー２１１３がＯＦＦにされると（ＳＴＥＰ２５１：ＹＥＳ）、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２５２）。

　作業支援サーバ１０の第１支援処理要素１０１１は、操作信号を受信すると、遮断レバー２１１３がＯＦＦにされたことを認識し（ＳＴＥＰ１５１：ＹＥＳ）、第１支援処理要素１０１１及び第１支援処理要素１０１２が合成画像の表示処理を行う（ＳＴＥＰ１５２）。

　したがって、第１支援処理要素１０１１は、遠隔操作装置２０における作業機械４０への操作の受け付けの可否を示す情報である操作受付情報を操作信号として取得する。ＳＴＥＰ１５２の表示処理においては、ＳＴＥＰ１２２の前後方向推定処理からＳＴＥＰ１２５の合成画像送信処理までが行われる。したがって、第１支援処理要素１０１２は、操作受付情報が作業機械４０への操作の受け付けが可の場合に合成画像を遠隔操作装置２０に送信する。

　作業支援サーバ１０の第１支援処理要素１０１１は、ＳＴＥＰ１５２の合成画像の表示処理を行ってから所定時間（例えば、６０秒）の経過又は、予め指定された指定操作（例えば、ブーム用操作装置、アーム用操作装置、バケット用操作装置の操作、又は後述する走行モーション）が行われたかを判定する（ＳＴＥＰ１５３）。

　作業支援サーバ１０の第１支援処理要素１０１１は、ＳＴＥＰ１５３の判定において、合成画像の表示処理を行ってから所定時間の経過又は、予め指定された指定操作が行われたと判定すると（ＳＴＥＰ１５３：ＹＥＳ）、第１支援処理要素１０１１及び第１支援処理要素１０１２が合成画像の非表示処理を行う（ＳＴＥＰ１５４）。すなわち、第１支援処理要素１０１１及び第１支援処理要素１０１２は、ＳＴＥＰ１２４の合成画像生成処理及び、ＳＴＥＰ１２５の合成画像送信処理を停止する。

　作業支援サーバ１０の第１支援処理要素１０１１は、ＳＴＥＰ１５３の判定において、合成画像の表示処理を行ってから所定時間の経過又は、予め指定された指定操作が行われていないと判定すると（ＳＴＥＰ１５３：ＮＯ）、後述するＳＴＥＰ１５９の判定に進む。

　遠隔操作装置２０は、ＳＴＥＰ２５２において操作信号を作業支援サーバ１０に送信すると、次いで、第６撮像装置２１２によって撮像された第６撮像画像を作業支援サーバ１０に送信する（ＳＴＥＰ２５３）。

　作業支援サーバ１０の第１支援処理要素１０１１は、ＳＴＥＰ１５４において合成画像の非表示処理を行った後に、取得した第６撮像画像を参照し、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行ったか否かを判定する（ＳＴＥＰ１５５）。

　走行モーションは、遠隔操作機構２１１の走行用操作装置を操作するためのオペレータＯＰ１の動作である。走行モーションは、例えば、走行用操作装置の操作レバー（走行レバー）の操作、走行ペダルの操作をするための動作が挙げられる。

　ＳＴＥＰ１５５の判定は、例えば、オペレータＯＰ１と走行レバー２１１０との状態が、非相互作用状態から相互作用状態に遷移したことで判定される。ここで、非相互作用状態とは、例えば、オペレータＯＰ１が走行レバー２１１０を握っていない状態、または、触れていない状態である。また、相互作用状態とは、例えば、オペレータＯＰ１が走行レバー２１１０を握っている状態、または、触れている状態である。尚、非相互作用状態としてオペレータＯＰ１の足が走行ペダルの上に位置しない状態、相互作用状態としてオペレータＯＰ１の足が走行ペダルの上に位置する状態を採用してもよい。こうすることで、オペレータＯＰ１が下部走行体４３０を動作させる意思がある蓋然性が高い状況で下部走行体４３０がまだ動作を開始していない操作初期段階において、走行モーションを行ったか否かを判定することができる。

　したがって、第１支援処理要素１０１１は、遠隔操作装置２０における作業機械４０の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報を走行モーションとして取得する。

　第１支援処理要素１０１１は、ＳＴＥＰ１５５の判定において、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行っていないと判定した場合（ＳＴＥＰ１５５：ＮＯ）、ＳＴＥＰ１５３の判定に戻る。

　第１支援処理要素１０１１は、ＳＴＥＰ１５５の判定において、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行ったと判定した場合（ＳＴＥＰ１５５：ＹＥＳ）、前進操作、後退操作の種別を判断し、指標画像を前進方向又は後退方向に合わせて合成画像を生成し、当該合成画像の表示処理を行う（ＳＴＥＰ１５６）。ＳＴＥＰ１５６の合成画像の表示処理では、ＳＴＥＰ１５２の合成画像の表示処理と同一の処理が行われる。

　したがって、第１支援処理要素１０１２は、準備動作で表されている意思が前進の操作入力である場合には、下部走行体４３０の前進方向を表す指標画像を用いて生成された合成画像を遠隔操作装置２０に送信する。また、第１支援処理要素１０１２は、準備動作で表されている意思が後退の操作入力である場合には、下部走行体４３０の後退方向を表す指標画像を用いて生成された合成画像を遠隔操作装置２０に送信する。

　遠隔操作装置２０は、ＳＴＥＰ２５３において第６撮像画像を作業支援サーバ１０に送信すると、次いで、オペレータＯＰ１による作業機械４０を動作させるための操作に応じた操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２５４）。

　第１支援処理要素１０１１は、遠隔操作装置２０から送信された操作信号に基づいて、走行操作がなされた否かを判定する（ＳＴＥＰ１５７）。第１支援処理要素１０１１は、例えば、操作信号に走行操作に関する信号が含まれているか否かによってＳＴＥＰ１５７の判定を行う。

　第１支援処理要素１０１１は、ＳＴＥＰ１５７の判定において、走行操作がなされていないと判定すると（ＳＴＥＰ１５７：ＮＯ）、ＳＴＥＰ１５３の判定に戻る。

　第１支援処理要素１０１１は、ＳＴＥＰ１５７の判定において、走行操作がなされたと判定すると（ＳＴＥＰ１５７：ＹＥＳ）、第１支援処理要素１０１１及び第１支援処理要素１０１２は、合成画像の非表示処理を行う（ＳＴＥＰ１５８）。ＳＴＥＰ１５８の合成画像の非表示処理では、ＳＴＥＰ１５４と同一の処理が行われる。

　第１支援処理要素１０１１は、遮断レバー２１１３がＯＮにされているかを判定する（ＳＴＥＰ１５９）。

　第１支援処理要素１０１１は、ＳＴＥＰ１５９の判定において、遮断レバー２１１３がＯＮにされていると判定すると（ＳＴＥＰ１５９：ＹＥＳ）、処理を終了する。

　第１支援処理要素１０１１は、ＳＴＥＰ１５９の判定において、遮断レバー２１１３がＯＦＦにされていると判定すると（ＳＴＥＰ１５９：ＮＯ）、ＳＴＥＰ１５３の判定に戻る。

　以上の実施例２の説明では、作業支援サーバ１０によって作業支援処理が実行される説明をした。しかし、作業支援処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

　また、上述の実施例２では、第１支援処理要素１０１１及び第１支援処理要素１０１２は、互いに異なる処理要素として説明したが、各々支援処理要素を１の「支援処理要素」で処理してもよい。

　また、上述の実施例２では、オペレータＯＰ１が走行モーションを行ったか否かの判定は、第６撮像装置２１２により取得した第６撮像画像を参照することによって行われるとして説明を記載したが、これに限定されない。例えば、オペレータが走行レバー２１１０を把持したことを検知する把持センサを、当該オペレータＯＰ１が走行レバー２１１０を把持する部分に配置し、第１支援処理要素１０１１は、当該把持センサによる検知を取得することによって走行モーションが行われたか否かを判定するようにしてもよい。把持センサは、例えば、走行レバー２１１０に配置されたセンサ電極と、当該把持センサと人体（オペレータＯＰ１）との間の静電容量値を測定する測定部を含むものであってもよいし、オペレータＯＰ１が走行レバー２１１０に触れた際に生じる圧力を測定する圧電素子等の測定部を含むものであってもよい。

　上述の実施例２は、指定操作が行われたと判定した場合（ＳＴＥＰ１５３：ＹＥＳ）に合成画像を非表示にする処理（ＳＴＥＰ１５４）をしていた。しかし、ＳＴＥＰ１５４は、即時に実行されなくてもよい。例えば、指定操作又は走行モーションが行われたと判定した場合（ＳＴＥＰ１５３：ＹＥＳ）であっても、ＳＴＥＰ１５２における合成画像の表示処理を行ってから所定時間（例えば、６０秒）が経過した後にＳＴＥＰ１５４が実行されてもよい。この場合の所定時間は任意に設定することができ、６０秒よりも短く設定されてもよい。こうすることで、オペレータＯＰ１に下部走行体４３０の前進方向又は後退方向を確実に認識させることができる。

　上述の実施例２は、走行操作がなされたと判定すると（ＳＴＥＰ１５７：ＹＥＳ）、合成画像の非表示処理を行う（ＳＴＥＰ１５８）ようにしている。しかし、ＳＴＥＰ１５８の処理は、任意に実行される処理であり、例えば、走行操作がなされている間は、合成画像の表示処理が継続されるようにしてもよい。

　上述の実施例２にでは、第４撮像画像（足元画像、左画像）には、指標画像が重畳されるようにした。しかし、第４撮像画像（足元画像、左画像）には、必ずしも指標画像が重畳されなくてもよい。例えば、第５撮像画像（メイン画像）にのみ指標画像が重畳されるようにしてもよい。言い換えれば、第１支援処理要素１０１２は、第１支援処理要素１０１１によって認識された下部走行体４３０の前進方向又は後退方向を表す指標画像を、上部旋回体４３０に第４撮像装置４１２ｄ、４１２eとは別個に設けられている第５撮像装置４１２ｆを通じて取得された第５撮像画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を遠隔操作装置２０に送信するようにしてもよい。

　本発明の遠隔操作システムにおいて、前記支援処理要素は、前記上部旋回体の前記下部走行体に対する旋回に応じて変化する前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて、前記上部旋回体の前記下部走行体に対する前記旋回角度に対応した角度で、前記指標画像を前記撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳することが好ましい。

　このような態様によれば、支援処理要素は、例えば、撮像画像における下部走行体の映り込み態様、すなわち、撮像画像において映っている下部走行体の左右の別（一方又は両方）、撮像装置の撮像方向に対する下部走行体の左右の傾斜角度等及び、撮像画像に映っている複数の指定構成要素の別によって、上部旋回体の下部走行体に対する旋回角度を認識することができる。したがって、例えば、支援処理要素は、撮像装置の撮像方向に対する下部走行体の左右の傾斜角度に対応して指標画像を重畳させて合成画像を生成することができ、当該合成画像を遠隔操作装置に送信することができる。したがって、オペレータは、合成画像を目視するだけで容易に下部走行体の前進方向又は後退方向を認識することができる。

　本発明の遠隔操作システムにおいて、前記撮像装置は、前記作業機械からみた方角が相互に異なる位置に複数配置され、前記支援処理要素は、一の前記撮像装置を通じて取得された一の前記撮像画像において下部走行体の指定構成要素が映っていない場合、他の前記撮像装置を通じて取得された他の前記撮像画像における、前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向を示す指標画像を前記撮像画像に重畳することが好ましい。

　このような態様によれば、一の撮像画像に作業機械の下部走行体の指定構成要素が映っていない場合であっても、支援処理要素は、他の撮像画像に基づいて、作業機械の下部走行体の前後方向を示す指標画像が重畳した合成画像を遠隔操作装置に送信することができる。

　また、本発明の遠隔操作システムにおいて、前記支援処理要素は、一の前記撮像画像に含まれている前記指定構成要素の映り込み態様としての、前記指定構成要素の一の前記撮像画像における左右方向の位置に基づく前記上部旋回体の前記下部走行体に対する旋回角度を認識することが好ましい。

　このような態様によれば、一の撮像画像に含まれている複数の指定構成要素の映り込み態様は、上部旋回体の下部走行体に対する旋回角度に応じて変化する。具体的には、その旋回角度の変化に応じて複数の指定構成要素の一の撮像画像における左右方向の位置が変化する。したがって、支援処理要素は、一の撮像画像における複数の指定構成要素の左右方向の位置を認識することにより、上部旋回体の下部走行体に対する旋回角度を認識することが可能となる。

　また、本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記下部走行体から突出して形成された立体状の前記指定構成要素を含む前記撮像画像を取得することが好ましい。　

　このような態様によれば、複数の指定構成要素が泥や土などが付着した場合であっても、支援処理要素は、容易に複数の指定構成要素を認識することができる。

　また、本発明の遠隔操作システムにおいて、前記支援処理要素は、前記他の撮像画像の画像座標、前記一の撮像装置が配置されている位置及び、前記一の撮像画像の一部の領域に基づいて、前記一の撮像画像に前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信することが好ましい。

　このような態様によれば、支援処理要素は、例えば、指定構成要素が映っていない作業機械の一の撮像方向（例えば正面方向）又は、他の撮像方向（例えば背面方向）から撮像された撮像画像に指標画像を合成した合成画像を生成することが可能となる。したがって、オペレータは、視線移動を行うことなく、作業機械の下部走行体の前後方向を認識することが可能となる。

　また、本発明の遠隔操作システムにおいて、前記作業機械の前記下部走行体は、左右一対のクローラを有し、前記支援処理要素は、前記指標画像を前記合成画像における前記クローラのサイズ及び前記合成画像における前記クローラの位置に応じて生成することが好ましい。

　このような態様によれば、例えば、支援処理要素は、クローラに指標画像を重畳した合成画像を生成することができるため、指標画像の視認性を高めることができる。このため、オペレータの作業効率の向上を図ることが可能となる。

　また、本発明の遠隔操作システムにおいて、前記支援処理要素は、前記遠隔操作装置における前記作業機械への操作の受け付けの可否を示す情報である操作受付情報を取得し、前記操作受付情報が前記作業機械への操作の受け付けが可の場合に前記合成画像を前記遠隔操作装置に送信するが好ましい。

　このような態様によれば、オペレータが作業機械に対する操作を行う場合にのみ、下部走行体の前進方向又は後退方向が表示されるようにすることができ、オペレータが感じる煩わしさを低減することができる。

　また、本発明の遠隔操作システムにおいて、前記支援処理要素は、前記遠隔操作装置における前記作業機械の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報を取得し、前記準備動作で表されている前記意思が前進の前記操作入力である場合には、前記下部走行体の前進方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信し、前記準備動作で表されている前記意思が後退の前記操作入力である場合には、前記下部走行体の後退方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信することが好ましい。

　このような態様によれば、オペレータが作業機械の前進又は後退の操作を行う場合にのみ、指標画像が重畳された合成画像が表示されるようにすることができ、常に指標画像が重畳された合成画像が表示される煩わしさを低減することができる。

　また、本発明の遠隔操作システムにおいて、前記作業機械は、互いに近接して複数台配置され、前記支援処理要素は、操作対象の候補となる前記作業機械の実空間の位置情報を取得し、かつ前記撮像画像から算出される前記作業機械の実空間位置及び、前記操作対象の候補となる前記作業機械の実空間の前記位置情報が合致する場合、前記操作対象の候補となる前記作業機械を操作対象となる前記作業機械として認識することが好ましい。

　このような態様によれば、支援処理要素は、複数台の作業機械が相互に近接して配置された場合であっても、操作対象となる作業機械を判別することが可能となる。したがって、複数台の作業機械のうち、操作対象となる一の作業機械を外観により判別が困難な場合であっても、支援処理要素は、当該一の作業機械を判別し、オペレータが所望する作業機械に対して前記合成画像を生成することが可能となる。

１０‥作業支援サーバ、１０１‥支援処理要素、１０１１‥第１支援処理要素、１０１２‥第２支援処理要素、２０‥遠隔操作装置、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２１２‥第６撮像装置、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥遠隔無線通信機器、４０‥作業機械、４００‥実機制御装置、４１０‥実機入力インターフェース、４１１‥実機操作機構、４１２ａ‥実機撮像装置、４１２ｂ‥アタッチ撮像装置、４１２ｃ‥後方撮像装置、４１２ｄ、４１２ｅ‥第４撮像装置、４１２ｆ‥第５撮像装置、４２０‥実機出力インターフェース、４２２‥実機無線通信機器、４６０‥作動機構（作業アタッチメント）、４３０‥下部走行体、４３０ａ、４３０ｂ‥クローラ、４３１‥駆動部材、４４０‥旋回機構、４５０‥上部旋回体、４５４‥キャブ（運転室）、４６０‥作動機構、５０‥第１撮像装置、６０‥第２撮像装置

Claims

　下部走行体及び前記下部走行体に対して旋回可能な上部旋回体を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、
　前記作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、前記下部走行体の映り込み態様と、前記下部走行体の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向の少なくとも一方を示す指標画像を前記撮像画像における前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する支援処理要素、
　を有することを特徴とする遠隔操作システム。
　前記支援処理要素は、前記上部旋回体の前記下部走行体に対する旋回に応じて変化する前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて、前記上部旋回体の前記下部走行体に対する前記旋回角度に対応した角度で、前記指標画像を前記撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳することを特徴とする請求項１に遠隔操作システム。
　前記撮像装置は、前記作業機械からみた方角が相互に異なる位置に複数配置され、
　前記支援処理要素は、一の前記撮像装置を通じて取得された一の前記撮像画像において下部走行体の指定構成要素が映っていない場合、他の前記撮像装置を通じて取得された他の前記撮像画像における、前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向を示す指標画像を前記撮像画像に重畳する請求項１または２に記載の遠隔操作システム。
　前記支援処理要素は、一の前記撮像画像に映り込んでいる前記指定構成要素の個数及び、他の前記撮像画像に映り込んでいる前記指定構成要素の個数に基づいて、前記上部旋回体の前記下部走行体に対する旋回角度を認識することを特徴とする請求項３に記載の遠隔操作システム。
　前記支援処理要素は、一の前記撮像画像に含まれている前記指定構成要素の映り込み態様としての、前記指定構成要素の一の前記撮像画像における左右方向の位置に基づく前記上部旋回体の前記下部走行体に対する旋回角度を認識する請求項２～４のうちいずれか１項に記載の遠隔操作システム。
　前記支援処理要素は、前記下部走行体から突出して形成された立体状の前記指定構成要素を含む前記撮像画像を取得する請求項１～５のうちいずれか１項に記載の遠隔操作システム。
　前記支援処理要素は、前記他の撮像画像の画像座標、前記一の撮像装置が配置されている位置及び、前記一の撮像画像の撮像領域に基づいて、前記一の撮像画像に前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信する請求項１～６のうちいずれか１項に記載の遠隔操作システム。
　前記作業機械の前記下部走行体は、左右一対のクローラを有し、
　前記支援処理要素は、前記指標画像を前記合成画像における前記クローラのサイズ及び前記合成画像における前記クローラの位置に応じて生成する請求項1～７のうちいずれか１項に記載の遠隔操作システム。
　前記支援処理要素は、前記遠隔操作装置における前記作業機械への操作の受け付けの可否を示す情報である操作受付情報を取得し、前記操作受付情報が前記作業機械への操作の受け付けが可の場合に前記合成画像を前記遠隔操作装置に送信する請求項１～８のうちいずれか１項に記載の遠隔操作システム。
　前記支援処理要素は、前記遠隔操作装置における前記作業機械の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報を取得し、前記準備動作で表されている前記意思が前進の前記操作入力である場合には、前記下部走行体の前進方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信し、前記準備動作で表されている前記意思が後退の前記操作入力である場合には、前記下部走行体の後退方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信する請求項１～９のうちいずれか１項に記載の遠隔操作システム。
　前記作業機械は、互いに近接して複数台配置され、
　前記支援処理要素は、操作対象の候補となる前記作業機械の実空間の位置情報を取得し、かつ前記撮像画像から算出される前記作業機械の位置及び、前記操作対象の候補となる前記作業機械の実空間の前記位置情報が合致する場合、前記操作対象の候補となる前記作業機械を操作対象となる前記作業機械として認識する請求項１～１０のうちいずれか１項に記載の遠隔操作システム。
　請求項１～１１のうちいずれか１項に記載の遠隔操作システムと、
　前記遠隔操作装置および前記作業機械のうち少なくとも一方と、により構成されている遠隔操作複合システム。