JP7392422B2 - 作業支援サーバおよび作業支援システム - Google Patents

Description

本発明は、作業機械のオペレータに対して割り当てられたクライアントとの通信により、前記オペレータによる前記作業機械を用いた作業を支援するための作業支援サーバに関する。

建設作業現場の３次元形状を把握して、丁張りと現況出来形との関係や走行可能範囲や危険範囲などを、建機オペレータに的確に知らせる技術が提案されている（例えば、特許文献１参照）。具体的には、異なる場所のそれぞれに配置された各ステレオカメラから取得された距離画像が統合されて建設作業現場の３次元モデルデータが生成される。そして、建機のオペレータにより指定された仮想視点から建設作業現場を見た画像が、当該３次元モデルデータに基づいて描かれ、それが建機の運転席に表示される。

特開２００３－３３３５９０号公報

しかし、経験が浅いオペレータが作業機械を運転または操作する際、ベテランのオペレータから助言または指示を得ることにより、当該オペレータの円滑な作業機械を用いた作業の遂行の観点から好ましい。

そこで、本発明は、一のオペレータが作業機械を運転または操作する際、他のオペレータからの助言または指示を当該一のオペレータに直感的に認識させることができるサーバおよびシステムを提供することを目的とする。

本発明は、複数のオペレータのそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数のオペレータのそれぞれによる作業機械を用いた作業を支援するための作業支援サーバに関する。

本発明の作業支援サーバは、第１支援処理要素および第２支援処理要素を備え、前記第１支援処理要素が、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントと連携している前記作業機械である第１作業機械の第１指定位置および第２指定位置を含む経路案内要求を認識し、前記第２支援処理要素が、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記経路案内要求に含まれている前記第１指定位置および前記第２指定位置が示されているマップ作業環境画像を前記第２クライアントの出力インターフェースに出力させ、前記第２クライアントの入力インターフェースを通じて前記マップ作業環境画像の上で指定された前記第１指定位置および前記第２指定位置の間に延在する案内経路を認識し、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第２支援処理要素により認識された前記案内経路に応じた経路案内画像を前記第１クライアントの出力インターフェースに出力させることを特徴とする。

本発明の作業支援システムは、本発明の作業支援サーバと、クライアントと、により構成されていることを特徴とする。

本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントと連携している（または第１クライアントとの通信により操作されている）第１作業機械の第１指定位置および第２指定位置の間で延在する経路案内要求に応じて、第２クライアントの入力インターフェースを通じて指定された第１指定位置および第２指定位置の間で延在する案内経路に応じた経路案内情報が第１クライアントの出力インターフェースに出力される。第１指定位置は、例えば、第１作業機械の現在位置または現在位置とは異なる出発位置である、第２指定位置は、例えば、第１作業機械の立ち寄り位置または目標位置である。このため、例えば、第１作業機械を運転操作しているオペレータが、第２クライアントが割り当てられた他のオペレータから、第１指定位置から第２指定位置まで、第１作業機械を移動させるための助言または指示を直感的に認識することができる。

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記複数のクライアントのうち前記第１クライアントとは異なる少なくとも一のクライアントとの通信に基づき、前記少なくとも一のクライアントと連携している作業機械の位置の時系列である位置軌道を認識し、前記第１指定位置を基準として広がる第１指定範囲および前記第２指定位置を基準として広がる第２指定範囲のうち少なくとも一方に当該位置軌道が含まれていることを要件として、前記少なくとも一のクライアントを前記第２クライアントとして認識し、前記第２クライアントとの通信に基づき、前記第２クライアントの入力インターフェースを通じて前記マップ作業環境画像の上での前記案内経路の指定を許容することが好ましい。

第１指定範囲および第２指定範囲のうち少なくとも一方に含まれている位置軌道または経路移動履歴を有する作業機械と連携しているクライアントが割り当てられているオペレータは、そうではないオペレータと比較して第１指定位置および第２指定位置の間で延在する案内経路を指定するために適当な土地勘を有している蓋然性が高い。当該構成の作業支援サーバ等によれば、この点が勘案されて、第１指定位置および第２指定位置の間で延在する案内経路を指定するために適当な土地勘を有している蓋然性が高いオペレータのクライアントが第２クライアントとして認識される。このため、当該第２クライアントが割り当てられたオペレータによる助言または指示を、第１クライアントが割り当てられたオペレータに直感的に認識させることができる。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１作業機械の周囲の様子を表わす周辺画像を認識し、前記周辺画像において前記案内経路の方向を示す方向指示画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることが好ましい。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記案内経路の少なくとも一部を示す作業環境画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることが好ましい。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記案内経路の少なくとも一部を示す作業環境画像を前記路案内画像として前記第１クライアントの出力インターフェースに出力させることが好ましい。

当該構成の作業支援サーバ等によれば、例えば、第１作業機械を運転操作しているオペレータが、第２クライアントが割り当てられた他のオペレータから、第１指定位置から第２指定位置まで、第１作業機械を移動させるための助言または指示を案内経路の少なくとも一部を示す作業環境画像により直感的に認識することができる。

本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 第１作業環境画像に関する説明図。 第２作業環境画像に関する説明図。 第２クライアントの選定方法に関する説明図。 第１の経路案内画像に関する説明図。 第２の経路案内画像に関する説明図。

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置軌道のほか、撮像画像、作業環境画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該クライアントが構成されていてもよい。当該携帯端末は、作業支援サーバ１０との通信機能を有していてもよい。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

（第１機能（作業機械の遠隔操作））
遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「第１指定操作」は、例えば、作業環境画像（図７参照）において、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。

作業支援サーバ１０において、作業環境画像要求が受信された場合、第１支援処理要素１２１により当該作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ４０４）。

作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた第１作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２０）、第２作業環境画像データに応じた第２作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。これにより、例えば図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業環境画像が画像出力装置２２１に表示される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（第２機能（経路案内画像の出力））
第１クライアントとしての第１の遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２１０）。第２指定操作は、例えば、遠隔入力インターフェース２１０を通じたタップなどの操作または遠隔操作機構２１１の操作である。当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して経路案内画像要求が送信される（図５／ＳＴＥＰ２１２）。

「経路案内画像要求」には、第１指定位置Ｐ１および第２指定位置Ｐ２のそれぞれの緯度および経度を表わすデータが含まれている。第１指定位置Ｐ１は、例えば、遠隔入力インターフェース２１０におけるタップ等の操作により指定された出発位置のほか、第１の遠隔操作装置２０と連携している作業機械４０の現在位置であってもよい。第２指定位置Ｐ２は、例えば、遠隔入力インターフェース２１０におけるタップ等の操作により指定された立ち寄り位置または目的位置であってもよい。

遠隔出力インターフェース２２０を構成する画像出力装置２２１において作業現場の大局的な様子を示す第２作業環境画像が出力され、当該第２作業環境画像における任意の箇所に相当する実空間位置が第１指定位置Ｐ１および／または第２指定位置Ｐ２として指定されてもよい。例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰撮像画像または鳥瞰マップが第２作業環境画像として画像出力装置２２１において出力される。この第２作業環境画像においては、作業現場に存在する作業機械４０を表わす画像またはアイコンＱ１およびＱ２が示されている。また、作業現場における第１指定位置Ｐ１および第２指定位置Ｐ２が示されている。

鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。

作業支援サーバ１０において、経路案内画像要求が受信された場合（図５／Ｃ１３）、第２支援処理要素１２２により、第１指定位置Ｐ１および第２指定位置Ｐ２のうち少なくとも一方が認識される（図５／ＳＴＥＰ１２０）。

また、第２支援処理要素１２２により、第１指定位置Ｐ１を基準として広がる第１指定範囲Ｓ１および第２指定位置Ｐ２を基準として広がる第２指定範囲Ｓ２が認識される（図５／ＳＴＥＰ１２１）。これにより、例えば図８に示されているように、第２指定位置Ｐ２に対して偏向的に広がっている略楕円形状の第１指定範囲Ｓ１が設定される。当該楕円の長軸を含む直線に第２指定位置Ｐ２が含まれていてもよい。同様に、図８に示されているように、第１指定位置Ｐ１に対して偏向的に広がっている略楕円形状の第２指定範囲Ｓ２が設定される。当該楕円の長軸を含む直線に第１指定位置Ｐ１が含まれていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２のそれぞれの基準位置に対する位置、形状およびサイズのそれぞれはさまざまに変更されていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２のそれぞれのサイズが異なっていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２は、相互に離間していてもよく、相互に接していてもよく、相互に重なっていてもよい。

さらに、第２支援処理要素１２２により、データベース１０２から、第１クライアントと連携しているまたは操作対象となっている作業機械４０を除く、複数の作業機械４０のそれぞれの位置の時系列である位置軌道が認識される（図５／ＳＴＥＰ１２２）。これにより、例えば図８に示されているように、作業機械４０の３つの位置軌道Ｔ１～Ｔ３が認識される。作業機械４０の位置軌道は、当該作業機械４０に搭載されているＧＰＳ、必要に応じて加速度センサを利用した測位装置により測定される。作業機械４０において測定された当該作業機械４０の位置軌道は、適当なタイミングで作業機械４０から直接的に、または、作業機械４０と連携している遠隔操作装置２０（クライアント）を介して間接的に、当該クライアントの識別子またはオペレータの識別子とともに作業支援サーバ１０に対して送信され、データベース１０２に登録される。

第２支援処理要素１２２により、第１クライアントを除く複数のクライアントの中から第２クライアントが選定される（図５／ＳＴＥＰ１２３）。具体的には、遠隔操作装置２０（クライアント）との連携期間における作業機械４０の位置軌道が、第１指定範囲Ｓ１および第２指定範囲Ｓ２のうち少なくとも一方に重なっていることを要件として、当該遠隔操作装置２０または当該遠隔操作装置２０を操作していたオペレータのクライアントが第２クライアントとして選定される。

例えば図８に示されているように、作業機械４０の位置軌道Ｔ２が第１指定範囲Ｓ１に重なっている場合、当該位置軌道Ｔ２に対応する期間において当該作業機械４０（第２作業機械）と連携していた遠隔操作装置２０（クライアント）またはそのオペレータのクライアントが、位置軌道Ｔ２に関連付けられている識別子に基づいて第２クライアントとして選定される。また、同じく図８に示されているように、作業機械４０の位置軌道Ｔ３が第１指定範囲Ｓ１および第２指定範囲Ｓ２に重なっている場合、当該位置軌道Ｔ３に対応する期間において当該作業機械４０（第２作業機械）と連携していた遠隔操作装置２０（クライアント）またはそのオペレータのクライアントが、位置軌道Ｔ３に関連付けられている識別子に基づいて第２クライアントとして選定される。

該当するクライアントが存在しない場合、例えば、第１指定範囲Ｓ１および第２指定範囲Ｓ２のうち少なくとも一方が拡張されたうえで第２クライアントの選定が試みられてもよい。また、第１指定位置Ｐ１および第２指定位置Ｐ２のそれぞれに対する距離が最短の位置軌道を有する作業機械４０（第２作業機械）に対応するクライアントが第２クライアントとして選定されてもよい。さらに、作業機械４０を遠隔操作して走行させた合計距離または作業機械４０の遠隔操作時間などに応じて評価されるスキルスコアが基準値以上であるオペレータのクライアントが識別子に基づいて第２クライアントとして選定されてもよい。第１クライアントに最も近くにあるクライアントが第２クライアントとして選定されてもよい。

第２支援処理要素１２２により、第２クライアントとして選定された第２の遠隔操作装置２０に対して、経路案内画像要求が送信される（図５／ＳＴＥＰ１２４）。この際、作業現場の大局的な様子を表わす第２作業環境画像データも当該遠隔操作装置２０に対して送信される。

第２クライアント（第２の遠隔操作装置２０）において、遠隔無線通信機器２２２を通じて経路案内画像要求が受信された場合（図５／Ｃ２２０）、第２作業環境画像データに応じた第２作業環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２０）。これにより、例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰撮像画像または鳥瞰マップが第２作業環境画像として画像出力装置２２１において出力される。この第２作業環境画像においては、作業現場に存在する作業機械４０を表わす画像またはアイコンＱ１およびＱ２が示されている。また、作業現場における第１指定位置Ｐ１および第２指定位置Ｐ２が示されている。

遠隔制御装置２００により、遠隔入力インターフェース２１０における操作を通じて、第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒが指定されたか否かが判定される（図５／ＳＴＥＰ２２２）。例えば、遠隔入力インターフェース２１０および遠隔出力インターフェース２２０の両方を構成するタッチパネルにおいて、オペレータの指先またはペンの軌跡が認識されることにより、案内経路Ｒの延在態様が認識されてもよい。これにより、例えば図１０に示されているように、第２作業環境画像において第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する曲線状の案内経路Ｒがオペレータにより指定されうる。

ペン等の軌跡の始端位置および第１指定位置Ｐ１は同一でなくてもよく、両者の間隔が一定間隔以内であれば、当該軌跡が案内経路Ｒとして認識されうる。ペン等の軌跡の終端位置および第２指定位置Ｐ２は同一でなくてもよく、両者の間隔が一定距間隔以内であれば、当該軌跡が案内経路Ｒとして認識されうる。さらに、ペン等の軌跡にしたがって作業機械４０が移動した場合、当該作業機械４０が作業現場において資材等の物体と接触する可能性または当該作業機械４０が深い窪地に進入する可能性などの有無が、第２作業環境画像の画像解析によって判定され、当該可能性がないことを要件として当該軌跡が案内経路Ｒとして認識されてもよい。

第当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔制御装置２００により、案内経路Ｒを表わすデータが、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により、作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２４）。

作業支援サーバ１０において、案内経路Ｒを表わすデータが受信された場合（図５／Ｃ１４）、第２支援処理要素１２２により、当該案内経路Ｒに基づき経路案内画像が生成される（図５／ＳＴＥＰ１２６）。

これにより、例えば図９に示されているように、第１クライアントと連携している作業機械４０（第１作業機械）の周囲における作業現場の局所的な様子を示す第１作業環境画像（周辺画像）において、案内経路Ｒの方向を示す方向指示画像Ｍが経路案内画像として生成されてもよい。この場合、実空間座標系（または第２作業環境画像座標系）における作業機械４０の周辺における案内経路Ｒの始端部等の一部分の位置および姿勢が座標変換されることにより、第１作業環境座標系における当該案内経路Ｒの一部の位置および姿勢が認識または算定される。当該座標変換に際して、実空間座標系における作業機械４０、ひいては作業機械座標系の位置および姿勢を表わす第１座標変換因子（行列またはクォータニオン）と、作業機械座標系における撮像装置４１２の位置および姿勢を表わす第２座標変換因子と、が用いられる。第１座標変換因子は、第２作業環境画像における作業機械４０の位置および姿勢、または、作業機械４０に搭載されている測位センサおよび方位センサのそれぞれにより測定された当該作業機械４０の実空間位置および実空間姿勢に基づいて認識される。第２座標変換因子は、作業機械４０の実機制御装置４００を構成する記憶装置に格納されているまたはデータベース１０２に作業機械４０の識別子と関連付けられて登録されている、当該作業機械４０における撮像装置４１２の搭載位置および姿勢に基づいて認識される。

また、例えば図１０に示されているように、作業現場の大局的な様子を示す第２作業環境画像において、第１指定位置Ｐ１および第２指定位置Ｐ２の間における案内経路Ｒの延在態様を示す画像が経路案内画像として生成される。

さらに、第２支援処理要素１２２により、経路案内画像を表わすデータが第１クライアント（第１の遠隔操作装置２０）に対して送信される（図５／ＳＴＥＰ１２８）。

第１クライアント（第１の遠隔操作遠隔操作装置２０）において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により経路案内画像データが受信された場合（図５／Ｃ２１０）、遠隔出力インターフェース２２０を構成する画像出力装置２２１において作業環境画像が出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図９に示されている第１作業環境画像に基づく経路案内画像と、図１０に示されている第２作業環境画像に基づく経路案内画像と、のうち少なくとも一方が画像出力装置２２１において出力される。

当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（第１の遠隔操作装置２０）と連携している第１作業機械４０からの経路案内要求が受け付けられる（図５／ＳＴＥＰ２１２→Ｃ１３参照）。第２クライアント（第２の遠隔操作装置２０）の入力インターフェース２１０を通じて第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒが指定されうる（図５／ＳＴＥＰ２２２および図１０参照）。そして、案内経路Ｒに応じた経路案内情報が第１クライアントの出力インターフェース２２０に出力される（図５／ＳＴＥＰ２１４、図９および図１０参照）。

このため、例えば、第１の遠隔操作装置２０を用いて作業機械４０を運転操作しているオペレータが、第２クライアントが割り当てられた他のオペレータから、第１指定位置Ｐ１および第２指定位置Ｐ２の間で第１作業機械を移動させるための助言または指示を直感的に認識することができる。

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各構成要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。

前記実施形態では、作業支援サーバ１０において第２支援処理要素１２２により、案内経路Ｒの実空間座標系または第２撮像座標系における延在態様を表わすデータに基づき、経路案内画像が生成されたが（図５／ＳＴＥＰ１２６）、他の実施形態として、第２支援処理要素１２２により第１クライアントに対して当該データが送信され、当該第１クライアントにおける遠隔操作装置２０により当該データに基づき、経路案内画像が生成されてもよい。

１０‥作業支援サーバ、２０‥遠隔操作装置（クライアント）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）。

Claims (5)

1. 複数のオペレータのそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数のオペレータのそれぞれによる作業機械を用いた作業を支援するための作業支援サーバであって、
   第１支援処理要素および第２支援処理要素を備え、
   前記第１支援処理要素が、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントと連携している前記作業機械である第１作業機械の第１指定位置および第２指定位置を含む経路案内要求を認識し、
   前記第２支援処理要素が、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記経路案内要求に含まれている前記第１指定位置および前記第２指定位置が示されているマップ作業環境画像を前記第２クライアントの出力インターフェースに出力させ、前記第２クライアントの入力インターフェースを通じて前記マップ作業環境画像の上で指定された前記第１指定位置および前記第２指定位置の間に延在する案内経路を認識し、
   前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第２支援処理要素により認識された前記案内経路に応じた経路案内画像を前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
2. 請求項１記載の作業支援サーバにおいて、
   前記第２支援処理要素が、前記複数のクライアントのうち前記第１クライアントとは異なる少なくとも一のクライアントとの通信に基づき、前記少なくとも一のクライアントと連携している作業機械の位置の時系列である位置軌道を認識し、前記第１指定位置を基準として広がる第１指定範囲および前記第２指定位置を基準として広がる第２指定範囲のうち少なくとも一方に当該位置軌道が含まれていることを要件として、前記少なくとも一のクライアントを前記第２クライアントとして認識し、前記第２クライアントとの通信に基づき、前記第２クライアントの入力インターフェースを通じて前記マップ作業環境画像の上での前記案内経路の指定を許容することを特徴とする作業支援サーバ。
3. 請求項１または２記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１作業機械の周囲の様子を表わす周辺画像を認識し、前記周辺画像において前記案内経路の方向を示す方向指示画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
4. 請求項１～３のうちいずれか1項に記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記案内経路の少なくとも一部を示す作業環境画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
5. 請求項１～４のうちいずれか１項に記載の作業支援サーバと、クライアントと、により構成されていることを特徴とする作業支援システム。

Images