JP2024051364A - 作業機械の遠隔情報取得システム、及び遠隔情報取得システム - Google Patents

Abstract

【課題】ネットワークの負担を軽減する。【解決手段】作業機械の遠隔情報取得システムは、作業機械が作業している作業領域を測定する空間認識装置によって生成された測定情報から、当該作業領域に存在する物体の位置と種類とを特定し、当該位置と種類とを送信する第１の装置と、作業機械を遠隔操作するように構成されている第２の装置と、を備え、第２の装置は、位置と種類とを受信した場合に、画面に表示するための仮想的な３次元空間に、種類に対応するモデルを、位置に対応する座標に配置するように構成されている。【選択図】図５

Description

本発明は、作業機械の遠隔情報取得システム、及び遠隔情報取得システムに関する。

従来、油圧ショベルなどの作業機械の遠隔操作を支援する遠隔操作システムが知られている（特許文献１参照）。この遠隔操作システムは、作業現場にある作業機械に取り付けられたカメラが撮像した画像を、遠隔操作室に設置された表示装置に表示するように構成されている。

特開２０１８－２０７２４４号公報

しかしながら、特許文献１に記載の遠隔操作システムでは、表示装置にカメラが撮像した画像を表示するためには、作業機械から遠隔操作室まで通信ネットワークを介して画像を送信する必要があるため、通信ネットワークの通信速度と比べて、画像のデータ量が大きい場合には、遠隔操作室にカメラが撮像した画像を表示するのが難しい可能性がある。

上述に鑑み、撮像するカメラと、撮像された領域を確認するための装置と、の間の通信量を削減することで、ネットワークの負担を軽減する。

本発明の一態様に係る作業機械の遠隔情報取得システムは、作業機械が作業している作業領域を測定する空間認識装置によって生成された測定情報から、当該作業領域に存在する物体の位置と種類とを特定し、当該位置と種類とを送信する第１の装置と、作業機械を遠隔操作するように構成されている第２の装置と、を備え、第２の装置は、位置と種類とを受信した場合に、画面に表示するための仮想的な３次元空間に、種類に対応するモデルを、位置に対応する座標に配置するように構成されている。

本発明の一態様によれば、データ量を削減することで、ネットワークの負担を軽減する。

図１は、第１の実施形態に係る遠隔操作システムの一例を示す概要図である。 図２は、第１の実施形態に係るショベル（掘削機）を示す側面図である。 図３は、第１の実施形態に係るショベルの駆動系の構成例を示すブロック図である。 図４は、第１の実施形態に係るショベルに搭載される電気系の構成例を示す図である。 図５は、第１の実施形態に係る遠隔操作システムの構成例を示す機能ブロック図である。 図６は、第１の実施形態に係る遠隔操作室の配置例を示す図である。 図７は、第１の実施形態に係るショベルに設けられた空間認識装置が検出対象とする空間を表した図である。 図８は、第１の実施形態に係る物体検出コントローラにより検出された物体を表した図である。 図９は、第１の実施形態に係る配置部によって特定された物体のサイズ、傾き、及び位置を直方体で示した図である。 図１０は、第１の実施形態に係る表示制御部により表示された表示装置の表示画面を例示した図である。 図１１は、変形例に係るクローラークレーンの作業現場を示した図である。 図１２は、変形例に係る遠隔操作室の表示装置に表示される画面例を示した図である。

以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。

（第１の実施形態）
まず、図１を参照して、第１の実施形態に係る遠隔操作システム（遠隔情報取得システムの一例）ＳＹＳの概要を説明する。図１は、第１の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。

＜遠隔操作システムを構成する機器＞
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、ドローンＤＲと、定点カメラ（定点計測装置の一例）Ｃ１２と、遠隔操作室ＲＣと、を含んでいる。

ショベル１００及びドローンＤＲの無線通信が可能とする。そして、ショベル１００及びドローンＤＲは、無線通信装置ＮＴ１を介して、公衆ネットワークＮＴに接続された機器（例えば、遠隔操作室ＲＣ）との間でデータの送受信を可能とする。定点カメラＣ１２は、公衆ネットワークＮＴに接続された機器（例えば、遠隔操作室ＲＣ）との間でデータの送受信を可能とする。

ショベル１００、ドローンＤＲ、及び定点カメラＣ１２は、ショベル１００が作業を行う作業現場に存在する。このように本実施形態では、作業現場に複数種類の装置が設けられている。そして、ショベル１００、ドローンＤＲ、及び定点カメラ（定点計測装置の一例）Ｃ１２は、作業現場に関する情報を、遠隔操作室ＲＣに送信できる。これにより、遠隔操作室ＲＣは、複数種類の装置からの検出結果に応じて、作業現場を多角的に確認することができる。なお、本実施形態は、測定情報を送信するため装置（第１の装置）を、ショベル１００、ドローンＤＲ、及び定点カメラＣ１２に制限するものではなく、ユーザが所持可能な空間認識装置など、他の態様の装置であってもよい。

例えば、ショベル１００には空間認識装置Ｃ１（図２参照）が設けられ、ドローンＤＲには空間認識装置Ｃ１１が設けられている。定点カメラＣ１２は、空間認識装置としての機能を有している。したがって、ショベル１００、ドローンＤＲ、及び定点カメラＣ１２は、空間認識装置による作業現場の測定結果を示した測定情報を生成できる。ショベル１００、ドローンＤＲ、及び定点カメラＣ１２の各々の測定結果である測定情報を、遠隔操作室ＲＣに送信すると、公衆ネットワークＮＴの負荷が大きくなる。そこで、本実施形態に係る遠隔操作システムＳＹＳは、測定情報の代わりに、測定情報に基づいて検知した物体に関する情報を送信する。

空間認識装置Ｃ１、Ｃ１１、及び定点カメラＣ１２は、作業現場を撮像するためにＬＩＤＡＲ（Light Detection and Ranging）を用いてもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。さらに、本実施形態は、色等を検出可能な撮像装置と組み合わせてもよい。他の例としては、ステレオカメラを用いてもよいし、ミリ波レーダなどの測距装置を組み合わせてもよい。

遠隔操作システムＳＹＳに含まれるドローンＤＲは、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台のドローンＤＲを通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。

遠隔操作システムＳＹＳに含まれる定点カメラＣ１２は、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台のＣ１２を通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。

遠隔操作システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台のショベル１００を通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。

＜遠隔操作室の構成例＞
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置２６、操作センサ２９、及び表示装置Ｄ１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。

通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１（図２参照）、ドローンＤＲに取り付けられた通信装置Ｔ３、及び定点カメラＣ１２に取り付けられた（図示しない）通信装置との間で通信を制御するように構成されている。

遠隔コントローラ（第２の装置の一例）４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００、ドローンＤＲ、及び定点カメラＣ１２の各々から送信された情報に基づいた画面を表示する。表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、ショベル１００の周囲を含む作業現場の状況を確認できる。

操作装置２６（操作部の一例）には、操作装置２６の操作内容を検出するための操作センサ２９が設置されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ２９は、検出した操作装置２６の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２９は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作室ＲＣから、ショベル１００の遠隔操作を実現できる。

＜ショベルの構成＞
図２は、実施形態に係る建設機械としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。

ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。

ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。

アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。

バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。

なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。

旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、ロータリエンコーダ等の他のセンサで構成されていてもよい。

上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置１８、集音装置Ａ１、空間認識装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。

エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。

測位装置１８は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置１８は、ＧＮＳＳ（Global Navigation Satellite System）コンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。

集音装置Ａ１は、ショベル１００の周囲で発生する音を集めるように構成されている。本実施形態では、集音装置Ａ１は、上部旋回体３に取り付けられたマイクである。

空間認識装置Ｃ１は、ショベル１００（作業機械の一例）が作業している作業領域を測定するように構成されている。本実施形態では、空間認識装置Ｃ１は、上部旋回体３の上面後端に取り付けられた後カメラＣ１Ｂ、キャビン１０の上面前端に取り付けられた前カメラＣ１Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＣ１Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＣ１Ｒを含む。空間認識装置Ｃ１は、キャビン１０内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン１０内に設置された運転席に着座する操作者の目の位置に対応する位置である。

通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。

コントローラ３０は、各種演算を実行する演算装置である。コントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。

図３は、図２のショベル１００の駆動系の構成例を示すブロック図である。図３において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。

ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び電磁弁ユニット４５等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。

メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。

レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節するように構成されている。メインポンプ１４は、レギュレータ１３により１回転当たり吐出量（押し退け容積）が制御される。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブユニット１７に作動油を供給する機能とは別に、絞り等を介して電磁弁ユニット４５等に作動油を供給する機能を備えていてもよい。

コントロールバルブユニット１７は、メインポンプ１４から受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット１７は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。

コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、電磁弁ユニット４５を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室ＲＣから送信されてくる。操作信号は、キャビン１０内に設けられた操作装置によって生成されてもよい。

電磁弁ユニット４５は、パイロットポンプ１５とコントロールバルブユニット１７内の各制御弁のパイロットポートとを繋ぐ各パイロットライン２５に配置された複数の電磁弁を含む。

本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。

このようにして、コントローラ３０は、遠隔操作室等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。

図４は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図４に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。コントローラ３０は、エンジン１１の状態を示す各種データをメモリ３０ａに蓄積できるように構成されている。なお、遠隔操作室ＲＣは、図１と同様のため、説明を省略する。

バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作するように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａが発電した電力で充電されるように構成されている。

水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置１８は、ショベル１００の位置に関するデータをコントローラ３０に送信する。

メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４－１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４－１を流れる作動油の温度に関するデータをコントローラ３０に送信する。

尿素水タンク２１に設けられた尿素水残量センサ２１ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク２２に設けられた燃料残量センサ２２ａは、燃料の残量に関するデータをコントローラ３０に送信する。

通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。本実施形態では、通信装置Ｔ１と通信装置Ｔ２とは、第５世代移動通信回線（５Ｇ回線）、ＬＴＥ回線、又は衛星回線等を介して情報を送受信するように構成されている。

＜遠隔操作システムのブロック構成＞
図５は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図５に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、ドローンＤＲ、及び、ショベル１００の各々のブロック構成を示している。

ショベル１００は、測位装置１８、コントローラ３０、電磁弁ユニット４５、補助記憶装置４８、空間認識装置Ｃ１、及び通信装置Ｔ１を備えている。遠隔操作室ＲＣには、操作センサ２９、遠隔コントローラ４０、表示装置Ｄ１、及び通信装置Ｔ２を備えている。ドローンＤＲは、測位装置Ｄ１８、物体検出コントローラＤ３０、空間認識装置Ｃ１１、補助記憶装置Ｄ４８、及び通信装置Ｔ３を備えている。

ショベル１００に搭載されているコントローラ３０が有する機能について説明する。コントローラ３０は、図５に示されるように、機能ブロックとして、物体検出コントローラ３１と、ショベル状態特定部３２と、アクチュエータ駆動部３３と、を有する。

物体検出コントローラ３１は、検出部３１ａと、位置算出部３１ｂと、タグ情報付与部３１ｃと、送信情報生成部３１ｄと、を有し、空間認識装置Ｃ１によって検知された測定情報に基づいて、ショベル１００の周囲に存在する物体を認識し、当該物体に関する情報を、遠隔操作室ＲＣに送信するための処理を行う。

本実施形態においては、ショベル１００が、遠隔操作室ＲＣにショベル１００の周囲の状況を伝えるために、空間認識装置Ｃ１によって検知された測定情報を送信する代わりに、測定情報から抽出された、ショベル１００の周囲に存在する物体に関する情報を送信する。

つまり、空間認識装置Ｃ１によって生成された測定情報は、データ量が大きくなる。このような測定情報を、遠隔操作室ＲＣに送信する場合に、通信に用いる公衆ネットワークＮＴに対する負担が大きくなる。特にショベル１００が都市郊外で作業を行う場合等における公衆ネットワークＮＴの環境によっては、測定情報の送信に遅延が生じる可能性がある。

そこで、本実施形態に係る物体検出コントローラ３１は、空間認識装置Ｃ１によって生成された測定情報から、ショベル１００の周囲に存在する物体を検知し、当該物体に関する情報を、遠隔操作室ＲＣに送信するための情報（以下、送信情報）を生成する。

送信情報としては、例えば、"｛ｔａｇ、ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ、α｝"（以下、物体検知情報と称する）を検出された物体の数だけ含んだ情報とする。

"ｔａｇ"（以下タグ情報と称する）は、検出された物体の種類を示す情報とする。例えば、"ｔａｇ"には、人（避ける対象）、建造物（避ける対象）、地面（作業対象）、土砂（作業対象）、又は、吊り荷（作業対象）等を示した情報が格納される。

"ｘ、ｙ、ｚ"は、検出された物体の３次元座標上の位置を示す情報とする。本実施形態における物体の位置を示す情報は、例えば、ＧＮＳＳ（Global Navigation Satellite System）に基づいた世界座標系における位置情報としてもよい。本実施形態では、緯度、経度をｘ軸及びｙ軸で示し、高度をｚ軸で示している。

"ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ"は、検出された物体の３次元座標上の傾きを示す情報とする。本実施形態における物体の傾きを示す情報は、ロール角、ピッチ角、及びヨー角の各々を示している。

"ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ"は、検出された物体の３次元のサイズを示す情報とする。つまり、"ｘ＿ｌｅｎ"は、ｘ軸方向の長さであり、"ｙ＿ｌｅｎ"は、ｙ軸方向の長さであり、"ｚ＿ｌｅｎ"は、ｚ軸方向の長さである。本実施形態においては、検出された物体の形状を、直方体として保持する。また、空間認識装置Ｃ１で検出できない軸方向の長さの設定手法は、任意の手法でよい。例えば、検出されなかった旨の情報を設定してもよいし、検出された物体に対応する標準的な長さを割り当ててもよい。標準的な長さを設定する場合、安全性を考慮したマージンを含めてもよい。

"α"は、検出された物体の属性情報とする。例えば、"ｔａｇ"が人を示す場合、"α"には、当該人の状態（立っている、しゃがんでいる、横になっている）、又は当該人の着ている服の色などが含まれてもよい。また、"α"が土砂を示す場合、"α"には、当該土砂の形状を示す情報（例えば、土砂の表面をモデル化したポリゴン情報）などが含まれてもよいし、当該土砂の表面の模様を表すテクスチャ画像が含まれてもよい。

次に送信情報を送信するまでに行われる処理について説明する。

検出部３１ａは、空間認識装置Ｃ１によって検知された測定情報から、検知範囲に存在する物体を検出する。検出部３１ａにより検出される物体の情報には、当該物体の形状、大きさ、及び色が含まれる。物体、及び当該物体の形状等の検出手法については、周知の手法を問わずどのような手法を用いてもよい。なお、検出される物体の情報は、物体の形状、大きさ、及び色に制限するものではなく、例えば色が含まれなくともよいし、他の情報が含まれてもよい。

位置算出部３１ｂは、検出部３１ａにより検出された物体の位置、傾き、及びサイズを特定する。本実施形態においては、位置算出部３１ｂは、物体が直方体とみなした場合の位置、傾き及びサイズを特定する。物体の位置とは、物体を特定するための位置であれば、任意の位置でよい。例えば、物体を直方体とみなした場合、当該直方体の底面の中心位置を、物体の位置としてもよい。

具体的な物体の位置の特定手法としては、位置算出部３１ｂは、空間認識装置Ｃ１の測定情報から、空間認識装置Ｃ１から物体までの方向及び距離を認識できる。また、位置算出部３１ｂは、測位装置１８からの信号から、ショベル１００の世界座標系の位置情報を特定できる。よって、位置算出部３１ｂは、ショベル１００の世界座標系の位置情報と、ショベル１００に設けられた空間認識装置Ｃ１から物体までの方向及び距離と、に基づいて、世界座標系における物体の位置情報を取得できる。

このように、位置算出部３１ｂは、世界座標系における位置情報、傾き、及び物体（直方体）のサイズを、測定情報から検出された物体毎に特定する。

タグ情報付与部３１ｃは、検出部３１ａにより検出された物体に対して、当該物体に対応するタグ情報及び属性情報を付与する。タグ情報付与部３１ｃは、補助記憶装置４８に記憶されているタグ情報記憶部４８ａを参照する。

本実施形態に係るタグ情報記憶部４８ａには、測定情報から検出された物体を表す情報（例えば、検出された物体の形状、サイズ（大きさ）、及び色の組み合わせ）と、当該物体に対して割り当てるタグ情報と、属性情報と、の対応関係が記憶されている。つまり、タグ情報付与部３１ｃは、タグ情報記憶部４８ａを参照することで、検出部３１ａにより検出された物体に対応するタグ情報（物体の種類の一例）、及び属性情報（物体の状態の一例）を特定できる。

また、検出された物体が、地面（作業対象）、土砂（作業対象）の場合、タグ情報付与部３１ｃは、当該物体を示す情報に基づいて、物体の表面をモデル化したポリゴン情報を生成してもよい。

送信情報生成部３１ｄは、位置算出部３１ｂにより算出された物体（直方体）の位置、傾き、及びサイズと、タグ情報付与部３１ｃにより特定されたタグ情報（物体の種類の一例）及び属性情報と、に基づいて、検知された物体毎の物体検知情報"｛ｔａｇ、ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ、α｝"を含む、送信情報を生成する。そして、送信情報生成部３１ｄは、生成した送信情報を、遠隔操作室ＲＣに送信する。

本実施形態では、物体検知情報"｛ｔａｇ、ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ、α｝"が物体毎に含まれた送信情報が、送信される。ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎの各々は、所定のサイズ（例えば８～１６ビットの数値）の数値データであって、ｔａｇ、αの各々は、所定のサイズ（例えば数文字）の文字列データである。このため、送信情報として送信されるデータ量は、空間認識装置Ｃ１の測定情報を送信する場合と比べて少なくできる。

ショベル状態特定部３２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００の世界座標系における位置（ショベル１００基準点の緯度、経度、及び高度）である。ショベル状態特定部３２は、測位装置１８の出力に基づいてショベル１００の位置及び向きを特定する。そして、ショベル状態特定部３２は、特定されたショベル１００の位置及び向きを示す情報を、遠隔操作室ＲＣに送信する。

アクチュエータ駆動部３３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３３は、遠隔コントローラ４０から送信されてくる操作信号に基づき、電磁弁ユニット４５に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。

作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。

次に、ドローンＤＲに搭載されている物体検出コントローラＤ３０が有する機能について説明する。物体検出コントローラＤ３０は、図５に示されるように、機能ブロックとして、検出部Ｄ３０ａと、位置算出部Ｄ３０ｂと、タグ情報付与部Ｄ３０ｃと、送信情報生成部Ｄ３０ｄと、を有し、空間認識装置Ｃ１１によって検知された測定情報に基づいて、作業現場に存在する物体を認識し、当該物体に関する情報を、遠隔操作室ＲＣに送信するための処理を行う。ドローンＤＲの操作は、空間認識装置Ｃ１１の検出対象に作業現場が含まれていればよく、自動制御であってもよいし、任意の操作者による手動制御であってもよい。

検出部Ｄ３０ａは、空間認識装置Ｃ１１によって検知された測定情報から、検知範囲に存在する物体を検出する。検出部Ｄ３０ａにより検出される物体の情報には、当該物体の形状、大きさ、及び色が含まれる。なお、検出される物体の情報は、物体の形状、大きさ、及び色に制限するものではなく、例えば色が含まれなくともよいし、他の情報が含まれてもよい。

位置算出部Ｄ３０ｂは、上述した位置算出部３１ｂと同様に、空間認識装置Ｃ１１の測定情報、及び測位装置Ｄ１８からの世界座標系におけるドローンＤＲの位置情報に基づいて、世界座標系における物体の位置情報、物体（直方体）の傾き、及び物体（直方体）のサイズを、検出された物体毎に算出する。

タグ情報付与部Ｄ３０ｃは、補助記憶装置Ｄ４８のタグ情報記憶部Ｄ４８ａを参照して、検出部Ｄ３０ａにより検出された物体に対して、当該物体に対応するタグ情報及び属性情報を付与する。タグ情報及び属性情報を付与するための手法は、ショベル１００のタグ情報付与部３１ｃと同様として説明を省略する。

送信情報生成部Ｄ３０ｄは、位置算出部Ｄ３０ｂにより算出された物体（直方体）の位置、傾き、及びサイズと、タグ情報付与部Ｄ３０ｃにより特定されたタグ情報及び属性情報と、に基づいて、検知された物体毎の物体検知情報"｛ｔａｇ、ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ、α｝"を含む、送信情報を生成する。そして、送信情報生成部Ｄ３０ｄは、生成した送信情報を、遠隔操作室ＲＣに送信する。

本実施形態では、ショベル１００及びドローンＤＲが送信情報を送信するためのブロック構成について説明した。しかしながら、本実施形態は、送信情報を送信する機器を、ショベル１００及びドローンＤＲに制限するものではなく、定点カメラＣ１２も送信情報を送信する。また、作業者が有する空間認識装置を含む計測装置から送信情報を送信してもよい。このように作業現場に存在する機器であれば送信情報を送信してよい。これら機器が備える構成は、ショベル１００及びドローンＤＲと同様として説明を省略する。

次に、遠隔操作室ＲＣに設置されている遠隔コントローラ４０が有する機能について説明する。遠隔コントローラ４０は、ショベル１００を遠隔操作するように構成されている。
機能ブロックとして、物体復元コントローラ４１、及び操作信号生成部４２を有する。

物体復元コントローラ４１は、仮想３次元空間生成部４１ａと、配置部４１ｂと、表示制御部４１ｃと、を有し、ショベル１００及びドローンＤＲ等からの送信情報を受信した場合、仮想３次元空間に、送信情報に含まれるタグ情報に対応する３次元モデルを、送信情報に含まれる位置、傾きに対応する座標に配置し、当該仮想３次元空間を表示装置Ｄ１に表示する。

仮想３次元空間生成部４１ａは、仮想的な３次元空間（以下、仮想３次元空間と称する）を生成する。仮想３次元空間の形状はどのような形状であってもよく、例えば、仮想的な円筒形状として生成する。当該仮想３次元空間の中心座標は、任意の位置でよく、例えば、作業現場の中心を示す座標でもよい。

そして、仮想３次元空間生成部４１ａは、仮想３次元空間の内周面に所定の画像を投影する。所定の画像は、任意の画像であってよく、作業現場に対応する画像が好ましい。例えば、作業現場が森の場合には、森を表した画像を投影してもよい。また、投影する画像は、現在の作業時刻に応じて切り替えてもよい。これにより、遠隔操作室ＲＣで作業している操作者ＯＰは、現在の時間帯を認識できる。

配置部４１ｂは、送信情報に含まれている物体毎の物体検知情報"｛ｔａｇ、ｘ、ｙ、ｚ、ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ、ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ、α｝"に基づいて、仮想３次元空間に、物体を表す３次元モデルを配置する。本実施形態に係る配置部４１ｂは、"ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ"によって物体（直方体）のサイズを特定し、"ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ"によって当該物体（直方体）の傾きを特定し、"ｘ、ｙ、ｚ"によって仮想３次元空間における位置を特定する。本実施形態では、当該仮想３次元座標の座標と、世界座標系の座標と、を（図示しない）所定の変換テーブル等に応じて変換可能とする。これにより、物体検知情報に含まれる世界座標系の位置、サイズ、及び傾きを、当該仮想３次元空間で対応する位置、サイズ、及び傾きに変換できる。

さらに、配置部４１ｂは、"ｔａｇ"によって物体の種類を特定すると共に、"α"によって物体の状態又は形状等を特定する。その際に、配置部４１ｂは、３次元モデル記憶部４９ａを参照する。

補助記憶装置４９は、３次元モデル記憶部４９ａを記憶する。３次元モデル記憶部４９ａは、"ｔａｇ"で示される物体の種類に応じて３次元形状のモデル（以下、３次元モデルと称する）を記憶する。さらに、３次元モデル記憶部４９ａは、"α"で示される物体の状態に応じた、３次元モデルの形状を記憶する。これにより、本実施形態では、検出した物体の３次元表示が可能となる。従って、本実施形態は、操作者ＯＰが３次元表示を参照することで、作業現場の把握が容易になる。したがって、操作者ＯＰの作業負担を軽減できる。

よって、配置部４１ｂは、"ｔａｇ"で示される物体の種類に応じた３次元モデルを、"α"で示された物体の状況に応じた形状で特定できる。

そして、配置部４１ｂは、仮想３次元空間に、当該物体の位置、傾き及びサイズで示される直方体に、特定された３次元モデルの形状を当てはめる。これにより、配置部４１ｂは、仮想３次元空間に、３次元モデルを配置する。

配置部４１ｂは、送信情報に含まれている全ての物体に対応する３次元モデルを配置する。配置部４１ｂは、遠隔操作室ＲＣに送信した全ての機器（例えば、ショベル１００、ドローンＤＲ、及び定点カメラＣ１２）の送信情報に基づいて、３次元モデルを配置する。これにより、配置部４１ｂは、例えばショベル１００では死角となる領域に物体が存在しても、当該物体に対応する３次元モデルを配置できる。

表示制御部４１ｃは、３次元モデルが配置された仮想３次元空間を、表示装置Ｄ１に表示する。表示制御部４１ｃが、仮想３次元空間を表示する際の視点及び注視点は、任意の位置でよい。例えば、表示制御部４１ｃは、ショベル１００のキャビンが存在する位置を始点の初期値とし、キャビンの前方から所定の距離だけ離れた位置を注視点の初期値として設定してもよい。仮想３次元空間の表示を行うための注視点及び視点は、遠隔操作室ＲＣに存在する操作装置２６からの操作に応じて、仮想３次元空間内を移動させることが可能となる。

操作信号生成部４２は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部４２は、操作センサ２９の出力に基づいて操作信号を生成するように構成されている。

次に、遠隔操作室ＲＣについて説明する。図６は、遠隔操作室ＲＣの配置例を示す図である。遠隔操作室ＲＣには、操作席ＤＳを基準に、複数の操作装置２６が設けられている。

本実施形態では、表示装置Ｄ１は、図６に示すように、縦３段、横３列の９つのモニタで構成されるマルチディスプレイである。具体的には、表示装置Ｄ１は、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃ、左モニタＤ１ｄ、右モニタＤ１ｅ、左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉを含む。

そして、表示装置Ｄ１は、表示制御部４１ｃによって、３次元モデルが配置された仮想３次元空間を表示する。操作者ＯＰは、操作装置２６を介して、ショベル１００の操作に加えて、仮想３次元空間の表示を切り替える（例えば、視点の移動させる）ための操作を行うことができる。

＜作業現場側で行われる処理＞
次にショベル１００側で行われる処理について説明する。図７は、ショベル１００に設けられた空間認識装置Ｃ１が検出対象とする空間を表した図である。図７に示されるように、空間認識装置Ｃ１は、ショベル１００周辺の空間６０００に関する情報を取得して、測定情報を生成する。

図７に示されるように、測定情報は、検出対象である空間６０００の情報として、人６００１と、人６００２と、建造物６００３と、が含まれている。

物体検出コントローラ３１は、計測情報に基づいて、送信情報を生成する。図８は、物体検出コントローラ３１により検出された物体を表した図である。

検出部３１ａは、測定情報に基づいて、図７に示される空間６０００に存在する物体を検出する。図８に示されるように、検出部３１ａは、物体７００１と、物体７００２と、物体７００３と、を検出する。

そして、位置算出部３１ｂは、物体７００１の基準点７００１Ａ、物体７００２の基準点７００２Ａ、物体７００３の基準点７００３Ａの各々の、世界座標系における位置情報を算出する。さらに、位置算出部３１ｂは、物体７００１、物体７００２、及び物体７００３のサイズ及び傾きを算出する。空間認識装置Ｃ１で検出できない奥行き方向の長さは設定しなくともよい。例えば、ドローンＤＲが、物体７００１、物体７００２、及び物体７００３の各々の奥行方向の長さを取得し、設定してもよい。この場合、物体復元コントローラ４１が、複数の空間認識装置の認識結果を組み合わせることで物体のサイズを特定できる。

タグ情報付与部３１ｃは、物体７００１、物体７００２、及び物体７００３の各々にタグ情報及び属性情報を付与する。例えば、タグ情報付与部３１ｃは、物体７００１に対して、タグ情報"人"及び属性情報"立っている"を付与し、物体７００２に対して、タグ情報"人"及び属性情報"立っている"を付与し、物体７００３に対して、タグ情報"建造物"を付与する。例えば、タグ情報記憶部４８ａには、人の形状及び大きさと、タグ情報"人"とを対応付けている。さらに、タグ情報記憶部４８ａには、人が立っている場合の垂直方向のサイズ（大きさ）又は人が立っている場合の形状と、属性情報"立っている"と、を対応付けている。これにより、タグ情報付与部３１ｃは、タグ情報記憶部４８ａを参照することで、タグ情報"人"及び属性情報"立っている"を付与できる。

そして、送信情報生成部３１ｄは、位置算出部３１ｂにより算出された物体の位置、傾き、及びサイズと、タグ情報付与部３１ｃにより特定された物体のタグ情報及び属性情報と、に基づいて送信情報を生成し、送信情報を送信する。

本実施形態では、送信情報生成部３１ｄが送信情報を送信することで、空間認識装置Ｃ１による測定情報を送信する場合と比べてデータ量を低減できる。本実施形態において、送信情報を送信する間隔は、任意の間隔でよく、例えば、通常の遠隔監視で画像情報を送信する間隔と同様でもよい。

＜遠隔操作室側で行われる処理＞
次に遠隔操作室ＲＣ側で行われる処理について説明する。本実施形態に係る遠隔操作室ＲＣは、ショベル１００、ドローンＤＲ、及び定点カメラＣ１２の各々からの送信情報に基づいて、作業現場の状況を表示装置Ｄ１に表示する。

まず、仮想３次元空間生成部４１ａが、仮想３次元空間を生成する。本実施形態に係る配置部４１ｂは、"ｘ＿ｌｅｎ、ｙ＿ｌｅｎ、ｚ＿ｌｅｎ"によって物体（直方体）のサイズを特定し、"ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ"によって当該物体（直方体）の傾きを特定し、"ｘ、ｙ、ｚ"によって仮想３次元空間における位置を特定する。

図９は、本実施形態に係る配置部４１ｂによって特定された物体のサイズ、傾き、及び位置を直方体で示した図である。図９に示される例では、物体９００１、物体９００２、及び物体９００３が特定されたサイズで、特定された位置に配置されている。さらに、仮想３次元空間においては、ショベル１００から受信した、ショベル１００の位置及び向きを示す情報に基づいて、視点９０１１を設定する。そして、ショベル１００の向きに対応する位置に注視点を設定すればよい。

そして、配置部４１ｂは、物体９００１、物体９００２、及び物体９００３の各々に示される直方体に収まるように、タグ情報に示される３次元モデルを配置する。３次元モデルは、属性情報で示された状態で配置される。このように、本実施形態では、物体の現在の状況を表した３次元モデルを表示できる。したがって、操作者ＯＰは、３次元モデルの表示であっても、物体の現在の状況を認識できるので、作業負担を軽減できる。

つまり、物体９００１、物体９００２の各々には、"立っている"状態の"人"を表した３次元モデルが配置される。物体９００３には、"建造物"を表した３次元モデルが配置される。

また、仮想３次元空間に配置される物体は、ショベル１００の送信情報の他に、ドローンＤＲ及び定点カメラＣ１２の各々の送信情報を用いて配置されてもよい。これにより、ショベル１００の空間認識装置Ｃ１では死角となる位置に存在する物体等も配置できる。

表示制御部４１ｃは、３次元モデルが配置された仮想３次元空間を、表示装置Ｄ１に表示する。図１０は、表示制御部４１ｃにより表示された表示装置Ｄ１の表示画面を例示した図である。本実施形態では、図１０に示される表示画面を、表示装置Ｄ１の９個のモニタのうち、いずれか一つに表示してもよいし、複数のモニタ（例えば、４×４、又は３×３）に表示してもよい。

図１０に示される表示画面は、図９に示される視点９０１１から、仮想３次元空間を見た場合を示している。これにより、ショベル１００の向きに従って、人を示した３次元モデル１００１と、人を示した３次元モデル１００２と、建造物を示した３次元モデル１００３とが表れている。

操作者ＯＰは、操作装置２６を用いることで、表示装置Ｄ１に作業現場を表示するための視点を、仮想３次元空間内であれば移動できる。例えば、操作者ＯＰは、視点を移動させることで、ショベル１００のキャビンから見えない領域の状況を確認できる。このように、視点の移動によって、仮想３次元空間内であれば表示することが可能となる。したがって、操作席ＤＳにいる操作者ＯＰが、作業現場の状況を把握するのが容易になる。

このように、本実施形態では、操作席ＤＳにいる操作者ＯＰは、送信情報に基づいた仮想３次元空間を参照することで、作業現場の状況を確認できる。

（変形例）
上述した実施形態では、ショベルの遠隔操作を行う場合について説明した。しかしながら、上述した実施形態は、ショベルの遠隔操作に制限するものではない。そこで、変形例では、クローラークレーンの遠隔操作を行う場合について説明する。

図１１は、変形例に係るクローラークレーンの作業現場を示した図である。図１１に示される例では、クローラークレーン１１００を、遠隔操作室ＲＣに存在する操作者ＯＰが操作する例とする。なお、遠隔操作室ＲＣは、上述した実施形態と同様として、説明を省略する。なお、上述した実施形態と同様の構成については同一符号を割り当て、説明を省略する。

図１１に示される例では、クローラークレーン１１００が、下部走行体１１０２と、上部旋回体１１０３と、ブーム１１０４と、カウンターウェイト１１０５と、を備えている。クローラークレーン１１００は、測位装置１８と、通信装置Ｔ１と、コントローラ１１３０と、を搭載している。

ブーム１１０４の先端近傍には空間認識装置Ｃ１１０１が設けられている。空間認識装置Ｃ１１０１は、光軸１１５１が下方向を向くように設けられている。これにより、空間認識装置Ｃ１１０１は、クローラークレーン１１００の作業現場に関する状況を検知する。

さらには、クローラークレーン１１００のコントローラ１１３０は、上述した実施形態と同様に、物体検出コントローラ３１を備えている。これにより、物体検出コントローラ３１は、空間認識装置Ｃ１１０１によって検知された測定情報に基づいて、送信情報を生成し、通信装置Ｔ１を用いて送信情報を遠隔操作室ＲＣに送信する。

図１１に示される例では、クローラークレーン１１００が、積み荷１１１２を、建造物１１１４の上に存在する作業者１１１３に、受け渡す状況とする。

図１１で示されるような状況で、クローラークレーン１１００のキャビンからの視点で、遠隔操作室ＲＣから操作を行った場合、建造物１１１４が障害物となって、積み荷１１１２の状況の確認が難しい。

そこで、本変形例では、上述した実施形態で説明した仮想３次元空間を表示するための手段を用いる。本変形例では、空間認識装置Ｃ１１０１が検出を行っている範囲内１１１４内であれば、視点を移動させることができる。例えば、視点１１１１から作業現場を表示することができる。

図１２は、遠隔操作室ＲＣの表示装置Ｄ１に表示される画面例を示した図である。図１２に示される例は、視点１１１１からの作業現場の表した仮想３次元空間である。

図１２に示されるように表示画面には、作業者１１１３の３次元モデル１２０１と、積み荷１１１２の３次元モデル１２０２と、が表示されている。このように遠隔操作室ＲＣの操作者ＯＰは、作業者１１１３が存在する位置から、積み荷１１１２の位置を確認できる。

つまり、遠隔操作室ＲＣの操作者ＯＰは、図１２に示される表示画面を確認することで、作業者１１１３に、積み荷１１１２を受け渡せるように、クローラークレーン１１００の上部旋回体１１０３の旋回制御、及びブーム１１０４の下げ動作と、を行うことができる。

本変形例では、遠隔操作室ＲＣの操作者ＯＰが、仮想３次元空間を視認する際の視点を、作業に応じて移動させることで、作業効率を向上させることができる。

ところで、建造物１１１４の建築を行う場合、遠隔操作室ＲＣの操作者ＯＰは、建造物１１１４の現在の状況を確認するほうが、作業が容易となる。このため、建造物１１１４の３次元モデルとしては、より詳細な構造を有する３次元モデルの方が好ましい。

そこで、本変形例に示される建造物１１１４の３次元モデルとして、建造物１１１４の３次元ＣＡＤデータを用いてもよい。例えば、遠隔操作室ＲＣの補助記憶装置４９に、建造物１１１４の３次元ＣＡＤデータを記憶する。クローラークレーン１１００からの送信情報には、タグ情報として、建造物１１１４を特定する情報が含まれていればよい。これにより、物体復元コントローラ４１が、仮想３次元空間に、建造物１１１４の３次元ＣＡＤデータに基づいた３次元モデルを表示できる。

また、物体復元コントローラ４１の配置部４１ｂが、ＣＡＤデータに基づいた３次元モデルを配置する際に、現在の建築状況に基づいた３次元モデルを配置してもよい。例えば属性情報には、現在の建築状況として、現在の建築済みの階数、又は、現在の建築状況を表すためのＣＡＤデータの差分等が含まれていてもよい。これにより、物体復元コントローラ４１は、現在の建築状況を考慮した３次元モデルを表示できる。

（変形例２）
本実施形態及び変形例では、送信情報を送信する場合について説明した。しかしながら、本実施形態は、このような送信手法に制限するものではなく、例えば、送信するデータを、遠隔操作室ＲＣからの操作に応じて、送信情報及び測定情報から切り替えてもよい。

例えば、遠隔操作室ＲＣにおいて仮想３次元空間ではなく、具体的な測定情報に基づいた画面を表示したい場合には、遠隔コントローラ４０が、操作装置２６等からの操作に従って、送信するデータの切り替え要求を、作業機械（例えば、ショベル１００、又はクローラークレーン１１００）に送信する。これにより、作業機械は、空間認識装置Ｃ１、Ｃ１１０１等で特定された測定情報を送信する。そして、遠隔操作室ＲＣの表示装置Ｄ１には、測定情報に基づいた表示画面が表示される。これにより、操作者は、測定情報に基づいた現在の状況を認識できる。例えば、作業現場に存在する作業者が所定の作業を行っている場合に、当該作業の進捗を認識したい場合に、測定情報に基づいた表示画面に切り替えることで、遠隔操作室ＲＣの操作者ＯＰも当該作業状況を認識できる。このように表示画面を切り替えることで、操作者ＯＰは、作業現場の状況に応じた表示が可能となるので、作業負担を軽減できる。

＜作用＞
上述した実施形態及び変形例においては、遠隔操作室ＲＣで、作業現場の状況を確認できるので、作業機械（例えば、ショベル１００、又はクローラークレーン１１００）の遠隔操作が可能となる。その際に、作業機械（例えば、ショベル１００、又はクローラークレーン１１００）、ドローン、又は定点カメラなどの装置が、空間認識装置で生成された測定情報に基づいて、測定情報と比べてデータ量が小さい送信情報を生成し、当該送信情報を遠隔操作室ＲＣに送信する。送信される送信情報は、測定情報と比べてデータ量が小さいのでネットワークに対する負担を小さくできる。さらには、送信情報のデータ量が小さいので、遠隔操作室ＲＣに到達するまでの時間を短縮できる。または、遠隔操作室ＲＣに到達するまでの、時間に遅延が生じるのを抑制できる。

したがって、遠隔操作室ＲＣでは、操作者ＯＰは、作業現場の現在の状況をすぐに認識できるので、現在の状況に応じた対応をすぐに行うことができる。これにより、安全性の向上を実現できる。

以上、作業機械の一例としてショベルを用いた場合の実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。

つまり、上述した遠隔操作システムは、遠隔情報取得システムの一例として、作業機械の操作を行うシステムに適用した場合について説明したが、他の態様のシステムに適用してもよい。例えば、道路を走行している車両の遠隔監視、又は当該車両の遠隔操作するためのシステムに適用してもよい。さらには、多くの人が存在する領域における防犯監視システム（人及び人の所持物の３次元モデルの表示）に適用してもよい。このように、遠隔地において、物体の監視又は操作を行うシステムであれば適用できる。

１００ ショベル
１１００ クローラークレーン
Ｃ１、Ｃ１１ 空間認識装置
Ｔ１、Ｔ２、Ｔ３ 通信装置
１、１１０２ 下部走行体
２ 旋回機構
３、１１０３ 上部旋回体
４、１１０４ ブーム
５ アーム
６ バケット
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
１１０５ カウンターウェイト
１８、Ｄ１８ 測位装置
２６ 操作装置
２９ 操作センサ
３０、１１３０ コントローラ
３１、Ｄ３０ 物体検出コントローラ
３１ａ、Ｄ３０ａ 検出部
３１ｂ、Ｄ３０ｂ 位置算出部
３１ｃ、Ｄ３０ｃ タグ情報付与部
３１ｄ、Ｄ３０ｄ 送信情報生成部
３２ ショベル状態特定部
３３ アクチュエータ駆動部
４５ 電磁弁ユニット
４８、Ｄ４８ 補助記憶装置
４８ａ、Ｄ４８ａ タグ情報記憶部
ＤＲ ドローン
Ｃ１２ 定点カメラ（定点計測装置の一例）
ＲＣ 遠隔操作室
４０ 遠隔コントローラ
２６ 操作装置
２９ 操作センサ
Ｄ１ 表示装置
４９ 補助記憶装置
４９ａ ３次元モデル記憶部
４０ 遠隔コントローラ
４１ 物体復元コントローラ
４１ａ 仮想３次元空間生成部
４１ｂ 配置部
４１ｃ 表示制御部
４２ 操作信号生成部

Claims (7)

1. 作業機械が作業している作業領域を測定する空間認識装置によって生成された測定情報から、当該作業領域に存在する物体の位置と種類とを特定し、当該位置と種類とを送信する第１の装置と、
   前記作業機械を遠隔操作するように構成されている第２の装置と、を備え、
   前記第２の装置は、前記位置と前記種類とを受信した場合に、画面に表示するための仮想的な３次元空間に、前記種類に対応するモデルを、前記位置に対応する座標に配置するように構成されている、
   作業機械の遠隔情報取得システム。
2. 前記仮想的な３次元空間の表示を行うための視点は、操作部からの操作に応じて前記仮想的な３次元空間内を移動させることが可能に構成されている、
   請求項１に記載の遠隔情報取得システム。
3. 前記第１の装置は、前記作業機械、ドローン、及び、前記作業領域を撮像するように設けられた定点計測装置のうち少なくとも一つである、
   請求項１に記載の遠隔情報取得システム。
4. 前記第１の装置は、異なる種類の装置として複数設けられている、
   請求項３に記載の遠隔情報取得システム。
5. 前記第２の装置は、
   前記種類に対応する３次元形状のモデルを記憶する記憶部をさらに備え、
   前記種類を受信した場合に、前記種類に対応する３次元形状の前記モデルを前記座標に配置するように構成されている、
   請求項１に記載の遠隔情報取得システム。
6. 前記第１の装置は、前記物体の状態を特定し、特定された前記物体の状態を送信し、
   前記第２の装置は、
   前記物体の状態を受信した場合に、当該状態に対応する形状で、前記モデルを前記座標に配置するように構成されている、
   請求項１に記載の遠隔情報取得システム。
7. 所定の領域を測定する空間認識装置によって生成された測定情報から、当該所定の領域に存在する物体の位置と種類とを検出し、当該位置と種類とを送信する第１の装置と、
   前記位置と前記種類とを受信した場合に、画面に表示するための仮想的な３次元空間に、前記種類に対応するモデルを、前記位置に対応する座標に配置するように構成されている第２の装置と、
   を備える遠隔情報取得システム。

Images