JP7438807B2 - ショベルの施工支援システム - Google Patents

Description

本開示は、ショベルの施工支援システムに関する。

従来、油圧ショベルの遠隔操作を支援する遠隔操作システムが知られている（特許文献１参照。）。この遠隔操作システムは、作業現場にある油圧ショベルに取り付けられたカメラが撮像した画像を、遠隔操作室に設置された表示装置に表示するように構成されている。

特開２０１８－２０７２４４号公報

しかしながら、特許文献１に記載の遠隔操作システムでは、カメラが撮像した画像が表示装置に表示されるのみであるため、障害物の画像が表示されていたとしても、遠隔操作室にいる操作者は、その障害物の存在に気付かないおそれがある。

そこで、遠隔操作室にいる操作者がショベルの周囲の状況をより的確に把握できるようにすることが望まれる。

本発明の実施形態に係るショベルの施工支援システムは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、を有するショベルの施工支援システムであって、前記撮像装置が撮像した画像に基づいてショベルのキャビン内から見た周囲画像を生成する演算装置と、ショベルの外部にある情報取得装置と、ショベルの外部にある操作装置と、ショベルの外部にあり、且つ、前記周囲画像が表示される表示装置と、を有し、前記演算装置は、前記情報取得装置が取得した情報に基づいており、且つ、前記表示装置に表示される前記周囲画像がカバーする範囲の外側の環境に関する情報を含む、環境情報を通知することで、操作者の注意を喚起する。

上述の手段により、遠隔操作室にいる操作者がショベルの周囲の状況をより的確に把握できるようにするショベルの施工支援システムが提供される。

ショベルの側面図である。 図１のショベルに搭載される駆動系の構成例を示す図である。 図１のショベルに搭載される電気系の構成例を示す図である。 遠隔操作室に関する座標系とショベルに関する座標系との関係を示す図である。 表示装置に表示される画像がカバーする範囲の一例を示す図である。 表示装置の構成例を示す図である。 施工支援システムの構成例を示す概略図である。 施工支援システムの構成例を示すブロック図である。 判定部による処理の一例を示す概念図である。 表示装置に表示される画像の構成例を示す図である。 表示装置に表示される画像の別の構成例を示す図である。 施工支援システムの別の構成例を示す概略図である。

次に、添付図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。

図１は、本発明の実施形態に係る掘削機としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。

ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。

ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。

アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。

バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。

なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。

旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、ロータリエンコーダ等の他のセンサで構成されていてもよい。

上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置１８、集音装置Ａ１、撮像装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。但し、ショベル１００は、キャビン１０が省略された無人ショベルであってもよい。

エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。

測位装置１８は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置１８は、ＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。

集音装置Ａ１は、ショベル１００の周囲で発生する音を集めるように構成されている。本実施形態では、集音装置Ａ１は、上部旋回体３に取り付けられたマイクである。

撮像装置Ｃ１は、ショベル１００の周囲を撮像するように構成されている。本実施形態では、撮像装置Ｃ１は、上部旋回体３の上面後端に取り付けられた後カメラＣ１Ｂ、キャビン１０の上面前端に取り付けられた前カメラＣ１Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＣ１Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＣ１Ｒを含む。撮像装置Ｃ１は、キャビン１０内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン１０内に設置された運転席に着座する操作者の目の位置に対応する位置である。

通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。

コントローラ３０は、各種演算を実行する演算装置である。本実施形態では、コントローラ３０は、ＣＰＵ及びメモリ３０ａを含むマイクロコンピュータで構成されている。そして、コントローラ３０の各種機能は、ＣＰＵがメモリ３０ａに格納されたプログラムを実行することで実現される。

図２は、図１のショベル１００の駆動系の構成例を示すブロック図である。図２において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。

ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び電磁弁ユニット４５等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。

メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。

レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節するように構成されている。メインポンプ１４は、レギュレータ１３により１回転当たり吐出量（押し退け容積）が制御される。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブユニット１７に作動油を供給する機能とは別に、絞り等を介して電磁弁ユニット４５等に作動油を供給する機能を備えていてもよい。

コントロールバルブユニット１７は、メインポンプ１４から受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット１７は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。

コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、電磁弁ユニット４５を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室から送信されてくる。操作信号は、キャビン１０内に設けられた操作装置によって生成されてもよい。

電磁弁ユニット４５は、パイロットポンプ１５とコントロールバルブユニット１７内の各制御弁のパイロットポートとを繋ぐ各パイロットライン２５に配置された複数の電磁弁を含む。

本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。

このようにして、コントローラ３０は、遠隔操作室等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。

図３は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図３に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。コントローラ３０は、エンジン１１の状態を示す各種データをメモリ３０ａに蓄積できるように構成されている。

バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作するように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａが発電した電力で充電されるように構成されている。

水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置１８は、ショベル１００の位置に関するデータをコントローラ３０に送信する。

メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４－１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４－１を流れる作動油の温度に関するデータをコントローラ３０に送信する。

尿素水タンク２１に設けられた尿素水残量センサ２１ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク２２に設けられた燃料残量センサ２２ａは、燃料の残量に関するデータをコントローラ３０に送信する。

通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。本実施形態では、通信装置Ｔ１と通信装置Ｔ２とは、第５世代移動通信回線（５Ｇ回線）、ＬＴＥ回線、又は衛星回線等を介して情報を送受信するように構成されている。

遠隔操作室ＲＣには、遠隔コントローラ４０、音出力装置Ａ２、室内撮像装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２等が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る運転席ＤＳが設置されている。

遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、コントローラ３０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

音出力装置Ａ２は、音を出力するように構成されている。本実施形態では、音出力装置Ａ２は、スピーカであり、ショベル１００に取り付けられている集音装置Ａ１が集めた音を再生するように構成されている。

室内撮像装置Ｃ２は、遠隔操作室ＲＣ内を撮像するように構成されている。本実施形態では、室内撮像装置Ｃ２は、遠隔操作室ＲＣの内部に設置されたカメラであり、運転席ＤＳに着座する操作者ＯＰを撮像するように構成されている。

通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１との無線通信を制御するように構成されている。

本実施形態では、運転席ＤＳは、通常のショベルのキャビン内に設置される運転席と同様の構造を有する。具体的には、運転席ＤＳの左側には左コンソールボックスが配置され、運転席ＤＳの右側には右コンソールボックスが配置されている。そして、左コンソールボックスの上面前端には左操作レバーが配置され、右コンソールボックスの上面前端には右操作レバーが配置されている。また、運転席ＤＳの前方には、走行レバー及び走行ペダルが配置されている。更に、右コンソールボックスの上面中央部には、エンジン回転数調整ダイヤル７５が配置されている。左操作レバー、右操作レバー、走行レバー、走行ペダル、及びエンジン回転数調整ダイヤル７５のそれぞれは、操作装置２６を構成している。

エンジン回転数調整ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、例えばエンジン回転数を４段階で切り換えできるように構成されている。

具体的には、エンジン回転数調整ダイヤル７５はＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数の切り換えができるように構成されている。エンジン回転数調整ダイヤル７５は、エンジン回転数の設定に関するデータをコントローラ３０に送信する。

ＳＰモードは、操作者ＯＰが作業量を優先させたい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、操作者ＯＰが作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、操作者ＯＰが燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、操作者ＯＰがエンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、エンジン回転数調整ダイヤル７５を介して選択された回転数モードのエンジン回転数で一定に回転数制御される。

操作装置２６には、操作装置２６の操作内容を検出するための操作センサ２９が設置されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ２９は、検出した操作装置２６の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２９は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。

表示装置Ｄ１は、ショベル１００の周囲の状況に関する情報を表示するように構成されている。本実施形態では、表示装置Ｄ１は、縦３段、横３列の９つのモニタで構成されるマルチディスプレイであり、ショベル１００の前方、左方、及び右方の空間の様子を表示できるように構成されている。各モニタは、液晶モニタ又は有機ＥＬモニタ等である。但し、表示装置Ｄ１は、１又は複数の曲面モニタで構成されていてもよく、プロジェクタで構成されていてもよい。

表示装置Ｄ１は、操作者ＯＰが着用可能な表示装置であってもよい。例えば、表示装置Ｄ１は、ヘッドマウントディスプレイであり、無線通信によって、遠隔コントローラ４０との間で情報を送受信できるように構成されていてもよい。ヘッドマウントディスプレイは、遠隔コントローラ４０に有線接続されていてもよい。ヘッドマウントディスプレイは、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイは、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。

表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認できるようにする画像を表示するように構成されている。すなわち、表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、あたかもショベル１００のキャビン１０内にいるかのように、ショベル１００の周囲の状況を確認することができるように、画像を表示する。

次に、図４を参照し、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする第１座標系と、ショベル１００における基準点Ｒ２を原点とする第２座標系との関係について説明する。なお、以下の説明では、第１座標系は、操作室座標系と称され、第２座標系は、ショベル座標系と称される。図４は、操作室座標系とショベル座標系との関係を示す図である。

操作室座標系は、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする３次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。

ショベル座標系は、上部旋回体３上の基準点Ｒ２を原点とする３次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図４の例では、基準点Ｒ２は旋回軸上の点であり、ＸＹ平面は水平面であり、Ｚ軸は鉛直軸である。すなわち、図４の例では、ショベル１００が位置する仮想平面である接地面は水平面である。そして、Ｘ軸は、操作室座標系のＵ軸に対応し、Ｙ軸は、操作室座標系のＶ軸に対応し、Ｚ軸は、操作室座標系のＷ軸に対応している。

本実施形態では、操作室座標系における各三次元座標は、ショベル座標系における三次元座標の１つに予め対応付けられている。そのため、遠隔操作室ＲＣにおける操作者ＯＰの目の位置である操作者視点Ｅ１の三次元座標が決まれば、ショベル１００における仮想操作者の目の位置である仮想操作者視点Ｅ１'の三次元座標は一意に決まる。なお、操作者ＯＰの目の位置は、例えば、操作者ＯＰの左目の位置と右目の位置の中間点である。但し、操作者ＯＰの目の位置は、予め設定された位置であってもよい。すなわち、操作者視点Ｅ１及び仮想操作者視点Ｅ１'は固定点であってもよい。

次に、図５及び図６を参照し、表示装置Ｄ１に表示される、ショベル１００の周囲の状況に関する情報について説明する。図５は、表示装置Ｄ１に表示される画像がカバーする範囲ＺＮを示す。図５に示す例では、範囲ＺＮは、撮像装置Ｃ１の撮像範囲に含まれる。本実施形態では、撮像装置Ｃ１の撮像範囲は、ショベル１００の全周囲にわたる範囲であり、表示装置Ｄ１にはその一部が抜き出されて表示される。具体的には、図５（Ａ）は、ショベル１００の側面図であり、仮想操作者視点Ｅ１'を含むＸＺ平面に平行な仮想平面ＰＬ２（図５（Ｂ）参照。）における範囲ＺＮの断面を示す。図５（Ｂ）は、ショベル１００の上面図であり、仮想操作者視点Ｅ１'を含むＸＹ平面に平行な仮想平面ＰＬ１（図５（Ａ）参照。）における範囲ＺＮの断面を示す。図６は、表示装置Ｄ１の構成例を示す図である。

図５に示す例では、範囲ＺＮは、図５（Ａ）に示すように、範囲ＺＮの上限を表す境界線Ｌ１と仮想平面ＰＬ１との間に形成される角度が所定角度α１となり、且つ、範囲ＺＮの下限を表す境界線Ｌ２と仮想平面ＰＬ１との間に形成される角度が所定角度α２となるように設定されている。

また、図５に示す例では、範囲ＺＮは、図５（Ｂ）に示すように、範囲ＺＮの左限を表す境界線Ｌ３と仮想平面ＰＬ２との間に形成される角度が所定角度β１となり、且つ、範囲ＺＮの右限を表す境界線Ｌ４と仮想平面ＰＬ２との間に形成される角度が所定角度β２となるように設定されている。

本実施形態では、表示装置Ｄ１は、図６に示すように、縦３段、横３列の９つのモニタで構成されるマルチディスプレイである。具体的には、表示装置Ｄ１は、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃ、左モニタＤ１ｄ、右モニタＤ１ｅ、左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉを含む。

中央モニタＤ１ａは、中央範囲ＺＮａ（図５（Ａ）及び図５（Ｂ）参照。）で表される空間の状況を捉えた画像を表示するように構成されている。上モニタＤ１ｂは、上範囲ＺＮｂ（図５（Ａ）参照。）で表される空間の状況を捉えた画像を表示するように構成されている。下モニタＤ１ｃは、下範囲ＺＮｃ（図５（Ａ）参照。）で表される空間の状況を捉えた画像を表示するように構成されている。左モニタＤ１ｄは、左範囲ＺＮｄ（図５（Ｂ）参照。）で表される空間の状況を捉えた画像を表示するように構成されている。右モニタＤ１ｅは、右範囲ＺＮｅ（図５（Ｂ）参照。）で表される空間の状況を捉えた画像を表示するように構成されている。左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉについても同様である。

但し、表示装置Ｄ１は、例えば、縦２段、横３列の６つのモニタで構成されるマルチディスプレイであってもよい。この場合、範囲ＺＮは、６つのモニタのそれぞれに対応する６つの範囲に分割されてもよい。或いは、表示装置Ｄ１は、中央モニタ、上モニタ、左モニタ、下モニタ、及び右モニタの５つのモニタで構成されるマルチディスプレイであってもよい。この場合、左上範囲、右上範囲、左下範囲、及び右下範囲のそれぞれの状況を捉えた画像の表示は省略されてもよい。或いは、表示装置Ｄ１は、複数のモニタが他の任意の配列態様で配列されたマルチディスプレイであってもよい。

上述の実施形態では、表示装置Ｄ１は、操作者ＯＰの前方、左前方、及び右前方に設置されているが、操作者ＯＰを取り囲むように角筒状又は円筒状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの後方に設置されたモニタを含んでいてもよい。或いは、表示装置Ｄ１は、操作者ＯＰを取り囲むように半球状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの真上に設置されたモニタを含んでいてもよい。

次に、図７及び図８を参照し、ショベル１００の施工支援システムＳＹＳの構成例について説明する。図７は、施工支援システムＳＹＳの構成例を示す概略図である。図８は、施工支援システムＳＹＳの構成例を示す機能ブロック図である。

施工支援システムＳＹＳは、主に、ショベル１００に搭載されている測位装置１８、コントローラ３０、電磁弁ユニット４５、集音装置Ａ１、撮像装置Ｃ１、及び通信装置Ｔ１と、遠隔操作室ＲＣに設置されている操作センサ２９、遠隔コントローラ４０、音出力装置Ａ２、室内撮像装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２と、情報センタ２００に設置されている管理装置としてのコントローラ５０及び通信装置Ｔ３とで構成されている。

図７に示す例では、施工支援システムＳＹＳは、ショベル１００ａと、ショベル１００ｂと、ショベル１００ａに関する遠隔操作室ＲＣａと、ショベル１００ｂに関する遠隔操作室ＲＣｂと、作業現場に設置された撮像装置Ｃ３と、情報センタ２００とで構成されている。

最初に、ショベル１００ａに搭載されているコントローラ３０が有する機能について説明する。コントローラ３０は、図８に示すように、機能ブロックとして、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３を有する。ショベル１００ｂについても同様である。

画像生成部３１は、表示装置Ｄ１で表示される画像を含む周囲画像を生成するように構成されている。周囲画像は、表示装置Ｄ１での表示の際に利用される画像である。典型的には、周囲画像は、仮にキャビン１０内に操作者がいたならば操作者が見ることができたショベル１００の周囲の様子を表す画像である。本実施形態では、周囲画像は、撮像装置Ｃ１が撮像した画像に基づいて生成される。具体的には、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒのそれぞれが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成する。但し、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒの少なくとも１つが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成してもよい。第１仮想視点画像の仮想視点である第１仮想視点は、仮にキャビン１０内の運転席に操作者が着座していたときの操作者の目の位置に対応する仮想操作者視点Ｅ１'（図４参照。）である。但し、仮想操作者視点Ｅ１'は、キャビン１０の外にあってもよい。

本実施形態では、第１仮想視点である仮想操作者視点Ｅ１'の座標は、遠隔操作室ＲＣの運転席ＤＳに操作者ＯＰが着座したときの操作者ＯＰの目の位置である操作者視点Ｅ１（図４参照。）に基づいて導き出される。なお、操作者視点Ｅ１の座標は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、操作室座標系における操作者視点Ｅ１の座標を、ショベル座標系における座標に変換することで、仮想操作者視点Ｅ１'の座標を導き出すことができる。但し、操作者視点Ｅ１の座標は、予め設定された固定値であってもよい。

また、本実施形態では、第１仮想視点画像は、第１仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像に相当する。仮想投影面は、第１仮想視点を取り囲む仮想的な球又は半球の内面であってもよく、第１仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。このように生成された第１仮想視点画像を見ることで、操作者ＯＰは、ショベル１００の周囲の状況を立体的に把握することができる。すなわち、操作者ＯＰは、第１仮想視点画像を見ることで、例えば、ショベル１００の前方に位置するダンプトラックの荷台の奥行き、地面にある盛り土の高さ、又は、地面にある穴の深さ等をより正確に把握できる。

表示装置Ｄ１で表示される第１仮想視点画像由来の画像は、画像生成部３１が生成する第１仮想視点画像の一部である。

なお、表示装置Ｄ１がヘッドマウントディスプレイである場合、第１仮想視点画像の全領域に占める、表示装置Ｄ１で表示される画像の領域は、遠隔操作室ＲＣの運転席ＤＳに着座している操作者ＯＰの視線の向きに基づいて決定されてもよい。この場合、操作者ＯＰの視線の向きに関する情報は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、撮像装置Ｃ１が出力する画像と、遠隔コントローラ４０から送信されてくる操作者視点Ｅ１の座標とに基づいて周囲画像としての第１仮想視点画像を生成する。そして、画像生成部３１は、遠隔コントローラ４０から送信されてくる操作者ＯＰの視線の向きに関する情報に基づき、生成した第１仮想視点画像の一部を部分周囲画像として切り出し、切り出した部分周囲画像を遠隔操作室ＲＣにある表示装置Ｄ１に向けて送信する。

ショベル状態特定部３２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００における基準点Ｒ２の緯度、経度、及び高度である。ショベル状態特定部３２は、測位装置１８の出力に基づいてショベルの位置及び向きを特定する。

アクチュエータ駆動部３３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３３は、遠隔コントローラ４０から送信されてくる操作信号に基づき、電磁弁ユニット４５に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。

作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。

次に、遠隔操作室ＲＣに設置されている遠隔コントローラ４０が有する機能について説明する。遠隔コントローラ４０は、機能ブロックとして、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３を有する。

操作者状態特定部４１は、遠隔操作室ＲＣにいる操作者ＯＰの状態を特定するように構成されている。操作者ＯＰの状態は、操作者ＯＰの目の位置と視線の向きを含む。操作者状態特定部４１は、室内撮像装置Ｃ２の出力に基づいて操作者ＯＰの目の位置及び視線の向きを特定する。具体的には、操作者状態特定部４１は、室内撮像装置Ｃ２が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの目の位置の座標を操作者視点Ｅ１（図４参照。）の座標として特定する。また、操作者状態特定部４１は、室内撮像装置Ｃ２が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの視線の向きを特定する。

操作者状態特定部４１は、遠隔操作室ＲＣに設置されたＬＩＤＡＲ、又は、表示装置Ｄ１としてのヘッドマウントディスプレイに取り付けられた慣性計測装置等、室内撮像装置Ｃ２以外の他の装置の出力に基づいて操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きを導き出してもよい。なお、慣性計測装置は、測位装置を含んでいてもよい。

そして、操作者状態特定部４１は、通信装置Ｔ２を通じ、操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きに関する情報をショベル１００に向けて送信する。

画像合成部４２は、コントローラ３０から送信されてくる部分周囲画像と、別の画像とを合成して合成画像を生成するように構成されている。

別の画像は、設計面情報ＤＩに基づいて生成される画像である設計面画像であってもよい。本実施形態では、画像合成部４２は、遠隔コントローラ４０を構成している不揮発性記憶装置に予め記憶されている設計面情報ＤＩに基づいて設計面の位置を表すコンピュータグラフィックス等の図形を、設計面画像として、部分周囲画像に重畳表示させる。設計面は、ショベル１００を用いた掘削作業が完了したときの地面である。操作者は、設計面を見ることで、掘削作業が完了する前であっても、掘削作業が完了したときのショベル１００の周囲の状態を把握できる。この場合、画像合成部４２は、ショベル状態特定部３２が特定したショベルの位置及び向きに基づき、部分周囲画像における、設計面画像を重畳表示すべき位置を決定する。

操作信号生成部４３は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部４３は、操作センサ２９の出力に基づいて操作信号を生成するように構成されている。

次に、情報センタ２００に設置されているコントローラ５０が有する機能について説明する。コントローラ５０は、各種演算を実行する演算装置である。本実施形態では、コントローラ５０は、コントローラ３０及び遠隔コントローラ４０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、コントローラ５０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

本実施形態では、コントローラ５０は、機能ブロックとして、判定部５１、操作予測部５２、及び操作介入部５３を有する。

判定部５１は、ショベル１００の周囲の状況に関し、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されている。本実施形態では、判定部５１は、ショベル１００に取り付けられた情報取得装置としての撮像装置Ｃ１が撮像した画像、ショベル１００の位置、姿勢、及び動作内容の少なくとも１つに基づき、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されている。判定部５１は、撮像装置Ｃ１が撮像した画像に基づき、ショベル１００の位置、姿勢、及び動作内容の少なくとも１つを判定できるように構成されていてもよい。また、判定部５１は、撮像装置Ｃ３が撮像した画像又は施工地形情報（地形データ）に基づき、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されていてもよい。更に、判定部５１は、撮像装置Ｃ３が撮像した画像に基づき、他の建設機械の位置、姿勢、及び動作内容等の少なくとも１つを判定できるように構成されていてもよい。判定部５１は、撮像装置Ｃ１及び撮像装置Ｃ３によって取得された画像から導き出されるショベル１００の周辺の状況とショベル１００の位置、姿勢、及び動作内容とに基づきショベル１００の操作者に通知すべき事項があるか否かを判定してもよい。通知すべき事項があるか否かは、過去の事例と照らし合わせ、同一、若しくは、類似の状況の有無により判定されてもよい。

例えば、判定部５１は、表示装置Ｄ１に表示される画像がカバーする範囲ＺＮの外側に人が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部５１は、図５に示すように、ショベル１００の左後方に人ＰＳが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、上部旋回体３に取り付けられたＬＩＤＡＲ、超音波センサ、ミリ波レーダ、又は赤外線センサ等の情報取得装置としての物体検知装置の出力に基づいて人ＰＳを検知してもよい。或いは、判定部５１は、作業現場に設置された情報取得装置としての撮像装置Ｃ３が撮像した画像に基づいて人ＰＳを検知してもよい。この場合、撮像装置Ｃ３は、例えば、作業現場に設置されたポールの先端に取り付けられた半天球カメラである。なお、撮像装置Ｃ３は、他の作業機械に取り付けられた撮像装置であってもよく、作業現場の上空を飛行するマルチコプタ（ドローン）等の飛行体に取り付けられた撮像装置であってもよい。また、撮像装置Ｃ３は、ＬＩＤＡＲ、超音波センサ、ミリ波レーダ、又は赤外線センサ等の他の情報取得装置であってもよい。表示装置Ｄ１に表示される画像がカバーする範囲ＺＮの内側に人が存在することを検知した場合についても同様である。

或いは、判定部５１は、表示装置Ｄ１に表示される画像がカバーする範囲ＺＮの外側に電線が存在することを検知した場合、操作者に通知すべき事項があると判定してもよい。例えば、判定部５１は、図５（Ａ）に示すように、ショベル１００の上方に電線ＥＣが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、物体検知装置の出力に基づいて電線ＥＣを検知してもよい。或いは、判定部５１は、撮像装置Ｃ３が撮像した画像に基づいて電線ＥＣを検知してもよい。表示装置Ｄ１に表示される画像がカバーする範囲ＺＮの内側に電線が存在することを検知した場合についても同様である。

或いは、判定部５１は、施工地形情報（地形データ）に基づき、ショベル１００の前方に下り坂が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部５１は、図５（Ａ）に示すように、ショベル１００の前方に下り坂ＤＨが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、物体検知装置の出力に基づいて下り坂ＤＨを検知してもよい。或いは、判定部５１は、撮像装置Ｃ３が撮像した画像に基づいて下り坂ＤＨを検知してもよい。或いは、判定部５１は、コントローラ５０に付属している不揮発性記憶媒体等に予め記憶されている施工地形情報（地形データ）に基づいて下り坂ＤＨを検知してもよい。

ショベル１００の操作者に通知すべき事項があると判定した場合、判定部５１は、操作者の注意を喚起する。本実施形態では、判定部５１は、その通知すべき事項に関する情報を遠隔コントローラ４０に向けて送信する。遠隔コントローラ４０の画像合成部４２は、判定部５１から受信した情報に関する画像を部分周囲画像上に重畳表示させる。

操作予測部５２は、遠隔コントローラ４０から受信した操作信号に基づき、所定時間後の操作信号を予測するように構成されている。通信遅延による操作応答性の低下、すなわち、遠隔操作室ＲＣにおける操作者ＯＰによる操作がショベル１００の動きに反映されるまでの遅延を抑制するためである。所定時間は、例えば、数ミリ秒～数十ミリ秒である。例えば、操作予測部５２は、過去の所定時間における操作信号（操作レバーの傾斜角度）の推移に基づき、所定時間後の操作信号を予測する。例えば、操作予測部５２は、過去の所定時間において操作レバーの傾斜角度が増加傾向にあったことを検知した場合、所定時間後の傾斜角度が現在の傾斜角度より大きくなると予測する。

そして、操作予測部５２は、遠隔コントローラ４０から受信した操作信号をそのままショベル１００に向けて送信する代わりに、予測した操作信号（以下、「予測操作信号」とする。）をショベル１００に向けて送信する。

この構成により、操作予測部５２は、実質的に、遠隔操作室ＲＣで生成された操作信号を遅延なしでショベル１００に伝えることができる。

操作介入部５３は、遠隔操作室ＲＣにおける操作者ＯＰによる操作に介入するように構成されている。本実施形態では、判定部５１は、ショベル１００に取り付けられた撮像装置Ｃ１が撮像した画像に基づき、操作者ＯＰによる操作に介入すべきか否かを判定するように構成されている。

例えば、操作介入部５３は、ショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知した場合、操作者ＯＰによる操作に介入すべきであると判定する。例えば、操作介入部５３は、ショベル１００の左方に人が存在することを検知し、且つ、左旋回操作（左操作レバーを左方に倒す操作）が開始されたことを検知した場合、操作者ＯＰによる操作に介入すべきであると判定する。この場合、操作介入部５３は、左旋回操作に基づいて生成された操作信号を無効にし、上部旋回体３が左旋回しないようにする。なお、操作介入部５３は、物体検知装置の出力に基づいてショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知してもよい。或いは、判定部５１は、撮像装置Ｃ３が撮像した画像に基づいてショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知してもよい。このようにして操作者に通知すべき事項があると判定された場合には、コントローラ３０は、操作信号に基づき、ショベル１００の停止又は減速等の制動制御を行うように構成されていてもよい。

その後、操作者は、例えば、操作レバーを一旦中立に戻す、或いは、解除ボタンを押す等の操作を行うことで、すなわち、解除条件を満たすことで、ショベル１００の停止又は減速等の制動制御を解除することができる。なお、解除条件は、ショベル１００が停止状態であることを含んでいてもよい。

上述のような構成により、施工支援システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。その際に、施工支援システムＳＹＳは、ショベル１００に取り付けられた撮像装置Ｃ１が撮像した画像に基づいて生成される周囲画像を操作者ＯＰがリアルタイムに視認できるようにする。具体的には、施工支援システムＳＹＳは、表示装置Ｄ１としてのマルチディスプレイに、主に撮像装置Ｃ１が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。或いは、施工支援システムＳＹＳは、操作者ＯＰが着用している表示装置Ｄ１としてのヘッドマウントディスプレイに、主に撮像装置Ｃ１が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。表示装置Ｄ１で表示された画像を見た操作者ＯＰは、あたかもキャビン１０内でショベル１００を操作しているかのような臨場感を得ることができる。或いは、仮想操作者視点Ｅ１'がキャビン１０の外にある場合、例えば、キャビン１０より数メートル前方の位置にある場合には、操作者ＯＰは、あたかもキャビン１０の外においてバケット６のすぐ近くでショベル１００を操作しているかのような臨場感を得ることができる。

また、施工支援システムＳＹＳは、遠隔操作室ＲＣに設置されている室内撮像装置Ｃ２が撮像した画像に基づき、操作者ＯＰの目の位置及び顔（視線）の向きを特定できるように構成されていてもよい。そして、施工支援システムＳＹＳは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、表示装置Ｄ１としてのヘッドマウントディスプレイに表示される画像の内容を変化させるように構成されていてもよい。具体的には、施工支援システムＳＹＳは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、第１視点画像のどの領域を表示させるかを決定するように構成されていてもよい。そのため、操作者ＯＰは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。

次に、図９を参照し、判定部５１が画像から様々な判定結果を導き出す際に利用するニューラルネットワーク４０１について説明する。

図９に示す例では、ニューラルネットワーク４０１は、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークである。中間層は、入力層に近いほど上位層となり、出力層に近いほど下位層となる。ニューラルネットワーク４０１では、各中間層を構成する複数のニューロンのそれぞれに関し、各ニューロンと下位層におけるニューロンとの間の接続強度を表す重み付けパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロン毎に規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力するように構成されている。図９に示す例では、ニューラルネットワーク４０１は、畳み込みニューラルネットワークである。畳み込みニューラルネットワークは、畳み込み及びプーリングを適用したニューラルネットワークである。

そして、ニューラルネットワーク４０１では、機械学習を通じて、上述の重み付けパラメータの最適化が行われる。図９に示す例では、深層学習（ディープラーニング）を通じて上述の重み付けパラメータの最適化が行われる。

入力信号ｘとして、撮像装置Ｃ１にて撮像されたショベル１００の全周囲にわたる範囲の検出データ（例えば入力画像）が入力される。出力信号ｙとして、予め規定されている複数のシーンのそれぞれが発生している確率（予測確率）を出力することができる。確率が高いシーン（状況）が、ショベルが存在する現場のシーンとして選択される。このようにして、表示装置Ｄ１では表示されない範囲を考慮して、ショベル１００の作業現場に配置されている物等を認識することができる。その結果、ショベル１００が存在するシーン（状況）を導き出すことができる。入力画像は、例えば、撮像装置Ｃ１が撮像した画像であり、入力信号ｘ_１、ｘ_２、・・・、ｘ_Ｎは、入力画像を構成する各画素の画素値である。複数のシーンは、例えば、シーン１（ショベル１００の近くに人ＰＳが存在するシーン（状況））、シーン２（ショベル１００の上方に電線ＥＣが存在するシーン（状況））、及び、シーン３（ショベル１００の前方に下り坂ＤＨが存在するシーン（状況））等を含む。出力信号ｙ_１、ｙ_２、・・・、ｙ_Ｎは、シーン１、シーン２、・・・、シーンＮが発生している確率である。そして、ショベルが存在する現場として選択されたシーンの危険度が、過去のデータ等に基づき算出される。

判定部５１は、例えば、シーン１の危険度に関わる確率が所定の閾値を上回る場合に、ショベル１００の操作者に通知すべき事項があると判定し、且つ、その通知すべき事項の内容が、ショベル１００の近くに人が存在することであると判定する。このようにして、判定部５１は、表示装置Ｄ１では表示されない範囲であっても、周囲の物体の存在や状況を操作者へ知らせることができる。

ニューラルネットワーク４０１は、操作介入部５３が画像から判定結果を導き出す際に利用されてもよい。この場合、操作介入部５３は、例えば、シーンｘ（左旋回操作が開始されるとショベル１００とショベル１００の周囲にある物体とが接触するおそれがあるシーン）の確率が所定の閾値を上回る場合に、操作者ＯＰによる左旋回操作に介入すべきであると判定する。

次に、図１０を参照し、表示装置Ｄ１に表示される画像の構成例について説明する。図１０は、表示装置Ｄ１に表示される画像の構成例を示す。

表示装置Ｄ１は、９つのモニタで構成されるマルチディスプレイである。９つのモニタは、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃ、左モニタＤ１ｄ、右モニタＤ１ｅ、左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉを含む。

中央モニタＤ１ａには、中央範囲ＺＮａ（図５（Ａ）及び図５（Ｂ）参照。）で表される空間の状況を捉えた画像が表示され、上モニタＤ１ｂには、上範囲ＺＮｂ（図５（Ａ）参照。）で表される空間の状況を捉えた画像が表示され、下モニタＤ１ｃには、下範囲ＺＮｃ（図５（Ａ）参照。）で表される空間の状況を捉えた画像が表示され、左モニタＤ１ｄには、左範囲ＺＮｄ（図５（Ｂ）参照。）で表される空間の状況を捉えた画像が表示され、右モニタＤ１ｅには、右範囲ＺＮｅ（図５（Ｂ）参照。）で表される空間の状況を捉えた画像が表示される。左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉについても同様である。

また、図１０に示す例では、表示装置Ｄ１に表示される画像は、画像Ｇ１～画像Ｇ５を含む。画像Ｇ１～画像Ｇ５は、コントローラ５０の判定部５１からの情報を受信した遠隔コントローラ４０の画像合成部４２が、部分周囲画像上に重畳表示する画像である。

画像Ｇ１及び画像Ｇ２は、判定部５１がショベル１００の左後方に人ＰＳ（図５参照。）が存在することを検知した場合に表示される。画像Ｇ１は、ショベル１００の近くに人ＰＳがいることを「操作者に通知すべき事項」としてショベル１００の操作者ＯＰに知らせるためのテキストメッセージである。但し、画像Ｇ１は、ショベル１００の近くに人ＰＳがいることを操作者ＯＰに知らせるためのアイコンであってもよい。画像Ｇ２は、検知された人ＰＳがショベル１００の左後方にいることを操作者ＯＰに知らせるための矢印である。

画像Ｇ３及び画像Ｇ４は、判定部５１がショベル１００の上方に電線ＥＣ（図５（Ａ）参照。）が存在することを検知した場合に表示される。画像Ｇ３は、ショベル１００の上方に電線ＥＣがあることを「操作者に通知すべき事項」としてショベル１００の操作者ＯＰに知らせるためのテキストメッセージである。但し、画像Ｇ３は、ショベル１００の上方に電線ＥＣがあることを操作者ＯＰに知らせるためのアイコンであってもよい。画像Ｇ４は、検知された電線ＥＣがショベル１００の上方にあることを操作者ＯＰに知らせるための矢印である。また、表示装置Ｄ１に表示された画像に、電線ＥＣの画像等の注意喚起すべき対象物の画像が含まれている場合には、その対象物の画像は、枠画像等により強調表示されてもよい。

画像Ｇ５は、判定部５１がショベル１００の前方に下り坂ＤＨ（図５（Ａ）参照。）が存在することを検知した場合に表示される。画像Ｇ５は、ショベル１００の前方に下り坂ＤＨがあることを「操作者に通知すべき事項」としてショベル１００の操作者ＯＰに知らせるためのテキストメッセージである。但し、画像Ｇ５は、ショベル１００の前方に下り坂ＤＨがあることを操作者ＯＰに知らせるためのアイコンであってもよい。

このように、施工支援システムＳＹＳは、表示装置Ｄ１に表示された部分周囲画像からだけでは分かり難い環境情報を操作者ＯＰに確実に提示することができる。すなわち、施工支援システムＳＹＳは、表示装置Ｄ１に表示された部分周囲画像からだけでは分かり難い環境情報に関し、操作者ＯＰの注意を喚起することができる。環境情報は、例えば、ショベル１００の左後方に人ＰＳがいること、ショベル１００の上方に電線ＥＣがあること、及び、ショベル１００の前方が下り坂ＤＨになっていること等を含む。

なお、施工支援システムＳＹＳは、表示装置Ｄ１に表示された部分周囲画像からだけでは分かり難い操作情報を操作者ＯＰに確実に伝えることができるように構成されていてもよい。すなわち、施工支援システムＳＹＳは、部分周囲画像上に操作情報を重畳表示するように構成されていてもよい。操作情報は、例えば、騒音レベル及び機械振動レベル等を含む。この場合、判定部５１は、上部旋回体３に取り付けられた集音装置Ａ１の出力に基づいて騒音レベルを検知してもよい。また、判定部５１は、上部旋回体３に取り付けられた振動センサ（図示せず。）の出力に基づいて機械振動レベルを検知してもよい。そして、判定部５１は、例えば、騒音レベルが所定の閾値を上回った場合に、騒音レベルに関する情報を部分周囲画像上に重畳表示する。機械振動レベルについても同様である。

また、施工支援システムＳＹＳは、操作者情報を操作者ＯＰに確実に伝えることができるように構成されていてもよい。操作者情報は、例えば、操作者ＯＰに関する情報を含む。操作者ＯＰに関する情報は、例えば、操作者ＯＰの疲労に関する情報、操作者ＯＰの体調に関する情報、操作者ＯＰが運転席ＤＳから離れたか否かに関する情報、及び、操作者ＯＰの挙動に関する情報を含む。操作者ＯＰの挙動に関する情報は、操作者ＯＰが居眠りをしているか否かに関する情報、及び、操作者ＯＰがよそ見をしているか否かに関する情報を含む。この場合、判定部５１は、遠隔操作室ＲＣに設置された情報取得装置としての室内撮像装置Ｃ２が撮像した画像に基づいて操作者ＯＰに関する情報を取得する。そして、判定部５１は、例えば、操作者ＯＰの疲労度が高いことを検知した場合、表示装置Ｄ１に所定のアイコン等を表示させることで操作者ＯＰの注意を喚起した上で、休憩を取ることを薦めるメッセージを操作者ＯＰに提示する。

操作者情報は、他の操作者に関する情報であってもよい。この場合、判定部５１は、他の遠隔操作室ＲＣに設置された室内撮像装置Ｃ２が撮像した画像に基づいて他の操作者に関する情報を取得する。そして、判定部５１は、例えば、他の操作者が運転席ＤＳから離れたことを検知した場合に、その旨を操作者ＯＰに提示する。

次に、図１１を参照し、表示装置Ｄ１に表示される画像の別の構成例について説明する。図１１は、表示装置Ｄ１に表示される画像の別の構成例を示す。

図１１に示す例では、表示装置Ｄ１に表示される画像は、画像Ｇ１０を含む。図１１は、明瞭化のため、画像Ｇ１０の拡大図を左上に示している。画像Ｇ１０は、作業の段取りに関する画像であり、画像Ｇ１１及び画像Ｇ１２を含む。具体的には、画像Ｇ１０は、作業の進捗状況を表す画像である。画像Ｇ１１は、ショベル１００の位置及び向きを表す図形である。画像Ｇ１２は、作業対象となる地面の範囲を示す図形である。より具体的には、画像Ｇ１２は、画像Ｇ１２ａ～画像Ｇ１２ｃを含む。画像Ｇ１２ａは、掘削が完了した範囲を表し、画像Ｇ１２ｂは、掘削が行われている範囲を表し、画像Ｇ１２ｃは、掘削が行われていない範囲を表す。図１１は、画像Ｇ１２ａをクロスパターンで表し、画像Ｇ１２ｂを斜線パターンで表し、画像Ｇ１２ｃをドットパターンで表している。

遠隔コントローラ４０の画像合成部４２は、ショベル１００の上部旋回体３に取り付けられた測位装置１８の出力に基づき、画像Ｇ１１の表示位置及び向きを決定する。また、画像合成部４２は、設計面情報ＤＩに基づき、画像Ｇ１２の輪郭を決定する。また、画像合成部４２は、撮像装置Ｃ１が撮像した画像に基づき、画像Ｇ１２ａ～画像Ｇ１２ｃのそれぞれの範囲を決定する。なお、画像合成部４２は、ショベル１００に取り付けられた姿勢検出センサの出力に基づいて導き出される掘削アタッチメントの所定部位の位置の推移から、作業対象となる地面の現在の深さを導き出してもよい。掘削アタッチメントの所定部位は、例えば、バケット６の爪先である。この場合、画像合成部４２は、画像Ｇ１２ａ～画像Ｇ１２ｃを表示する代わりに、作業対象となる地面の現在の深さをヒートマップ形式で表示してもよい。また、画像合成部４２は、撮像装置Ｃ１が撮像した画像に基づき、作業対象となる地面の現在の深さをヒートマップ形式で表示してもよい。

上述の構成により、施工支援システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。その際に、施工支援システムＳＹＳは、ショベル１００に取り付けられた撮像装置Ｃ１が撮像した画像に基づいて生成される周囲画像を操作者ＯＰがリアルタイムに視認できるようにする。具体的には、施工支援システムＳＹＳは、撮像装置Ｃ１が撮像した画像に基づいて生成された周囲画像の一部を表示装置Ｄ１に表示させることができる。表示装置Ｄ１で表示された画像を見た操作者ＯＰは、あたかもキャビン１０内でショベル１００を操作しているかのような臨場感を得ることができる。

また、施工支援システムＳＹＳは、表示装置Ｄ１としてのヘッドマウントディスプレイに取り付けられている慣性計測装置の出力に基づき、操作者ＯＰの目の位置及び顔（視線）の向きを特定できるように構成されていてもよい。この場合、慣性計測装置は、測位装置を含んでいてもよい。そして、施工支援システムＳＹＳは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、表示装置Ｄ１に表示される画像の内容を変化させるように構成されていてもよい。そのため、操作者ＯＰは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。

また、上述の施工支援システムＳＹＳでは、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３（図８参照。）は、ショベル１００に搭載されたコントローラ３０に配置されている。但し、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３は、遠隔コントローラ４０に配置されていてもよく、コントローラ５０に配置されていてもよく、コントローラ３０、遠隔コントローラ４０、及びコントローラ５０の少なくとも２つに分散して配置されていてもよい。

また、上述の施工支援システムＳＹＳでは、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３（図８参照。）は、遠隔操作室ＲＣに配置された遠隔コントローラ４０に配置されている。但し、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３は、コントローラ３０に配置されていてもよく、コントローラ５０に配置されていてもよく、コントローラ３０、遠隔コントローラ４０、及びコントローラ５０の少なくとも２つに分散して配置されていてもよい。

また、上述の施工支援システムＳＹＳでは、判定部５１、操作予測部５２、及び操作介入部５３（図８参照。）は、情報センタ２００に設置されたコントローラ５０に配置されている。但し、判定部５１、操作予測部５２、及び操作介入部５３は、コントローラ３０に配置されていてもよく、遠隔コントローラ４０に配置されていてもよく、コントローラ３０、遠隔コントローラ４０、及びコントローラ５０の少なくとも２つに分散して配置されていてもよい。

次に、図１２を参照し、ショベル１００の施工支援システムＳＹＳの別の構成例について説明する。図１２は、施工支援システムＳＹＳの別の構成例を示す概略図である。

図１２に示す施工支援システムＳＹＳは、情報センタ２００を介さずにショベル１００と遠隔操作室ＲＣとの間で無線通信が行われる点で、図７及び図８に示す施工支援システムＳＹＳと異なるが、その他の点で、図７及び図８に示す施工支援システムＳＹＳと共通している。

図１２に示す施工支援システムＳＹＳでは、図８に示す情報センタ２００に設置されたコントローラ５０における判定部５１、操作予測部５２、及び操作介入部５３（図８参照。）は、コントローラ３０に配置されている。但し、判定部５１、操作予測部５２、及び操作介入部５３は、遠隔コントローラ４０に配置されていてもよく、コントローラ３０及び遠隔コントローラ４０に分散して配置されていてもよい。

この構成により、図１２に示す施工支援システムＳＹＳは、図７及び図８に示す施工支援システムＳＹＳと同様に、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。

上述のように、本発明の実施形態に係るショベル１００は、下部走行体１と、下部走行体１に旋回可能に搭載される上部旋回体３と、上部旋回体３に取り付けられた撮像装置Ｃ１とを有する。ショベル１００の施工支援システムＳＹＳは、撮像装置Ｃ１が撮像した画像に基づいて周囲画像を生成する演算装置としてのコントローラ３０と、ショベル１００に取り付けられ或いはショベル１００の外部にある情報取得装置と、ショベル１００の外部にある操作装置２６と、ショベル１００の外部にあり、且つ、周囲画像が表示される表示装置Ｄ１とを有する。情報取得装置は、例えば、撮像装置Ｃ１、室内撮像装置Ｃ２、撮像装置Ｃ３、又は物体検知装置等である。そして、施工支援システムＳＹＳは、情報取得装置が取得した情報に基づいて操作者ＯＰの注意を喚起するように構成されている。

この構成により、施工支援システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲の状況をより的確に把握できるようにする。その結果、操作者ＯＰは、注意すべき点を的確に把握した上で、ショベル１００を遠隔操作することができる。

施工支援システムＳＹＳは、ショベル１００に取り付けられた情報取得装置としての撮像装置Ｃ１の出力に基づく環境情報を表示して操作者の注意を喚起するように構成されていてもよい。環境情報は、例えば、ショベル１００の近くに人がいること、ショベル１００の上方に電線があること、及び、ショベルの前方が下り坂になっていること等を含む。典型的には、環境情報は、表示装置Ｄ１に表示される画像がカバーする範囲ＺＮ（図５参照。）の外側の環境に関する情報である。但し、環境情報は、範囲ＺＮの内側の環境に関する情報であってもよい。環境情報を表示して操作者の注意を喚起するか否かは、ショベル１００若しくは管理装置の何れかにおいて判定されてもよい。具体的には、環境情報を表示して操作者の注意を喚起するか否かは、コントローラ３０に配置された判定部５１において判定されてもよい。但し、環境情報を表示して操作者の注意を喚起するか否かは、情報センタ２００で判定されてもよく、遠隔操作室ＲＣで判定されてもよい。

施工支援システムＳＹＳは、ショベル１００若しくはショベル１００の外部の何れかにある情報取得装置としての室内撮像装置Ｃ２の出力に基づく操作者情報を表示して操作者の注意を喚起するように構成されていてもよい。操作者情報は、例えば、操作者ＯＰに関する情報を含む。操作者ＯＰに関する情報は、例えば、操作者ＯＰの疲労に関する情報、操作者ＯＰの体調に関する情報、操作者ＯＰが運転席ＤＳから離れたか否かに関する情報、及び、操作者ＯＰの挙動に関する情報を含む。操作者ＯＰの挙動に関する情報は、操作者ＯＰが居眠りをしているか否かに関する情報、及び、操作者ＯＰがよそ見をしているか否かに関する情報を含む。この場合、情報取得装置は、操作者ＯＰに取り付けられた生体センサ、又は、運転席ＤＳの座面に取り付けられた感圧センサ等であってもよい。操作者情報を表示して操作者の注意を喚起するか否かは、ショベル１００において判定されてもよい。具体的には、操作者情報を表示して操作者の注意を喚起するか否かは、コントローラ３０に配置された操作者状態特定部４１において判定されてもよい。但し、環境情報を表示して操作者の注意を喚起するか否かは、情報センタ２００で判定されてもよく、遠隔操作室ＲＣで判定されてもよい。

表示装置Ｄ１には、作業の段取りに関する情報が表示されてもよい。作業の段取りに関する情報は、例えば、図１１に示すような作業の進捗状況を表す画像である。

この構成により、施工支援システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲の状況をより的確に把握できるようにすることに加え、操作者ＯＰが作業の進捗状況を把握できるようにする。

施工支援システムＳＹＳは、他の機械に搭載された情報取得装置が取得した情報に基づいて操作者の注意を喚起するように構成されていてもよい。他の機械は、例えば、他のショベルであってもよく、マルチコプタ若しくは飛行船等の飛行体であってもよい。他の機械に搭載された情報取得装置は、他のショベルに取り付けられた撮像装置、又は、飛行体に取り付けられた撮像装置等である。

この構成により、施工支援システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲の状況をより的確に把握できるようにする。

以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。

例えば、上述の実施形態では、ショベル１００に取り付けられている撮像装置Ｃ１は、ショベル１００に搭載されているコントローラ３０に接続されている。しかしながら、撮像装置Ｃ１は、通信装置Ｔ１に直接接続されていてもよい。すなわち、撮像装置Ｃ１が撮像した画像は、コントローラ３０を経由せずに、遠隔操作室ＲＣ又は情報センタ２００に向けて送信されてもよい。この場合、遠隔操作室ＲＣに設置された遠隔コントローラ４０、又は、情報センタ２００に設置されたコントローラ５０は、撮像装置Ｃ１から送信されてくる画像に基づいて周囲画像を生成するように構成されていてもよい。

また、上述の実施形態では、撮像装置Ｃ１は、複数台の単眼カメラで構成されているが、１台若しくは複数台の半天球カメラ、又は、１台若しくは複数台の全天球カメラで構成されていてもよい。また、撮像装置Ｃ１は、キャビン１０内に設置されたカメラを含んでいてもよい。

また、上述の実施形態では、施工支援システムＳＹＳは、表示装置Ｄ１に画像を表示させることによって、操作者ＯＰの注意を喚起するように構成されているが、音出力装置Ａ２から音を出力させることによって操作者ＯＰの注意を喚起するように構成されていてもよく、運転席ＤＳに設置された振動発生装置を動作させることによって操作者ＯＰの注意を喚起するように構成されていてもよい。

１・・・下部走行体 １Ｌ・・・左側走行用油圧モータ １Ｒ・・・右側走行用油圧モータ ２・・・旋回機構 ２Ａ・・・旋回用油圧モータ ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・エンジン １１ａ・・・オルタネータ １１ｂ・・・スタータ １１ｃ・・・水温センサ １３・・・レギュレータ １４・・・メインポンプ １４ｂ・・・吐出圧センサ １４ｃ・・・油温センサ １５・・・パイロットポンプ １６・・・作動油ライン １７・・・コントロールバルブユニット １８・・・測位装置 ２１・・・尿素水タンク ２１ａ・・・尿素水残量センサ ２２・・・燃料タンク ２２ａ・・・燃料残量センサ ２５・・・パイロットライン ２６・・・操作装置 ２９・・・操作センサ ３０・・・コントローラ ３０ａ・・・メモリ ３１・・・画像生成部 ３２・・・ショベル状態特定部 ３３・・・アクチュエータ駆動部 ４０・・・遠隔コントローラ ４１・・・操作者状態特定部 ４２・・・画像合成部 ４３・・・操作信号生成部 ４５・・・電磁弁ユニット ５０・・・コントローラ ５１・・・判定部 ５２・・・操作予測部 ５３・・・操作介入部 ７０・・・バッテリ ７２・・・電装品 ７４・・・エンジンコントロールユニット ７５・・・エンジン回転数調整ダイヤル １００、１００ａ、１００ｂ・・・ショベル ２００・・・情報センタ ４０１・・・ニューラルネットワーク Ａ１・・・集音装置 Ａ２・・・音出力装置 Ｃ１・・・撮像装置 Ｃ１Ｂ・・・後カメラ Ｃ１Ｆ・・・前カメラ Ｃ１Ｌ・・・左カメラ Ｃ１Ｒ・・・右カメラ Ｃ２・・・室内撮像装置 Ｃ３・・・撮像装置 Ｄ１・・・表示装置 Ｄ１ａ・・・中央モニタ Ｄ１ｂ・・・上モニタ Ｄ１ｃ・・・下モニタ Ｄ１ｄ・・・左モニタ Ｄ１ｅ・・・右モニタ Ｄ１ｆ・・・左上モニタ Ｄ１ｇ・・・右上モニタ Ｄ１ｈ・・・左下モニタ Ｄ１ｉ・・・右下モニタ ＤＳ・・・運転席 Ｅ１・・・操作者視点 Ｅ１'・・・仮想操作者視点 ＥＣ・・・電線 ＯＰ・・・操作者 ＰＳ・・・人 ＲＣ、ＲＣａ、ＲＣｂ・・・遠隔操作室 Ｓ１・・・ブーム角度センサ Ｓ２・・・アーム角度センサ Ｓ３・・・バケット角度センサ Ｓ４・・・旋回角速度センサ ＳＹＳ・・・施工支援システム Ｔ１、Ｔ２、Ｔ３・・・通信装置

Claims (7)

1. 下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、を有するショベルの施工支援システムであって、
   前記撮像装置が撮像した画像に基づいてショベルのキャビン内から見た周囲画像を生成する演算装置と、
   ショベルの外部にある情報取得装置と、
   ショベルの外部にある操作装置と、
   ショベルの外部にあり、且つ、前記周囲画像が表示される表示装置と、を有し、
   前記演算装置は、前記情報取得装置が取得した情報に基づいており、且つ、前記表示装置に表示される前記周囲画像がカバーする範囲の外側の環境に関する情報を含む、環境情報を通知することで、操作者の注意を喚起する、
   ショベルの施工支援システム。
2. 前記演算装置は、ショベルの外部にある前記情報取得装置の出力に基づく前記環境情報を、前記表示装置に画像を表示させ、ショベルの外部にある音出力装置に音を出力させ、又は、ショベルの外部にある振動発生装置を動作させることにより通知して、操作者の注意を喚起する、
   請求項１に記載のショベルの施工支援システム。
3. 前記情報取得装置は、ショベルの作業現場に設置された撮像装置を含み、
   前記環境情報は、前記周囲画像がカバーする範囲の外側の物体の位置に関する情報、前記周囲画像がカバーする範囲の内側の電線の位置に関する情報、前記周囲画像がカバーする範囲の内側の地形に関する情報、ショベルの周囲の騒音に関する情報、又は、ショベルの振動に関する情報を含み、
   前記演算装置は、ショベルに搭載された第１の演算装置と、前記ショベルの外部にあり、且つ、前記第１の演算装置と通信可能に構成された第２の演算装置と、を含み、
   前記表示装置に前記環境情報を表示して操作者の注意を喚起するか否かは、前記第１の演算装置又は前記第２の演算装置において判定される、
   請求項２に記載のショベルの施工支援システム。
4. 前記情報取得装置は、操作者の画像を撮像する室内撮像装置、操作者に取り付けられた生体センサ、又は、操作者が着席する運転席に取り付けられた感圧センサを含み、操作者に関する操作者情報を取得し、
   前記演算装置は、前記情報取得装置の出力に基づく前記操作者情報を前記表示装置に表示して操作者の注意を喚起する、
   請求項１乃至３の何れかに記載のショベルの施工支援システム。
5. 前記演算装置は、ショベルに搭載された第１の演算装置と、前記ショベルの外部にあり、且つ、前記第１の演算装置と通信可能に構成された第２の演算装置と、を含み、
   前記表示装置に前記操作者情報を表示して操作者の注意を喚起するか否かは、前記第１の演算装置により判定される、
   請求項４に記載のショベルの施工支援システム。
6. ショベルに取り付けられた集音装置又は振動センサを有し、
   前記演算装置は、前記集音装置又は前記振動センサが取得した情報に基づいて騒音レベル又は機械振動レベルを前記表示装置に表示させる、
   請求項１乃至５の何れかに記載のショベルの施工支援システム。
7. 他の機械に搭載された情報取得装置が取得した情報に基づいて操作者の注意を喚起する、
   請求項１乃至６の何れかに記載のショベルの施工支援システム。

Images