WO2021241716A1

WO2021241716A1 - ショベル用の施工支援システム

Info

Publication number: WO2021241716A1
Application number: PCT/JP2021/020303
Authority: WO
Inventors: 春男呉
Original assignee: 住友重機械工業株式会社
Priority date: 2020-05-27
Filing date: 2021-05-27
Publication date: 2021-12-02
Also published as: EP4159933A4; US20230071015A1; EP4159933A1; CN115279974A; JPWO2021241716A1; KR20230015308A

Abstract

ショベル（１００）による施工を支援する施工支援システム（ＳＹＳ）は、ショベル（１００）の作業環境に基づいて設定された仮想環境におけるショベル（１００）の動作のシミュレーションを実行するコントローラ（５０）を有する。コントローラ（５０）は、ショベル（１００）の周囲の空間を認識する空間認識装置の出力に基づいてシミュレーションを実行してもよい。空間認識装置は、ショベル（１００）に搭載されていてもよく、ショベル（１００）の外部に設置されていてもよい。また、施工支援システム（ＳＹＳ）は、コントローラ（５０）によるシミュレーションの結果を表示する表示装置（Ｄ１）を有していてもよい。

Description

ショベル用の施工支援システム

　本開示は、ショベル用の施工支援システムに関する。

　過去の作業機械の操作データのうちの作業品質の高い操作データを用いて、建設機械の操作者の支援を行う操作支援システムが知られている（特許文献１参照）。

特開２０１６－１５６１９３号公報

　しかしながら、上述のシステムは、過去の最良作業者の操作データを利用するだけであり、実際の作業現場の状況が反映されていない。

　そこで、ショベルによる施工を支援する際に実際の作業現場の状況を反映させることができるショベル用の施工支援システムを提供することが望まれる。

　本発明の実施形態に係るショベル用の施工支援システムは、ショベルによる施工を支援するシステムであって、前記ショベルの作業環境に基づいて設定された仮想環境における前記ショベルの動作のシミュレーションを実行する演算装置を有する。

　上述のショベル用の施工支援システムは、ショベルによる施工を支援する際に実際の作業現場の状況を反映させることができる。

ショベルの側面図である。図１のショベルに搭載される駆動系の構成例を示す図である。図１のショベルに搭載される電気系の構成例を示す図である。遠隔操作室に関する座標系とショベルに関する座標系との関係を示す図である。施工支援システムの構成例を示す概略図である。施工支援システムの構成例を示すブロック図である。作業現場におけるショベルの側面図である。施工支援システムの別の構成例を示す機能ブロック図である。

　次に、添付図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。

　図１は、本発明の実施形態に係る掘削機としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

　ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。

　ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。

　ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。

　アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。

　バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。

　なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。

　旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、ロータリエンコーダ等の他のセンサで構成されていてもよい。

　上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置１８、集音装置Ａ１、空間認識装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。但し、ショベル１００は、キャビン１０が省略された無人ショベルであってもよい。

　原動機としてのエンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。メインポンプ１４は、エンジン１１の代わりに、蓄電装置からの電力により駆動される電動機によって駆動されてもよい。

　測位装置１８は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置１８は、ＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。

　集音装置Ａ１は、ショベル１００の周囲で発生する音を集めるように構成されている。本実施形態では、集音装置Ａ１は、上部旋回体３に取り付けられたマイクである。

　空間認識装置Ｃ１は、ショベル１００の周囲の空間を認識できるように構成されている。本実施形態では、空間認識装置Ｃ１は、単眼カメラ、ステレオカメラ、又は赤外線カメラ等の撮像装置である。図示例では、空間認識装置Ｃ１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を有する単眼カメラである。具体的には、空間認識装置Ｃ１は、上部旋回体３の上面後端に取り付けられた後カメラＣ１Ｂ、キャビン１０の上面前端に取り付けられた前カメラＣ１Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＣ１Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＣ１Ｒを含む。空間認識装置Ｃ１は、キャビン１０内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン１０内に設置された運転席に着座する操作者の目の位置に対応する位置である。

　空間認識装置Ｃ１は、ＬＩＤＡＲ、超音波センサ、ミリ波レーダ、レーザレーダ、又は赤外線センサ等（以下、「ＬＩＤＡＲ等」とする。）であってもよい。ＬＩＤＡＲ等としての空間認識装置Ｃ１は、多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、空間認識装置Ｃ１から物体までの距離及び空間認識装置Ｃ１にから見た物体の方向を検出してもよい。

　空間認識装置Ｃ１は、ショベル１００の周囲に存在する物体を検知するように構成されていてもよい。物体は、例えば、地形形状（傾斜若しくは穴等）、ダンプトラック、電線、電柱、人、動物、車両、建設機械、建造物、壁、ヘルメット、安全ベスト、作業服、又は、ヘルメットにおける所定のマーク等である。この場合、空間認識装置Ｃ１は、物体の種類、位置、及び形状等の少なくとも１つを識別できるように構成されていてもよい。また、空間認識装置Ｃ１は、人と人以外の物体とを区別できるように構成されていてもよい。

　アクチュエータが動作する前に空間認識装置Ｃ１によりショベル１００から所定距離の範囲内に人が存在すると判断された場合には、コントローラ３０は、操作者が操作レバーを操作しても、アクチュエータを動作不能状態若しくは微速状態にしてもよい。具体的には、コントローラ３０は、ショベル１００から所定距離の範囲内に人が存在すると判断した場合、ゲートロック弁をロック状態にすることでアクチュエータを動作不能状態にすることができる。電気式の操作レバーの場合には、コントローラ３０は、操作用制御弁への信号を無効にすることで、アクチュエータを動作不能状態にすることができる。操作用制御弁は、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブユニット１７内の対応する制御弁のパイロットポートにそのパイロット圧を作用させるように構成されている。他の方式の操作レバーを用いる場合であっても、操作用制御弁を用いる場合には同様である。アクチュエータの動作を微速にしたい場合には、コントローラ３０は、操作用制御弁への信号（例えば、電流信号の値）を小さくすることで、アクチュエータを微速状態にすることができる。このように、ショベル１００から所定距離の範囲内に人が存在すると判断されると、操作装置が操作されてもアクチュエータは駆動されない、若しくは、操作装置への入力に応じた出力よりも小さい出力で微速駆動される。更に、操作者が操作レバーを操作しているときにショベル１００から所定距離の範囲内に人が存在すると判断された場合には、コントローラ３０は、操作者の操作内容に係わらずアクチュエータの動作を停止させ、若しくは、減速させてもよい。具体的には、ショベル１００から所定距離の範囲内に人が存在すると判断された場合、コントローラ３０は、ゲートロック弁をロック状態にすることでアクチュエータを停止させる。操作用制御弁が用いられる場合には、コントローラ３０は、操作用制御弁への信号を無効にすることで、或いは、操作用制御弁に対して減速指令を出力することで、アクチュエータを動作不能状態又は微速状態にすることができる。また、空間認識装置Ｃ１によって検知された物体がダンプトラックの場合には、停止制御は不要である。この場合、検知されたダンプトラックを回避するようにアクチュエータは制御される。このように、検知された物体の種類に認識に基づいて、アクチュエータは制御されてもよい。

　通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。

　コントローラ３０は、各種演算を実行する演算装置である。本実施形態では、コントローラ３０は、ＣＰＵ及びメモリ３０ａを含むマイクロコンピュータで構成されている。そして、コントローラ３０の各種機能は、ＣＰＵがメモリ３０ａに格納されたプログラムを実行することで実現される。

　図２は、図１のショベル１００の駆動系の構成例を示すブロック図である。図２において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。

　ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び電磁弁ユニット４５等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。

　メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。

　レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節するように構成されている。メインポンプ１４は、レギュレータ１３により１回転当たり吐出量（押し退け容積）が制御される。

　パイロットポンプ１５は、パイロットライン２５を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブユニット１７に作動油を供給する機能とは別に、絞り等を介して電磁弁ユニット４５等に作動油を供給する機能を備えていてもよい。

　コントロールバルブユニット１７は、メインポンプ１４から受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット１７は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。

　コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、電磁弁ユニット４５を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室から送信されてくる。操作信号は、キャビン１０内に設けられた操作装置によって生成されてもよい。

　電磁弁ユニット４５は、パイロットポンプ１５とコントロールバルブユニット１７内の各制御弁のパイロットポートとを繋ぐ各パイロットライン２５に配置された複数の電磁弁を含む。

　本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。

　このようにして、コントローラ３０は、遠隔操作室等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。

　図３は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図３に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。コントローラ３０は、エンジン１１の状態を示す各種データをメモリ３０ａに蓄積できるように構成されている。

　バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作するように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａが発電した電力で充電されるように構成されている。

　水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置１８は、ショベル１００の位置に関するデータをコントローラ３０に送信する。

　メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４－１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４－１を流れる作動油の温度に関するデータをコントローラ３０に送信する。

　尿素水タンク２１に設けられた尿素水残量センサ２１ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク２２に設けられた燃料残量センサ２２ａは、燃料の残量に関するデータをコントローラ３０に送信する。

　通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。本実施形態では、通信装置Ｔ１と通信装置Ｔ２とは、第５世代移動通信回線（５Ｇ回線）、ＬＴＥ回線、又は衛星回線等を介して情報を送受信するように構成されている。

　遠隔操作室ＲＣには、遠隔コントローラ４０、音出力装置Ａ２、室内空間認識装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２等が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る運転席ＤＳが設置されている。

　遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、コントローラ３０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

　音出力装置Ａ２は、音を出力するように構成されている。本実施形態では、音出力装置Ａ２は、スピーカであり、ショベル１００に取り付けられている集音装置Ａ１が集めた音を再生するように構成されている。

　室内空間認識装置Ｃ２は、遠隔操作室ＲＣ内の空間を認識できるように構成されている。本実施形態では、室内空間認識装置Ｃ２は、遠隔操作室ＲＣの内部に設置されたカメラであり、運転席ＤＳに着座する操作者ＯＰを撮像するように構成されている。

　通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１との無線通信を制御するように構成されている。

　本実施形態では、運転席ＤＳは、通常のショベルのキャビン内に設置される運転席と同様の構造を有する。具体的には、運転席ＤＳの左側には左コンソールボックスが配置され、運転席ＤＳの右側には右コンソールボックスが配置されている。そして、左コンソールボックスの上面前端には左操作レバーが配置され、右コンソールボックスの上面前端には右操作レバーが配置されている。また、運転席ＤＳの前方には、走行レバー及び走行ペダルが配置されている。更に、右コンソールボックスの上面中央部には、ダイヤル７５が配置されている。左操作レバー、右操作レバー、走行レバー、走行ペダル、及びダイヤル７５のそれぞれは、操作装置２６を構成している。

　ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、例えばエンジン回転数を４段階で切り換えできるように構成されている。

　具体的には、ダイヤル７５はＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数の切り換えができるように構成されている。ダイヤル７５は、エンジン回転数の設定に関するデータをコントローラ３０に送信する。

　ＳＰモードは、操作者ＯＰが作業量を優先させたい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、操作者ＯＰが作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、操作者ＯＰが燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、操作者ＯＰがエンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、ダイヤル７５を介して選択された回転数モードのエンジン回転数で一定に回転数制御される。

　操作装置２６には、操作装置２６の操作内容を検出するための操作センサ２９が設置されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ２９は、検出した操作装置２６の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２９は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。

　表示装置Ｄ１は、ショベル１００の周囲の状況に関する情報を表示するように構成されている。本実施形態では、表示装置Ｄ１は、縦３段、横３列の９つのモニタで構成されるマルチディスプレイであり、ショベル１００の前方、左方、及び右方の空間の様子を表示できるように構成されている。各モニタは、液晶モニタ又は有機ＥＬモニタ等である。但し、表示装置Ｄ１は、１又は複数の曲面モニタで構成されていてもよく、プロジェクタで構成されていてもよい。

　表示装置Ｄ１は、操作者ＯＰが着用可能な表示装置であってもよい。例えば、表示装置Ｄ１は、ヘッドマウントディスプレイ（ＶＲ用ゴーグル）であり、無線通信によって、遠隔コントローラ４０との間で情報を送受信できるように構成されていてもよい。ヘッドマウントディスプレイは、遠隔コントローラ４０に有線接続されていてもよい。ヘッドマウントディスプレイは、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイは、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。

　表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認できるようにする画像を表示するように構成されている。すなわち、表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、あたかもショベル１００のキャビン１０内にいるかのように、ショベル１００の周囲の状況を確認することができるように、画像を表示する。

　次に、図４を参照し、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする第１座標系と、ショベル１００における基準点Ｒ２を原点とする第２座標系との関係について説明する。なお、以下の説明では、第１座標系は、操作室座標系と称され、第２座標系は、ショベル座標系と称される。図４は、操作室座標系とショベル座標系との関係を示す図である。

　操作室座標系は、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする三次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。

　ショベル座標系は、上部旋回体３上の基準点Ｒ２を原点とする三次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図４の例では、基準点Ｒ２は旋回軸上の点であり、ＸＹ平面は水平面であり、Ｚ軸は鉛直軸である。すなわち、図４の例では、ショベル１００が位置する仮想平面である接地面は水平面である。そして、Ｘ軸は、操作室座標系のＵ軸に対応し、Ｙ軸は、操作室座標系のＶ軸に対応し、Ｚ軸は、操作室座標系のＷ軸に対応している。

　本実施形態では、操作室座標系における各三次元座標は、ショベル座標系における三次元座標の１つに予め対応付けられている。そのため、遠隔操作室ＲＣにおける操作者ＯＰの目の位置である操作者視点Ｅ１の三次元座標が決まれば、ショベル１００における仮想操作者の目の位置である仮想操作者視点Ｅ１'の三次元座標は一意に決まる。なお、操作者ＯＰの目の位置は、例えば、操作者ＯＰの左目の位置と右目の位置の中間点である。但し、操作者ＯＰの目の位置は、予め設定された位置であってもよい。すなわち、操作者視点Ｅ１及び仮想操作者視点Ｅ１'は固定点であってもよい。

　上述の実施形態では、表示装置Ｄ１は、操作者ＯＰの前方、左前方、及び右前方に設置されているが、操作者ＯＰを取り囲むように角筒状又は円筒状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの後方に設置されたモニタを含んでいてもよい。或いは、表示装置Ｄ１は、操作者ＯＰを取り囲むように半球状に設置されていてもよい。すなわち、表示装置Ｄ１は、操作者ＯＰの真上に設置されたモニタを含んでいてもよい。

　次に、図５及び図６を参照し、ショベル１００の施工支援システムＳＹＳの構成例について説明する。図５は、施工支援システムＳＹＳの構成例を示す概略図である。図６は、施工支援システムＳＹＳの構成例を示す機能ブロック図である。

　施工支援システムＳＹＳは、主に、ショベル１００に搭載されている測位装置１８、コントローラ３０、電磁弁ユニット４５、集音装置Ａ１、空間認識装置Ｃ１、及び通信装置Ｔ１と、遠隔操作室ＲＣに設置されている操作センサ２９、遠隔コントローラ４０、音出力装置Ａ２、室内空間認識装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２と、情報センタ２００に設置されている管理装置としてのコントローラ５０及び通信装置Ｔ３とで構成されている。

　図５に示す例では、施工支援システムＳＹＳは、ショベル１００ａと、ショベル１００ｂと、ショベル１００ａに関する遠隔操作室ＲＣａと、ショベル１００ｂに関する遠隔操作室ＲＣｂと、作業現場に設置された空間認識装置Ｃ３と、情報センタ２００とで構成されている。

　空間認識装置Ｃ３は、作業現場内の空間を認識できるように構成されている。本実施形態では、空間認識装置Ｃ３は、作業現場に設置されたカメラであり、作業現場の様子を撮像するように構成されている。

　最初に、ショベル１００ａに搭載されているコントローラ３０が有する機能について説明する。コントローラ３０は、図６に示すように、機能ブロックとして、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３を有する。ショベル１００ｂについても同様である。画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。

　画像生成部３１は、表示装置Ｄ１で表示される画像を含む周囲画像を生成するように構成されている。周囲画像は、表示装置Ｄ１での表示の際に利用される画像である。典型的には、周囲画像は、仮にキャビン１０内に操作者がいたならば操作者が見ることができたショベル１００の周囲の様子を表す画像である。本実施形態では、周囲画像は、空間認識装置Ｃ１としての撮像装置が撮像した画像に基づいて生成される。具体的には、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒのそれぞれが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成する。但し、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒの少なくとも１つが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成してもよい。第１仮想視点画像の仮想視点である第１仮想視点は、仮にキャビン１０内の運転席に操作者が着座していたときの操作者の目の位置に対応する仮想操作者視点Ｅ１'（図４参照。）である。但し、仮想操作者視点Ｅ１'は、キャビン１０の外にあってもよい。

　本実施形態では、第１仮想視点である仮想操作者視点Ｅ１'の座標は、遠隔操作室ＲＣの運転席ＤＳに操作者ＯＰが着座したときの操作者ＯＰの目の位置である操作者視点Ｅ１（図４参照。）に基づいて導き出される。なお、操作者視点Ｅ１の座標は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、操作室座標系における操作者視点Ｅ１の座標を、ショベル座標系における座標に変換することで、仮想操作者視点Ｅ１'の座標を導き出すことができる。但し、操作者視点Ｅ１の座標は、予め設定された固定値であってもよい。

　また、本実施形態では、第１仮想視点画像は、第１仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像に相当する。仮想投影面は、第１仮想視点を取り囲む仮想的な球又は半球の内面であってもよく、第１仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。このように生成された第１仮想視点画像を見ることで、操作者ＯＰは、ショベル１００の周囲の状況を立体的に把握することができる。すなわち、操作者ＯＰは、第１仮想視点画像を見ることで、例えば、ショベル１００の前方に位置するダンプトラックの荷台の奥行き、地面にある盛り土の高さ、又は、地面にある穴の深さ等をより正確に把握できる。

　表示装置Ｄ１で表示される第１仮想視点画像由来の画像は、画像生成部３１が生成する第１仮想視点画像の一部である。

　なお、表示装置Ｄ１がヘッドマウントディスプレイである場合、第１仮想視点画像の全領域に占める、表示装置Ｄ１で表示される画像の領域は、遠隔操作室ＲＣの運転席ＤＳに着座している操作者ＯＰの視線の向きに基づいて決定されてもよい。この場合、操作者ＯＰの視線の向きに関する情報は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、空間認識装置Ｃ１が出力する画像と、遠隔コントローラ４０から送信されてくる操作者視点Ｅ１の座標とに基づいて周囲画像としての第１仮想視点画像を生成する。そして、画像生成部３１は、遠隔コントローラ４０から送信されてくる操作者ＯＰの視線の向きに関する情報に基づき、生成した第１仮想視点画像の一部を部分周囲画像として切り出し、切り出した部分周囲画像を遠隔操作室ＲＣにある表示装置Ｄ１に向けて送信する。

　ショベル状態特定部３２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００における基準点Ｒ２の緯度、経度、及び高度である。ショベル状態特定部３２は、測位装置１８の出力に基づいてショベルの位置及び向きを特定する。

　アクチュエータ駆動部３３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３３は、遠隔コントローラ４０から送信されてくる操作信号に基づき、電磁弁ユニット４５に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。

　作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。

　次に、遠隔操作室ＲＣに設置されている遠隔コントローラ４０が有する機能について説明する。遠隔コントローラ４０は、機能ブロックとして、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３を有する。操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。

　操作者状態特定部４１は、遠隔操作室ＲＣにいる操作者ＯＰの状態を特定するように構成されている。操作者ＯＰの状態は、操作者ＯＰの目の位置と視線の向きを含む。操作者状態特定部４１は、室内空間認識装置Ｃ２の出力に基づいて操作者ＯＰの目の位置及び視線の向きを特定する。具体的には、操作者状態特定部４１は、室内空間認識装置Ｃ２としての撮像装置が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの目の位置の座標を操作者視点Ｅ１（図４参照。）の座標として特定する。また、操作者状態特定部４１は、室内空間認識装置Ｃ２としての撮像装置が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの視線の向きを特定する。

　操作者状態特定部４１は、遠隔操作室ＲＣに設置されたＬＩＤＡＲ等、又は、表示装置Ｄ１としてのヘッドマウントディスプレイに取り付けられた慣性計測装置等、室内空間認識装置Ｃ２以外の他の装置の出力に基づいて操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きを導き出してもよい。なお、慣性計測装置は、測位装置を含んでいてもよい。

　そして、操作者状態特定部４１は、通信装置Ｔ２を通じ、操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きに関する情報をショベル１００に向けて送信する。

　画像合成部４２は、コントローラ３０から送信されてくる部分周囲画像と、別の画像とを合成して合成画像を生成するように構成されている。

　別の画像は、設計面情報ＤＧに基づいて生成される画像である設計面画像であってもよい。本実施形態では、画像合成部４２は、遠隔コントローラ４０を構成している不揮発性記憶装置に予め記憶されている設計面情報ＤＧに基づいて設計面の位置を表すコンピュータグラフィックス等の図形を、設計面画像として、部分周囲画像に重畳表示させる。設計面は、ショベル１００を用いた掘削作業が完了したときの地面である。操作者は、設計面を見ることで、掘削作業が完了する前であっても、掘削作業が完了したときのショベル１００の周囲の状態を把握できる。この場合、画像合成部４２は、ショベル状態特定部３２が特定したショベルの位置及び向きに基づき、部分周囲画像における、設計面画像を重畳表示すべき位置を決定する。

　操作信号生成部４３は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部４３は、操作センサ２９の出力に基づいて操作信号を生成するように構成されている。

　次に、情報センタ２００に設置されているコントローラ５０が有する機能について説明する。コントローラ５０は、各種演算を実行する演算装置である。本実施形態では、コントローラ５０は、コントローラ３０及び遠隔コントローラ４０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、コントローラ５０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

　本実施形態では、コントローラ５０は、機能ブロックとして、判定部５１、操作予測部５２、操作介入部５３、及び動作シミュレータ５４を有する。判定部５１、操作予測部５２、操作介入部５３、及び動作シミュレータ５４は、説明の便宜のために区別されて表されているが、物理的に区別されている必要はなく、全体的に或いは部分的に共通のソフトウェアコンポーネント若しくはハードウェアコンポーネントで構成されていてもよい。

　判定部５１は、ショベル１００の周囲の状況に関し、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されている。本実施形態では、判定部５１は、ショベル１００に取り付けられた情報取得装置としての空間認識装置Ｃ１が撮像した画像若しくは距離画像（以下、「画像等」とする。）、ショベル１００の位置、姿勢、及び動作内容の少なくとも１つに基づき、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されている。距離画像は、例えば、空間認識装置Ｃ１としてのＬＩＤＡＲ等の出力に基づいて生成される画像である。判定部５１は、空間認識装置Ｃ１が撮像した画像等に基づき、ショベル１００の位置、姿勢、及び動作内容の少なくとも１つを判定できるように構成されていてもよい。また、判定部５１は、空間認識装置Ｃ３が撮像した画像等又は施工地形情報（地形データ）に基づき、ショベル１００の操作者に通知すべき事項があるか否かを判定するように構成されていてもよい。更に、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づき、他の建設機械の位置、姿勢、及び動作内容等の少なくとも１つを判定できるように構成されていてもよい。判定部５１は、空間認識装置Ｃ１及び空間認識装置Ｃ３によって取得された画像等から導き出されるショベル１００の周辺の状況とショベル１００の位置、姿勢、及び動作内容とに基づきショベル１００の操作者に通知すべき事項があるか否かを判定してもよい。通知すべき事項があるか否かは、過去の事例と照らし合わせ、同一、若しくは、類似の状況の有無により判定されてもよい。

　例えば、判定部５１は、表示装置Ｄ１に表示される画像がカバーする範囲の外側に人が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部５１は、ショベル１００の左後方に人が存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、上部旋回体３に取り付けられた空間認識装置Ｃ１としての撮像装置又はＬＩＤＡＲ等の出力に基づいて人を検知してもよい。或いは、判定部５１は、作業現場に設置された空間認識装置Ｃ３としての撮像装置又はＬＩＤＡＲ等の出力に基づいて人を検知してもよい。この場合、空間認識装置Ｃ３は、例えば、作業現場に設置されたポールの先端に取り付けられた半天球カメラであってもよい。なお、空間認識装置Ｃ３は、他の作業機械に取り付けられた撮像装置又はＬＩＤＡＲ等であってもよく、作業現場の上空を飛行するマルチコプタ（ドローン）等の飛行体に取り付けられた撮像装置又はＬＩＤＡＲ等であってもよい。表示装置Ｄ１に表示される画像がカバーする範囲の内側に人が存在することを検知した場合についても同様である。

　或いは、判定部５１は、表示装置Ｄ１に表示される画像がカバーする範囲の外側に電線が存在することを検知した場合、操作者に通知すべき事項があると判定してもよい。例えば、判定部５１は、ショベル１００の上方に電線が存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、空間認識装置Ｃ１の出力に基づいて電線を検知してもよい。或いは、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づいて電線を検知してもよい。表示装置Ｄ１に表示される画像がカバーする範囲の内側に電線が存在することを検知した場合についても同様である。

　或いは、判定部５１は、施工地形情報（地形データ）に基づき、ショベル１００の前方に下り坂が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部５１は、ショベル１００の前方に下り坂が存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部５１は、物体検知装置の出力に基づいて下り坂を検知してもよい。或いは、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づいて下り坂を検知してもよい。或いは、判定部５１は、コントローラ５０に付属している不揮発性記憶媒体等に予め記憶されている施工地形情報（地形データ）に基づいて下り坂を検知してもよい。

　ショベル１００の操作者に通知すべき事項があると判定した場合、判定部５１は、操作者の注意を喚起する。本実施形態では、判定部５１は、その通知すべき事項に関する情報を遠隔コントローラ４０に向けて送信する。遠隔コントローラ４０の画像合成部４２は、判定部５１から受信した情報に関する画像を部分周囲画像上に重畳表示させる。

　操作予測部５２は、遠隔コントローラ４０から受信した操作信号に基づき、所定時間後の操作信号を予測するように構成されている。通信遅延による操作応答性の低下、すなわち、遠隔操作室ＲＣにおける操作者ＯＰによる操作がショベル１００の動きに反映されるまでの遅延を抑制するためである。所定時間は、例えば、数ミリ秒～数十ミリ秒である。例えば、操作予測部５２は、過去の所定時間における操作信号（操作レバーの傾斜角度）の推移に基づき、所定時間後の操作信号を予測する。例えば、操作予測部５２は、過去の所定時間において操作レバーの傾斜角度が増加傾向にあったことを検知した場合、所定時間後の傾斜角度が現在の傾斜角度より大きくなると予測する。

　そして、操作予測部５２は、遠隔コントローラ４０から受信した操作信号をそのままショベル１００に向けて送信する代わりに、予測した操作信号（以下、「予測操作信号」とする。）をショベル１００に向けて送信する。

　この構成により、操作予測部５２は、実質的に、遠隔操作室ＲＣで生成された操作信号を遅延なしでショベル１００に伝えることができる。

　操作介入部５３は、遠隔操作室ＲＣにおける操作者ＯＰによる操作に介入するように構成されている。本実施形態では、判定部５１は、ショベル１００に取り付けられた空間認識装置Ｃ１が撮像した画像等に基づき、操作者ＯＰによる操作に介入すべきか否かを判定するように構成されている。

　例えば、操作介入部５３は、ショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知した場合、操作者ＯＰによる操作に介入すべきであると判定する。例えば、操作介入部５３は、ショベル１００の左方に人が存在することを検知し、且つ、左旋回操作（左操作レバーを左方に倒す操作）が開始されたことを検知した場合、操作者ＯＰによる操作に介入すべきであると判定する。この場合、操作介入部５３は、左旋回操作に基づいて生成された操作信号を無効にし、上部旋回体３が左旋回しないようにする。なお、操作介入部５３は、物体検知装置の出力に基づいてショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知してもよい。或いは、判定部５１は、空間認識装置Ｃ３が撮像した画像等に基づいてショベル１００とショベル１００の周囲にある物体とが接触するおそれがあることを検知してもよい。このようにして操作者に通知すべき事項があると判定された場合には、コントローラ３０は、操作信号に基づき、ショベル１００の停止又は減速等の制動制御を行うように構成されていてもよい。

　その後、操作者は、例えば、操作レバーを一旦中立に戻す、或いは、解除ボタンを押す等の操作を行うことで、すなわち、解除条件を満たすことで、ショベル１００の停止又は減速等の制動制御を解除することができる。なお、解除条件は、ショベル１００が停止状態であることを含んでいてもよい。

　動作シミュレータ５４は、ショベル１００の動作の模擬実験（シミュレーション）を実行できるように構成されている。ショベル１００の動作は、ショベル１００による掘削作業等の様々な作業を構成している。例えば、掘削作業は、アーム閉じ動作、バケット閉じ動作、及びブーム上げ動作等の複数の動作によって構成されている。図６に示す例では、動作シミュレータ５４は、遠隔操作室ＲＣからの開始指令に応じてショベル１００の動作のシミュレーションを開始させる。具体的には、動作シミュレータ５４は、環境情報に基づいて作業現場の仮想モデルである仮想作業現場を構築する。環境情報は、作業環境に関する情報であり、例えば、空間認識装置Ｃ１、空間認識装置Ｃ３、測位装置１８、及び姿勢検出センサのうちの少なくとも１つが出力する情報を含む。また、環境情報は、設計面情報ＤＧを含んでいてもよい。

　仮想作業現場は、仮想環境の一例であり、例えば、実際の作業現場の現在の地形が再現された三次元の仮想空間（三次元のモデル）である。そして、動作シミュレータ５４は、遠隔操作室ＲＣにいる操作者ＯＰが仮想作業現場の状況を視認できるように、仮想作業現場に関する画像を表示装置Ｄ１に向けて送信する。三次元の仮想空間には仮想ショベルが配置される。仮想作業現場における現在の地形並びに仮想ショベルの位置及び向き等と実際の作業現場における現在の地形並びに実際のショベル１００の位置及び向き等とが一致するように、仮想ショベルは、仮想空間に再現された仮想作業現場に配置される。仮想ショベルは実際のショベル１００と同様に、仮想作業現場において仮想動作を行う。つまり、操作者ＯＰが操作装置２６の接続先を実際のショベル１００から仮想ショベルへ切り替えると、操作者ＯＰは操作装置２６を介して仮想ショベルを操作することができる。例えば、操作者ＯＰは操作装置２６の左操作レバー（アーム操作レバー）を操作すると、仮想ショベルの仮想アームを動かすことができる。このようにして、操作者ＯＰは、仮想ショベルの各アクチュエータを仮想作業現場において動作させることができる。また、実際の作業現場に建屋又は電線等の設置物がある場合には、仮想作業現場にも仮想設置物が再現される。また、実際の作業現場において所定の時刻に資材が搬入される予定がある場合には、仮想作業現場においても予定された所定の時刻になると仮想資材が搬入される状況が再現される。また、仮想作業現場の地面や傾斜地等の地盤特性（硬さ、密度、又は水分含有量率等）も、実際の作業現場の地盤特性と一致するように再現される。また、所定の時刻になると雨が降ることが予測される場合には、仮想作業現場においても予定された所定の時刻になると雨が降る状況が仮想的に再現される。このように、三次元の仮想空間が三次元モデルとして再現される。これにより、遠隔操作室ＲＣの操作者ＯＰは、三次元の仮想空間に配置された仮想ショベルのモデルを用いて、仮想空間に再現された仮想作業現場にて、仮想作業を行うことができる。仮想作業を実行する際、遠隔操作室ＲＣの操作者ＯＰが視認する画像は、三次元の仮想空間に配置された仮想ショベルに取り付けられた仮想空間認識装置から得られる仮想作業現場の画像に相当する。仮想空間認識装置は、例えば、仮想キャビンに配置される。仮想作業現場に関する画像は、典型的には、実際の作業現場の地形に対応する立体地形画像であり、コンピュータグラフィクスによって構成される。但し、仮想作業現場に関する画像は、少なくとも部分的には、撮像装置が撮像した画像を利用して生成されてもよい。仮想作業現場に関する画像を受信した表示装置Ｄ１は、仮想作業現場の画像を表示できる。実際の作業現場の現在の地形は、ショベル１００に設けられた空間認識装置Ｃ１（カメラ又はＬＩＤＡＲ等）、マルチコプタ等に設けられた空間認識装置（カメラ又はＬＩＤＡＲ等）を通じて取得されてもよく、実際の作業現場における建屋又は鉄塔等に設置された空間認識装置（カメラ又はＬＩＤＡＲ等）を通じて取得されてもよい。このように、動作シミュレータ５４は、空間認識装置を通じて取得された情報に基づいて、実際の作業現場を三次元の仮想空間（三次元のモデル）に再現できる。三次元の仮想空間（三次元のモデル）における仮想作業現場は、実際の作業現場における進捗状況に応じて更新されてもよい。例えば、実際の作業現場において倒木が発生した場合には、ショベル１００は、実際の作業現場で発生した倒木の情報（位置、大きさ、又は樹木の種類等）を空間認識装置Ｃ１により取得し、情報センタ２００に設置されている管理装置としてのコントローラ５０へ送信する。コントローラ５０は、受信した実際の作業現場の最新の情報を仮想作業現場に反映させる。これにより、操作者ＯＰは仮想作業現場において仮想ショベルを操作し、倒木を考慮した仮想作業を行うことができる。

　仮想作業現場に関する画像は、典型的には、仮想ショベルの画像を含む。仮想ショベルは、例えば、ショベル１００の動作のシミュレーションが開始された時点では、実際の作業現場におけるショベル１００に対応している。すなわち、シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、実際の作業現場におけるショベル１００の位置及び姿勢等に対応している。シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、例えば、空間認識装置Ｃ１及び空間認識装置Ｃ３の少なくとも一方の出力に基づいて決定される。但し、シミュレーションが開始された時点での仮想作業現場における仮想ショベルの位置及び姿勢等は、ショベル１００に搭載されているブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、旋回角速度センサＳ４、機体傾斜センサ、及び測位装置１８等の少なくとも１つの出力に基づいて決定され或いは調整されてもよい。

　その後、動作シミュレータ５４は、遠隔操作室ＲＣにいる操作者ＯＰが操作装置２６を操作したときに生成される操作信号を遠隔操作室ＲＣから受信し、受信した操作信号に応じて仮想作業現場における仮想ショベルを動作させる。仮想作業現場の地形は、仮想ショベルの動きに応じて変化する。例えば、仮想作業現場の地形は、仮想ショベルによる仮想掘削作業に応じて変化する。

　シミュレーションが行われているときには、操作信号は、実際の作業現場におけるショベル１００には送信されない。すなわち、遠隔操作室ＲＣにいる操作者ＯＰは、シミュレーションが行われているときには、実際の作業現場におけるショベル１００を操作できない。

　図６に示す例では、シミュレーションを開始させるための開始指令は、遠隔操作室ＲＣにいる操作者ＯＰが所定の開始ボタンを操作したときに遠隔コントローラ４０で生成され、遠隔コントローラ４０から情報センタ２００のコントローラ５０に送信される。開始ボタンは、例えば、右コンソールボックスの上面に配置されている。

　操作者ＯＰは、遠隔操作室ＲＣから操作を行うため、実際の作業現場の状況を把握し辛い場合がある。このため、操作者ＯＰは、作業開始前に、若しくは、作業中に、ショベル１００が存在する実際の作業現場において望ましくない事象が発生する蓋然性をその望ましくない事象が発生する前に把握することが望ましい。このため、操作者ＯＰは、予定されている作業を実際に行う前に、所定の開始ボタンを操作してシミュレーションを開始させる。望ましくない事象は、例えば、崖を掘削する際の崖の崩落等である。ここでの崖は、例えば、安息角以上の傾斜角を有する傾斜面を含む地面を意味する。操作者ＯＰは、仮想作業現場での仮想ショベルによる仮想掘削作業を行うことにより、崖をどのように掘削すれば崖がどのように崩落するのかを確認できる。すなわち、操作者ＯＰは、複数の掘削作業を仮想的に試すことにより、崖のどの部分をどのような順番でどの程度掘削すれば崖の崩落を抑えることができるかを確認できる。すなわち、操作者ＯＰは、実際の掘削作業を行う前に（実際の掘削作業を行うことなく）、問題のない掘削作業の進め方を導き出すことができる。

　具体的には、操作者ＯＰは、１の掘削作業を仮想的に試した後で、所定のリセットボタンを操作することで、１の掘削作業の試行によって変化した仮想作業現場の地形を元の地形に戻すことができる。リセットボタンは、例えば、右コンソールボックスの上面に配置されている。なお、元の地形は、例えば、開始ボタンが操作された時点における仮想作業現場の地形であり、実際の作業現場における現在の地形に対応している。但し、仮想作業現場の地形は、シミュレーション中の任意の時点での地形に戻されてもよい。この構成により、操作者ＯＰは、様々な掘削作業を効率的に試すことができる。

　そして、操作者ＯＰは、崖の崩落が起こりにくい掘削作業を確認した後で、シミュレーションを終了させる。図６に示す例では、操作者ＯＰは、所定の終了ボタンを操作することにより、シミュレーションを終了させることができる。終了ボタンは、シミュレーションを開始させる際に用いられる開始ボタンと同じボタンであってもよく、開始ボタンとは別のボタンであってもよい。

　シミュレーションが終了すると、表示装置Ｄ１に表示されていた仮想作業現場の画像は、ショベル１００に搭載された撮像装置等によって撮像された画像に基づく実際の作業現場の画像に切り換えられる。そして、操作者ＯＰは、操作装置２６を操作することによってショベル１００を動かすことができ、実際の掘削作業を行うことができるようになる。

　この状態において、操作者ＯＰは、シミュレーションで確認できた最適と思われる掘削作業を行い、実際の作業現場における崖を掘削できる。

　この構成により、コントローラ５０は、例えば、崖の掘削の際に発生し得る崖の崩落を抑制でき、ショベル１００による掘削作業の安全性を高めることができる。

　或いは、コントローラ５０は、ショベル１００の動きに応じて望ましくない事象が発生する蓋然性が高いと判定した場合、ショベル１００の動きを停止させた上で、操作者ＯＰにシミュレーションの実行を促すように構成されていてもよい。望ましくない事象は、例えば、崖の掘削の際に発生し得る崖の崩落等である。

　例えば、コントローラ５０は、空間認識装置Ｃ１等の出力に基づき、操作者ＯＰが崖を掘削しようとしていると判定した場合、ショベル１００の動きを停止させた上で、操作者ＯＰにシミュレーションの実行を促すように構成されていてもよい。

　次に、図７を参照し、コントローラ５０における動作シミュレータ５４によって実行されるシミュレーションによる効果について説明する。図７は、ショベル１００の側面図である。図７に示す例では、ショベル１００の操作者ＯＰは、崖ＣＬ１を掘削して設計面ＴＳを露出させるための掘削作業を行おうとしている。なお、操作者ＯＰは、遠隔操作室ＲＣに設置された操作装置２６を用いてショベル１００を遠隔操作する。操作者ＯＰは、崖ＣＬ１を掘削する前に、遠隔操作室ＲＣに設置された開始ボタンを押してシミュレーションを開始させる。

　開始ボタンが押されると、遠隔操作室ＲＣに設置された遠隔コントローラ４０は、開始指令を生成し、且つ、その開始指令を、情報センタ２００のコントローラ５０（動作シミュレータ５４）に向けて送信する。

　開始指令を受信した動作シミュレータ５４は、ショベル１００に取り付けられた空間認識装置Ｃ１としてのＬＩＤＡＲの出力に基づき、ショベル１００の周囲における実際の作業現場の地形を認識し、その作業現場の地形に対応する仮想作業現場の立体地形画像を生成する。

　動作シミュレータ５４によって生成された立体地形画像は、遠隔操作室ＲＣに設置された表示装置Ｄ１に送信され、且つ、表示装置Ｄ１に表示される。

　操作者ＯＰは、表示装置Ｄ１に表示された立体地形画像を見ながら、操作装置２６を操作して仮想ショベルを動作させることができる。

　図７に示す例では、操作者ＯＰは、例えば、点線で区切られた土砂部分ＳＰ１を最初に掘削する第１掘削作業と、一点鎖線で区切られた土砂部分ＳＰ２を最初に掘削する第２掘削作業とをシミュレーションで試すことができる。

　そして、操作者ＯＰは、第１掘削作業を試したときには、土砂部分ＳＰ１を最初に掘削すると、斜線で示す土砂部分ＳＰ３が崩落してしまうことを確認できる。また、操作者ＯＰは、第２掘削作業を試したときには、土砂部分ＳＰ２を最初に掘削しても、他の土砂部分の崩落が発生しないことを確認できる。この場合、操作者ＯＰは、シミュレーションの結果に基づき、実際の作業現場で実施される掘削作業として第２掘削作業を実行してもよい。或いは、操作者ＯＰは、土砂部分ＳＰ３の崩落を積極的に利用するために、実際の作業現場で実施される掘削作業として第１掘削作業を実行してもよい。

　次に、図８を参照し、ショベル１００の施工支援システムＳＹＳの別の構成例について説明する。図８は、施工支援システムＳＹＳの別の構成例を示す機能ブロック図であり、図６に対応している。

　図８に示す施工支援システムＳＹＳは、ショベル１００に搭載されているコントローラ３０が異常検知部３４を有する点で、図６に示す施工支援システムＳＹＳと異なるが、その他の点で、図６に示す施工支援システムＳＹＳと同じである。そのため、以下では、共通部分の説明が省略され、相違部分が詳細に説明される。

　異常検知部３４は、ショベル１００の周辺で発生する異常事象を検知するように構成されている。図８に示す例では、異常検知部３４は、空間認識装置Ｃ１の出力に基づいてショベル１００の周辺で発生する異常事象を事前に検知するように構成されている。異常事象の発生を未然に防止するためである。ショベル１００の周辺で発生する異常事象は、例えば、ショベル１００の崖ＣＬ２（図７参照。）からの転落、又は、ショベル１００の掘削アタッチメントＡＴと電線ＥＷ（図７参照。）との接触等である。

　異常検知部３４は、例えば、空間認識装置Ｃ１の出力に基づいて崖ＣＬ２の存在を認識し、崖ＣＬ２から所定の距離の範囲内にショベル１００が侵入すると、崖ＣＬ２の近くにある地面が崩落するおそれがあると判定する。所定の距離は、過去の事例に関するデータ、地面を構成する土砂の特性、及びショベル１００の重量に関するデータ等の少なくとも１つに基づいて予め設定された値であってもよく、動的に決定される値であってもよい。

　異常検知部３４は、崖ＣＬ２から所定の距離の範囲にショベル１００が接近したときに、異常に関する情報を表示装置Ｄ１に表示させることによりショベル１００の操作者ＯＰの注意を喚起してもよく、ショベル１００の動きを鈍化させてもよく、ショベル１００の動きを停止させてもよい。

　或いは、異常検知部３４は、例えば、空間認識装置Ｃ１の出力に基づいて電線ＥＷの存在を認識し、電線ＥＷから所定の距離の範囲内に掘削アタッチメントＡＴ（アーム５）の上端が侵入すると、掘削アタッチメントＡＴが電線ＥＷに接触するおそれがあると判定する。所定の距離は、過去の事例に関するデータ等に基づいて予め設定された値であってもよく、動的に決定される値であってもよい。

　異常検知部３４は、電線ＥＷから所定の距離の範囲に掘削アタッチメントＡＴの上端が接近したときに、ショベル１００の操作者ＯＰの注意を喚起してもよく、掘削アタッチメントＡＴの動きを鈍化させてもよく、掘削アタッチメントＡＴの動きを停止させてもよい。

　また、異常検知部３４は、ショベル１００の周囲に存在する物体の認識結果に関する情報、及び、異常事象が発生するおそれがあるか否かの判定結果に関する情報を、情報センタ２００に送信するように構成されていてもよい。情報センタ２００における動作シミュレータ５４がそれらの情報を利用できるようにするためである。

　この場合、動作シミュレータ５４は、シミュレーションにおいて、操作者ＯＰが仮想ショベルを崖ＣＬ２に近づけたときに、操作者ＯＰの注意を喚起するように構成されていてもよい。或いは、動作シミュレータ５４は、シミュレーションにおいて、操作者ＯＰがブーム４を上昇させて掘削アタッチメント（アーム５）の上端を電線ＥＷから所定の距離の範囲内に近づけたときに、異常に関する情報を表示装置Ｄ１に表示させることにより操作者ＯＰの注意を喚起するように構成されていてもよい。この構成により、動作シミュレータ５４は、シミュレーションの実行中において、崖ＣＬ２又は電線ＥＷの存在を操作者ＯＰに認識させることができ、崖ＣＬ２又は電線ＥＷに対する注意を操作者ＯＰに促すことができる。

　上述の実施形態では、ショベル１００は、遠隔操作室ＲＣにいる操作者ＯＰによって操作されるが、キャビン１０内にいる操作者によって操作されてもよい。この場合、開始ボタン、リセットボタン、及び終了ボタンはキャビン１０内に設置される。或いは、ショベル１００は、操作者による操作を必要としない自動運転ショベル（無人ショベル）であってもよい。この場合、開始ボタン、リセットボタン、及び終了ボタンは省略されてもよい。

　ショベル１００が自動運転ショベルである場合、ショベル１００は、予め設定された一連の動作に関する指令（動作指令）を利用することによって作業を行うように構成される。動作指令は、基本的には、作業の段取りに基づいて決定される。作業の段取りは、どのような順序でどのような動きをショベル１００に実行させるかを決定することを意味する。例えば、作業の段取りは、作業の効率及び作業の安全性等の様々な要因を考慮して作業現場のどの部分をどのような順序で掘削するかを決定することを意味する。一般的な有人ショベルが用いられる作業現場では、典型的には、作業の段取りは、熟練の操作者の経験的な判断に基づいて決定される。自動運転ショベルが用いられる作業現場でも、基本的には、作業の段取りは、熟練の操作者の経験的な判断に基づいて決定される段取りと同じような段取りとなるように決定される。そのため、自動運転ショベルが用いられる作業現場における作業の段取りは、その作業現場に関する情報と、過去の様々なデータとに基づいて決定される。この際に、ディープラーニング等の機械学習に関する技術が利用されてもよい。

　具体的には、動作指令は、例えば、バケット６の爪先等の所定部位が辿る軌道を予め設定することによって定められる。そして、動作指令は、任意の方法で設定される。例えば、動作指令は、過去の軌道に関するデータに基づいて自動的に生成されてもよい。動作指令の生成には、ディープラーニング等の機械学習が利用されてもよい。この場合、「動作指令の生成」は、「動作指令の学習」とも称され、或いは単に「動作学習」とも称される。

　操作者ＯＰは、空間認識装置Ｃ１が出力する情報により生成された三次元の仮想空間内の仮想の現在地形が仮想空間内の目標面（例えば設計面情報ＤＧ等に基づく地形）となるように仮想ショベルを動作させ、実際のショベル１００に対する動作指令を情報センタ２００におけるコントローラ５０に生成させる。このとき、コントローラ５０は、機械学習の一例である強化学習により、報酬（使用燃料の少なさ又は作業時間の短さ等）を設定し、アクチュエータの動作指令を生成してもよい。このように、コントローラ５０は、強化学習を用いることにより、仮想空間内の仮想の現在地形を仮想空間内の目標面（例えば設計面情報ＤＧ等に基づく地形）にする際に、最も報酬が高い動作指令を生成することができ、効率の高い作業の段取りを実現できる。これにより、コントローラ５０は、熟練の操作者よりも効率が高い動作指令を生成することができ、効率の高い作業の段取りを実現できる。

　具体的には、情報センタ２００におけるコントローラ５０は、設計面情報ＤＧ等に基づいてショベル１００の動作指令を生成する。そして、コントローラ５０は、生成した動作指令にしたがってショベル１００を自動的に動作させることができるように操作信号を生成する。生成された操作信号は、ショベル１００に搭載されているコントローラ３０に向けて送信される。

　そして、ショベル１００が自動運転ショベルである場合、コントローラ５０を構成する動作シミュレータ５４は、実際の作業が行われる前に、ショベル１００による作業を構成する動作のシミュレーションを行うことができる。

　例えば、動作シミュレータ５４は、動作指令に関する情報と実際の作業現場の現在の地形に関する情報とに基づき、ショベル１００による作業を構成する動作を仮想的に実行することによって、ショベル１００による施工（作業）の開始から完了までの地形の変化を仮想的に確認することができる。ここで、施工は、所定の段取りで行われる１又は複数の作業（積込み作業、転圧作業、掘削作業、又は吊り作業等）を含む。また、作業は、所定の順番で行われる１又は複数の動作（掘削動作、旋回動作、排土動作、又はブーム上げ動作等）を含む。

　そして、動作シミュレータ５４は、動作指令にしたがってショベル１００を動作させたときに発生する問題（異常事象としての要注意事項）を事前に認識することができる。すなわち、動作シミュレータ５４は、要注意事項が発生する場所、時刻、又は種類等を判断できる。また、仮想作業現場において複数の建設機械が存在する場合には、動作シミュレータ５４は、どの建設機械に対して要注意事項が発生するかを判断できる。このように、動作シミュレータ５４は、要注意事項の抽出を行うことができる。

　抽出された要注意事項は、実際のショベル１００の操作が行われる前に管理装置の表示装置に表示され得る。この場合、表示装置には実際の作業現場を再現した三次元の仮想作業現場が表示される。そして、三次元の仮想作業現場において発生する要注意事項について、動作シミュレータ５４は、発生する場所、時刻、又は種類等を表示させる。動作シミュレータ５４は、発生するよう要注意事項の原因を表示させてもよい。更に、動作シミュレータ５４は、要注意事項が発生する前後における仮想作業現場内の仮想建設機械（仮想ショベル）の様子を再現してもよい。これにより、管理者は、どのようにして要注意事項が発生するかを事前に確認することができる。また、仮想作業現場において複数の建設機械が存在する場合には、動作シミュレータ５４は、どの建設機械に対して要注意事項が発生するかを判断できる。例えば、仮想作業現場において、予定の作業内容に基づき予定された時刻（例えば、午後３時）に仮想資材が搬入された際に、仮想資材が積み下ろし（仮置き）された近傍にて仮想建設機械（仮想ショベル）が掘削作業を行う場合には、要注意事項として「仮想ショベルと仮想資材との接触」が抽出される。この場合、仮想作業現場において発生する要注意事項の場所、時刻、又は種類等が表示装置に表示されることで、管理者は、実際の作業現場における資材の仮置き場所の変更が必要であることを認識することができる。また、動作シミュレータ５４は、要注意事項の発生を解消するための改善案も表示することができる。表示装置は携帯端末の表示部でもよい。この場合、動作シミュレータ５４は、例えば、仮想資材の積み下ろし場所を現在予定されている場所から別の場所に変更した事例について、シミュレーションを行う。積み下ろし場所を変更した事例についてのシミュレーションは、複数の変更後の場所に対して行われてもよい。このように、予定されている作業内容を変更した場合の複数の事例についてシミュレーションを行うことで、動作シミュレータ５４は、現在予定されている仮想資材の当初の積み下ろし場所よりも好ましい積み下ろし場所を抽出し、改善案としてその好ましい積み下ろし場所を表示させることができる。このように、改善案が表示装置に表示されることで、管理者は、作業現場の作業者に対して、実際の作業現場における資材の積み下ろし場所の変更を指示することができる。このように、動作シミュレータ５４は、仮想作業現場において発生する事象が要注意事項の場合には、発生する要注意事項を解消するために、一回又は複数回にわたって作業内容を変更してシミュレーションを実行し直す。そして、発生する要注意事項を解消するための作業内容又は作業の段取り等が導出された場合、導出された作業内容又は作業の段取り等に基づき、その後の施工に関するシミュレーションを継続する。このように、動作シミュレータ５４は、要注意事項が発生した場合でも、要注意事項を解消するための作業内容をシミュレーションによって導出することができる。そして、動作シミュレータ５４により求められた、要注意事項を解消するための作業内容又は作業の段取り等についての情報が表示装置に表示されることで、管理者又は作業者は、実際の作業現場において、作業内容又は作業の段取り等を変更することができる。なお、表示装置は携帯端末の表示部でもよい。

　動作指令を修正する際には、動作シミュレータ５４は、複数の新たな動作指令にしたがったショベル１００の動作のシミュレーションを実行することにより、最適な動作指令を見つけ出すことができる。複数の新たな動作指令の生成には、当初の動作指令の場合と同様に、ディープラーンイング等の機械学習が利用されてもよい。

　また、動作シミュレータ５４は、自動運転ショベルとしてのショベル１００による実際の作業が行われているときに、所定時間だけ未来の時点でどのような事象が発生するかのシミュレーションを行うように構成されていてもよい。この構成により、動作シミュレータ５４は、実際の作業よりも所定時間だけ先行して仮想作業（仮想動作）を行うことができ、望ましくない事象が発生するのを事前に認識することができる。そして、動作シミュレータ５４は、望ましくない事象が発生するのを事前に認識した場合には、動作指令を修正することにより、そのような望ましくない事象が発生するのを未然に防止できる。

　また、動作シミュレータ５４は、想定していた事象とは異なる事象が発生した場合、その後の作業を構成するショベル１００の動作のシミュレーションをやり直すように構成されていてもよい。例えば、動作シミュレータ５４は、ショベル１００に搭載されている各種センサの出力に基づいて土砂が想定していた土砂よりも粘土質である或いは砂質であると判定した場合、その後の作業を構成するショベル１００の動作のシミュレーションをやり直すように構成されていてもよい。砂質の地盤は、粘土質の地盤に比べて崩れやすく、掘削作業等によって変化する地形の推定結果に影響するためである。すなわち、粘土質であることを前提として導き出されたシミュレーション結果は、実際にはより砂質である地盤に対しては不適切となってしまうためである。

　例えば、コントローラ５０は、空間認識装置Ｃ１の出力に基づき、実際の掘削によって形成される穴である掘削穴の側面から崩れ落ちて掘削穴の底に溜まる土砂の量を導き出すことができる。そして、コントローラ５０は、その掘削穴の底に溜まる土砂の量に基づき、作業対象の地盤の特性を導き出すことができる。地盤の特性は、例えば、砂質の程度、又は、粘土質の程度等である。典型的には、コントローラ５０は、掘削穴の底に溜まる土砂の量が多い程、砂質の程度が大きいと判定できる。

　また、コントローラ５０は、空間認識装置Ｃ１の出力に基づき、実際の作業現場における作業現場の状況と仮想空間において想定された仮想作業現場の状況とを対比し、作業の進捗を評価することができる。例えば、実際の作業が仮想作業と比較して遅延している場合には、コントローラ５０は、動作シミュレータ５４により遅延している実際の作業現場の状況に基づいてシミュレーションを実行し直し、動作指令を生成し直す。そして、コントローラ５０は、生成し直した動作指令をショベル１００へ送信する。ショベル１００は、生成し直された動作指令に基づいて制御される。また、コントローラ５０は、空間認識装置Ｃ１の出力に基づき、実際の作業現場における作業現場の状況と仮想空間において想定された仮想作業現場の状況とを対比し、仮想作業現場において想定（シミュレーション）されていない事象が発生したかどうかを判断してもよい。

　この構成により、コントローラ５０は、ショベル１００による作業に関するシミュレーション結果の正確性を高めることができ、自動運転ショベルとしてのショベル１００の作業効率を高めることができる。また、コントローラ５０は、自動運転ショベルとしてのショベル１００による作業の安全性を高めることができる。

　上述のように、本発明の実施形態に係るシステムは、ショベル１００による施工を支援するショベル用の施工支援システムＳＹＳであって、ショベル１００の作業環境に基づいて設定された仮想環境におけるショベル１００の動作のシミュレーションを実行する演算装置としてのコントローラ５０とを有する。コントローラ５０は、例えば、ショベル１００が位置している作業現場に関する情報に基づき、仮想環境の一例である仮想作業現場を設定し、仮想作業現場における仮想ショベルによる仮想掘削作業を構成する仮想動作のシミュレーションを実行する。具体的には、コントローラ５０は、どのような仮想動作が行われたときに仮想作業現場がどのように変化するかを導き出す。

　この構成により、施工支援システムＳＹＳは、実際の作業現場に関する情報に基づき、ショベル１００による作業のシミュレーションを実行することにより、ショベル１００による施工を支援する際に実際の作業現場の状況を反映させることができる。

　コントローラ５０は、ショベル１００の周囲の空間を認識する空間認識装置の出力に基づいてシミュレーションを実行してもよい。空間認識装置は、ショベル１００に搭載されていてもよく、或いは、ショベル１００の外部に設置されていてもよい。また、コントローラ５０は、１つの空間認識装置の出力に基づいてシミュレーションを実行してもよく、複数の空間認識装置の出力に基づいてシミュレーションを実行してもよい。空間認識装置は、例えば、ショベル１００に搭載されている空間認識装置Ｃ１であってもよい。或いは、空間認識装置は、ショベル１００の外部に設置された空間認識装置Ｃ３であってもよい。具体的には、空間認識装置Ｃ３は、作業現場に設置されたポールに取り付けられていてもよく、ショベル１００以外の他のショベルに取り付けられていてもよく、作業現場の上空を飛行する飛行体に取り付けられていてもよい。

　施工支援システムＳＹＳは、コントローラ５０によるシミュレーションの結果を表示する表示装置を有していてもよい。

　コントローラ５０は、シミュレーションにより、ショベル１００を実際に動作させたときに発生し得る事象を事前に認識できるように構成されていてもよい。この構成により、施工支援システムＳＹＳは、ショベル１００を実際に動作させたときに発生し得る望ましくない事象を事前に認識し、そのような望ましくない事象が実際に発生してしまうのを未然に防止できる。

　ショベル１００は、自動運転ショベルであってもよい。この場合、コントローラ５０は、予め設定された動作指令に関する情報に基づいて操作信号を生成してもよい。そして、ショベル１００は、その操作信号に応じて動作するように構成されていてもよい。また、コントローラ５０は、シミュレーションの結果に基づいて動作指令を変更できるように構成されていてもよい。

　この構成により、施工支援システムＳＹＳは、ショベル１００が自動運転ショベルであっても、ショベル１００による施工を支援する際に実際の作業現場の状況を反映させることができる。

　コントローラ５０は、動作指令にしたがって動作するショベル１００によって実現される作業現場の所定時間経過後の未来の状態を、シミュレーションによって継続的に導き出すように構成されていてもよい。

　この構成により、施工支援システムＳＹＳは、ショベル１００を実際に動作させるとともに、所定時間だけ未来の時点における作業現場の状態をシミュレーションによりリアルタイムで導き出すことができる。そのため、施工支援システムＳＹＳは、所定時間だけ未来の時点における作業現場の状態が望ましくない状態になることを事前に察知することができる。この場合、施工支援システムＳＹＳは、現在利用している動作指令を別の動作指令に切り換えることにより、そのような望ましくない状態が実際に発生してしまうのを未然に防止できる。

　コントローラ５０は、シミュレーションの前提条件が変わったときに、シミュレーションをやり直すように構成されていてもよい。シミュレーションの前提条件は、例えば、作業対象の土砂の砂質度合いが所定範囲内の値であることである。土砂の砂質度合いは、例えば、空間認識装置の出力に基づいて導き出される。前提条件が変わったにもかかわらず、その前提条件に基づいて行われたシミュレーションの結果が利用されてしまうと、作業現場の状態が望ましくない状態になってしまうためである。

　また、別の事例として、例えば、コントローラ５０は、施工現場の路面に敷設された鉄板の位置がダンプトラックの頻繁な通過や地震等によってズレたことを空間認識装置が検出した場合にも、要注意事項が発生したとして管理者又は作業者へ注意喚起をするとともに、前提条件が変化したとしてシミュレーションをやり直すことができる。そして、コントローラ５０は、前提条件の変化が施工作業に与える影響を評価することができる。直ちに鉄板の位置の修正が必要な場合には、コントローラ５０は、その旨を管理者又は作業者へ表示等により報知してもよい。

　また、別の事例として、コントローラ５０は、空間認識装置Ｃ１により施工現場の状況の変化を検知すると、要注意事項が発生したとして管理者又は作業者へ注意喚起をするとともに、前提条件が変化したとしてシミュレーションをやり直すことができる。施工現場の状況の変化は、例えば、悪天候（雨等）による施工現場の地形（スロープ形状若しくは仮置きの土砂の形状等）の変化、又は、倒木若しくは落石の発生等を含む。そして、コントローラ５０は、前提条件の変化が施工作業に与える影響を評価することができる。直ちに作業現場の地形の補修等の状況の改善が必要な場合には、コントローラ５０は、その旨を管理者又は作業者へ表示等により報知してもよい。動作シミュレータ５４は、作業現場の地形の補修のためのシミュレーションを行ってもよい。

　このように、施工開始前や施工の途中の所定の時間毎に、コントローラ５０は、空間認識装置Ｃ１の出力を受信する。そして、コントローラ５０は、空間認識装置Ｃ１の出力に基づき、実際の作業現場における作業現場の状況と仮想空間において想定された仮想作業現場の状況とを対比する。そして、コントローラ５０は、対比結果に基づいてシミュレーションの前提条件が変わったと判定すると、前提条件の変化が要注意事項であるかどうかを判断し、要注意事項であると判断すると管理者又は作業者へその旨を報知する。そして、コントローラ５０は、要注意事項を解消するためのシミュレーションを行い、発生した要注意事項を解消するための作業内容又は作業の段取り等を改善案として導出した場合、導出した改善案を管理者又は作業者へ報知する。管理者又は作業者は、動作シミュレータ５４により導出された改善案で問題無いと判断した場合、コントローラ５０からショベル１００への動作指令の送信を許可する。その後、コントローラ５０からショベル１００への動作指令が送信される。コントローラ３０は、受信した動作指令に基づき、ショベル１００を制御する。

　この構成により、施工支援システムＳＹＳは、シミュレーションの前提条件が変化したと判定した場合には、シミュレーションをやり直すため、ショベル１００による施工を支援する際に実際の作業現場の状況をより適切に反映させることができる。

　以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。

　例えば、上述の実施形態では、動作シミュレータ５４は、情報センタ２００に設置されたコントローラ５０の一機能として実現されているが、コントローラ３０の一機能として実現されてもよく、遠隔コントローラ４０の一機能として実現されてもよい。或いは、動作シミュレータ５４は、コントローラ３０、遠隔コントローラ４０、及びコントローラ５０のそれぞれとは別の演算装置の一機能として実現されてもよい。

　本願は、２０２０年５月２７日に出願した日本国特許出願２０２０－０９２６２２号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。

　１・・・下部走行体　１Ｌ・・・左側走行用油圧モータ　１Ｒ・・・右側走行用油圧モータ　２・・・旋回機構　２Ａ・・・旋回用油圧モータ　３・・・上部旋回体　４・・・ブーム　５・・・アーム　６・・・バケット　７・・・ブームシリンダ　８・・・アームシリンダ　９・・・バケットシリンダ　１０・・・キャビン　１１・・・エンジン　１１ａ・・・オルタネータ　１１ｂ・・・スタータ　１１ｃ・・・水温センサ　１３・・・レギュレータ　１４・・・メインポンプ　１４ｂ・・・吐出圧センサ　１４ｃ・・・油温センサ　１５・・・パイロットポンプ　１６・・・作動油ライン　１７・・・コントロールバルブユニット　１８・・・測位装置　２１・・・尿素水タンク　２１ａ・・・尿素水残量センサ　２２・・・燃料タンク　２２ａ・・・燃料残量センサ　２５・・・パイロットライン　２６・・・操作装置　２９・・・操作センサ　３０・・・コントローラ　３０ａ・・・メモリ　３１・・・画像生成部　３２・・・ショベル状態特定部　３３・・・アクチュエータ駆動部　３４・・・異常検知部　４０・・・遠隔コントローラ　４１・・・操作者状態特定部　４２・・・画像合成部　４３・・・操作信号生成部　４５・・・電磁弁ユニット　５０・・・コントローラ　５１・・・判定部　５２・・・操作予測部　５３・・・操作介入部　５４・・・動作シミュレータ　７０・・・バッテリ　７２・・・電装品　７４・・・エンジンコントロールユニット　７５・・・ダイヤル　１００、１００ａ、１００ｂ・・・ショベル　２００・・・情報センタ　Ａ１・・・集音装置　Ａ２・・・音出力装置　Ｃ１・・・空間認識装置　Ｃ１Ｂ・・・後カメラ　Ｃ１Ｆ・・・前カメラ　Ｃ１Ｌ・・・左カメラ　Ｃ１Ｒ・・・右カメラ　Ｃ２・・・室内空間認識装置　Ｃ３・・・空間認識装置　Ｄ１・・・表示装置　ＤＧ・・・設計面情報　ＤＳ・・・運転席　Ｅ１・・・操作者視点　Ｅ１'・・・仮想操作者視点　ＯＰ・・・操作者　ＲＣ、ＲＣａ、ＲＣｂ・・・遠隔操作室　Ｓ１・・・ブーム角度センサ　Ｓ２・・・アーム角度センサ　Ｓ３・・・バケット角度センサ　Ｓ４・・・旋回角速度センサ　ＳＹＳ・・・施工支援システム　Ｔ１、Ｔ２、Ｔ３・・・通信装置

Claims

　ショベルによる施工を支援するシステムであって、
　前記ショベルの作業環境に基づいて設定された仮想環境における前記ショベルの動作のシミュレーションを実行する演算装置を有する、
　ショベル用の施工支援システム。
　前記演算装置は、前記ショベルの周囲の空間を認識する空間認識装置の出力に基づいて前記シミュレーションを実行し、
　前記空間認識装置は、前記ショベルに搭載され、或いは、前記ショベルの外部に設置されている、
　請求項１に記載のショベル用の施工支援システム。
　前記演算装置による前記シミュレーションの結果を表示する表示装置を有する、
　請求項１に記載のショベル用の施工支援システム。
　前記演算装置は、前記シミュレーションにより、前記ショベルを実際に動作させたときに発生する事象を事前に認識するように構成されている、
　請求項１に記載のショベル用の施工支援システム。
　前記演算装置は、動作指令に関する情報に基づいて操作信号を生成し、
　前記ショベルは、自動運転ショベルであり、前記操作信号に応じて動作するように構成されている、
　請求項１に記載のショベル用の施工支援システム。
　前記演算装置は、前記シミュレーションの結果に基づいて前記動作指令を変更する、
　請求項５に記載のショベル用の施工支援システム。
　前記演算装置は、前記動作指令にしたがって動作する前記ショベルによって実現される作業現場の所定時間経過後の未来の状態を前記シミュレーションによって導き出すように構成されている、
　請求項５に記載のショベル用の施工支援システム。
　前記演算装置は、前記シミュレーションの前提条件が変わったときに、前記シミュレーションをやり直すように構成されている、
　請求項１に記載のショベル用の施工支援システム。
　前記仮想環境における前記ショベルは、操作装置により操作される、
　請求項１に記載のショベル用の施工支援システム。
　前記操作装置は、前記仮想環境における前記ショベル、又は、実際の作業現場に配置されるショベルに選択的に接続される、
　請求項９に記載のショベル用の施工支援システム。
　前記演算装置は、前記事象が要注意事項の場合には、該要注意事項を解消するための作業内容のシミュレーションを実行する、
　請求項４に記載のショベル用の施工支援システム。
　前記演算装置は、前記空間認識装置の出力を用いて、実際の作業現場における作業現場の状況と仮想空間において想定された仮想作業現場の状況とを対比する、
　請求項２に記載のショベル用の施工支援システム。