JPWO2019189888A1 - 建設機械の運転支援システム、建設機械 - Google Patents

Abstract

目標指標に関する評価がより高い支援データを出力することが可能な建設機械の運転支援システムを提供する。本発明の一実施形態に係る建設機械の運転支援システムは、所定の目標指標に関する評価が相対的に高くなるように、建設機械の複数の作業パターン又は段取りパターンを生成する生成部と、支援対象の建設機械の環境情報を取得する環境情報取得部と、生成部により生成される複数の作業パターン又は段取りパターンに基づき、環境情報取得部により取得される環境情報に対応する環境下において、支援対象の建設機械の作業の目標指標に関する評価が相対的に高くなるような作業パターン又は段取りパターンを出力する出力部と、を備える。

Description

本発明は、建設機械の運転支援システム等に関する。

例えば、過去の作業機械の操作データのうちの作業品質の高い操作データを用いて、建設機械の操作者の支援を行う操作支援システムが知られている（例えば、特許文献１等参照）。

特開２０１６−２１０８１６号公報

しかしながら、過去の実績データのうちの作業品質の高い実績データを用いる手法では、ある目標指標（例えば、作業の速さ等）に関する評価が過去の実績を超える支援データを出力することができない。よって、目標指標に関する評価を最適化（最大化）させる観点において、改善の余地がある。

そこで、上記課題に鑑み、目標指標に関する評価がより高い支援データを出力することが可能な建設機械の運転支援システム等を提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、
所定の目標指標に関する評価が相対的に高くなるように、建設機械の複数の作業パターン又は段取りパターンを生成する生成部と、
支援対象の建設機械の環境情報を取得する環境情報取得部と、
前記生成部により生成される複数の作業パターンに基づき、前記環境情報取得部により取得される環境情報に対応する環境下において、支援対象の建設機械の作業の前記目標指標に関する評価が相対的に高くなるような作業パターン又は段取りパターンを出力する出力部と、を備える、
建設機械の運転支援システムが提供される。

また、本発明の他の実施形態では、
所定の目標指標に関する評価が相対的に高くなるように、自機の複数の作業パターン又は段取りパターンを生成する生成部と、
自機の周囲の環境情報を取得する環境情報取得部と、
前記生成部により生成される複数の作業パターン又は段取りパターンに基づき、前記環境情報取得部により取得される環境情報に対応する環境下において、前記目標指標に関する評価が相対的に高くなるような作業パターン又は段取りパターンを出力する出力部と、
前記出力部により出力される作業パターン又は段取りパターンに基づき、自機の動作を制御する制御部と、を備える、
建設機械が提供される。

上述の実施形態によれば、目標指標に関する評価がより高い支援データを出力することが可能な建設機械の運転支援システム等を提供することができる。

運転支援システムの一例を示す概要図である。 運転支援システムの構成の一例を示す構成図である。 運転支援システムにおける機械学習機能及び運転支援機能に関する機能構成の一例を示す機能ブロック図である。 シミュレータ部による作業パターンに関するショベルの動作シミュレーションの一例を説明する図である。 運転支援システムの作用を説明する図である。 運転支援システムにおける機械学習機能及び運転支援機能に関する機能構成の他の例を示す機能ブロック図である。 シミュレータ部による段取りに関する動作シミュレーションの一例を説明する図である。 運転支援システムにおける機械学習機能及び運転支援機能に関する機能構成の更に他の例を示す機能ブロック図である。 運転支援システムにおける機械学習機能及び運転支援機能に関する機能構成の更に他の例を示す機能ブロック図である。 運転支援システムの作用を説明する図である。

以下、図面を参照して発明を実施するための形態について説明する。

［運転支援システムの概要］
まず、図１を参照して、運転支援システムＳＹＳの概要について説明する。

図１は、運転支援システムＳＹＳの一例を示す概要図である。

運転支援システムＳＹＳは、複数のショベル１００と、飛行体２００と、管理装置３００を含む。

運転支援システムＳＹＳは、複数のショベル１００から所定の種別の作業（例えば、掘削作業、積込み作業、転圧作業等の繰り返し作業）の作業パターンに関する実績情報（以下、「作業パターン実績情報」）と、作業時の環境条件に関する実績情報（以下、「環境条件実績情報」）とを収集する。作業パターンとは、所定の種別の作業を行う際のショベル１００の一連の動作の型を示す。例えば、作業パターンには、下部走行体１、上部旋回体３、ブーム４、アーム５、及び、バケット６等の動作要素の作業時の動作軌跡等が含まれる。また、作業パターン実績情報は、具体的に、ショベル１００が実際に所定の種別の作業を行った際の当該ショベル１００の作業パターンの実績を表す各種センサの検出情報等である。また、環境条件には、ショベル１００の周辺環境に関する条件等の外的環境条件の他、ショベル１００の動作に影響を与えるショベル１００の可変される仕様（例えば、アームの長さ、バケットの種類等）等の内的環境条件が含まれうる。運転支援システムＳＹＳは、収集した作業パターン実績情報及び環境条件実績情報に基づき、機械学習を行うことにより、ショベル１００が所定の種別の作業を行う際の最適な作業パターン（最適作業パターン）を複数の環境条件ごとに生成する。最適作業パターンとは、所定の目標指標に関する評価が相対的に高くなるように生成される作業パターンである。このとき、目標指標には、例えば、作業の速さ、燃費の良さ、アタッチメントの寿命の長さ、衝撃荷重の発生頻度の少なさ、積込み作業における積込み量の多さ、アタッチメント等へのき裂発生後のき裂進展の遅さ等が含まれる。そして、運転支援システムＳＹＳは、生成した当該複数の作業パターンに基づき、支援対象のショベル１００の現在の環境条件下における最適作業パターンを出力し、当該最適作業パターンに沿ってショベル１００が動作するように、オペレータの操作を支援する。

尚、運転支援システムＳＹＳは、ショベル１００に代えて、或いは、加えて、他の種類の建設機械（例えば、アスファルトフィニッシャ、ブルドーザ等）を含んでもよい。また、飛行体２００は、複数の現場ごとに、配備されてもよい。つまり、運転支援システムＳＹＳは、複数の飛行体２００を含んでもよい。

＜ショベルの概要＞
ショベル１００（建設機械の一例）は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメント（作業装置）としてのブーム４、アーム５、及び、バケット６と、キャビン１０を備える。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ１Ａ，１Ｂ（図２参照）で油圧駆動されることにより、自走する。

上部旋回体３は、旋回油圧モータ２Ａ（図２参照）で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。

キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。

ショベル１００は、例えば、基地局を末端とする移動体通信網、上空の通信衛星を利用する衛星通信網、インターネット等を含む所定の通信ネットワークＮＷを通じて、管理装置３００と相互に通信を行うことができる。これにより、ショベル１００は、上述の作業パターン実績情報及び環境条件実績情報を含む各種情報を管理装置３００に送信（アップロード）することができる。詳細は、後述する。

＜飛行体の概要＞
飛行体２００は、ショベル１００が作業する作業現場の上空を飛行する。このとき、飛行体２００は、作業現場の地上にいる操作者が所持するリモコンからの操作指令に応じて、飛行してもよいし、予め規定された飛行ルート等に従い、自動的に飛行してもよい。

飛行体２００は、後述の如く、カメラ２４０を搭載し、作業現場の撮像画像（以下、「作業現場画像」を取得する。

また、飛行体２００は、通信ネットワークＮＷを通じて、管理装置３００と相互に通信を行うことができる。これにより、飛行体２００は、カメラ２４０により撮像された作業現場画像や、当該作業現場画像が撮像されたときの飛行体の向きを示す情報（以下、「飛行体向き情報」）及び位置を示す情報（「飛行体位置情報」）を送信（アップロード）することができる。以下、詳細は、後述する。

＜管理装置の概要＞
管理装置３００は、ショベル１００と地理的に離れた位置に設置される端末装置である。管理装置３００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、運転支援システムＳＹＳを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。

管理装置３００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び飛行体２００のそれぞれと相互に通信を行うことができる。これにより、管理装置３００は、ショベル１００からアップロードされる作業パターン実績情報及び環境条件実績情報や飛行体２００からアップロードされる作業現場画像等を受信し、これらの情報に基づき、支援対象のショベル１００に最適な作業パターンを生成することができる。詳細は、後述する。

［運転支援システムの構成］
次に、図１に加えて、図２を参照して、運転支援システムＳＹＳの構成について説明する。

図２は、運転支援システムＳＹＳの構成の一例を示す構成図である。

尚、図中において、機械的動力ラインは二重線、高圧油圧ラインは太い実線、パイロットラインは破線、電気駆動・制御ラインは細い実線でそれぞれ示される。

＜ショベルの構成＞
本実施形態に係るショベル１００の油圧アクチュエータを油圧駆動する油圧駆動系は、エンジン１１と、メインポンプ１４と、レギュレータ１４ａと、コントロールバルブ１７を含む。また、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６のそれぞれを油圧駆動する走行油圧モータ１Ａ，１Ｂ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。

エンジン１１は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、後述するエンジン制御装置（ＥＣＵ：Engine Control Unit）７４による制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。

レギュレータ１４ａは、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１４ａは、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。

メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ライン１６を通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０による制御の下、レギュレータ１４ａにより斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御されうる。

コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載され、オペレータによる操作装置２６に対する操作に応じて、油圧駆動系の制御を行う油圧制御装置である。コントロールバルブ１７は、上述の如く、高圧油圧ライン１６を介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、操作装置２６の操作状態に応じて、油圧アクチュエータ（走行油圧モータ１Ａ，１Ｂ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９）に選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁を含む。例えば、コントロールバルブ１７は、ブーム４（ブームシリンダ７）に対応する制御弁１７５を含む（図９参照）。また、例えば、コントロールバルブ１７は、アーム５（アームシリンダ８）に対応する制御弁１７６を含む（図９参照）。また、例えば、コントロールバルブ１７は、バケット６（バケットシリンダ９）に対応する制御弁１７４を含む（図９参照）。また、例えば、コントロールバルブ１７は、上部旋回体３（旋回油圧モータ２Ａ）に対応する制御弁１７３を含む（図９参照）。また、例えば、コントロールバルブ１７には、下部走行体１の右側のクローラ及び左側のクローラのそれぞれに対応する右走行制御弁及び左走行制御弁が含まれる。

本実施形態に係るショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、操作バルブ３１を含む。

パイロットポンプ１５は、例えば、上部旋回体３の後部に搭載され、パイロットライン２５を介して操作装置２６及び操作バルブ３１にパイロット圧を供給する。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５、バケット６等）の操作を行うための操作入力手段である。換言すれば、操作装置２６は、オペレータがそれぞれの動作要素を駆動する油圧アクチュエータ（即ち、走行油圧モータ１Ａ，１Ｂ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、バケットシリンダ９等）の操作を行うための操作入力手段である。操作装置２６は、その二次側のパイロットラインがコントロールバルブ１７にそれぞれ接続される。これにより、コントロールバルブ１７には、操作装置２６における下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の操作状態に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、操作装置２６における操作状態に応じて、それぞれの油圧アクチュエータを駆動することができる。

操作バルブ３１は、コントローラ３０からの制御指令（例えば、制御電流）に応じて、パイロットライン２５の流路面積を調整する。これにより、操作バルブ３１は、パイロットポンプ１５から供給される一次側のパイロット圧を元圧として、二次側のパイロットラインに制御指令に対応するパイロット圧を出力することができる。操作バルブ３１は、その二次側ポートが、コントロールバルブ１７のそれぞれの油圧アクチュエータに対応する制御弁の左右のパイロットポートに接続され、コントローラ３０からの制御指令に応じたパイロット圧を制御弁のパイロットポートに作用させる。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されていない場合であっても、パイロットポンプ１５から吐出される作動油を、操作バルブ３１を介して、コントロールバルブ１７内の対応する制御弁のパイロットポートに供給させ、油圧アクチュエータを動作させることができる。

尚、操作バルブ３１に加えて、油圧アクチュエータ内に発生する過剰な油圧を作動油タンクにリリーフする電磁リリーフ弁が設けられてもよい。これにより、オペレータによる操作装置２６に対する操作量が過剰な場合等において、積極的に、油圧アクチュエータの動作を抑制させることができる。例えば、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のボトム側油室及びロッド側油室のそれぞれの過剰な圧力を作動油タンクにリリーフする電磁リリーフ弁が設けられてよい。

本実施形態に係るショベル１００の制御系は、コントローラ３０と、ＥＣＵ７４と、吐出圧センサ１４ｂと、操作圧センサ１５ａと、表示装置４０と、入力装置４２と、撮像装置８０と、状態検出装置Ｓ１と、通信機器Ｔ１を含む。

コントローラ３０は、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ（Random Access Memory）等のメモリ装置と、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置と、各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ３０は、例えば、補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。以下、後述するＥＣＵ７４、飛行体２００の制御装置２１０、及び、管理装置３００の制御装置３１０についても同様である。

例えば、コントローラ３０は、オペレータ等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、ＥＣＵ７４に制御指令を出力することより、ＥＣＵ７４を介して、エンジン１１を一定回転させる駆動制御を行う。

また、例えば、コントローラ３０は、必要に応じてレギュレータ１４ａに対して制御指令を出力し、メインポンプ１４の吐出量を変化させることにより、いわゆる全馬力制御やネガコン制御を行う。

また、例えば、コントローラ３０は、ショベル１００に関する各種情報を管理装置３００にアップロードする機能（以下、「アップロード機能」）。具体的には、コントローラ３０は、ショベル１００の所定の種別の作業時における作業パターン実績情報及び環境条件実績情報を、通信機器Ｔ１を通じて、管理装置３００に送信（アップロード）してよい。コントローラ３０は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される、アップロード機能に関する機能部として、情報送信部３０１を含む。

また、例えば、コントローラ３０は、オペレータによる操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能に関する制御を行う。また、コントローラ３０は、オペレータによる操作装置２６を通じたショベル１００の手動操作を自動的に支援するマシンコントロール機能に関する制御を行ってよい。コントローラ３０は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される、マシンガイダンス機能及びマシンコントロール機能に関する機能部として、作業パターン取得部３０２と、マシンガイダンス部３０３を含む。

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、上述したマシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ（制御装置）により実現されてもよい。

ＥＣＵ７４は、コントローラ３０からの制御指令に応じて、エンジン１１の各種アクチュエータ（例えば、燃料噴射装置等）を制御し、エンジン１１を設定された目標回転数（設定回転数）で定回転させる（定回転制御）。このとき、ＥＣＵ７４は、エンジン回転数センサ１１ａにより検出されるエンジン１１の回転数に基づき、エンジン１１の定回転制御を行う。

吐出圧センサ１４ｂは、メインポンプ１４の吐出圧を検出する。吐出圧センサ１４ｂにより検出された吐出圧に対応する検出信号は、コントローラ３０に取り込まれる。

操作圧センサ１５ａは、上述の如く、操作装置２６の二次側のパイロット圧、即ち、操作装置２６におけるそれぞれの動作要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ１５ａによる操作装置２６における下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

表示装置４０は、コントローラ３０と接続され、コントローラ３０による制御下で、キャビン１０内の着座したオペレータから視認し易い位置に設けられ、各種情報画像を表示する。表示装置４０は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

入力装置４２は、キャビン１０内の着座したオペレータから手が届く範囲に設けられ、オペレータによる各種操作を受け付け、操作内容に対応する信号を出力する。例えば、入力装置４２は、表示装置４０と一体化される。また、入力装置４２は、表示装置４０と別に設けられてもよい。入力装置４２は、表示装置４０のディスプレイに実装されるタッチパネル、操作装置２６に含まれるレバーの先端に設けられるノブスイッチ、表示装置４０の周囲に設置されるボタンスイッチ、レバー、トグル等を含む。入力装置４２に対する操作内容に対応する信号は、コントローラ３０に取り込まれる。

撮像装置８０は、ショベル１００の周辺を撮像する。撮像装置８０は、ショベル１００の前方を撮像するカメラ８０Ｆ、ショベル１００の左方を撮像するカメラ８０Ｌ、ショベル１００の右方を撮像するカメラ８０Ｒ、及び、ショベル１００の後方を撮像するカメラ８０Ｂを含む。

カメラ８０Ｆは、例えば、キャビン１０の天井、即ち、キャビン１０の内部に取り付けられている。また、カメラ８０Ｆは、キャビン１０の屋根、ブーム４の側面等、キャビン１０の外部に取り付けられていてもよい。カメラ８０Ｌは、上部旋回体３の上面左端に取り付けられ、カメラ８０Ｒは、上部旋回体３の上面右端に取り付けられ、カメラ８０Ｂは、上部旋回体３の上面後端に取り付けられている。

撮像装置８０（カメラ８０Ｆ，８０Ｂ，８０Ｌ，８０Ｒ）は、それぞれ、例えば、非常に広い画角を有する単眼の広角カメラである。また、撮像装置８０は、ステレオカメラや距離画像カメラ等であってもよい。撮像装置８０によるショベル１００の周辺の撮像画像（以下、「周辺画像」）は、コントローラ３０に取り込まれる。

状態検出装置Ｓ１は、ショベル１００の各種状態に関する検出情報を出力する。状態検出装置Ｓ１から出力される検出情報は、コントローラ３０に取り込まれる。

例えば、状態検出装置Ｓ１は、アタッチメントの姿勢状態や動作状態を検出する。具体的には、状態検出装置Ｓ１は、ブーム４、アーム５、及び、バケット６の俯仰角度（以下、それぞれ、「ブーム角度」、「アーム角度」、「バケット角度」）を検出してよい。つまり、状態検出装置Ｓ１は、ブーム角度、アーム角度、及びバケット角度のそれぞれを検出するブーム角度センサＳ１１、アーム角度センサＳ１２、及びバケット角度センサＳ１３を含んでよい（図９参照）。また、状態検出装置Ｓ１は、ブーム４、アーム５、及び、バケット６の加速度、角加速度等を検出してよい。この場合、状態検出装置Ｓ１は、例えば、ブーム４、アーム５、及び、バケット６のそれぞれに取付けられる、ロータリエンコーダ、加速度センサ、角加速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含みうる。また、状態検出装置Ｓ１は、ブーム４、アーム５、及び、バケット６のそれぞれを駆動するブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９のシリンダ位置、速度、加速度等を検出するシリンダセンサを含みうる。

また、例えば、状態検出装置Ｓ１は、機体、つまり、下部走行体１及び上部旋回体３の姿勢状態を検出する。具体的には、状態検出装置Ｓ１は、水平面に対する機体の傾斜状態を検出してよい。この場合、状態検出装置Ｓ１は、例えば、上部旋回体３に取り付けられ、上部旋回体３の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する傾斜センサを含みうる。

また、例えば、状態検出装置Ｓ１は、上部旋回体３の旋回状態を検出する。具体的には、状態検出装置Ｓ１は、上部旋回体３の旋回角速度や旋回角度を検出する。この場合、状態検出装置Ｓ１は、例えば、上部旋回体３に取り付けられるジャイロセンサ、レゾルバ、ロータリエンコーダ等を含みうる。つまり、状態検出装置Ｓ１は、上部旋回体３の旋回角度等を検出する旋回角度センサＳ１５を含んでよい。

また、例えば、状態検出装置Ｓ１は、アタッチメントを通じてショベル１００に作用する力の作用状態を検出する。具体的には、状態検出装置Ｓ１は、油圧アクチュエータの作動圧（シリンダ圧）を検出してよい。この場合、状態検出装置Ｓ１は、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９のそれぞれのロッド側油室及びボトム側油室の圧力を検出する圧力センサを含みうる。

また、例えば、状態検出装置Ｓ１は、コントロールバルブ１７内の制御弁のスプールの変位を検出するセンサを含んでよい。具体的には、状態検出装置Ｓ１は、制御弁１７５を構成するブームスプールの変位を検出するブームスプール変位センサＳ１６を含んでよい。また、状態検出装置Ｓ１は、制御弁１７６を構成するアームスプールの変位を検出するアームスプール変位センサＳ１７を含んでよい。また、状態検出装置Ｓ１は、制御弁１７４を構成するバケットスプールの変位を検出するバケットスプール変位センサＳ１８を含んでよい。また、状態検出装置Ｓ１は、制御弁１７３を構成する旋回スプールの変位を検出する旋回スプール変位センサＳ１９を含んでよい。また、状態検出装置Ｓ１は、右走行制御弁及び左走行制御弁のそれぞれを構成する右走行スプール及び左走行スプールの変位を検出する右走行スプール変位センサ及び左走行スプール変位センサを含んでよい。

また、例えば、状態検出装置Ｓ１は、ショベル１００の位置や上部旋回体３の向き等を検出する。この場合、状態検出装置Ｓ１は、例えば、上部旋回体３に取り付けられるＧＮＳＳ（Global Navigation Satellite System）コンパス、ＧＮＳＳセンサ、方位センサ等を含みうる。

通信機器Ｔ１は、通信ネットワークＮＷを通じて外部機器と通信を行う。通信機器Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや、衛星通信網に接続するための衛星通信モジュール等である。以下、飛行体２００の通信機器２２０についても同様である。

情報送信部３０１は、ショベル１００の所定の種別の作業時における作業パターン実績情報及び環境条件実績情報を、通信機器Ｔ１を通じて、管理装置３００に送信する。情報送信部３０１により送信される作業パターン実績情報には、例えば、状態検出装置Ｓ１から入力される各種検出情報が含まれる。また、情報送信部３０１により送信される環境条件実績情報には、例えば、撮像装置８０から入力されるショベル１００の周辺画像が含まれる。また、情報送信部３０１により送信される環境条件実績情報には、ショベル１００の内的環境条件、例えば、大容量バケット仕様、ロングアーム仕様、クイックカップリング仕様等の可変される仕様に関する情報が含まれてもよい。情報送信部３０１は、例えば、予め規定される対象の種別の作業が行われているか否かを逐次判定し、対象の種別の作業が行われていると判定すると、当該作業が行われている期間の作業パターン実績情報（つまり、状態検出装置Ｓ１から入力される各種検出情報）及び環境条件情報（つまり、撮像装置８０から入力されるショベル１００の周辺画像）を紐付けて、内部メモリ等に記録する。このとき、併せて、対象の種別の作業の開始及び終了に関する日時情報、並びに、当該作業時のショベル１００の位置情報が、作業パターン実績情報及び環境条件実績情報のセットに更に紐付けられる態様で、内部メモリに保存されてもよい。これにより、管理装置３００は、飛行体２００からアップロードされる作業現場画像の中から、ショベル１００から送信された作業パターン実績情報及び環境条件実績情報のセットに対応する作業現場画像を抽出することができる。このとき、日時情報は、例えば、コントローラ３０内部の所定の計時手段（例えば、ＲＴＣ（Real Time Clock））から取得されうる。そして、情報送信部３０１は、ショベル１００のキーオフ時（停止時）等の所定のタイミングにおいて、記録された作業パターン実績情報及び環境条件実績情報のセットを、通信機器Ｔ１を通じて、管理装置３００に送信する。また、情報送信部３０１は、対象の種別の作業が行われるたびに、その終了後、記録された作業パターン実績情報及び環境条件実績情報のセットを、通信機器Ｔ１を通じて、管理装置３００に送信してもよい。

尚、環境条件実績情報には、撮像装置８０に代えて、或いは、加えて、ショベル１００に搭載される他のセンサにより検出される検出情報が含まれてよい。例えば、ショベル１００には、ミリ波レーダ、ＬＩＤＡＲ（Light Detecting and Ranging）等の他のセンサが搭載され、環境条件実績情報には、これらの距離センサの検出情報が含まれる態様であってもよい。以下、後述する現環境条件情報についても同様である。また、環境条件実績情報には、天候情報が含まれてもよい。天候情報は、例えば、状態検出装置Ｓ１に含まれうる雨滴感知センサ、照度センサ等の検出情報が含まれうる。また、情報送信部３０１は、作業パターン実績情報だけを管理装置３００に送信してもよい。この場合、管理装置３００は、ショベル１００の作業現場の上空を飛行する飛行体２００により撮像された撮像画像に基づき、ショベル１００から送信された作業パターン実績情報に対応する環境条件実績情報を生成することができる。また、情報送信部３０１は、状態検出装置Ｓ１の検出情報や撮像装置８０によるショベル１００の周辺画像を、通信機器Ｔ１を通じて、逐次、管理装置３００にアップロードしてもよい。この場合、管理装置３００は、ショベル１００からアップロードされる情報の中から対象の種別の作業が行われたときの情報を抽出し、作業パターン実績情報及び環境情報を生成してよい。

作業パターン取得部３０２は、所定の種別の作業を行う場合に、所定の目標指標に関する現在の環境条件に最適の作業パターン（最適作業パターン）を管理装置３００から取得する。例えば、作業パターン取得部３０２は、オペレータによる入力装置４２に対する所定操作（以下、「取得要求操作」）に応じて、ショベル１００の現在の環境条件に関する情報（以下、「現環境条件情報」）を含む、作業パターンの取得を要求する信号（取得要求信号）を、通信機器Ｔ１を通じて、管理装置３００に送信する。これにより、管理装置３００は、ショベル１００の現在の環境条件に合わせた最適な作業パターンをショベル１００に提供できる。現環境条件情報には、例えば、撮像装置８０によるショベル１００の最新の周辺画像が含まれる。また、現環境条件情報には、ショベル１００の内的環境条件、例えば、大容量バケット仕様、ロングアーム仕様、クイックカップリング仕様等の可変される仕様に関する情報が含まれてもよい。また、現環境条件情報には、状態検出装置Ｓ１に含まれうる雨滴感知センサや照度センサ等の検出情報、つまり、天候情報が含まれてもよい。そして、作業パターン取得部３０２は、取得要求信号に応じて管理装置３００から送信され、通信機器Ｔ１により受信される作業パターンに関する情報を取得する。

尚、作業パターン取得部３０２は、取得要求信号の送信に併せて、現環境条件情報を管理装置３００に送信しなくてもよい。この場合、管理装置３００は、飛行体２００からアップロードされる、対象のショベル１００の作業現場に対応する作業現場画像に基づき、ショベル１００の現在の環境条件（外的環境条件）を判断することができる。また、管理装置３００は、飛行体２００からアップロードされる飛行体位置情報等に基づき、ショベル１００の現場の環境条件としての天候情報を、気象情報に関するサーバやウェブサイトから取得してもよい。

マシンガイダンス部３０３は、マシンガイダンス機能及びマシンコントロール機能に関する制御を行う。つまり、マシンガイダンス部３０３は、オペレータによる操作装置２６を通じた各種動作要素（下部走行体１、上部旋回体３、並びに、ブーム４、アーム５、及びバケット６を含むアタッチメント）の操作を支援する。

例えば、マシンガイダンス部３０３は、オペレータにより操作装置２６を通じてアーム５の操作が行われている場合に、予め規定される目標設計面（以下、単に「設計面」）とバケット６の先端部（例えば、爪先や背面）とが一致するように、ブーム４及びバケット６の少なくとも一つを自動的に動作させてよい。また、マシンガイダンス部３０３は、併せて、アーム５を操作する操作装置２６の操作状態に依らず、アーム５を自動的に動作させてもよい。つまり、マシンガイダンス部３０３は、オペレータによる操作装置２６の操作をトリガにして、予め規定された動作をアタッチメントに行わせてよい。

より具体的には、マシンガイダンス部３０３は、状態検出装置Ｓ１、撮像装置８０、通信機器Ｔ１、及び入力装置４２等から各種情報を取得する。また、マシンガイダンス部３０３は、例えば、取得した情報に基づいてバケット６と設計面との間の距離を算出する。そして、マシンガイダンス部３０３は、算出したバケット６と設計面との距離等に応じて、操作バルブ３１を適宜制御し、油圧アクチュエータに対応する制御弁に作用するパイロット圧を個別に且つ自動的に調整することにより、それぞれの油圧アクチュエータを自動的に動作させることができる。操作バルブ３１には、例えば、ブーム４（ブームシリンダ７）に対応するブーム比例弁３１Ａが含まれる（図９参照）。また、操作バルブ３１には、例えば、アーム５（アームシリンダ８）に対応するアーム比例弁３１Ｂが含まれる（図９参照）。また、操作バルブ３１には、例えば、バケット６（バケットシリンダ９）に対応するバケット比例弁３１Ｃが含まれる（図９参照）。また、操作バルブ３１には、例えば、上部旋回体３（旋回油圧モータ２Ａ）に対応する旋回比例弁３１Ｄが含まれる（図９参照）。また、操作バルブ３１には、例えば、下部走行体１の右側のクローラ及び左側のクローラのそれぞれに対応する右走行比例弁及び左走行比例弁が含まれる。

マシンガイダンス部３０３は、例えば、掘削作業を支援するために、操作装置２６に対するアーム５の開閉操作に応じて、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９の少なくとも一つを自動的に伸縮させてよい。掘削作業は、設計面に沿ってバケット６の爪先で地面を掘削する作業である。マシンガイダンス部３０３は、例えば、オペレータが操作装置２６に対して手動でアーム５の閉じ方向の操作（以下、「アーム閉じ操作」）を行っている場合に、ブームシリンダ７及びバケットシリンダ９のうちの少なくとも一つを自動的に伸縮させる。

また、マシンガイダンス部３０３は、例えば、法面や水平面の仕上げ作業（転圧作業）を支援するためにブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９の少なくとも一つを自動的に伸縮させてもよい。転圧作業は、バケット６の背面を地面に押さえ付けながら設計面に沿ってバケット６を手前に引く作業である。マシンガイダンス部３０３は、例えば、オペレータが操作装置２６に対して手動でアーム閉じ操作を行っている場合に、ブームシリンダ７及びバケットシリンダ９の少なくとも一つを自動的に伸縮させる。これにより、所定の押し付け力でバケット６の背面を完成前の斜面（法面）或いは水平面に押し付けながら、完成後の法面或いは水平面である設計面に沿ってバケット６を移動させることができる。

また、マシンガイダンス部３０３は、上部旋回体３を設計面に正対させるために旋回油圧モータ２Ａを自動的に回転させてもよい。この場合、マシンガイダンス部３０３は、入力装置４２に含まれる所定のスイッチが操作されることにより、上部旋回体３を設計面に正対させてよい。また、マシンガイダンス部３０３は、所定のスイッチが操作されるだけで、上部旋回体３を設計面に正対させ且つマシンコントロール機能を開始させてもよい。

また、例えば、マシンガイダンス部３０３は、所定の種別の作業（例えば、掘削作業、積込み作業、転圧作業等）が行われている場合に、オペレータによる操作装置２６に対する操作に応じて、アタッチメント、上部旋回体３、及び、下部走行体１の少なくとも一部の動作を、作業パターン取得部３０２により取得された作業パターン（最適作業パターン）に合わせるように制御する。これにより、オペレータは、ショベル１００の操縦に関する習熟度に依らず、ショベル１００の動作を、所定の目標指標、例えば、作業の速さの評価が相対的に高くなるように管理装置３００（後述する最適制御部３１０３）から出力される、現在のショベル１００の環境条件に最適な作業パターンに合わせることができる。

また、マシンガイダンス部３０３は、最適作業パターンに基づき、ショベル１００の動作の制御を行いながら、オペレータに対して、当該最適作業パターンに対応するショベル１００の動作を表示装置４０に表示させてもよい。例えば、マシンガイダンス部３０３は、最適作業パターンに基づき、ショベル１００の動作の制御を行っている場合、最適作業パターンに対応する、後述のシミュレータ部３１０２Ｄによるシミュレーション結果の動画を表示装置４０に表示させる。これにより、オペレータは、実際の作業パターンの内容を表示装置４０の動画で確認しながら、作業を進めることができる。

＜飛行体の構成＞
飛行体２００は、遠隔操作又は自動操縦により飛行させることができる自律式飛行体であり、例えば、マルチコプタ、飛行船等を含みうる。本実施形態では、図１に示すように、飛行体２００は、クワッドコプタである。

飛行体２００は、制御装置２１０と、通信機器２２０と、自律航行装置２３０と、カメラ２４０と、測位装置２５０を含む。

制御装置２１０は、飛行体２００に関する各種制御を行う。

例えば、制御装置２１０は、カメラ２４０から逐次入力される作業現場画像を、通信機器２２０を通じて、管理装置３００に送信する。また、制御装置２１０は、管理装置３００から作業現場画像の送信要求があった場合に、通信機器２２０を通じて、カメラ２４０から入力された作業現場画像を管理装置３００に送信してもよい。また、制御装置２１０は、ある程度の期間、バッファリングされる作業現場画像を、所定のタイミングで、まとめて、通信機器２２０を通じて、管理装置３００に送信してもよい。また、制御装置２１０は、作業現場画像を管理装置３００に送信する際、それぞれの撮像画像に対応する位置情報や日時情報を併せて、管理装置３００に送信してもよい。このとき、日時情報は、例えば、制御装置２１０の内部の所定の計時手段（例えば、ＲＴＣ）から取得されうる。

通信機器２２０は、通信ネットワークＮＷを通じて、外部機器と通信を行う。具体的には、通信機器２２０は、制御装置２１０による制御下で、管理装置３００との間で通信を行う。通信機器２２０は、制御装置２１０と接続され、外部から受信される各種情報は、制御装置２１０に取り込まれる。

自律航行装置２３０は、飛行体２００の自律航行を実現するためのデバイスである。自律航行装置２３０は、例えば、飛行制御装置、電動モータ、及び、バッテリ等を含む。また、飛行体２００は、飛行体２００の位置を独自に判断するためにＧＮＳＳ受信機を搭載していてもよい。また、バッテリではなく、有線接続を介して地上の外部電源を用いる場合には、電圧変換を行うコンバータを搭載していてもよい。また、飛行体２００はソーラーパネルを搭載していてもよい。飛行制御装置は、ジャイロセンサ、加速度センサ、気圧センサ、超音波センサ等の各種センサを含み、姿勢維持機能、高度維持機能等を実現する。電動モータは、バッテリから電力の供給を受けてプロペラを回転させる。自律航行装置２３０は、例えば、制御装置２１０から目標飛行位置に関する情報を受け付けると、４つのプロペラの回転速度を別々に制御し、飛行体２００の姿勢及び高度を維持しながら飛行体２００を目標飛行位置に移動させる。目標飛行位置に関する情報は、例えば、目標飛行位置の緯度、経度、及び、高度である。制御装置２１０は、通信機器２２０を通じて、目標飛行位置に関する情報を外部から取得する。自律航行装置２３０は、制御装置２１０から目標向きに関する情報を受け付けると、飛行体２００の向きを変化させてもよい。

カメラ２４０は、飛行体２００の飛行領域の下にある作業現場の様子を撮像する。カメラ２４０は、例えば、飛行体２００の鉛直下方を撮像できるように、飛行体２００の下面等に取り付けられてよい。カメラ２４０により撮像された撮像画像（作業現場画像）は、制御装置２１０に取り込まれる。

測位装置２５０は、飛行体２００の位置や向き等を検出する。例えば、測位装置２５０は、ＧＮＳＳコンパス、ＧＮＳＳセンサ、方位センサ（地磁気センサ）等を含みうる。測位装置２５０による検出情報は、制御装置２１０に取り込まれる。

尚、測位装置２５０は、自律航行装置２３０（飛行制御装置）に内蔵されてもよい。

＜管理装置の構成＞
管理装置３００は、制御装置３１０と、通信機器３２０と、操作入力装置３３０と、表示装置３４０を含む。

制御装置３１０は、管理装置３００の各種制御を行う。

例えば、制御装置３１０は、収集した作業パターン実績情報及び環境条件実績情報に基づき、機械学習（教師あり学習及び強化学習）を行うことにより、ショベル１００が所定の種別の作業を行う際の最適な作業パターン（最適作業パターン）を複数の環境条件ごとに生成する機能（以下、「機械学習機能」）に関する制御を行う。また、制御装置３１０は、生成した当該複数の作業パターンに基づき、支援対象のショベル１００の現在の環境条件下における最適作業パターンを出力する機能（以下、「運転支援機能」）に関する制御を行う。

制御装置３１０は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される、機械学習機能及び運転支援機能に関連する機能部として、情報取得部３１０１と、作業パターン生成部３１０２と、最適制御部３１０３とを含む。また、制御装置３１０は、制御装置３１０の内部の不揮発性の記憶装置に規定される、機械学習機能及び運転支援機能に関連する記憶領域としての記憶部３１００を含む。管理装置３００における機械学習機能及び運転支援機能に関連する構成の詳細については、後述する（図３参照）。

尚、記憶部３１００は、制御装置３１０の外部に設けられてもよい。

通信機器３２０は、通信ネットワークＮＷを通じて、外部機器、つまり、ショベル１００及び飛行体２００と相互に通信を行う。通信機器３２０は、制御装置３１０と接続され、外部から受信される各種情報は、制御装置３１０に取り込まれる。

操作入力装置３３０は、管理装置３００の作業者や管理者等による操作入力を受け付け、受け付けた操作入力の内容に対応する信号を出力する。操作入力装置３３０は、制御装置３１０に接続され、操作入力の内容に対応する信号は、制御装置３１０に取り込まれる。

表示装置３４０は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等であり、制御装置３１０による制御下で、各種情報画像を表示する。

［機械学習機能及び運転支援機能の一例］
次に、図３、図４を参照して、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能の一例について説明する。

図３は、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能に関する機能構成の一例を示す機能ブロック図である。具体的には、図３は、管理装置３００（制御装置３１０）における機械学習機能及び運転支援機能に関する機能的な構成の一例を示す機能ブロック図である。

情報取得部３１０１（実績情報取得部の一例）は、一又は複数のショベル１００からの作業パターン実績情報及び環境条件実績情報や一又は複数の飛行体２００からの作業現場画像等のアップロードデータを取得する。そして、情報取得部３１０１は、１回のショベル１００の作業ごと且つ作業の種別ごとに、データ抽出可能な態様に整理される、記憶部３１００のショベル作業関連情報ＤＢ（Data Base）３１００Ａに作業パターン実績情報、環境条件実績情報、及び、作業現場画像を格納する。このとき、情報取得部３１０１は、作業現場画像の中から対応する作業現場のショベル１００からアップロードされた作業パターン実績情報及び環境条件実績情報と同じ日時近辺で取得された作業現場画像だけを抽出し、環境条件実績情報の中に抽出した作業現場画像を組み込む態様であってよい。また、情報取得部３１０１は、通信機器３２０を通じて、気象情報に関するサーバやウェブサイトにアクセスし、ショベル１００からアップロードされた作業パターン実績情報及び環境条件情報と同じ日時の天候情報を取得し、環境条件実績情報に組み込む態様であってもよい。以下、ショベル作業関連情報ＤＢ３１００Ａに格納される１回の作業ごとの作業パターン実績情報及び環境条件実績情報等のセットを便宜的に「ショベル作業関連情報」と称する。

作業パターン生成部３１０２（生成部の一例）は、ショベル作業関連情報ＤＢ３１００Ａに格納される、１回の作業ごとの作業パターン実績情報及び環境条件実績情報等に基づき、対象となる作業種別ごと、且つ、対象となる目標指標ごとに、目標指標に関する評価が相対的に高い、換言すれば、当該評価が最大化された、異なる環境条件ごとの最適作業パターンを生成する。

作業パターン生成部３１０２は、作業評価部３１０２Ａと、教師あり学習部３１０２Ｂと、強化学習部３１０２Ｃと、シミュレータ部３１０２Ｄを含む。

作業評価部３１０２Ａは、ショベル作業関連情報ＤＢ３１００Ａの中に格納される１回の作業ごとのショベル作業関連情報の中から対象となる目標指標ごとに、目標指標に関する評価が相対的に高い、具体的には、所定基準以上のショベル作業関連情報を抽出する。
具体的には、対象となる目標指標ごとに評価に関連する特徴量が規定されており、作業評価部３１０２Ａは、ショベル作業関連情報の中から特徴量を抽出し、抽出した特徴量からそれぞれのショベル作業関連情報を評価する。例えば、積込み作業における作業の速さを目標指標とする場合、特徴量には、旋回速度、積込み量、掘削軌道（深さ、位置、長さ）、掘削中間での角度、ブーム上げ位置、バケット軌道（持ち上げ旋回時、下げ旋回時、排土時、吊り移動時）、エンジン回転数、ポンプ馬力等が含まれうる。また、掘削作業におけるアタッチメントの寿命の長さを目標指標とする場合、特徴量には、バケット６の爪先の貫入角度、掘削力の大きさ等が含まれうる。作業評価部３１０２Ａは、抽出したショベル作業関連情報を教師あり学習の教師データとして、作業種別ごと、且つ、対象の目標指標ごとにデータ抽出可能にデータが整理された教師ＤＢ３１００Ｂに格納する。

教師あり学習部３１０２Ｂは、教師ＤＢ３１００Ｂに格納される教師データに基づき、作業種別ごと、且つ、目標指標ごとに、既知の機械学習（教師あり学習）を行い、目標指標に関する評価が相対的に高い、複数の異なる環境条件ごとの作業パターン（以下、「教師あり学習作業パターン」）を生成する。このとき、目標指標に関する評価を行う部分については、作業評価部３１０２Ａの機能を利用する態様であってよい。以下、強化学習部３１０２Ｃの場合についても同様である。生成された複数の教師あり学習作業パターンは、環境条件ごとに抽出可能にデータが整理された教師あり学習作業パターンＤＢ３１００Ｃに格納される。

強化学習部３１０２Ｃは、教師あり学習作業パターンＤＢ３１００Ｃの複数の異なる環境条件ごとの教師あり学習作業パターンを起点として、所定の評価条件に基づき、作業種別ごと、且つ、目標指標ごとに、強化学習を行う。そして、強化学習部３１０２Ｃは、目標指標が更に高い、複数の異なる環境条件ごとの作業パターン（最適作業パターン）を生成する。具体的には、強化学習部３１０２Ｃは、シミュレータ部３１０２Ｄに対象の種別の作業のシミュレーションを繰り返し試行させ、自律的に、いわゆる報酬が多くなる、つまり、対象の目標指標に関する評価が高くなる作業パターンを選択しながら、最終的に、ある環境条件下での最適作業パターンを生成する。また、強化学習部３１０２Ｃは、シミュレータ部３１０２Ｄを利用することにより、教師あり学習作業パターンには含まれない環境条件下での最適作業パターンを生成することもできる。生成された複数の最適作業パターンは、作業種別ごと且つ環境条件ごとに抽出可能にデータが整理された最適作業パターンＤＢ３１００Ｄに格納される。

シミュレータ部３１０２Ｄは、作業種別ごとに、入力される環境条件、作業条件、作業パターン等の入力条件に基づき、ショベル１００の作業パターンに含まれる動作シミュレーションを行うことができる。これにより、シミュレータ部３１０２Ｄは、作業パターンを生成することができる。そのため、強化学習部３１０２Ｃは、情報取得部３１０１により取得される過去の作業パターン（作業パターン実績情報）に基づく強化学習だけでなく、シミュレータ部３１０２Ｄにより生成される新たな作業パターンに関する情報に基づく強化学習を行うことができる。

例えば、図４は、シミュレータ部３１０２Ｄによる掘削作業におけるショベル１００の動作シミュレーションの一例を説明する図である。

図４（Ａ）〜（Ｄ）に示すように、掘削作業における動作シミュレーションでは、シミュレータ部３１０２Ｄは、入力条件に基づき、ショベル１００がバケット６を接地させ、バケット６を手前に引きながら、バケット６内に土砂等の積載物を抱え込む一連の動作をシミュレーションする。

この場合、シミュレータ部３１０２Ｄは、バケット６の爪先角度（貫入角度、掘削中間での角度）、掘削軌道（深さ、位置、長さ）、ブーム上げ位置、エンジン回転数、ポンプ馬力等の動作設定を変更して複数の動作設定条件を生成し、シミュレーションを行う。その結果、シミュレータ部３１０２Ｄは、動作設定条件ごとの特徴量、目標指標を得る。このようにして、シミュレータ部３１０２Ｄは、仮想的な作業パターン情報（以下、「作業パターン仮想情報」）を生成することができる。そして、シミュレータ部３１０２Ｄは、作業パターン仮想情報を強化学習部３１０２Ｃへ入力し、強化学習部３１０２Ｃは、最適作業パターンを得ることができる。

尚、本実施形態では、情報取得部３１０１からの作業パターン実績情報を用いる事例も含まれるが、必ずしも作業パターン実績情報を用いる必要はない。つまり、作業パターン生成部３１０２は、シミュレータ部３１０２Ｄで生成される作業パターン仮想情報だけに基づき最適作業パターンが取得することもできる。

最適制御部３１０３（環境情報取得部及び出力部の一例）は、通信機器３２０を通じて、ショベル１００から受信される取得要求信号に応じて、当該取得要求信号で指定される種別の作業について、現在のショベル１００の環境条件下で、対象の目標指標が相対的に高くなる（最大化する）最適作業パターンを出力する。対象の目標指標は、予め規定されていてもよいし、ショベル１００から送信される取得要求信号で指定されていてもよい。具体的には、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄに格納される複数の異なる環境条件ごとの最適作業パターンに基づき、現在のショベル１００の環境条件下での最適作業パターンを出力する。

例えば、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄの中から現在のショベル１００の環境条件（具体的には、取得要求信号に含まれる現環境条件情報に対応する環境条件）と一致する最適作業パターンを抽出し、出力する。また、最適制御部３１０３は、現在のショベル１００の環境条件と一致する最適作業パターンが最適作業パターンＤＢ３１００Ｄにない場合、現在のショベル１００の環境条件に比較的近い環境条件に対応する最適作業パターンを一又は複数抽出してよい。そして、最適制御部３１０３は、抽出した最適作業パターンに対応する環境条件と、現在のショベル１００の環境条件との差異に基づき、抽出した一又は複数の最適作業パターンに対して所定の補正を施すことにより、現在のショベル１００の環境条件に対応する最適作業パターンを出力してよい。

また、例えば、最適制御部３１０３は、強化学習部３１０２Ｃと同様の手法（アルゴリズム）を用いて、シミュレータ部３１０２Ｄを利用しながら、最適作業パターンＤＢ３１００Ｄに格納される複数の最適作業パターンに基づき、自律的に、ショベル１００の現在の環境下での目標指標が最大化する最適作業パターンを一意的に出力してもよい。つまり、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄに格納される複数の最適作業パターンに基づき、シミュレータ部３１０２Ｄを利用しながら、自律的に、ショベル１００の現在の環境下での目標指標が最大化する最適作業パターンを出力する人工知能（ＡＩ：Artificial Intelligence）を中心に構成されてもよい。これにより、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄの中に、ショベル１００の現在の環境下に対応する最適作業パターンが無い場合であっても、補正等の手法を用いることなく、より目標指標に関する評価の高い最適作業パターンを出力できる。

最適制御部３１０３は、通信機器３２０を通じて、出力した最適作業パターンを取得要求信号の送信元であるショベル１００に送信する。

また、最適制御部３１０３は、出力した最適作業パターンを最適作業パターンＤＢ３１００Ｄにフィードバック、つまり、追加し、最適作業パターンＤＢ３１００Ｄを更新させる。これにより、新たな環境条件に対応する作業パターンが最適作業パターンＤＢ３１００Ｄに追加されたり、最適作業パターンＤＢ３１００Ｄの作業パターンが目標指標に関する評価が更に高い作業パターンに更新されたりする。よって、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄの更新に応じて、目標指標に関する評価が更に高い最適作業パターンを出力できるようになる。

また、作業パターン生成部３１０２の上述した一連の動作も、情報取得部３１０１によるショベル１００等から新たな情報が取得され、ショベル作業関連情報ＤＢ３１００Ａが更新されるのに応じて、繰り返し実行される。そのため、作業パターン生成部３１０２の一連の動作によっても、最適作業パターンＤＢ３１００Ｄが更新される。よって、最適制御部３１０３は、最適作業パターンＤＢ３１００Ｄの更新に応じて、目標指標に関する評価が更に高い最適作業パターンを出力できるようになる。

［運転支援システムの作用］
次に、図５を参照して、本実施形態に係る運転支援システムＳＹＳ（具体的には、図２、図３に示す運転支援システムＳＹＳ）の作用について説明する。

図５は、運転支援システムＳＹＳの作用を説明する図である。具体的には、図５は、本実施形態に係る運転支援システムＳＹＳ（管理装置３００）から出力される最適作業パターンを利用して、マシンコントロール機能によりショベル１００に作業をさせた場合のアタッチメントの寿命と、オペレータ（初心者オペレータ及び熟練オペレータ）が手動でショベル１００に作業をさせた場合のアタッチメントの寿命とを比較する図である。

尚、図中にて、縦棒の長さは、ばらつき範囲を示し、黒丸は、平均値を示す。

運転支援システムＳＹＳ（管理装置３００）は、上述の如く、ショベル１００の現在の環境条件下で、対象の目標指標に関する評価が相対的に高い（最大化された）最適作業パターンを出力し、ショベル１００の運転支援を行う。例えば、運転支援システムＳＹＳ（管理装置３００）は、ショベル１００による積込み作業において、実現場での盛り土を現在の環境条件とし、作業の速さを目標指標とする、最適作業パターンを出力することにより、土砂の抱え込み、上部旋回体３の旋回、そして、排土までの最適な一連の動作をショベル１００に実行させることができる。また、例えば、既に、アタッチメント等にき裂が発見されているショベル１００に対して、き裂進展が遅くなるような作業パターンを出力することにより、ショベル１００でのき裂進展を遅くすることができる。つまり、本実施形態に係る運転支援システムＳＹＳ（管理装置３００）は、オペレータの操作熟練度に依らず、ある種別の作業において、対象の目標指標に関する評価が相対的に高い作業パターンをショベル１００に行わせることができる。よって、運転支援システムＳＹＳは、ショベルの作業効率、エネルギ効率（燃費）、耐久性等を向上させることができる。また、運転支援システムＳＹＳは、掘削作業、積込み作業、転圧作業等の繰り返し操作を伴う作業におけるオペレータの操作を支援できる。よって、オペレータの疲労を緩和することができる。また、運転支援システムＳＹＳは、ショベル１００のアタッチメント等に発生したき裂の進展の遅さを目標指標にする場合、当該き裂の進展をなるべく遅くし、時間を稼ぐことができるため、き裂の状況把握や補修のために、現場の実作業が停止してしまうような事態を抑制できる。

具体的には、図５に示すように、目標指標がアタッチメントの仕様寿命の長さの場合を例にすると、初心者オペレータの場合、アタッチメントの使用寿命が短く、且つ、ばらつきが大きい。

また、熟練オペレータの場合、アタッチメントの使用寿命が初心者オペレータより長くなり、ばらつきも初心者より小さくなる。しかしながら、手動での作業であるため、ある程度のばらつきが生じ得る。

また、教師あり学習作業パターンを利用して、マシンコントロール機能によりショベル１００に作業を行わせる場合、アタッチメントの使用寿命の平均値は上昇し、ばらつきもかなり小さくなる。しかしながら、教師データが過去の実績であるため、熟練オペレータの場合の使用寿命の最大値を超えることができない。

これに対して、本実施形態に係る運転支援システムＳＹＳ（管理装置３００）により出力される最適作業パターンを利用して、マシンコントロール機能によりショベル１００に作業を行わせる場合、アタッチメントの使用寿命の平均値及び最大値ともに教師あり学習作業パターンを利用する場合よりも長くなる。

また、運転支援システムＳＹＳ（管理装置３００）は、上述の如く、最適作業パターンＤＢ３１００Ｄを更新する。これにより、図５に示すように、更新された最適作業パターンＤＢに基づく最適作業パターンを利用して、マシンコントロール機能によりショベル１００に作業を行わせる場合、更新前よりも、アタッチメントの使用寿命の平均値を更に長くすることができると共に、ばらつきを更に小さくすることができる。

［機械学習機能及び運転支援機能の他の例］
次に、図６、図７を参照して、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能の他の例について説明する。

図６は、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能に関する機能構成の他の例を示す機能ブロック図である。具体的には、図６は、管理装置３００（制御装置３１０）における機械学習機能及び運転支援機能に関する機能的な構成の他の例を示す機能ブロック図である。

本例では、管理装置３００（制御装置３１０）は、最適作業パターンに加えて、最適段取りパターンを生成する。「段取り」は、作業内容（作業パターン）の組み合わせを意味し、「作業内容」は、動作パターンの組み合わせを意味する。具体的には、「段取り」は、例えば、施工現場における施工順番（掘削位置、掘削量、仮置き位置、仮置き量、スロープ位置等）、ダンプトラックの切返し位置、ダンプトラックの切返し回数、ダンプ台数、建設機械（ショベル等）の台数、土質、埋設物の有無や位置等を考慮した作業パターンの組み合わせである。つまり、管理装置３００（制御装置３１０）は、最適段取りパターン、及び最適段取りパターンに含まれる各作業パターンに対応する最適作業パターンを生成する。以下、「段取りパターン」及び「作業パターン」を総括的に「段取り・作業パターン」と称する。また、本例では、段取りパターンや最適段取りパターンを中心に言及し、作業パターン及び最適作業パターン等の重複する記載を省略する場合がある。

制御装置３１０は、機能部として、情報取得部３１０１Ｘと、段取り・作業パターン生成部３１０２Ｘと、最適制御部３１０３Ｘを含む。また、制御装置３１０は、記憶部３１００Ｘを利用する。記憶部３１００Ｘには、ショベル段取り・作業関連情報ＤＢ３１００ＡＸと、教師ＤＢ３１００ＢＸと、教師あり学習段取り・作業パターンＤＢ３１００ＣＸと、最適段取り・作業パターンＤＢ３１００ＤＸが含まれる。

情報取得部３１０１Ｘは、一又は複数のショベル１００からの作業パターン実績情報及び環境条件実績情報や一又は複数の飛行体２００からの作業現場画像等のアップロードデータを取得する。また、情報取得部３１０１Ｘは、取得した作業パターン実績情報群から段取りに関する実績情報（以下、「段取り実績情報」）を生成する。また、情報取得部３１０１Ｘは、一又は複数のショベル１００から段取り実績情報を取得してもよい。そして、情報取得部３１０１Ｘは、作業パターン情報、環境条件実績情報、段取り実績情報、及び作業現場画像を記憶部３１００Ｘに構築されるショベル段取り・作業関連情報ＤＢに格納（登録）する。ショベル段取り・作業関連情報ＤＢは、ショベル１００の一連の作業内容で構成される段取りごとに、且つ、段取りを構成する作業内容の組み合わせ（の種別）ごとにデータ抽出可能な態様に整理される。記憶部３１００Ｘのショベル段取り・作業関連情報ＤＢ（Data Base）３１００ＡＸに作業パターン実績情報、環境条件実績情報、及び、作業現場画像を格納する。以下、ショベル段取り・作業関連情報ＤＢ３１００ＡＸに格納される１回の段取りごとの段取り実績情報及び環境条件実績情報等のセットを便宜的に「ショベル段取り関連情報」と称する。

段取り・作業パターン生成部３１０２Ｘは、ショベル段取り・作業関連情報ＤＢ３１００ＡＸに格納されるショベル段取り関連情報に基づき、対象となる作業内容の組み合わせ（の種別）ごと、且つ、対象となる目標指標ごとに、目標指標に関する評価が相対的に高い、換言すれば、当該評価が最大化された、異なる環境条件ごとの最適段取りパターンを生成する。

段取り・作業パターン生成部３１０２Ｘは、段取り・作業評価部３１０２ＡＸと、教師あり学習部３１０２ＢＸと、強化学習部３１０２ＣＸと、シミュレータ部３１０２ＤＸを含む。

段取り・作業評価部３１０２ＡＸは、ショベル段取り・作業関連情報ＤＢ３１００ＡＸの中に格納されるショベル段取り関連情報の中から対象となる目標指標ごとに、目標指標に関する評価が相対的に高い、具体的には、所定基準以上のショベル段取り関連情報を抽出する。具体的には、対象となる目標指標ごとに評価に関連する特徴量が規定されており、段取り・作業評価部３１０２ＡＸは、ショベル段取り関連情報の中から特徴量を抽出し、抽出した特徴量からそれぞれのショベル段取り関連情報を評価する。例えば、段取りに関する目標指標には、作業時間（の短さ）、作業人員（の少なさ）、必要燃料（の少なさ）、ＣＯ２排出量（の少なさ）等が含まれうる。また、段取りに関する特徴量には、掘削回数、旋回回数、旋回角度、掘削ごとの土量、積込みごとの土量等が含まれうる。段取り・作業評価部３１０２ＡＸは、抽出したショベル段取り関連情報を教師あり学習の教師データとして、教師ＤＢ３１００ＢＸに格納する。教師ＤＢ３１００ＢＸは、作業内容の組み合わせ（の種別）ごと、且つ、対象の目標指標ごとに、データ抽出可能に教師データ（ショベル段取り関連情報）が整理される。

教師あり学習部３１０２ＢＸは、教師ＤＢ３１００ＢＸに格納される教師データに基づき、作業内容の組み合わせ（の種別）ごと、且つ、目標指標ごとに、既知の機械学習（教師あり学習）を行う。そして、教師あり学習部３１０２ＢＸは、教師あり学習の結果として、目標指標に関する評価が相対的に高い、複数の異なる環境条件ごとの段取りパターン（以下、「教師あり学習段取りパターン」）を生成する。このとき、目標指標に関する評価を行う部分については、段取り・作業評価部３１０２ＡＸの機能を利用する態様であってよい。以下、強化学習部３１０２ＣＸの場合についても同様である。生成された複数の教師あり学習段取りパターンは、環境条件ごとに抽出可能にデータが整理された教師あり学習段取り・作業パターンＤＢ３１００ＣＸに格納される。

強化学習部３１０２ＣＸは、教師あり学習段取り・作業パターンＤＢ３１００ＣＸの複数の異なる環境条件ごとの教師あり学習段取りパターンを起点として、作業内容の組み合わせ（の種別）ごと、且つ、目標指標ごとに、強化学習を行い、目標指標が更に高い、複数の異なる環境条件ごとの作業パターン（最適作業パターン）を生成する。具体的には、強化学習部３１０２ＣＸは、シミュレータ部３１０２ＤＸに対象の組み合わせの段取りに関するシミュレーションを繰り返し試行させ、自律的に、いわゆる報酬が多くなる、つまり、対象の目標指標に関する評価が高くなる作業パターンを選択しながら、最終的に、ある環境条件下での最適作業パターンを生成する。また、強化学習部３１０２ＣＸは、シミュレータ部３１０２ＤＸを利用することにより、教師あり学習段取りパターンには含まれない環境条件下での最適作業パターンを生成することもできる。生成された複数の最適作業パターンは、作業内容の組み合わせ（の種別）ごと且つ環境条件ごとに抽出可能にデータが整理された最適段取り・作業パターンＤＢ３１００ＤＸに格納される。

シミュレータ部３１０２ＤＸは、作業内容の組み合わせ（の種別）ごとに、入力される環境条件、施工条件、段取りパターン等の入力条件に基づき、ショベル１００の段取りに関する動作シミュレーションを行うことができる。これにより、シミュレータ部３１０２ＤＸは、段取りパターンを生成することができる。そのため、強化学習部３１０２ＣＸは、情報取得部３１０１Ｘにより取得される過去の段取りパターン（段取り実績情報）に基づく強化学習だけでなく、シミュレータ部３１０２ＤＸにより生成される新たな段取りパターンに関する情報に基づく強化学習を行うことができる。

例えば、図７は、シミュレータ部３１０２ＤＸによる施工現場の段取りに関するショベル１００の動作シミュレーションの一例を説明する図である。

図７に示すように、本例では、一般道路７２０沿いの作業現場７１０でのショベル１００による段取りに関するシミュレーションが行われる。

作業現場７１０には、一般道路７２０への土砂搬出用のスロープＳＬが形成され、ダンプトラックＤＴが土砂の搬出のために作業現場７１０に入場する。また、作業現場７１０には、掘削範囲７１１が設定されると共に、その周辺に土砂の仮置き領域７１２，７１３が設定される。また、作業現場７１０には、もう一箇所の掘削範囲７１４が設定されると共に、その周辺に土砂の仮置き領域７１５が設定される。

本例では、シミュレータ部３１０２ＤＸは、この施工条件下で、掘削範囲７１１に関する掘削作業と、土砂の仮置き領域７１２，７１３への排土作業と、ダンプトラックＤＴへの仮置き領域７１２，７１３の土砂の積み込み作業との組み合わせに対応する段取りをシミュレーションする。また、シミュレータ部３１０２ＤＸは、同じ施工条件下で、掘削範囲７１４に関する掘削作業と、土砂の仮置き領域７１５への排土作業と、ダンプトラックＤＴへの仮置き領域７１５の土砂の積み込み作業との組み合わせに対応する段取りをシミュレーションする。

この場合、シミュレータ部３１０２ＤＸは、例えば、ショベル１００の位置、向き、移動経路、作業の順番等の異なる複数の動作設定条件を生成し、シミュレーションを行う。その結果、シミュレータ部３１０２ＤＸは、動作設定条件ごとの特徴量、目標指標を得る。このようにして、シミュレータ部３１０２ＤＸは、仮想的な段取りパターン情報（以下、「段取りパターン仮想情報」）を生成することができる。そして、シミュレータ部３１０２ＤＸは、段取りパターン仮想情報を強化学習部３１０２ＣＸへ入力し、強化学習部３１０２ＣＸは、最適段取りパターンを得ることができる。また、シミュレーションが行われる際には、一般道路７２０の位置等は変更不可要素、仮置き領域７１２、７１３、掘削範囲７１４等は変更可能要素として設定される。

尚、本実施形態では、情報取得部３１０１Ｘにより取得される情報に基づく段取りパターン実績情報を用いる事例も含まれるが、必ずしも段取りパターン実績情報を用いる必要はない。つまり、段取り・作業パターン生成部３１０２Ｘは、シミュレータ部３１０２ＤＸで生成される段取りパターン仮想情報だけに基づき最適段取りパターンが取得することもできる。

最適制御部３１０３Ｘは、通信機器３２０を通じて、ショベル１００から受信される取得要求信号に応じて、当該取得要求信号で指定される種別の作業内容の組み合わせについて、現在のショベル１００の環境条件下で、対象の目標指標が相対的に高くなる（最大化する）最適段取りパターンを出力する。対象の目標指標は、予め規定されていてもよいし、ショベル１００から送信される取得要求信号で指定されていてもよい。具体的には、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸに格納される複数の異なる環境条件ごとの最適作業パターンに基づき、現在のショベル１００の環境条件下での最適作業パターンを出力する。

例えば、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸの中から現在のショベル１００の環境条件（具体的には、取得要求信号に含まれる現環境条件情報に対応する環境条件）と一致する最適段取りパターンを抽出し、出力する。また、最適制御部３１０３Ｘは、現在のショベル１００の環境条件と一致する最適段取りパターンが最適段取り・作業パターンＤＢ３１００ＤＸにない場合、現在のショベル１００の環境条件に比較的近い環境条件に対応する最適段取りパターンを一又は複数抽出してよい。そして、最適制御部３１０３Ｘは、抽出した最適段取りパターンに対応する環境条件と、現在のショベル１００の環境条件との差異に基づき、抽出した一又は複数の最適段取りパターンに対して所定の補正を施すことにより、現在のショベル１００の環境条件に対応する最適段取りパターンを出力してよい。

また、例えば、最適制御部３１０３Ｘは、強化学習部３１０２ＣＸと同様の手法（アルゴリズム）を用いて、シミュレータ部３１０２ＤＸを利用しながら、最適段取り・作業パターンＤＢ３１００ＤＸに格納される複数の最適段取りパターンに基づき、自律的に、ショベル１００の現在の環境下での目標指標が最大化する最適段取りパターンを一意的に出力してもよい。つまり、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸに格納される複数の最適段取りパターンに基づき、シミュレータ部３１０２ＤＸを利用しながら、自律的に、ショベル１００の現在の環境下での目標指標が最大化する最適段取りパターンを出力する人工知能を中心に構成されてもよい。これにより、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸの中に、ショベル１００の現在の環境下に対応する最適段取りパターンが無い場合であっても、補正等の手法を用いることなく、より目標指標に関する評価の高い最適段取りパターンを出力できる。

最適制御部３１０３Ｘは、通信機器３２０を通じて、出力した最適段取りパターンを取得要求信号の送信元であるショベル１００に送信する。

また、最適制御部３１０３Ｘは、出力した最適段取りパターンを最適段取り・作業パターンＤＢ３１００ＤＸにフィードバック、つまり、追加し、最適段取り・作業パターンＤＢ３１００ＤＸを更新させる。これにより、新たな環境条件に対応する作業パターンが最適段取り・作業パターンＤＢ３１００ＤＸに追加されたり、最適段取り・作業パターンＤＢ３１００ＤＸの作業パターンが目標指標に関する評価が更に高い作業パターンに更新されたりする。よって、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸの更新に応じて、目標指標に関する評価が更に高い最適段取りパターンを出力できるようになる。

また、段取り・作業パターン生成部３１０２Ｘの上述した一連の動作も、情報取得部３１０１Ｘによるショベル１００等から新たな情報が取得され、ショベル段取り・作業関連情報ＤＢ３１００ＡＸが更新されるのに応じて、繰り返し実行される。そのため、段取り・作業パターン生成部３１０２Ｘの一連の動作によっても、最適段取り・作業パターンＤＢ３１００ＤＸが更新される。よって、最適制御部３１０３Ｘは、最適段取り・作業パターンＤＢ３１００ＤＸの更新に応じて、目標指標に関する評価が更に高い最適段取りパターンを出力できるようになる。

［機械学習機能及び運転支援機能の更に他の例］
次に、図８、図９を参照して、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能の更に他の例について説明する。

図８、図９は、運転支援システムＳＹＳにおける機械学習機能及び運転支援機能に関する機能構成の更に他の例を示す機能ブロック図である。具体的には、図８は、本例に係る運転支援システムＳＹＳの構成を示す機能ブロック図であり、図９は、本例に係る運転支援システムＳＹＳの構成のうち、図８に記載されないショベル１００の構成部分を示す機能ブロック図である。

本例では、機械学習機能及び運転支援機能がショベル１００に搭載される。以下、本例に特有の部分を中心に説明し、重複する説明を省略する場合がある。

ショベル１００のコントローラ３０は、補助記憶装置にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、現在地形形状取得部Ｆ１と、目標地形形状取得部Ｆ２と、比較部Ｆ３と、作業開始判別部Ｆ４と、段取り・作業設定部Ｆ５と、動作内容判定部Ｆ６と、動作指令生成部Ｆ７と、動作制限部Ｆ８と、指令値算出部Ｆ９と、バケット現在位置算出部Ｆ１０と、ブーム電流指令生成部Ｆ１１と、ブームスプール変位量算出部Ｆ１２と、ブーム角度算出部Ｆ１３と、アーム電流指令生成部Ｆ２１と、アームスプール変位量算出部Ｆ２２と、アーム角度算出部Ｆ２３と、バケット電流指令生成部Ｆ３１と、バケットスプール変位量算出部Ｆ３２と、バケット角度算出部Ｆ３３と、旋回電流指令生成部Ｆ４１と、旋回スプール変位量算出部Ｆ４２と、旋回角度算出部Ｆ４３を含む。

現在地形形状取得部Ｆ１（環境情報取得部の一例）は、撮像装置８０の撮像画像に基づき、ショベル１００の周囲の現在の地形形状（以下、「現在地形形状」）に関する情報（例えば、三次元の点群やサーフェス等の三次元データ）を取得する。

目標地形形状取得部Ｆ２は、施工現場における目標となる地形形状（例えば、目標施工面）（以下、「目標地形形状」）を取得する。

比較部Ｆ３は、現在地形形状と目標地形形状とを比較し、その差分に関する情報（以下、「差分情報」）を学習部Ｆ１００に出力する。

作業開始判別部Ｆ４は、通信機器Ｔ１を通じて管理装置３００から受信される指令に応じて、作業開始を判別する。

段取り・作業設定部Ｆ５は、通信機器Ｔ１を通じて管理装置３００から受信される指令に応じて、作業現場での段取り及び段取りに含まれる作業の内容を設定する。設定される段取り及び作業の内容は、学習部Ｆ１００及び動作内容判定部Ｆ６に入力される。

動作内容判定部Ｆ６は、学習部Ｆ１００から指令に応じて、段取り・作業設定部Ｆ５により設定される段取り及び作業内容に沿った動作内容を判定する。また、判定される動作内容は、学習部Ｆ１００及び動作指令生成部Ｆ７に入力される。

動作指令生成部Ｆ７（制御部の一例）は、学習部Ｆ１００からの指令、動作内容判定部Ｆ６により判定された動作内容、及びバケット現在位置算出部Ｆ１０により算出されるバケット６の作業部位（例えば、爪先や背面等）の現在位置（以下、「バケット現在位置」）に応じて、ショベル１００の動作指令、つまり、ショベル１００の被駆動要素を駆動するアクチュエータの動作指令を生成する。生成される動作指令は、学習部Ｆ１００及び動作制限部Ｆ８に入力される。

動作制限部Ｆ８は、所定の動作制限条件に応じて、動作指令生成部Ｆ７により生成される動作指令に対応するショベル１００の動作を制限する（動作を停止する場合を含む）。動作制限条件には、例えば、"動作指令に対応するショベル１００の動作によって、ショベル１００の作業部位以外の部分が周囲の物体と当接する可能性があること"を含まれてよい。また、動作制限条件には、例えば、"動作指令に対応するショベル１００の動作によって、アタッチメントの動作軸の角速度の許容範囲を逸脱すること"が含まれてもよい。具体的には、動作制限部Ｆ８は、動作制限条件が成立する場合、動作指令生成部Ｆ７により生成される動作指令を、ショベル１００の動作が制限されるように補正した補正動作指令を指令値算出部Ｆ９に出力する。一方、動作制限部Ｆ８は、動作制限条件が成立しない場合、動作指令生成部Ｆ７により生成される動作指令をそのまま指令値算出部Ｆ９に出力する。

指令値算出部Ｆ９は、動作制限部Ｆ８から入力される動作指令或いは補正動作指令に基づき、各被駆動要素（ブーム４、アーム５、バケット６、上部旋回体３、下部走行体１の左右のクローラ）に対する指令値を出力する。具体的には、指令値算出部Ｆ９は、ブーム４に対するブーム指令値α＊、アーム５に対するアーム指令値β＊、バケット６に対するバケット指令値γ＊、上部旋回体３に対する旋回指令値δ＊、右側のクローラに対する右走行指令値ε１＊、左側のクローラに対する左走行指令値ε２＊を出力する。

バケット現在位置算出部Ｆ１０は、バケット６の作業部位の現在位置（バケット現在位置）を算出する。具体的には、ブーム角度算出部Ｆ１３、アーム角度算出部Ｆ２３、バケット角度算出部Ｆ３３、旋回角度算出部Ｆ４３等からフィードバックされるブーム角度α、アーム角度β、バケット角度γ、右駆動輪回転角度ε１、及び左駆動輪回転角度ε２に基き、バケット現在位置を算出する。

ブーム電流指令生成部Ｆ１１は、ブーム比例弁３１Ａに対してブーム電流指令を出力する。

ブームスプール変位量算出部Ｆ１２は、ブームスプール変位センサＳ１６の出力に基づき、ブームシリンダ７に対応する制御弁１７５を構成するブームスプールの変位量を算出する。

ブーム角度算出部Ｆ１３は、ブーム角度センサＳ１１の出力に基づき、ブーム角度αを算出する。

ブーム電流指令生成部Ｆ１１は、基本的に、指令値算出部Ｆ９が生成したブーム指令値α＊とブーム角度算出部Ｆ１３が算出したブーム角度αとの差がゼロになるように、ブーム比例弁３１Ａに対するブーム電流指令を生成する。その際、ブーム電流指令生成部Ｆ１１は、ブーム電流指令から導き出される目標ブームスプール変位量とブームスプール変位量算出部Ｆ１２が算出したブームスプール変位量との差がゼロになるように、ブーム電流指令を調節する。そして、ブーム電流指令生成部Ｆ１１は、その調節後のブーム電流指令をブーム比例弁３１Ａに対して出力する。

ブーム比例弁３１Ａは、ブーム電流指令に応じて開口面積を変化させ、ブーム指令電流の大きさに対応するパイロット圧を制御弁１７５のパイロットポートに作用させる。制御弁１７５は、パイロット圧に応じてブームスプールを移動させ、ブームシリンダ７に作動油を流入させる。ブームスプール変位センサＳ１６は、ブームスプールの変位を検出し、その検出結果をコントローラ３０のブームスプール変位量算出部Ｆ１２にフィードバックする。ブームシリンダ７は、作動油の流入に応じて伸縮し、ブーム４を上下動させる。ブーム角度センサＳ１１は、上下動するブーム４の回動角度を検出し、その検出結果をコントローラ３０のブーム角度算出部Ｆ１３にフィードバックする。ブーム角度算出部Ｆ１３は、算出したブーム角度αをバケット現在位置算出部Ｆ１０にフィードバックする。

アーム電流指令生成部Ｆ２１は、アーム比例弁３１Ｂに対してアーム電流指令を出力する。

アームスプール変位量算出部Ｆ２２は、アームスプール変位センサＳ１７の出力に基づき、アームシリンダ８に対応する制御弁１７６を構成するアームスプールの変位量を算出する。

アーム角度算出部Ｆ２３は、アーム角度センサＳ１２の出力に基づき、アーム角度βを算出する。

アーム電流指令生成部Ｆ２１は、基本的に、指令値算出部Ｆ９が生成したアーム指令値β＊とアーム角度算出部Ｆ２３が算出したアーム角度βとの差がゼロになるように、アーム比例弁３１Ｂに対するアーム電流指令を生成する。その際、アーム電流指令生成部Ｆ２１は、アーム電流指令から導き出される目標アームスプール変位量とアームスプール変位量算出部Ｆ２２が算出したアームスプール変位量との差がゼロになるように、アーム電流指令を調節する。そして、アーム電流指令生成部Ｆ２１は、その調節後のアーム電流指令をアーム比例弁３１Ｂに対して出力する。

アーム比例弁３１Ｂは、アーム電流指令に応じて開口面積を変化させ、アーム指令電流の大きさに対応するパイロット圧を制御弁１７６のパイロットポートに作用させる。制御弁１７６は、パイロット圧に応じてアームスプールを移動させ、アームシリンダ８に作動油を流入させる。アームスプール変位センサＳ１７は、アームスプールの変位を検出し、その検出結果をコントローラ３０のアームスプール変位量算出部Ｆ２２にフィードバックする。アームシリンダ８は、作動油の流入に応じて伸縮し、アーム５を開閉させる。アーム角度センサＳ１２は、開閉するアーム５の回動角度を検出し、その検出結果をコントローラ３０のアーム角度算出部Ｆ２３にフィードバックする。アーム角度算出部Ｆ２３は、算出したアーム角度βをバケット現在位置算出部Ｆ１０にフィードバックする。

バケット電流指令生成部Ｆ３１は、バケット比例弁３１Ｃに対してバケット電流指令を出力する。

バケットスプール変位量算出部Ｆ３２は、バケットスプール変位センサＳ１８の出力に基づき、バケットシリンダ９に対応する制御弁１７４を構成するバケットスプールの変位量を算出する。

バケット角度算出部Ｆ３３は、バケット角度センサＳ１３の出力に基づき、バケット角度γを算出する。

バケット電流指令生成部Ｆ３１は、基本的に、指令値算出部Ｆ９が生成したバケット指令値γ＊とバケット角度算出部Ｆ３３が算出したバケット角度γとの差がゼロになるように、バケット比例弁３１Ｃに対するバケット電流指令を生成する。その際、バケット電流指令生成部Ｆ３１は、バケット電流指令から導き出される目標バケットスプール変位量とバケットスプール変位量算出部Ｆ３２が算出したバケットスプール変位量との差がゼロになるように、バケット電流指令を調節する。そして、バケット電流指令生成部Ｆ３１は、その調節後のバケット電流指令をバケット比例弁３１Ｃに対して出力する。

バケット比例弁３１Ｃは、バケット電流指令に応じて開口面積を変化させ、バケット指令電流の大きさに対応するパイロット圧を制御弁１７４のパイロットポートに作用させる。制御弁１７４は、パイロット圧に応じてバケットスプールを移動させ、バケットシリンダ９に作動油を流入させる。バケットスプール変位センサＳ１８は、バケットスプールの変位を検出し、その検出結果をコントローラ３０のバケットスプール変位量算出部Ｆ３２にフィードバックする。バケットシリンダ９は、作動油の流入に応じて伸縮し、バケット６を開閉させる。バケット角度センサＳ１３は、開閉するバケット６の回動角度を検出し、その検出結果をコントローラ３０のバケット角度算出部Ｆ３３にフィードバックする。バケット角度算出部Ｆ３３は、算出したバケット角度γをバケット現在位置算出部Ｆ１０にフィードバックする。

旋回電流指令生成部Ｆ４１は、旋回比例弁３１Ｄに対して旋回電流指令を出力する。

旋回スプール変位量算出部Ｆ４２は、旋回スプール変位センサＳ１９の出力に基づき、旋回油圧モータ２Ａに対応する制御弁１７３を構成する旋回スプールの変位量を算出する。

旋回角度算出部Ｆ４３は、旋回角度センサＳ１５の出力に基づき、旋回角度δを算出する。

旋回電流指令生成部Ｆ４１は、基本的に、指令値算出部Ｆ９が生成した旋回指令値δ＊と旋回角度算出部Ｆ４３が算出した旋回角度δとの差がゼロになるように、旋回比例弁３１Ｄに対する旋回電流指令を生成する。その際、旋回電流指令生成部Ｆ４１は、旋回電流指令から導き出される目標旋回スプール変位量と旋回スプール変位量算出部Ｆ４２が算出した旋回スプール変位量との差がゼロになるように、旋回電流指令を調節する。そして、旋回電流指令生成部Ｆ４１は、その調節後の旋回電流指令を旋回比例弁３１Ｄに対して出力する。

旋回比例弁３１Ｄは、旋回電流指令に応じて開口面積を変化させ、旋回指令電流の大きさに対応するパイロット圧を制御弁１７３のパイロットポートに作用させる。制御弁１７３は、パイロット圧に応じて旋回スプールを移動させ、旋回油圧モータ２Ａに作動油を流入させる。旋回スプール変位センサＳ１９は、旋回スプールの変位を検出し、その検出結果をコントローラ３０の旋回スプール変位量算出部Ｆ４２にフィードバックする。旋回油圧モータ２Ａは、作動油の流入に応じて回転し、上部旋回体３を旋回させる。旋回角度センサＳ１５は、旋回する上部旋回体３の旋回角度を検出し、その検出結果をコントローラ３０の旋回角度算出部Ｆ４３にフィードバックする。旋回角度算出部Ｆ４３は、算出した旋回角度δをバケット現在位置算出部Ｆ１０にフィードバックする。

また、下部走行体１の右クローラ及び左クローラについても、ブーム４、アーム５、バケット６、及び上部旋回体３等の他の被駆動要素（作業体）と同様のフィードバックループを有する。つまり、指令値算出部Ｆ９が生成した右走行指令値ε１＊及び左走行指令値ε２＊の入力に基づくフィードバックループが構成される。当該フィードバックループからは、右側のクローラ及び左側のクローラの駆動輪の回転位置（回転角度）を表す右駆動輪回転角度ε１及び左駆動輪回転角度ε２がバケット現在位置算出部Ｆ１０にフィードバックされる。

このように、コントローラ３０は、被駆動要素（作業体）ごとに、３段のフィードバックループを構成する。即ち、コントローラ３０は、スプール変位量に関するフィードバックループ、被駆動要素（作業体）の回動角度に関するフィードバックループ、及び、バケット６の作業部位の位置（例えば、爪先の位置）に関するフィードバックループを構成する。これにより、コントローラ３０は、自動制御の際に、バケット６の作業部位の動きを高精度に制御できる。

学習部Ｆ１００（実績情報取得部、生成部、及び出力部の一例）は、機械学習機能及び運転支援機能を実現する。つまり、学習部Ｆ１００は、上述の管理装置３００（制御装置３１０）の情報取得部３１０１Ｘ、段取り・作業パターン生成部３１０２Ｘ、及び最適制御部３１０３Ｘと同様の機能を有する。

具体的には、学習部Ｆ１００は、上述の管理装置３００と異なり、自機（ショベル１００）に実際の作業及び段取りを行わせながら、実際の作業及び段取りの中で取得される実績情報に基づき、強化学習を行う。当該実績情報には、段取り・作業設定部Ｆ５、動作内容判定部Ｆ６、及び動作指令生成部Ｆ７からフィードバックされるショベル１００の段取り、作業、及び動作に関する実績情報が含まれる。また、実績情報には、比較部Ｆ３を介して現在地形形状取得部Ｆ１から入力されるショベル１００の周囲の現在地形形状情報等の環境条件に関する実績情報が含まれる。また、実績情報には、比較部Ｆ３から差分情報等のショベル１００の段取り、作業、及び動作等の結果に関する実績情報が含まれる。これにより、学習部Ｆ１００は、作業種別或いは作業内容の組み合わせごと（の種別）且つ環境条件ごとに、実績情報を起点として、目標指標が相対的に高くなるような作業パターン（最適作業パターン）や段取りパターン（最適段取りパターン）を生成することができる。そして、学習部Ｆ１００は、比較部Ｆ３から入力される差分情報に基づき、現在の環境条件（即ち、現在地形形状）下での最適作業パターンや最適段取りパターンに対応する指令を段取り・作業設定部Ｆ５、動作内容判定部Ｆ６、及び動作指令生成部Ｆ７に出力する。これにより、コントローラ３０（動作指令生成部Ｆ７）は、最適作業パターンや最適段取りパターンに基づき、自機（ショベル１００）を自動或いは半自動で制御することができる。

［運転支援システムの作用］
次に、図１０を参照して、本実施形態に係る運転支援システムＳＹＳ（具体的には、図８、図９に示す運転支援システムＳＹＳ）の作用について説明する。

図１０は、運転支援システムＳＹＳの作用を説明する図である。具体的には、図８、図９に示す運転支援システムＳＹＳ（ショベル１００に搭載される学習部Ｆ１００）の作用を説明する図である。

本例では、ショベル１００が盛土により法面（目標施工面１００１）を施工する作業を行っている。通常、法面の施工は、紙面に対して奥行きへ向かって連続的に施工される。このため、施工領域は、ショベル１００の進行方向に向かって複数の区間に分けられる。そして、一の区間において、法尻から法肩、或いは、法尻から法肩を施工が完了すると、隣接する次の区間へ走行移動し、次の区間の施工が開始される。

ショベル１００は、目標施工面１００１と現在の斜面の形状との差分を埋めるため、バケット６に収容した土砂を斜面に沿って排土している。

しかしながら、本例では、排土された土砂が斜面の麓側に崩落してしまい、想定形状１００２とは異なる態様の形状（実際形状１００３）になってしまっている。この要因として、例えば、土砂特性の相違や天候の変化等が考えられる。

ここで、ショベル１００の学習部Ｆ１００は、今回の動作内容、作業内容、及び段取りと、その結果（実際形状１００３）とを実績情報として強化学習を行う。

例えば、ショベル１００の学習部Ｆ１００は、同様の環境条件下での排土作業時において、掬い上げ動作を追加する形で、最適作業パターン及び最適段取りパターンを更新する。これにより、復帰のための掬い上げ動作を行われ、土砂形状が想定形状１００２に形成される。その後、次の区間における施工を開始する際には、類似する土砂特性の相違や天候等の環境情報において報酬が高い作業パターンが抽出され、抽出された作業パターンに基づき施工作業が継続される。よって、復帰作業においても学習部Ｆ１００による強化学習により復帰を迅速に行うことができる。更に、一の区間における実績を次の区間において用いることができる。

このように、ショベル１００は、同様の環境条件下の作業において、コントローラ３０（学習部Ｆ１００）の制御下で、排土時に掬い上げ動作を同時に行うようになる。そのため、ショベル１００（コントローラ３０）は、自律的に、目標指標（例えば、作業効率）が相対的に高くなるように自機の作業を改善していくことができる。

［変形・改良］
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述した実施形態では、操作装置２６は、オペレータによる操作状態に応じたパイロット圧を出力する油圧式であったが、電気信号を出力する電気式であってもよい。この場合、コントロールバルブ１７は、電磁パイロット方式の制御弁を含む態様であってよい。また、コントローラ３０は、電気式の操作装置から入力される電気信号から操作状態を直接的に把握しながら、マシンガイダンス機能或いはマシンコントロール機能に関する制御を行うことができる。

また、上述した実施形態及び変形例では、ショベル１００は、作業パターン実績情報等を管理装置３００にアップロードすると共に、管理装置３００から最適作業パターンを取得し、最適作業パターンに基づくマシンコントロール機能に関する制御が実行されるが、当該態様には、限定されない。例えば、作業パターン実績情報等を管理装置３００にアップロードするショベルと、運転支援システムＳＹＳ（管理装置３００）による運転支援の対象であるショベルとは、別であってもよい。この場合、作業パターン実績情報等を管理装置３００にアップロードするショベルは、マシンガイダンス機能やマシンコントロール機能を有している必要がない。

また、上述した実施形態及び変形例では、作業パターン実績情報及び環境条件実績情報や作業現場画像等は、ショベル１００や飛行体２００から管理装置３００にアップロードされるが、当該態様には限定されない。例えば、ショベル１００や飛行体２００に記録された作業パターン実績情報及び環境条件実績情報や作業現場画像等を、サービスマン等が所定の方法で、ショベル１００や飛行体２００の外部の記憶装置に読み出す。そして、サービスマン等が管理装置３００に対応する施設に出向いて、当該記憶装置から管理装置３００に作業パターン実績情報及び環境条件実績情報や作業現場画像等のデータを転送させる態様であってもよい。

また、上述した実施形態及び変形例では、ショベル１００に搭載される状態検出装置Ｓ１から出力される検出情報等に基づき、作業パターン実績情報が構成されるが、当該態様には限定されない。例えば、ショベル１００の作業を外部から観測するセンサ（例えば、カメラ、ＬＩＤＡＲ、ミリ波レーダ等）の検出情報等に基づき、作業パターン実績情報が構成されてもよい。この場合、当該センサの検出情報は、アップロードされたり、所定の記憶装置に記録され、管理装置３００に対応する施設に出向いた作業者等により、管理装置３００にデータ転送されたりしてよい。

また、上述した実施形態及び変形例では、最適制御部３１０３の機能が管理装置３００に設けられるが、ショベル１００に設けられてもよい。この場合、管理装置３００からショベル１００に、最適作業パターンＤＢ３１００Ｄに相当するデータセットが予め配信される。また、管理装置３００で最適作業パターンＤＢ３１００Ｄが更新されると、上記データセットの更新版が管理装置３００からショベル１００に配信される。

また、上述した実施形態及び変形例では、ショベル１００は、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の各種動作要素を全て油圧駆動する構成であったが、その一部が電気駆動される構成であってもよい。つまり、上述した実施形態で開示される構成等は、ハイブリッドショベルや電動ショベル等に適用されてもよい。

尚、本願は、２０１８年３月３０日に出願した日本国特許出願２０１８−０７０３５９号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。

３０ コントローラ
３１ 操作バルブ
４０ 表示装置
４２ 入力装置
８０ 撮像装置
８０Ｂ，８０Ｆ，８０Ｌ，８０Ｒ カメラ
１００ ショベル（建設機械）
２００ 飛行体
３００ 管理装置
３０１ 情報送信部
３０２ 作業パターン取得部
３０３ マシンガイダンス部
３１０ 制御装置
３２０ 通信機器
３３０ 操作入力装置
３４０ 表示装置
３１００ 記憶部
３１００Ａ ショベル作業関連情報ＤＢ
３１００Ｂ 教師ＤＢ
３１００Ｃ 教師あり学習作業パターンＤＢ
３１００Ｄ 最適作業パターンＤＢ
３１０１，３１０１Ｘ 情報取得部（実績情報取得部）
３１０２ 作業パターン生成部（生成部）
３１０２Ａ 作業評価部
３１０２ＡＸ 段取り・作業評価部
３１０２Ｂ，３１０２ＢＸ 教師あり学習部
３１０２Ｃ，３１０２ＣＸ 強化学習部
３１０２Ｄ，３１０２ＤＸ シミュレータ部
３１０２Ｘ 段取り・作業パターン生成部（生成部）
３１０３，３１０３Ｘ 最適制御部（環境条件取得部、出力部）
Ｆ１ 現在地形形状取得部（環境条件取得部）
Ｆ７ 動作指令生成部（制御部）
Ｆ１００ 学習部（実績情報取得部、生成部、出力部）
Ｓ１ 状態検出装置
ＳＹＳ 運転支援システム
Ｔ１ 通信機器

特許文献１：特開２０１６−１５６１９３号公報

Claims (4)

1. 所定の目標指標に関する評価が相対的に高くなるように、建設機械の複数の作業パターン又は段取りパターンを生成する生成部と、
   支援対象の建設機械の環境情報を取得する環境情報取得部と、
   前記生成部により生成される複数の作業パターン又は段取りパターンに基づき、前記環境情報取得部により取得される環境情報に対応する環境下において、支援対象の建設機械の作業の前記目標指標に関する評価が相対的に高くなるような作業パターン又は段取りパターンを出力する出力部と、を備える、
   建設機械の運転支援システム。
2. 建設機械の過去の作業実績又は段取り実績に関する実績情報を取得する実績情報取得部を更に備え、
   前記生成部は、前記実績情報取得部により取得される実績情報のうちの前記目標指標に関する評価が相対的に高い実績情報に基づき、前記複数の作業パターン又は段取りパターンを生成する、
   請求項１に記載の建設機械の運転支援システム。
3. 前記生成部は、前記生成部により生成され、支援対象の作業機械で用いられた作業パターン又は段取りパターンに基づき、前記複数の作業パターン又は段取りパターンを更新する、
   請求項１に記載の建設機械の運転支援システム。
4. 所定の目標指標に関する評価が相対的に高くなるように、自機の複数の作業パターン又は段取りパターンを生成する生成部と、
   自機の周囲の環境情報を取得する環境情報取得部と、
   前記生成部により生成される複数の作業パターン又は段取りパターンに基づき、前記環境情報取得部により取得される環境情報に対応する環境下において、前記目標指標に関する評価が相対的に高くなるような作業パターン又は段取りパターンを出力する出力部と、
   前記出力部により出力される作業パターン又は段取りパターンに基づき、自機の動作を制御する制御部と、を備える、
   建設機械。

Images