JP7472034B2 - ショベル、ショベル支援システム - Google Patents

Description

本開示は、ショベル及びショベル支援システムに関する。

例えば、ショベルの周囲の状況を表す環境情報（例えば、ショベルの周囲の撮像画像やショベルの周囲に送信された検出波の反射波データ等）に基づき、ショベルの周囲の物体に関する判定（例えば、物体の有無、種類の判定等）を行う技術が知られている。

例えば、特許文献１では、オプティカルフロー、パターンマッチング等の画像処理技術を用いて、ショベルの周囲の撮像画像に基づき、周囲の物体を検出している（特許文献１参照）。

特許６２９０４９７号公報

しかしながら、ショベルは、多様な環境下で使用されうるところ、特許文献１等では、予め規定された判定基準で判定が行われるため、環境条件によっては、適切な判定精度を確保できない可能性がある。

そこで、上記課題に鑑み、ショベルの周囲の環境情報に基づき、ショベルの周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることが可能な技術を提供する。

本開示の一実施形態において、
ショベルの周囲の作業現場の環境情報を取得する環境情報取得部と、
機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
前記学習済みモデルは、取得された作業現場の環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行い、
自ショベルを含む複数のショベルは、同一の前記学習済みモデルを有すると共に、前記学習済みモデルを用いて、前記判定を行い、
前記複数のショベルのそれぞれが有する前記学習済みモデルは、前記追加学習済みモデルに更新される、
ショベルが提供される。
また、本開示の他の実施形態において、
ショベルの周囲の作業現場の環境情報を取得する環境情報取得部と、
機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
前記学習済みモデルは、取得された作業現場の環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行い、
前記学習済みモデルは、複数のショベルで取得される周囲の作業現場の環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
ショベルが提供される。

また、本開示の更に他の実施形態において、
第１のショベルと、第２のショベルと、前記第１のショベル及び前記第２のショベルと通信可能な外部装置と、を含むショベル支援システムであって、
前記第１のショベルに設けられ、前記第１のショベルの周囲の環境情報を取得する第１の環境情報取得部と、
前記第１のショベルに設けられ、機械学習が行われた学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記第１のショベルの周囲の物体に関する判定を行う判定部と、
前記第２のショベルに設けられ、前記第２のショベルの周囲の環境情報を取得する第２の環境情報取得部と、
前記第２のショベルに設けられ、前記第２の環境情報取得部により取得される環境情報を記録する記録部と、
前記第２のショベルに設けられ、前記記録部により記録される環境情報を前記外部装置に送信する環境情報送信部と、
前記外部装置に設けられ、前記第２のショベルから受信される、前記第２のショベルで取得された環境情報に基づき、教師情報を生成する教師情報生成部と、
前記外部装置に設けられ、前記教師情報生成部により生成された教師情報に基づき、前記第１のショベルで前記判定に用いられている前記学習済みモデルと同一の学習済みモデルに追加学習を行わせ、追加学習済みモデルを生成する学習部と、
前記外部装置に設けられ、前記学習部により追加学習が行われた前記追加学習済みモデルを前記第１のショベルに送信するモデル送信部と、を備え、
前記学習済みモデルは、前記第１のショベルにおいて、前記外部装置から受信される前記追加学習済みモデルに更新され、
前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記判定を行う、
ショベル支援システムが提供される。

上述の実施形態によれば、ショベルの周囲の環境情報に基づき、ショベルの周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることが可能な技術を提供することができる。

ショベル支援システムの構成の一例を示す概略図である。 ショベルの上面図である。 ショベル支援システムの機能的な構成の一例を示す機能ブロック図である。 判定部による判定処理の一例を示す概念図である。 判定部による判定処理の一例を示す概念図である。 判定部による判定処理の結果の具体例を示す図である。 ショベル支援システムの動作の一例を示すシーケンス図である。 ショベル支援システムの機能的な構成の他の例を示す機能ブロック図である。 ショベル支援システムの機能的な構成の更に他の例を示す機能ブロック図である。 判定部による判定処理の他の例を示す概念図である。

以下、図面を参照して実施形態について説明する。

［ショベル支援システムの概要］
まず、図１を参照して、本実施形態に係るショベル支援システムＳＹＳについて説明する。

図１は、ショベル支援システムＳＹＳの構成の一例を示す概略図である。

ショベル支援システムＳＹＳは、複数のショベル１００と、管理装置２００とを含み、それぞれのショベル１００で実行される、ショベル１００の周囲の物体に関する判定を支援する。ショベル１００の周囲の物体に関する判定には、例えば、ショベル１００の周囲の物体の有無の判定（つまり、ショベル１００の周囲の物体の検出に関する判定）や、ショベル１００の周囲の物体の種類の判定（つまり、ショベル１００の周囲で検出された物体の分類に関する判定）を含む。以下、複数のショベル１００は、それぞれ、ショベル支援システムＳＹＳに関して同じ構成を有する前提で説明を進める。

＜ショベルの概要＞
ショベル１００は、下部走行体１と、下部走行体１に旋回機構２を介して旋回自在に搭載される上部旋回体３と、アタッチメントを構成するブーム４、アーム５、及び、バケット６と、キャビン１０とを含む。

下部走行体１は、左右一対のクローラ１Ｃ、具体的には、左クローラ１ＣＬ及び右クローラ１ＣＲを含む。下部走行体１は、左クローラ１ＣＬ及び右クローラ１ＣＲが走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）でそれぞれ油圧駆動されることにより、ショベル１００を走行させる。

上部旋回体３は、旋回油圧モータ２Ａで駆動されることにより、下部走行体１に対して旋回する。また、上部旋回体３は、旋回油圧モータ２Ａで油圧駆動される代わりに、電動機により電気駆動されてもよい。以下、便宜上、上部旋回体３におけるアタッチメントＡＴが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。

キャビン１０は、オペレータが搭乗する運転室であり、上部旋回体３の前部左側に搭載される。

また、ショベル１００は、通信機器９０を搭載する。ショベル１００は、例えば、基地局を末端とする携帯電話網、上空の通信衛星を利用する衛星通信網、インターネット網等を含みうる所定の通信ネットワーク（以下、単に「通信ネットワーク」）を通じて、管理装置２００と通信可能に接続される。これにより、ショベル１００は、管理装置２００から各種情報を取得したり、管理装置２００に各種情報を送信したりすることができる。詳細は、後述する。

ショベル１００は、キャビン１０に搭乗するオペレータの操作装置２６に対する操作に応じて、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の動作要素（被駆動要素）を動作させる。

また、ショベル１００は、キャビン１０のオペレータにより操作されるのに代えて、或いは、加えて、所定の外部装置（例えば、管理装置２００）のオペレータによって遠隔操作されてもよい。この場合、ショベル１００は、例えば、後述の撮像装置７０が出力する画像情報（撮像画像）を管理装置２００に送信する。これにより、オペレータは、管理装置２００に設けられる表示装置（例えば、後述の表示装置２３０）に表示される画像情報を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、管理装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させてよい。以下、オペレータの操作には、オペレータの操作装置２６に対する操作、及び管理装置２００のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。

＜管理装置の概要＞
管理装置２００（外部装置の一例）は、ショベル１００の外部の地理的に離れた位置に設置され、複数のショベル１００の管理を行う。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置（端末装置）である。この場合、サーバ装置は、ショベル支援システムＳＹＳを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置される定置型或いは携帯型のコンピュータ端末であってもよい。

管理装置２００は、通信ネットワークを通じて、複数のショベル１００のそれぞれと通信可能に接続される。これにより、管理装置２００は、ショベル１００に各種情報を送信したり、ショベル１００から各種情報を受信したりすることができる。詳細は、後述する。

また、管理装置２００は、ショベル１００を遠隔操作可能に構成されてもよい。具体的には、管理装置２００は、表示装置（例えば、表示装置２３０）にショベル１００から配信される撮像装置７０の画像情報を表示させ、遠隔操作のオペレータは、この画像情報を確認しながら、ショベル１００の遠隔操作を行ってよい。この際、遠隔操作のオペレータは、管理装置２００に設けられる遠隔操作用の操作装置（例えば、タッチパネル、タッチパッド、ジョイスティック等の汎用の操作装置や操作装置２６を模した専用の操作装置等）を用いることができる。管理装置２００は、通信ネットワークを通じて、遠隔操作の内容を含む遠隔操作信号をショベル１００に送信する。これにより、ショベル１００は、例えば、後述のコントローラ３０の制御下で、管理装置２００からの遠隔操作信号に応じて、動作することができ、管理装置２００は、ショベル１００の遠隔操作を支援することができる。

［ショベル支援システムの構成の一例］
図１に加えて、図２～図５を参照して、ショベル支援システムＳＹＳ（ショベル１００、管理装置２００）の具体的な構成について説明する。

図２は、ショベル１００の上面図である。図３は、本実施形態に係るショベル支援システムＳＹＳの構成の一例を示す構成図である。図４（図４Ａ、図４Ｂ）は、後述する判定部３４４による判定処理の一例を示す概念図である。図５は、判定部３４４による判定処理結果の具体例を示す図である。

尚、上述の如く、複数のショベル１００は、それぞれ、ショベル支援システムＳＹＳに関して同じ構成を有するため、図３では、一のショベル１００の詳細構成だけを記載している。

＜ショベルの構成＞
ショベル１００は、油圧システムに関する構成として、上述の如く、走行油圧モータ２Ｍ（２ＭＬ，２ＭＲ）、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。また、ショベル１００は、油圧システムに関する構成として、エンジン１１と、操作装置２６とを含む。また、ショベル１００は、制御システムに関する構成として、コントローラ３０と、記録装置３２と、判定装置３４と、表示装置４０と、撮像装置７０と、向き検出装置８５と、通信機器９０と、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体傾斜センサＳ４と、旋回状態センサＳ５とを含む。

エンジン１１は、ショベル１００（の油圧システム）の駆動源であり、例えば、上部旋回体３の後部に搭載される。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、コントローラ３０等による制御下で、所定の回転数（設定回転数）を維持するように動作する。エンジン１１の回転軸は、油圧アクチュエータに作動油を供給するメインポンプ、及び操作装置２６等の操作系の油圧機器に作動油を供給するパイロットポンプの回転軸に接続され、エンジン１１の動力は、メインポンプ及びパイロットポンプに伝達される。

操作装置２６は、キャビン１０内の運転席に着座したオペレータ等から手足が届く範囲内に配置され、オペレータ等により、各種動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等）、換言すれば、各種動作要素を駆動する油圧アクチュエータの操作のための操作入力が行われる。

操作装置２６は、例えば、油圧パイロット式である。この場合、操作装置２６は、パイロットポンプから作動油の供給を受けて所定のパイロット圧（操作内容に対応するパイロット圧）を生成する。そして、操作装置２６は、油圧アクチュエータを駆動制御するコントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる。これにより、操作装置２６における操作内容（例えば、操作方向及び操作量）がコントロールバルブの動作に反映され、油圧アクチュエータによって、操作装置２６の操作内容に沿った各種動作要素（被駆動要素）の動作が実現される。

また、操作装置２６は、例えば、操作内容に対応する電気信号（以下、「操作信号」）を出力する電気式であってもよい。この場合、操作装置２６から出力される電気信号は、例えば、コントローラ３０に取り込まれ、コントローラ３０は、操作信号に対応する制御指令、即ち、操作装置２６の操作内容に対応する制御指令を所定の油圧制御弁（以下、「操作用制御弁」）に出力してよい。そして、操作用制御弁は、パイロットポンプ或いはメインポンプから供給される作動油を用いて、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させてよい。これにより、操作装置２６における操作内容がコントロールバルブの動作に反映され、油圧アクチュエータによって、操作装置２６の操作内容に沿った各種動作要素の動作が実現される。

また、ショベル１００が遠隔操作される場合、例えば、コントローラ３０は、上記の操作用制御弁を用いて、ショベル１００の遠隔操作を実現してよい。具体的には、コントローラ３０は、通信機器９０により受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御指令を操作用制御弁に出力してよい。そして、操作用制御弁は、パイロットポンプ或いはメインポンプから供給される作動油を用いて、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させてよい。これにより、遠隔操作の内容がコントロールバルブの動作に反映され、油圧アクチュエータによって、遠隔操作の内容に沿った各種動作要素（被駆動要素）の動作が実現される。

コントローラ３０は、例えば、キャビン１０の内部に搭載され、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置（主記憶装置）、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

例えば、コントローラ３０は、向き検出装置８５、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４、旋回状態センサＳ５等の各種センサの出力信号を取り込み、ショベル１００の各種状態（例えば、上部旋回体３の向きや姿勢状態等）を把握する。そして、コントローラ３０は、把握した各種状態に応じて、ショベル１００の各種制御を行う。

また、例えば、コントローラ３０は、判定装置３４により、ショベル１００の周囲の所定の監視領域内（例えば、ショベル１００から５メートル以内の作業領域）で、監視対象の物体（例えば、人、トラック、他の建設機械、電柱、吊り荷、パイロン、建屋等）が検出された場合に、ショベル１００と監視対象の物体との当接等を回避させる制御（以下、「当接回避制御」）を行う。コントローラ３０は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される、当接回避制御に関する機能部として、報知部３０２と、動作制御部３０４とを含む。

記録装置３２は、撮像装置７０の撮像画像を所定のタイミングで記録する。記録装置３２は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、記録装置３２は、コントローラ３０と同様のコンピュータを中心に構成されてよい。記録装置３２は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、記録制御部３２２を含む。また、記録装置３２は、例えば、補助記憶装置等の内部メモリに規定される記憶領域としての記憶部３２４を含む。

判定装置３４は、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定（例えば、物体の検出判定や物体の分類判定等）を行う。判定装置３４は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせにより実現されてよい。例えば、判定装置３４は、コントローラ３０等と同様の構成、つまり、ＣＰＵ、メモリ装置、補助記憶装置、及びインタフェース装置等に加えて、ＣＰＵでの処理と連動し並列処理による高速演算を行う、画像処理用の演算デバイスを含むコンピュータを中心に構成されてよい。以下、後述する管理装置２００の制御装置２１０についても同様の構成を有してよい。画像処理用の演算デバイスには、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field -Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等が含まれうる。判定装置３４は、例えば、補助記憶装置等にインストールされる一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、表示制御部３４２と、判定部３４４とを含む。また、判定装置３４は、例えば、補助記憶装置等の内部メモリに規定される記憶領域としての記憶部３４６を含む。

尚、コントローラ３０、記録装置３２、及び判定装置３４の一部又は全部は、一つに統合されてもよい。

表示装置４０は、キャビン１０の内部の運転席に着座したオペレータ等から視認し易い場所に設けられ、各種情報画像を表示する。表示装置４０は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。例えば、表示装置４０は、判定装置３４（表示制御部３４２）による制御下で、撮像装置７０の撮像画像に基づくショベル１００の周囲の様子を表す画像を表示する。具体的には、表示装置４０は、撮像装置７０の撮像画像を表示してよい。また、表示装置４０は、判定装置３４（表示制御部３４２）により生成される、撮像装置７０の撮像画像に対して所定の変換処理（例えば、視点変換処理）等が施された変換画像を表示してもよい。変換画像は、例えば、ショベル１００の真上から見た俯瞰画像と、ショベル１００から遠方を水平方向に見た水平画像とを組み合わせた視点変換画像であってよい。また、当該視点変換画像は、後述する前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれの撮像画像が、俯瞰画像及び水平画像による視点変換画像に変換された上で、合成された合成画像であってもよい。

撮像装置７０（環境情報取得部の一例）は、ショベル１００の周囲の様子を撮像し、撮像画像（環境情報の一例）を出力する。撮像装置７０は、前方カメラ７０Ｆと、後方カメラ７０Ｂと、左方カメラ７０Ｌと、右方カメラ７０Ｒとを含む。撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれ）による撮像画像は、判定装置３４に取り込まれる。

前方カメラ７０Ｆは、例えば、キャビン１０の上面前端に取り付けられ、上部旋回体３の前方の様子を撮像する。

後方カメラ７０Ｂは、例えば、上部旋回体３の上面後端に取り付けられ、上部旋回体３の後方の様子を撮像する。

左方カメラ７０Ｌは、例えば、上部旋回体３の上面左端に取り付けられ、上部旋回体３の左方の様子を撮像する。

右方カメラ７０Ｒは、例えば、上部旋回体３の上面右端に取り付けられ、上部旋回体３の右方の様子を撮像する。

向き検出装置８５は、上部旋回体３の向きと下部走行体１の向きとの相対的な関係に関する情報（以下、「向きに関する情報」）を検出するように構成されている。例えば、向き検出装置８５は、下部走行体１に取り付けられた地磁気センサと上部旋回体３に取り付けられた地磁気センサの組み合わせで構成されてよい。また、向き検出装置８５は、下部走行体１に取り付けられたＧＮＳＳ（Global Navigation Satellite System）受信機と上部旋回体３に取り付けられたＧＮＳＳ受信機の組み合わせで構成されていてもよい。上部旋回体３が電動機で駆動される構成の場合、向き検出装置８５は、電動機に取り付けられるレゾルバにより構成されていてもよい。また、向き検出装置８５は、例えば、下部走行体１と上部旋回体３との間の相対回転を実現する旋回機構２に関連して設けられるセンタージョイントに配置されていてもよい。向き検出装置８５による検出情報は、コントローラ３０に取り込まれる。

通信機器９０は、通信ネットワークに接続し、管理装置２００等の外部との通信を行う任意のデバイスである。通信機器９０は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の所定の移動体通信規格に対応する移動体通信モジュールであってよい。

ブーム角度センサＳ１は、ブーム４に取り付けられ、ブーム４の上部旋回体３に対する俯仰角度（以下、「ブーム角度」）θ１を検出する。ブーム角度θ１は、例えば、ブーム４を最も下降させた状態からの上昇角度である。この場合、ブーム角度θ１は、ブーム４を最も上昇させたときに最大となる。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、６軸センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）等を含んでよく、以下、アーム角度センサＳ２、バケット角度センサＳ３、機体傾斜センサＳ４についても同様であってよい。また、ブーム角度センサＳ１は、ブームシリンダ７に取り付けられたストロークセンサであってもよく、以下、アーム角度センサＳ２、バケット角度センサＳ３についても同様であってよい。ブーム角度センサＳ１によるブーム角度θ１に対応する検出信号は、コントローラ３０に取り込まれる。

アーム角度センサＳ２は、アーム５に取り付けられ、アーム５のブーム４に対する回動角度（以下、「アーム角度」）θ２を検出する。アーム角度θ２は、例えば、アーム５を最も閉じた状態からの開き角度である。この場合、アーム角度θ２は、アーム５を最も開いたときに最大となる。アーム角度センサＳ２によるアーム角度θ２に対応する検出信号は、コントローラ３０に取り込まれる。

バケット角度センサＳ３は、バケット６に取り付けられ、バケット６のアーム５に対する回動角度（以下、「バケット角度」）θ３を検出する。バケット角度θ３は、バケット６を最も閉じた状態からの開き角度である。この場合、バケット角度θ３は、バケット６を最も開いたときに最大となる。バケット角度センサＳ３によるバケット角度θ３に対応する検出信号は、コントローラ３０に取り込まれる。

機体傾斜センサＳ４は、所定の平面（例えば、水平面）に対する機体（例えば、上部旋回体３）の傾斜状態を検出する。機体傾斜センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。機体傾斜センサＳ４による傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。

旋回状態センサＳ５は、上部旋回体３に取り付けられ、上部旋回体３の旋回状態に関する検出情報を出力する。旋回状態センサＳ５は、例えば、上部旋回体３の旋回角加速度、旋回角速度、旋回角度等を検出する。旋回状態センサＳ５は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含みうる。

尚、機体傾斜センサＳ４に３軸回りの角速度を検出可能なジャイロセンサ、６軸センサ、ＩＭＵ等が含まれる場合、機体傾斜センサＳ４の検出信号に基づき上部旋回体３の旋回状態（例えば、旋回角加速度）が検出されてもよい。この場合、旋回状態センサＳ５は、省略されてよい。

報知部３０２は、判定装置３４（判定部３４４）により、ショベル１００の周囲の監視領域内で、監視対象の物体が検出された場合に、オペレータ等にその旨を報知する。これにより、オペレータ等は、ショベル１００の周囲の比較的近い範囲に、監視対象の物体が侵入した場合に、当該物体がキャビン１０から見て死角に位置していても、侵入を認識し、操作装置２６に対する操作を中止する等の安全確保を図ることができる。

例えば、報知部３０２は、キャビン１０の内部に搭載される音出力装置（例えば、スピーカやブザー等）に制御信号を出力することにより、オペレータ等に対して、ショベル１００に近接する監視領域内で監視対象の物体が検出されたことを報知する。

また、例えば、後述の如く、表示装置４０を通じて、判定装置３４によりショベル１００の周囲の監視領域内で、監視対象の物体が検出されたことを表す報知が行われてもよい。

また、例えば、ショベル１００が遠隔操作される場合、報知部３０２は、ショベル１００の周囲の監視領域内で監視対象が検出された旨を表す信号（以下、「報知信号」）を管理装置２００に送信してよい。これにより、管理装置２００は、ショベル１００から受信される報知信号に応じて、管理装置２００に設けられる表示装置（例えば、表示装置２３０）や音出力装置を制御し、遠隔操作のオペレータにその旨を通知することができる。

動作制御部３０４（制御部の一例）は、判定装置３４（判定部３４４）により、ショベル１００の周囲の監視領域内で監視対象の物体が検出された場合に、ショベル１００の動作を制限する。これにより、ショベル１００に近接する監視領域内に監視対象の物体が侵入してしまった場合に、ショベル１００の動作を制限し、ショベル１００と監視対象の物体との接触等の可能性を低減させることができる。このとき、ショベル１００の動作の制限には、操作装置２６でのオペレータ等の操作内容（操作量）に対する出力としてのショベル１００の各種動作要素（被駆動要素）の動作を遅くすることが含まれてよい。また、ショベル１００の動作の制限には、操作装置２６の操作内容に依らず、ショベル１００の動作要素（被駆動要素）の動作を停止させることが含まれてもよい。また、ショベル１００の動作の制限対象となるショベル１００の動作要素（被駆動要素）は、操作装置２６により操作可能な動作要素の全てであってもよいし、ショベル１００と監視対象の物体との接触を回避させるのに必要な一部の動作要素であってもよい。

例えば、動作制御部３０４は、油圧パイロット式の操作装置２６の二次側のパイロットラインに設けられる減圧弁に制御信号を出力し、操作装置２６に対するオペレータ等の操作内容に対応するパイロット圧を減圧させてよい。また、動作制御部３０４は、電気式の操作装置２６から入力される操作信号に対応する操作内容（操作量）よりも小さい操作量に制限された制御信号を電磁弁（操作用制御弁）へ出力することで電磁弁を制御し、電磁弁からコントロールバルブに作用するパイロット圧を減圧させてもよい。また、動作制御部３０４は、遠隔操作信号で指定される遠隔操作の内容（操作量）よりも小さい操作量に制限された制御信号を操作用制御弁へ出力することで、操作用制御弁からコントロールバルブに作用するパイロット圧を減圧させてもよい。これにより、油圧アクチュエータに供給する作動油を制御するコントロールバルブに作用する、操作装置２６に対する操作内容や遠隔操作の内容に対応するパイロット圧を減圧させ、各種動作要素（被駆動要素）の動作を制限することができる。

記録制御部３２２（記録部の一例）は、所定のタイミング（以下、「記録タイミング」）で、撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）の撮像画像を記憶部３２４に記録する。これにより、記憶部３２４の容量が限られるところ、必要なタイミングを予め規定して、撮像装置７０の撮像画像を記憶部３２４に記録することができる。また、後述の如く、記憶部３２４の撮像画像が管理装置２００に送信される際の送信容量を抑制し、通信コストを抑制することができる。具体的には、記録制御部３２２は、例えば、記録タイミングになると、過去の分を含め、ＲＡＭ等に規定されるリングバッファ内の撮像画像の中の当該記録タイミングに対応する撮像画像を取得し、記憶部３２４に記録する。

記録タイミングは、例えば、予め規定される周期的なタイミングであってよい。また、記録タイミングは、撮像装置７０の撮像画像に基づく判定装置３４（判定部３４４）によるショベル１００の周囲の物体に関する判定の際に誤判定が生じ易いショベル１００の状態が生じたときであってよい。具体的には、記録タイミングは、ショベル１００の走行時や旋回時であってよい。また、記録タイミングは、判定部３４４がショベル１００の周囲の監視領域で物体を検出したと判定したときであってもよい。また、記録タイミングは、コントローラＯＮで開始してもよく、ゲートロックレバー解除で開始してもよく、操作レバーＯＮで開始してもよい。以下、後述する図７、図８のショベル支援システムＳＹＳ（ショベル１００）場合についても同様である。

尚、図３では、判定部３４４の判定結果が記録装置３２（記録制御部３２２）に入力されるが、記録タイミングが判定部３４４の判定結果に依らず規定されている場合、判定部３４４の判定結果は、記録装置３２に入力されなくてもよい。後述する図８の場合についても同様である。

記憶部３２４には、ショベル１００の起動後の初期処理の完了後からショベル１００の停止までの間において、記録制御部３２２による制御下で、上述の如く、撮像画像ＩＭ１が記録される。記憶部３２４に記録された一又は複数の撮像画像ＩＭ１は、所定のタイミング（以下、「画像送信タイミング」）で、通信機器９０（環境情報送信部の一例）を通じて、管理装置２００に送信される。

画像送信タイミングは、例えば、ショベル１００の停止操作（例えば、キースイッチのＯＦＦ操作）が行われたときであってよい。また、送信タイミングは、記憶部３２４の空き容量が所定閾値を下回ったときであってもよい。ショベル１００の起動から停止までの間で、記憶部３２４に記録される撮像画像ＩＭ１の全容量が相対的に多くなる場合もありうるからである。また、画像送信タイミングは、例えば、ショベル１００の起動後の初期処理の完了後であってもよい。この場合、記憶部３２４は、不揮発性の内部メモリに規定される記憶領域であり、前回のショベル１００の起動から停止までの間で記録された撮像画像ＩＭ１が管理装置２００に送信される態様であってよい。以下、後述する図７、図８のショベル支援システムＳＹＳ（ショベル１００）の場合についても同様である。

尚、撮像画像ＩＭ１は、記憶部３２４に記録されるたびに、逐次、通信機器９０を通じて、管理装置２００に送信される態様であってもよい。

表示制御部３４２は、上述の如く、ショベル１００の周囲の様子を表す画像（以下、「ショベル周囲画像」）を表示装置４０に表示させる。

例えば、表示制御部３４２は、ショベル周囲画像として、撮像装置７０の撮像画像を表示装置４０に表示させる。具体的には、表示制御部３４２は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒの中から選択される一部のカメラの撮像画像を表示装置４０に表示してよい。このとき、表示制御部３４２は、オペレータ等による所定の操作に応じて、表示装置４０に表示させる撮像画像に対応するカメラを切り替える態様であってよい。また、表示制御部３４２は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒの全ての撮像画像を表示装置４０に表示させてもよい。

また、例えば、表示制御部３４２は、ショベル周囲画像として、撮像装置７０の撮像画像に所定の変換処理を施した変換画像を生成し、生成した変換画像を表示装置４０に表示させる。当該変換画像は、例えば、ショベル１００の真上から見た俯瞰画像と、ショベル１００から遠方を水平方向に見た水平画像とを組み合わせた視点変換画像であってよい。また、当該視点変換画像は、前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒのそれぞれの撮像画像が、俯瞰画像及び水平画像の組み合わせによる視点変換画像に変換された上で、所定の方法で合成された合成画像（以下、「視点変換合成画像」）であってもよい。

また、表示制御部３４２は、判定部３４４により、ショベル１００の周囲の所定の監視領域内で、監視対象の物体が検出された場合、ショベル周囲画像上の検出された物体に相当する領域（以下、「検出物体領域」）を強調させる画像を重畳して表示させる。これにより、オペレータ等は、ショベル周囲画像上で、検出された物体を容易に確認することができる。具体的な表示態様については、後述する（図５参照）。

尚、ショベル１００が遠隔操作される場合、表示制御部３４２と同様の機能が管理装置２００に設けられてよい。これにより、遠隔操作のオペレータは、管理装置２００に設けられる表示装置（例えば、表示装置２３０）を通じて、ショベル周囲画像を確認したり、ショベル周囲画像上で、検出された物体を確認したりすることができる。

判定部３４４は、記憶部３４６に格納される、機械学習が行われた学習済みモデルＬＭを用いて、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部３４４は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロードし（経路３４４Ａ）、ＣＰＵに実行させることにより、撮像装置７０の撮像画像に基づき、ショベル１００の周囲の物体に関する判定を行う。

例えば、判定部３４４は、上述の如く、ショベル１００の周囲の監視領域内で、監視対象の物体の有無を判定しながら、監視対象の物体を検出する。

また、例えば、判定部３４４は、検出した監視対象の物体の種類を判定（特定）する、つまり、検出した監視対象の物体を予め規定される監視対象の分類リスト（以下、「監視対象リスト」）の中で分類する。監視対象リストには、上述の如く、人、トラック、他の建設機械、電柱、吊り荷、パイロン、建屋等が含まれうる。

また、例えば、判定部３４４は、ショベル１００の周囲の監視領域内で検出されている監視対象の物体の状態を判定する。具体的には、検出されている監視対象の物体が人である場合、判定部３４４は、検出されている人が"座っている"、"立っている"、及び"倒れている"等の予め規定される状態に関する分類（以下、「状態分類」）の何れに該当するかを判定してよい。また、検出されている監視対象の物体がトラックである場合、判定部３４４は、検出されているトラックの荷台の左右のサイドシートの開閉状態を判定してよい。より具体的には、判定部３４４は、トラックが"左右のサイドシートを閉じている"、"左側のサイドシートだけを開いている"、"右側のサイドシートだけを開いている"、及び"左右のサイドシートを開いている"の何れの状態分類に該当するかを判定してよい。

また、例えば、判定部３４４は、ショベル１００の周囲の監視領域内で検出されている監視対象の物体の各部位の状態を判定する。具体的には、検出されている監視対象が人である場合、判定部３４４は、人の各部位（例えば、左右の腕、左右の手のひら、左右の手の指等）の状態を判定してよい。これにより、判定装置３４は、例えば、ジェスチャ等の人の動きを認識することができる。

例えば、図４Ａ、図４Ｂに示すように、学習済みモデルＬＭは、ニューラルネットワーク（Neural Network）４０１を中心に構成される。

本例では、ニューラルネットワーク４０１は、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークである。ニューラルネットワーク４０１では、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワーク４０１が構成される。

ニューラルネットワーク４０１を対象とし、後述の如く、管理装置２００（学習部２１０３）により機械学習、具体的には、深層学習（ディープラーニング：Deep Learning）が行われ、上述の重み付けパラメータの最適化が図られる。これにより、例えば、図４Ａに示すように、ニューラルネットワーク４０１は、入力信号ｘとして、撮像装置７０の撮像画像が入力され、出力信号ｙとして、予め規定される監視対象リスト（本例では、"人"、"トラック"、・・・）に対応する物体の種類ごとの物体が存在する確率（予測確率）を出力することができる。ニューラルネットワーク４０１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。ＣＮＮは、既存の画像処理技術（畳み込み処理及びプーリング処理）を適用したニューラルネットワークである。具体的には、ＣＮＮは、撮像装置７０の撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ（特徴マップ）を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。

また、ニューラルネットワーク４０１は、入力信号ｘとして撮像装置７０の撮像画像が入力され、撮像画像における物体の位置及び大きさ（つまり、撮像画像上の物体の占有領域）及びその物体の種類を出力信号ｙとして出力可能な構成であってもよい。つまり、ニューラルネットワーク４０１は、撮像画像上の物体の検出（撮像画像上で物体の占有領域部分の判定）と、その物体の分類の判定とを行う構成であってもよい。また、この場合、出力信号ｙは、入力信号ｘとしての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。これにより、判定部３４４は、学習済みモデルＬＭ（ニューラルネットワーク４０１）から出力される、撮像装置７０の撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル１００からの相対位置（距離や方向）を特定することができる。撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）は、上部旋回体３に固定され、撮像範囲（画角）が予め規定（固定）されているからである。そして、判定部３４４は、学習済みモデルＬＭにより検出された物体の位置が監視領域内であり、且つ、監視対象リストの物体に分類されている場合、監視領域内で、監視対象の物体が検出されたと判定できる。

例えば、ニューラルネットワーク４０１は、撮像画像の中の物体が存在する占有領域（ウィンドウ）を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワーク４０１は、物体の検出と、物体の分類とを段階的に行う構成であってよい。また、例えば、ニューラルネットワーク４０１は、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類及び物体の占有領域（バウンディングボックス：Bounding box）を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワーク４０１は、物体の検出と、物体の分類とを並列的に行う構成であってもよい。

判定部３４４は、例えば、所定の制御周期ごとに、撮像画像上における物体の種類ごとの予測確率を算出する。判定部３４４は、予測確率を算出する際、今回の判定結果と前回の判定結果とが一致する場合、今回の予測確率を更に上げるようにしてもよい。例えば、前回の判定時に、撮像画像上の所定の領域に映っている物体が"人"（ｙ１）と判定される予測確率に対し、今回も継続して"人"（ｙ１）と判定された場合、今回の"人"（ｙ１）と判定される予測確率を更に高めてよい。これにより、例えば、同じ画像領域に関する物体の分類に関する判定結果が継続的に一致している場合に、予測確率が相対的に高く算出される。そのため、判定部３４４は、誤判定を抑制することができる。

また、判定部３４４は、ショベル１００の走行や旋回等の動作を考慮して、撮像画像上の物体に関する判定を行ってもよい。ショベル１００の周囲の物体が静止している場合であっても、ショベル１００の走行や旋回によって、撮像画像上の物体の位置が移動し、同じ物体として認識できなくなる可能性があるからである。例えば、ショベル１００の走行や旋回によって、今回の処理で"人"（ｙ１）と判定された画像領域と前回の処理で"人"（ｙ１）と判定された画像領域とが異なる場合がありうる。この場合、判定部３４４は、今回の処理で"人"（ｙ１）と判定された画像領域が前回の処理で"人"（ｙ１）と判定された画像領域から所定の範囲内にあれば、同一の物体とみなし、継続的な一致判定（即ち、同じ物体を継続して検出している状態の判定）を行ってよい。判定部３４４は、継続的な一致判定を行う場合、今回の判定で用いる画像領域を、前回の判定に用いた画像領域に加え、この画像領域から所定の範囲内の画像領域も含めてよい。これにより、ショベル１００が走行したり、旋回したりしたとしても、判定部３４４は、ショベル１００の周囲の同じ物体に関して継続的な一致判定を行うことができる。

また、図４Ｂに示すように、ニューラルネットワーク４０１は、入力信号ｘとして撮像装置７０の撮像画像が入力され、撮像画像上で検出されている人の各部位の状態を出力信号ｙとして出力可能な構成であってもよい。本例では、ニューラルネットワーク４０１は、右腕の状態、左腕の状態、右手のひらの状態、左手のひらの状態のそれぞれに対応する出力信号ｙ１（ｔ）～ｙ４（ｔ）が時系列的に出力される。出力信号ｙ１（ｔ）～ｙ４（ｔ）は、時刻ｔにおける出力信号ｙ１～ｙ４を表す。これにより、判定装置３４は、時刻ｔ１～ｔｎの間の複数の撮像画像から得られる出力信号ｙ１～ｙ４の変化、即ち、右腕の状態、左腕の状態、右手のひらの状態、及び左手のひらの状態の変化に基づき、撮像装置７０の撮像画像に映っている作業者のジェスチャの動きを認識することができる。このように、物体の各部位の時系列的な変化に基づき、分類テーブルに入力された物体の動作内容ごとの確率が算出される。そして、最も高い動作内容が検出されている物体の動作内容として認識される。具体的には、本例の場合、判定装置３４は、作業者の急停止を要求するジェスチャを認識することができる。

例えば、時刻ｔ１において、ニューラルネットワーク４０１は、上げられた右腕、開かれた右手のひら、上げられた左腕、及び開かれた左手のひらに対応する出力信号ｙ１（ｔ１）～ｙ４（ｔ１）を出力する。その後、時刻ｔ２において、下げられた右腕、開かれた右手のひら、下げられた左腕、及び開かれた左手のひらに対応する出力信号ｙ１（ｔ２）～ｙ４（ｔ２）を出力する。そして、時刻ｔ１，ｔ２の出力信号ｙ１～ｙ４の状態が時刻ｔｎまで繰り返されることにより、判定装置３４は、時刻ｔ１～時刻ｔｎの間におけるニューラルネットワーク４０１の出力信号ｙ１～ｙ４（即ち、判定部３４４の判定結果）に基づき、撮像装置７０の撮像画像に映っている作業者の急停止を要求するジェスチャを認識してよい。この際、"アタッチメント上げ"、"アタッチメント下げ"、"水平移動（旋回）"、"水平移動（走行）"、"クローラスピンターン"、"停止"、"急停止"、及び"解除"等の作業者の動作内容（ジェスチャの内容）ごとに、確率が算出される。そして、最も高い確率が算出された"急停止"が作業者の要求するジェスチャとして認識される。これにより、判定装置３４は、コントローラ３０に急停止を要求する信号を出力し、コントローラ３０（動作制御部３０４）は、当該信号に応じて、被駆動要素を駆動するアクチュエータの動作を停止させることができる。このように、コントローラ３０は、ショベル１００の周囲の物体の動作内容に基づきアクチュエータを制御することができる。

判定部３４４による判定結果は、例えば、表示制御部３４２を通じて、表示装置４０に表示される。

例えば、図５に示すように、表示装置４０には、メイン画面４１Ｖが表示されており、メイン画面４１Ｖの中のカメラ画像表示領域４１ｍに撮像装置７０の撮像画像が表示されている。この撮像画像は、図４Ａの入力信号ｘに対応する撮像画像である。また、メイン画面４１Ｖには、カメラ画像表示領域４１ｍの他、日時表示領域４１ａ、走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、平均燃費表示領域４１ｄ、エンジン制御状態表示領域４１ｅ、エンジン作動時間表示領域４１ｆ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、回転数モード表示領域４１ｉ、尿素水残量表示領域４１ｊ、作動油温表示領域４１ｋが含まれる。

日時表示領域４１ａは、メイン画面４１Ｖの中で、現在の日時を表示する領域である。

走行モード表示領域４１ｂは、メイン画面４１Ｖの中で、ショベル１００の現在の走行モードを表す図形を表示する領域である。

アタッチメント表示領域４１ｃは、メイン画面４１Ｖの中で、ショベル１００に現在装着されているアタッチメントの種類を模擬的に表す図形を表示する領域である。

平均燃費表示領域４１ｄは、メイン画面４１Ｖの中で、ショベル１００の現在の平均燃費を表示する領域である。平均燃費は、例えば、所定時間における燃料消費量である。

エンジン制御状態表示領域４１ｅは、メイン画面４１Ｖの中で、エンジン１１の制御状態を模擬的に表す図形を表示する領域である。

エンジン作動時間表示領域４１ｆは、メイン画面４１Ｖの中で、所定のタイミングからのエンジン１１の総作動時間を表示する領域である。

冷却水温表示領域４１ｇは、メイン画面４１Ｖの中で、現在のエンジン１１の冷却水の温度状態を表示する領域である。

燃料残量表示領域４１ｈは、メイン画面４１Ｖの中で、ショベル１００の燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。

回転数モード表示領域４１ｉは、現在のエンジン１１の設定回転数に関するモード（回転数モード）を表示する領域である。

尿素水残量表示領域４１ｊは、メイン画面４１Ｖの中で、尿素水タンクに貯蔵されている尿素水の残量状態を表示する領域である。

本例では、カメラ画像表示領域４１ｍに、撮像装置７０のうちの後方カメラ７０Ｂの撮像画像が表示されており、当該撮像画像には、ショベル１００の後方で作業を行う作業員ＰＳと、ショベル１００の後方に駐車されるトラックＴＫが映っている。

上述の如く、判定部３４４は、学習済みモデルＬＭ（ニューラルネットワーク４０１）に後方カメラ７０Ｂの撮像画像の画像データを入力することにより、学習済みモデルＬＭから出力される、撮像画像の中の物体の占有領域及びその占有領域の物体の種類を取得することができる。よって、本例では、学習済みモデルＬＭから出力される、"人"に分類される物体（作業員ＰＳ）の占有領域を取り囲む態様のボックスアイコン５０１、及び、検出（分類）された物体が人であることを表す文字情報アイコン５０２を撮像画像に重畳して表示させる。また、学習済みモデルＬＭから出力される"トラック"に分類される物体（トラックＴＫ）の占有領域を取り囲む態様のボックスアイコン５０３及び、検出（分類）された物体がトラックであることを表す文字情報アイコン５０４を撮像画像に重畳して表示させる。これにより、オペレータ等は、検出された物体を容易に認識することができると共に、検出された物体の種類を容易に認識することができる。また、表示装置４０のカメラ画像表示領域４１ｍには、判定部３４４による判定時に用いられる、上述の予測確率、具体的には、"人"が存在する予測確率や"トラック"が存在する予測確率）が併せて表示されてもよい。そして、オペレータが操作装置２６を操作する前に、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、コントローラ３０（動作制御部３０４）は、オペレータが操作レバーを操作しても、アクチュエータを動作不能、或いは、微速状態での動作に制限してもよい。具体的には、油圧パイロット式の操作装置２６の場合、コントローラ３０は、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、ゲートロック弁をロック状態にすることでアクチュエータを動作不能にすることができる。電気式の操作装置２６の場合には、コントローラ３０から操作用制御弁への信号を無効にすることで、アクチュエータを動作不能にすることができる。他の方式の操作装置２６が用いられる場合にも、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合には、同様である。アクチュエータの動作を微速にしたい場合には、コントローラ３０から操作用制御弁への制御信号を相対的に小さいパイロット圧に対応する内容に制限することで、アクチュエータの動作を微速状態にすることができる。このように、検出される物体がショベル１００の周囲の所定範囲内に存在すると判定されると、操作装置２６が操作されてもアクチュエータは駆動されない、或いは、操作装置２６への操作入力に対応する動作速度よりも低い動作速度（微速）で駆動される。更に、オペレータが操作装置２６の操作中において、ショベル１００の周囲の所定範囲内に人が存在すると判定された場合、オペレータの操作に関わらずアクチュエータの動作を停止、或いは、減速させてもよい。具体的には、操作装置２６が油圧パイロット式である場合、ショベル１００の周囲の所定範囲内に人が存在すると判定されると、コントローラ３０は、ゲートロック弁をロック状態にすることでアクチュエータを停止させる。また、コントローラ３０からの制御指令に対応するパイロット圧を出力し、コントロールバルブ内の対応する制御弁のパイロットポートにそのパイロット圧を作用させる操作用制御弁を用いる場合、コントローラ３０は、操作用制御弁への信号を無効にする、或いは、操作用制御弁に減速指令を出力することで、アクチュエータを動作不能にしたり、その動作を減速させたりすることができる。また、検出された物体がトラックの場合、アクチュエータの停止或いは減速に関する制御は実施されなくてもよい。例えば、検出されたトラックを回避するようにアクチュエータは制御されてよい。このように、検出された物体の種類が認識され、その認識に基づきアクチュエータは制御される。

尚、撮像装置７０の撮像画像は、表示装置４０の表示領域全体に表示されてもよい。また、表示装置４０には、上述した撮像装置７０の撮像画像に基づく変換画像（例えば、上述の合成視点変換画像）が表示されてもよく、この場合、変換画像上の物体の占有領域に相当する部分にボックスアイコンや文字情報アイコンが重畳して表示されてよい。また、ショベル１００が遠隔操作される場合、図５と同様の内容は、管理装置２００の表示装置（例えば、表示装置２３０）に表示されてよい。

記憶部３４６には、学習済みモデルＬＭが保存されている。記憶部３４６の学習済みモデルＬＭは、通信機器９０により管理装置２００から更新版の学習済みモデル、つまり、後述の如く、追加学習がなされた学習済みモデル（以下、「追加学習済みモデル」）が受信された場合、受信された追加学習済みモデルに更新される。これにより、判定部３４４は、管理装置２００で追加学習がなされた追加学習済みモデルを利用することができるため、学習済みモデルの更新に応じて、ショベル１００の周囲の物体に関する判定精度を向上させることができる。

＜管理装置の構成＞
管理装置２００は、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０を含む。

制御装置２１０は、管理装置２００の各種動作を制御する。制御装置２１０は、例えば、ＲＯＭや不揮発性の補助記憶装置に格納される一以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、判定部２１０１と、教師データ生成部２１０２と、学習部２１０３を含む。また、制御装置２１０は、例えば、補助記憶装置等の不揮発性の内部メモリ等に規定される記憶領域としての記憶部２１０４，２１０５を含む。

通信機器２２０は、通信ネットワークに接続し、複数のショベル１００等の外部との通信を行う任意のデバイスである。

表示装置２３０は、例えば、液晶ディスプレイや有機ＥＬディスプレイであり、制御装置２１０の制御下で、各種情報画像を表示する。

入力装置２４０は、ユーザからの操作入力を受け付ける。入力装置２４０は、例えば、液晶ディスプレイや有機ＥＬディスプレイの上に実装されるタッチパネルを含む。また、入力装置２４０は、タッチパッド、キーボード、マウス、トラックボール等を含んでもよい。入力装置２４０の操作状態に関する情報は、制御装置２１０に取り込まれる。

判定部２１０１は、記憶部２１０５に格納される、学習部２１０３により機械学習が行われた学習済みモデルＬＭを用いて、複数のショベル１００から受信された撮像画像ＩＭ１、即ち、記憶部２１０４から読み出される撮像画像ＩＭ１（経路２１０１Ａ）に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部２１０１は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロード（経路２１０１Ｂ）し、ＣＰＵに実行させることにより、記憶部２１０４から読み出される撮像画像ＩＭ１に基づき、ショベル１００の周囲の物体に関する判定を行う。より具体的には、判定部２１０１は、記憶部２１０４に格納される複数の撮像画像ＩＭ１を学習済みモデルＬＭに順次入力し、ショベル１００の周囲の物体に関する判定を行う。判定部２１０１の判定結果２１０１Ｄは、教師データ生成部２１０２に入力される。このとき、判定結果２１０１Ｄは、撮像画像ＩＭ１ごとに、順次、教師データ生成部２１０２に入力されてもよいし、例えば、リスト化等によりまとめられた上で、教師データ生成部２１０２に入力されてもよい。

教師データ生成部２１０２（教師情報生成部の一例）は、複数のショベル１００から受信された複数の撮像画像ＩＭ１に基づき、学習部２１０３が学習モデルを機械学習させるための教師データ（教師情報の一例）を生成する。教師データは、任意の撮像画像ＩＭ１と、当該撮像画像ＩＭ１を学習モデルの入力としたときの学習モデルが出力すべき正解との組み合わせを表す。また、学習モデルは、機械学習の対象であり、当然の如く、学習済みモデルＬＭと同様の構成、例えば、上述のニューラルネットワーク４０１を中心として構成される。

例えば、教師データ生成部２１０２は、複数のショベル１００から受信された撮像画像ＩＭ１を記憶部２１０４から読み出し（経路２１０２Ａ）、表示装置４０に表示させると共に、管理装置２００の管理者や作業者等が教師データを作成するためのＧＵＩ（Graphical User Interface）（以下、「教師データ作成用ＧＵＩ」）を表示させる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、それぞれの撮像画像ＩＭ１に対応する正解を指示することにより、学習モデルのアルゴリズムに沿った形式の教師データを作成する。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１を対象とする管理者や作業者等による操作（作業）に応じて、複数の教師データ（教師データセット）を生成することができる。

また、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。

例えば、教師データ生成部２１０２は、記憶部２１０４から複数の撮像画像ＩＭ１を読み出し（経路２１０２Ａ）、それぞれの撮像画像ＩＭ１と、当該撮像画像ＩＭ１に対応する判定部２１０１の判定結果（出力結果）２１０１Ｄとを表示装置２３０に並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像ＩＭ１と対応する判定結果との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定に対応する組み合わせの撮像画像ＩＭ１、即ち、学習済みモデルＬＭに誤判定をさせてしまった撮像画像ＩＭ１と、当該撮像画像ＩＭ１を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像ＩＭ１を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。

つまり、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１から最初の学習済みモデルＬＭを生成するための教師データを生成する。そして、教師データ生成部２１０２は、所定のタイミング（以下、「追加学習タイミング」）ごとに、直近の学習済みモデルＬＭが複数のショベル１００に実装された後に複数のショベル１００から受信された撮像画像ＩＭ１の中から選択される、学習済みモデルＬＭが誤判定をしてしまう撮像画像ＩＭ１から追加学習用の教師データを生成する。

尚、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１の一部は、学習済みモデルＬＭの検証用データセットのベースとして利用されてもよい。つまり、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１は、教師データ生成用の撮像画像ＩＭ１と検証用データセット生成用の撮像画像ＩＭ１とに振り分けられてもよい。

追加学習タイミングは、定期的に規定されるタイミング、例えば、前回の機械学習（追加学習）から１ヶ月が経過したときであってよい。また、追加学習のタイミングは、例えば、撮像画像ＩＭ１の枚数が所定閾値を超えたとき、つまり、学習部２１０３による追加学習が行われるのに必要な枚数の撮像画像ＩＭ１が収集されたタイミングであってもよい。

学習部２１０３は、教師データ生成部２１０２により生成される教師データ２１０２Ｂ（教師データセット）に基づき、学習モデルに機械学習を行わせ、学習済みモデルＬＭを生成する。そして、生成された学習済みモデルＬＭは、予め準備される検証用データセットを用いて、精度検証が実施された上で、記憶部２１０５に格納される（経路２１０３Ｂ）。

また、学習部２１０３は、教師データ生成部２１０２により生成される教師データ（教師データセット）に基づき、記憶部２１０５から読み出した学習済みモデルＬＭ（経路２１０３Ａ）に追加学習を行わせることにより追加学習済みモデルを生成する。そして、追加学習済みモデルは、予め準備される検証用データセットを用いて、精度検証が実施された上で、記憶部２１０５の学習済みモデルＬＭは、精度検証が実施された追加学習済みモデルで更新される（経路２１０３Ｂ）。

例えば、上述の如く、学習モデルがニューラルネットワーク４０１を中心として構成される場合、学習部２１０３は、誤差逆伝搬法（バックプロパゲーション）等の既知のアルゴリズムを適用することにより、学習モデルの出力と教師データとの誤差が小さくなるように、重み付けパラメータの最適化を行い、学習済みモデルＬＭを生成する。追加学習済みモデルの生成についても同様である。

尚、学習モデルから生成される最初の学習済みモデルＬＭは、管理装置２００とは異なる外部装置で生成されてもよい。この場合、教師データ生成部２１０２は、追加学習用の教師データだけを生成し、学習部２１０３は、追加学習済みモデルの生成だけを行う構成であってよい。

記憶部２１０４には、通信機器２２０を通じて、複数のショベル１００のそれぞれから受信される撮像画像ＩＭ１が格納（保存）される。

尚、教師データ生成部２１０２による教師データの生成に利用済みの撮像画像ＩＭ１は、記憶部２１０４とは別の記憶装置に保存されてもよい。

記憶部２１０５には、学習済みモデルＬＭが格納（保存）される。学習部２１０３により生成される追加学習済みモデルで更新された学習済みモデルＬＭは、所定のタイミング（以下、「モデル送信タイミング」）で、通信機器２２０（モデル送信部の一例）を通じて、複数のショベル１００のそれぞれに送信される。これにより、複数のショベル１００の間で、更新された同じ学習済みモデルＬＭ、つまり、追加学習済みモデルを共有化させることができる。

モデル送信タイミングは、記憶部２１０５の学習済みモデルＬＭが更新されたとき、つまり、学習済みモデルＬＭの更新後のすぐのタイミング、或いは、更新後に所定時間が経過したタイミング等であってよい。また、モデル送信タイミングは、例えば、学習済みモデルＬＭの更新後に、通信機器２２０を通じて、複数のショベル１００に送信される、学習済みモデルＬＭの更新のお知らせに対する確認の返信が通信機器２２０により受信されたときであってもよい。

［ショベル支援システムの具体的な動作］
次に、図６を参照して、ショベル支援システムＳＹＳの具体的な動作について説明する。

図６は、ショベル支援システムＳＹＳの動作の一例を示すシーケンス図である。

ステップＳ１０にて、複数のショベル１００の通信機器９０は、それぞれの画像送信タイミングで、管理装置２００に撮像画像ＩＭ１を送信する。これにより、管理装置２００は、通信機器２２０を通じて、複数のショベル１００のそれぞれからの撮像画像ＩＭ１を受信し、記憶部２１０４に蓄積的に格納する。

ステップＳ１２にて、管理装置２００の判定部２１０１は、複数のショベル１００から受信され、記憶部２１０４に格納された複数の撮像画像ＩＭ１を学習済みモデルＬＭに入力し、判定処理を行う。

ステップＳ１４にて、管理装置２００の管理者や作業者等は、学習済みモデルＬＭによる判定結果を検証し、入力装置２４０を通じて、複数の撮像画像ＩＭの中から学習済みモデルＬＭで誤判定がなされた撮像画像ＩＭを指定（選択）する。

ステップＳ１６にて、管理装置２００の教師データ生成部２１０２は、管理者や作業者等による入力装置２４０を通じた教師データ作成用ＧＵＩの操作に応じて、追加学習用の教師データセットを生成する。

ステップＳ１８にて、管理装置２００の学習部２１０３は、追加学習用の教師データセットを用いて、学習済みモデルＬＭの追加学習を行い、追加学習済みモデルを生成し、記憶部２１０４の学習済みモデルＬＭを追加学習済みモデルで更新させる。

ステップＳ２０にて、管理装置２００の通信機器２２０は、更新版の学習済みモデルＬＭを複数のショベル１００のそれぞれに送信する。

尚、更新版の学習済みモデルＬＭがショベル１００に送信されるタイミング（モデル送信タイミング）は、上述の如く、複数のショベル１００ごとに異なっていてもよい。

ステップＳ２２にて、複数のショベル１００は、それぞれ、記憶部３４６の学習済みモデルＬＭを管理装置２００から受信された更新版の学習済みモデルに更新する。

［ショベル支援システムの構成の他の例］
次に、図７を参照して、本実施形態に係るショベル支援システムＳＹＳの構成の他の例について説明する。

図７は、本実施形態に係るショベル支援システムＳＹＳの機能的な構成の他の例を示す機能ブロック図である。以下、本例では、上述の一例（図３）とは異なる部分を中心に説明する。

＜ショベルの構成＞
ショベル１００は、制御システムに関する構成として、上述の一例と同様、記録装置３２と、判定装置３４等を含み、記録装置３２は、上述の一例と同様、記録制御部３２２と、記憶部３２４を含む。

記録制御部３２２は、上述の一例と同様、所定の記録タイミングで、撮像装置７０（前方カメラ７０Ｆ、後方カメラ７０Ｂ、左方カメラ７０Ｌ、及び右方カメラ７０Ｒ）の撮像画像を記憶部３２４に記録する。このとき、記録制御部３２２は、記録対象の撮像画像に基づく判定部３４４、つまり、学習済みモデルＬＭの判定結果を併せて記録する。本例では、記録制御部３２２は、判定結果に関する情報（判定情報）をタグ情報等として含む撮像画像（以下、「判定情報付き撮像画像」）ＩＭ２を記憶部３２４に記録する。

尚、撮像画像と判定情報とは別のファイルとして記録されてもよく、この場合、記憶部３２４において、撮像画像と判定情報との対応付けがなされるとよい。

記憶部３２４には、ショベル１００の起動後の初期処理の完了後からショベル１００の停止までの間において、記録制御部３２２による制御下で、上述の如く、判定情報付き撮像画像ＩＭ２が記録される。記憶部３２４に記録された一又は複数の判定情報付き撮像画像ＩＭ２は、所定の画像送信タイミングで、通信機器９０を通じて、管理装置２００に送信される。

＜管理装置の構成＞
管理装置２００は、上述の一例と同様、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０を含み、制御装置２１０は、教師データ生成部２１０２と、学習部２１０３と、記憶部２１０４，２１０５を含む。つまり、本例では、図３の一例と異なり、判定部２１０１が省略される。

教師データ生成部２１０２は、通信機器２２０を通じて複数のショベル１００から受信され、記憶部２１０４に格納された複数の判定情報付き撮像画像ＩＭ２に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。

例えば、教師データ生成部２１０２は、判定情報付き撮像画像ＩＭ２に含まれる撮像画像と判定情報とを並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像と対応する判定情報（判定結果）との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定の組み合わせに対応する撮像画像と、当該撮像画像を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。また、本例では、管理装置２００側で、複数のショベル１００から受信された複数の撮像画像を学習済みモデルＬＭに入力し、判定結果を得る処理を行う必要がなく、追加学習に係る処理効率を向上させることができる。

［ショベル支援システムの構成の更に他の例］
次に、図８を参照して、本実施形態に係るショベル支援システムＳＹＳの構成の更に他の例について説明する。

図８は、本実施形態に係るショベル支援システムＳＹＳの機能的な構成の更に他の例を示す機能ブロック図である。以下、本例では、上述の一例（図３）とは異なる部分を中心に説明する。

＜管理装置の構成＞
管理装置２００は、制御装置２１０と、通信機器２２０と、表示装置２３０と、入力装置２４０と、コンピュータグラフィクス生成装置２５０（以下、「ＣＧ（Computer Graphics）画像生成装置」）２５０を含む。

ＣＧ画像生成装置２５０は、管理装置２００の作業者等による操作に応じて、作業現場におけるショベル１００の周囲の様子を表すコンピュータグラフィクス（以下、「ＣＧ画像」）ＩＭ３を生成する。例えば、ＣＧ画像生成装置２５０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成され、作業者等がＣＧ画像ＩＭ３を作成可能なアプリケーションソフトウェアが予めインストールされる。そして、作業者等は、所定の入力装置を通じて、ＣＧ画像生成装置２５０の表示画面上で、ＣＧ画像ＩＭ３を作成する。これにより、ＣＧ画像生成装置２５０は、管理装置２００の作業者等による作業（操作）に応じて、作業現場におけるショベル１００の周囲の様子を表すＣＧ画像ＩＭ３を生成することができる。また、ＣＧ画像生成装置２５０は、実際のショベル１００の周囲の撮像画像（例えば、撮像画像ＩＭ１）を基に、撮像画像に対応する気象条件、日照条件とは異なる気象条件、日照条件における作業環境等に対応するＣＧ画像ＩＭ３を生成することもできる。ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３は、制御装置２１０に取り込まれる。

尚、ＣＧ画像ＩＭ３は、管理装置２００の外部で生成（作成）されてもよい。

制御装置２１０は、上述の一例と同様、判定部２１０１と、教師データ生成部２１０２と、学習部２１０３と、記憶部２１０４，２１０５を含む。

判定部２１０１は、記憶部２１０５に格納される、学習部２１０３により機械学習が行われた学習済みモデルＬＭを用いて、記憶部２１０４から読み出される複数の撮像画像ＩＭ１（経路２１０１Ａ）及びＣＧ画像ＩＭ３（経路２１０１Ｃ）に基づき、ショベル１００の周囲の物体に関する判定を行う。具体的には、判定部２１０１は、記憶部３４６から学習済みモデルＬＭをＲＡＭ等の主記憶装置にロード（経路２１０１Ｂ）し、ＣＰＵに実行させることにより、記憶部２１０４から読み出される撮像画像ＩＭ１及びＣＧ画像ＩＭ３に基づき、ショベル１００の周囲の物体に関する判定を行う。より具体的には、判定部２１０１は、記憶部２１０４に格納される複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を学習済みモデルＬＭに順次入力し、ショベル１００の周囲の物体に関する判定を行う。判定部２１０１の判定結果２１０１Ｄは、教師データ生成部２１０２に入力される。このとき、判定結果２１０１Ｄは、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３ごとに、順次、教師データ生成部２１０２に入力されてもよいし、例えば、リスト化等によりまとめられた上で、教師データ生成部２１０２に入力されてもよい。

教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成された（記憶部２１０４に格納された）ＣＧ画像ＩＭ３に基づき、学習部２１０３が学習モデルを機械学習させるための教師データを生成する。

例えば、教師データ生成部２１０２は、複数のショベル１００から受信された撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成されたＣＧ画像ＩＭ３を記憶部２１０４から読み出し（経路２１０２Ａ，２１０２Ｃ）、表示装置４０に表示させると共に、教師データ作成用ＧＵＩを表示させる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、それぞれの撮像画像ＩＭ１或いはＣＧ画像ＩＭ３に対応する正解を指示することにより、学習モデルのアルゴリズムに沿った形式の教師データを作成する。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を対象とする管理者や作業者等による操作（作業）に応じて、複数の教師データ（教師データセット）を生成することができる。

また、教師データ生成部２１０２は、複数のショベル１００から受信された複数の撮像画像ＩＭ１及びＣＧ画像生成装置２５０で生成された（記憶部２１０４に格納された）ＣＧ画像ＩＭ３に基づき、学習部２１０３が学習済みモデルＬＭを追加学習させるための教師データを生成する。

教師データ生成部２１０２は、記憶部２１０４から複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３を読み出し（経路２１０２Ａ，２１０２Ｃ）、それぞれの撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と、当該撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と対応する判定部２１０１（学習済みモデルＬＭ）の判定結果（出力結果）とを表示装置２３０に並べて表示させる。これにより、管理装置２００の管理者や操作者等は、入力装置２４０を通じて、表示装置２３０に表示される撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と対応する学習済みモデルＬＭの判定結果との組み合わせの中から誤判定に対応する組み合わせを選択することができる。そして、管理者や作業者等は、入力装置２４０を用いて、教師データ作成用ＧＵＩを操作し、誤判定の組み合わせに対応する撮像画像ＩＭ１或いはＣＧ画像ＩＭ３と、当該撮像画像ＩＭ１或いはＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の教師データを作成することができる。換言すれば、教師データ生成部２１０２は、複数の撮像画像ＩＭ１及びＣＧ画像ＩＭ３の中から選択された、学習済みモデルＬＭでの誤判定に対応する撮像画像ＩＭ１及びＣＧ画像ＩＭ３の少なくとも一方を対象とする管理者や作業者等による操作（作業）に応じて、追加学習用の複数の教師データ（教師データセット）を生成することができる。これにより、複数のショベル１００から収集される撮像画像ＩＭ１の他、ＣＧ画像ＩＭ３を利用して教師データを生成できるため、教師データの充実化を図ることができる。特に、ＣＧ画像ＩＭ３では、仮想的に、多様な作業現場の状況、つまり、多様な環境条件を自在に作り込むことが可能である。そのため、ＣＧ画像ＩＭ３を利用して教師データセットが生成されることにより、学習済みモデルＬＭは、より早いタイミングで、多様な作業現場に対応した相対的に高い判定精度を実現することができる。

尚、ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３は、人為的に作成されることから、ＣＧ画像ＩＭ３における人、トラック、パイロン、電柱等の監視対象の有無やその位置等は、既知である、つまり、ＣＧ画像ＩＭ３を入力としたときの学習済みモデルＬＭが出力すべき正解は、既知である。そのため、ＣＧ画像生成装置２５０は、ＣＧ画像ＩＭ３と共に、ＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解関するデータ（以下、「正解データ」）を制御装置２１０に出力可能である。よって、制御装置２１０（教師データ生成部２１０２）は、ＣＧ画像生成装置２５０から入力される正解データに基づき、ＣＧ画像ＩＭ３を入力とする学習済みモデルＬＭ（判定部２１０１）による判定処理での誤判定を自動で抽出し、抽出した誤判定に対応するＣＧ画像ＩＭ３と、ＣＧ画像ＩＭ３を入力としたときに学習済みモデルＬＭが出力すべき正解との組み合わせを表す追加学習用の複数の教師データ（教師データセット）を自動で生成することができる。そして、学習部２１０３は、教師データ生成部２１０２により自動で生成される教師データに基づき、学習済みモデルＬＭの追加学習、例えば、上述の差逆伝搬法（バックプロパゲーション）等を行うことができる。つまり、制御装置２１０は、ＣＧ画像生成装置２５０により生成されるＣＧ画像ＩＭ３及び正解データに基づき、追加学習済みモデルを自動で生成することもできる。

［作用］
次に、上述した本実施形態に係るショベル支援システムＳＹＳの作用について説明する。

本実施形態では、撮像装置７０は、自己が搭載されるショベル１００（以下、「自ショベル」）の周囲の撮像画像を取得する。また、判定部３４４は、機械学習が行われた学習済みモデルＬＭを用いて、撮像装置７０により取得される撮像画像ＩＭ１に基づき、自ショベルの周囲の物体に関する判定を行う。そして、学習済みモデルＬＭは、取得された環境情報、具体的には、自ショベル及び他のショベル１００（以下、「他ショベル」）で取得される撮像装置７０の撮像画像から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新され、判定部３４４は、学習済みモデルＬＭが更新された場合、更新された学習済みモデルＬＭを用いて、撮像装置７０により取得される撮像画像に基づき、上記判定を行う。

具体的には、管理装置２００の教師データ生成部２１０２は、ショベル１００から受信される、ショベル１００で取得された撮像画像ＩＭ１に基づき、教師データを生成する。また、管理装置２００の学習部２１０３は、教師データ生成部２１０２により生成された教師データに基づき、ショベル１００で周囲の物体に関する判定に用いられている学習済みモデルと同一の学習済みモデル（つまり、学習済みモデルＬＭ）に追加学習を行わせ、追加学習済みモデルを生成する。そして、管理装置２００の通信機器２２０は、学習部２１０３により追加学習が行われた追加学習済みモデルをショベル１００に送信し、ショベル１００の学習済みモデルＬＭを追加学習済みモデルで更新させる。

これにより、ショベル１００の学習済みモデルＬＭは、自ショベルや他ショベルによって多様な環境下で取得される撮像装置７０の撮像画像から生成される教師データで追加学習が行われた追加学習済みモデルで更新される。よって、ショベル１００は、ショベル１００の周囲の環境情報（撮像装置７０の撮像画像）に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることができる。

尚、教師データの元になる周囲の撮像画像を取得するショベル１００（第２のショベルの一例）と、学習済みモデルＬＭを用いて、撮像画像に基づき、周囲の物体に関する判定を行うショベル１００（第１のショベルの一例）とは、別であってもよい。この場合、前者のショベル１００の撮像装置７０（第２の環境情報取得部の一例）は、教師データを生成するためのショベル１００の周囲の撮像画像を取得し、後者のショベル１００の撮像装置７０（第１の環境情報取得部の一例）は、周囲の物体に関する判定を行うためのショベル１００の周囲の撮像画像を取得する。また、例えば、管理装置２００は、物体に関する判定機能を有さないショベル１００とは異なる一又は複数のショベル（第２のショベル一例）から周囲の撮像画像を収集して、学習済みモデルＬＭの生成及び更新を行い、学習済みモデルＬＭをショベル１００（第１のショベルの一例）に送信する構成であってもよい。つまり、ショベル１００（判定部３４４）によりショベル１００の周囲の物体に関する判定に用いられる学習済みモデルＬＭは、自ショベル及び自ショベルとは異なる他ショベルのうちの少なくとも一方で取得される環境情報（具体的には、周囲の撮像画像）から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新されてよい。

また、本実施形態では、自ショベルを含む複数のショベル１００は、それぞれ、同一の学習済みモデルＬＭを有すると共に、当該学習済みモデルＬＭを用いて、周囲の物体に関する判定を行う。つまり、学習済みモデルＬＭを用いて、周囲の環境情報（撮像装置７０の撮像画像）に基づき、周囲の物体に関する判定を行うショベル１００（第１のショベルの一例）は、複数ある。そして、複数のショベル１００のそれぞれが有する学習済みモデルＬＭは、管理装置２００で生成される同じ追加学習済みモデルに更新されてよい。

これにより、複数のショベル１００において、一様に、多様な環境条件下での相対的に高い判定精度を実現できる。

また、本実施形態では、学習済みモデルＬＭは、複数のショベル１００で取得される周囲の撮像画像から生成される教師データに基づき追加学習が行われた追加学習済みモデルに更新されてよい。つまり、教師データを生成するための周囲の環境情報（撮像装置７０の撮像画像）を取得するショベル１００（第２のショベルの一例）は、複数ある。

これにより、複数のショベル１００からの撮像画像を利用できるため、より多様な環境に対応した教師データが準備されうる。よって、ショベル１００は、ショベル１００の周囲の環境情報（撮像装置７０の撮像画像）に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を更に向上させることができる。

尚、学習済みモデルＬＭは、一台のショベル１００で取得される周囲の撮像画像から生成される教師データに基づき追加学習が行われた追加学習済みモデルに更新されてもよい。つまり、教師データを生成するための周囲の環境情報（撮像装置７０の撮像画像）を取得するショベル１００（第２のショベルの一例）は、一台であってもよい。

また、本実施形態では、記録制御部３２２は、所定の記録タイミングで、撮像装置７０により取得される環境情報としての撮像画像を記録する。そして、ショベル１００の学習済みモデルＬＭは、管理装置２００において、記録制御部３２２により記録された撮像画像から生成される教師データに基づき追加学習が行われた、追加学習済みモデルに更新される。

これにより、教師データに利用するのに適切な品質の撮像画像（例えば、追加学習に適用すべき、誤判定が生じ易い動作条件での撮像画像や具体的に誤判定が発生している可能性があるときの撮像画像等）を選択的に記録することができる。よって、学習済みモデルＬＭの過学習等を抑制し、ショベル１００の周囲の物体に関する判定精度を更に向上させることができる。

また、本実施形態では、所定の記録タイミングは、自ショベルの旋回動作時又は走行動作時であってよい。

これにより、追加学習に適用すべき誤判定が生じ易い動作条件としてのショベル１００の旋回動作時や走行動作時の撮像画像を具体的に記録することができる。

また、本実施形態では、判定部３４４は、自ショベルの周囲の物体の検出に関する判定を行う。そして、所定の記録タイミングは、判定部３４４が自ショベルの周囲の物体を検出したと判定したときであってよい。

これにより、ショベル１００の周囲の物体の検出に関する誤判定、つまり、誤検出が発生している可能性がある時点の撮像画像を記録することができる。

［変形・改良］
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲の要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述した実施形態では、学習済みモデルＬＭに対する入力情報としてのショベル１００の周囲の環境情報は、撮像装置７０の撮像画像であるが、当該態様には限定されない。具体的には、学習済みモデルＬＭに対する入力情報は、例えば、ショベル１００に搭載されるＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、距離画像センサ等の任意の空間認識センサ（環境情報取得部の一例）からの出力情報（距離画像データや反射波のスペクトルデータ等）であってもよい。この場合、管理装置２００は、複数のショベル１００から受信される、空間認識センサの出力情報から生成した教師データに基づき、学習モデルの機械学習や学習済みモデルＬＭの追加学習を行う。

また、上述した実施形態及び変形例では、一つの学習済みモデルＬＭが生成されると共に、一つの学習済みモデルＬＭで、ショベル１００の周囲の物体に関する判定が行われるが、当該態様には限定されない。具体的には、ショベル１００の周囲の予め規定される複数の環境条件ごとの学習済みモデルが生成されると共に、ショベル１００の周囲の環境条件に合わせた学習済みモデルが選択された上で、選択された学習済みモデルで、ショベル１００の周囲の物体に関する判定が行われてもよい。このとき、ショベル１００の周囲の環境条件には、例えば、雨、晴れ、曇り等の天候条件や、撮像画像に映り込む背景の種別（例えば、住宅が映り込む住宅街、森林が映り込む山間地等の地理的な条件や、舗装の有無等の条件）等が含まれうる。これにより、学習済みモデルは、それぞれの環境条件に合わせて、追加学習がなされるため、ショベル１００は、環境条件ごとの判定精度を向上させることができる。

また、上述した実施形態及び変形例では、ニューラルネットワークを中心とする機械学習の手法が適用された学習済みモデルＬＭが生成されるが、ニューラルネットワークに代えて、或いは、加えて、他の機械学習の手法が適用されてもよい。

例えば、図９は、学習済みモデルＬＭによる判定処理の他の例を示す概念図である。具体的には、図９は、機械学習の手法として、サポートベクターマシーン（Support Vector Machine：ＳＶＭ）を適用した場合の物体に関する判定方法を概念的に示す図である。

図９に示すように、二次元平面上に、ショベル１００で取得される、ショベル１００の周囲の環境情報（例えば、撮像装置７０の撮像画像）から抽出された所定の特徴量の二次元のベクトル情報（以下、「特徴量ベクトル」）が教師データとしてプロットされている。

例えば、特徴量ベクトル群９０２（図中の白丸のプロット群）及び特徴量ベクトル群９０３（図中の黒丸のプロット群）は、それぞれ、物体が存在しない場合及び存在する場合の環境情報に対応していると仮定する。すると、ＳＶＭの手法により、教師データとしての特徴量ベクトル群９０２及び黒丸でプロットされる特徴量ベクトル群９０３との間に、分離直線９０１を規定することができる。よって、分離直線９０１を用いることにより、ショベル１００で取得された環境情報から特徴量ベクトルを算出し、算出された特徴量ベクトルが分離直線９０１から見て、特徴量ベクトル群９０２側にあるのか、特徴量ベクトル群９０３側にあるのかによって、物体の存在の有無に関する判定、つまり、物体検出を行うことができる。例えば、特徴量ベクトル９０４は、分離直線９０１から見て、特徴量ベクトル群９０３側にあるため、ショベル１００で取得された環境情報から物体の存在を認識し、物体を検出することができる。同様の方法で、検出した物体の分類（特定の種類の物体であるか、それ以外の種類の物体であるかの分類）も可能である。

具体的には、特徴量ベクトルとして、例えば、撮像装置７０の撮像画像のＨＯＧ（Histogram of Oriented Gradients）特徴量やＬＢＰ（Local Binary Pattern）特徴量等の画像特徴量が用いられる。また、特徴量ベクトルは、通常、三次元を超える多次元空間上で特定されるため、特徴量ベクトルに対応する多次元空間を物体の存在の有無や、特定の種類の物体（例えば、"人"）とそれ以外の種類の物体とに分類する場合、ＳＶＭの手法により、分離超平面が規定される。

このように、ＳＶＭの手法を適用することにより、管理装置２００は、複数のショベル１００から収集される複数の環境情報から教師データとしての特徴量ベクトルを生成し、教師データに基づき、学習済みモデルＬＭに対応する分離超平面を規定することができる。そして、管理装置２００は、分離超平面の規定後、更に、複数のショベル１００から収集された環境情報から追加の教師データとしての特徴量ベクトルを生成し、従来の教師データと追加の教師データとに基づき、分離超平面を更新させてよい。これにより、上述の実施形態と同様、ショベル１００は、ショベル１００の周囲の環境情報に基づき、ショベル１００の周囲の物体に関する判定を行う場合の多様な環境条件下での判定精度を向上させることができる。

また、ニューラルネットワークやＳＶＭの他、他の機械学習の手法、例えば、ランダムフォレスト等の決定木による手法、最近傍法、単純ベイズ分類器等の既知の手法が適用されうる。

また、上述した実施形態及び変形例では、ショベル１００が学習済みモデルＬＭを用いて周囲の物体に関する判定を行うが、他の建設機械が学習済みモデルＬＭを用いて周囲の物体に関する判定を行ってもよい。即ち、上述した実施形態に係るショベル支援システムＳＹＳは、ショベル１００に代えて、或いは、加えて、ブルドーザ、ホイールローダ、アスファルトフィニッシャ等の道路機械や、ハーベスタ等を備える林業機械等の他の建設機械を含む態様であってもよい。

最後に、本願は、２０１８年１０月３１日に出願した日本国特許出願２０１８－２０５９０６号に基づく優先権を主張するものであり、日本国特許出願の全内容を本願に参照により援用する。

３０ コントローラ
３２ 記録装置
３４ 判定装置
４０ 表示装置
７０ 撮像装置（環境情報取得部、第１の環境情報取得部、第２の環境情報取得部）
９０ 通信機器（環境情報送信部）
１００ ショベル（第１のショベル、第２のショベル）
２００ 管理装置（外部装置）
２１０ 制御装置
２２０ 通信機器（モデル送信部）
２３０ 表示装置
２４０ 入力装置
２５０ コンピュータグラフィクス生成装置
３０２ 報知部
３０４ 動作制御部（制御部）
３２２ 記録制御部（記録部）
３２４ 記憶部
３４２ 表示制御部
３４４ 判定部
３４６ 記憶部
２１０１ 判定部
２１０２ 教師データ生成部（教師情報生成部）
２１０３ 学習部
２１０４，２１０５ 記憶部
ＩＭ１ 撮像画像
ＩＭ２ 判定情報付き撮像画像
ＩＭ３ コンピュータグラフィクス
ＬＭ 学習済みモデル
ＳＹＳ ショベル支援システム

Claims (12)

1. ショベルの周囲の作業現場の環境情報を取得する環境情報取得部と、
   機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
   前記学習済みモデルは、取得された作業現場の環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
   前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行い、
   自ショベルを含む複数のショベルは、同一の前記学習済みモデルを有すると共に、前記学習済みモデルを用いて、前記判定を行い、
   前記複数のショベルのそれぞれが有する前記学習済みモデルは、前記追加学習済みモデルに更新される、
   ショベル。
2. ショベルの周囲の作業現場の環境情報を取得する環境情報取得部と、
   機械学習が行われた学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、ショベルの周囲の物体に関する判定を行う判定部と、を備え、
   前記学習済みモデルは、取得された作業現場の環境情報から生成される教師情報に基づき追加学習が行われた、追加学習済みモデルに更新され、
   前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記環境情報取得部により取得される環境情報に基づき、前記判定を行い、
   前記学習済みモデルは、複数のショベルで取得される周囲の作業現場の環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
   ショベル。
3. 前記学習済みモデルは、自ショベル及び自ショベルとは異なる他ショベルのうちの少なくとも一方で取得される作業現場の環境情報から生成される前記教師情報に基づき前記追加学習が行われた、前記追加学習済みモデルに更新される、
   請求項１又は２に記載のショベル。
4. 前記学習済みモデルは、人工的に生成される作業現場の環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
   請求項１又は２に記載のショベル。
5. 自ショベルの旋回動作時又は走行動作時に、前記環境情報取得部により取得される環境情報を記録する記録部を更に備え、
   前記学習済みモデルは、前記記録部により記録された環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
   請求項１又は２に記載のショベル。
6. 記録部を更に備え、
   前記判定部は、自ショベルの周囲の物体の検出に関する前記判定を行い、
   前記記録部は、前記判定部が自ショベルの周囲の物体を検出したと判定したときに、前記環境情報取得部により取得される環境情報を記録し、
   前記学習済みモデルは、前記記録部により記録された環境情報から生成される前記教師情報に基づき前記追加学習が行われた前記追加学習済みモデルに更新される、
   請求項１又は２に記載のショベル。
7. アクチュエータと、
   前記判定に基づき、前記アクチュエータを制御する制御部と、を更に備える、
   請求項１又は２に記載のショベル。
8. 操作装置と、
   前記操作装置に対する操作に基づき、駆動されるアクチュエータと、を備え、
   前記判定に基づき、前記物体が自ショベルの周囲の所定範囲内に存在すると判定されると、前記操作装置が操作されても前記アクチュエータは駆動されない、
   請求項１又は２に記載のショベル。
9. 第１のショベルと、第２のショベルと、前記第１のショベル及び前記第２のショベルと通信可能な外部装置と、を含むショベル支援システムであって、
   前記第１のショベルに設けられ、前記第１のショベルの周囲の環境情報を取得する第１の環境情報取得部と、
   前記第１のショベルに設けられ、機械学習が行われた学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記第１のショベルの周囲の物体に関する判定を行う判定部と、
   前記第２のショベルに設けられ、前記第２のショベルの周囲の環境情報を取得する第２の環境情報取得部と、
   前記第２のショベルに設けられ、前記第２の環境情報取得部により取得される環境情報を記録する記録部と、
   前記第２のショベルに設けられ、前記記録部により記録される環境情報を前記外部装置に送信する環境情報送信部と、
   前記外部装置に設けられ、前記第２のショベルから受信される、前記第２のショベルで取得された環境情報に基づき、教師情報を生成する教師情報生成部と、
   前記外部装置に設けられ、前記教師情報生成部により生成された教師情報に基づき、前記第１のショベルで前記判定に用いられている前記学習済みモデルと同一の学習済みモデルに追加学習を行わせ、追加学習済みモデルを生成する学習部と、
   前記外部装置に設けられ、前記学習部により追加学習が行われた前記追加学習済みモデルを前記第１のショベルに送信するモデル送信部と、を備え、
   前記学習済みモデルは、前記第１のショベルにおいて、前記外部装置から受信される前記追加学習済みモデルに更新され、
   前記判定部は、前記学習済みモデルが更新された場合、更新された前記学習済みモデルを用いて、前記第１の環境情報取得部により取得される環境情報に基づき、前記判定を行う、
   ショベル支援システム。
10. 前記第１のショベルと前記第２のショベルは、同一のショベルであり、
    前記第１の環境情報取得部と前記第２の環境情報取得部は、同一の環境情報取得部である、
    請求項９に記載のショベル支援システム。
11. 複数の前記第１のショベルと、複数の前記第１のショベルのそれぞれと通信可能な前記外部装置と、を含む、
    請求項９に記載のショベル支援システム。
12. 複数の前記第２のショベルと、複数の前記第２のショベルのそれぞれと通信可能な前記外部装置と、を含む、
    請求項９に記載のショベル支援システム。

Images