JP2024011049A - 作業機械の監視システム及び作業機械の監視方法 - Google Patents

Abstract

【課題】複数の対象を効率良く監視すること。【解決手段】作業機械の監視システムは、作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、作業機械の状態を示す車体データを取得する車体データ取得部と、車体データに基づいて、作業機械の状態を判別する状態判別部と、状態判別部により判別された作業機械の状態に基づいて、計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、アルゴリズム選択部により選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識する処理部と、を備える。【選択図】図１３

Description

本開示は、作業機械の監視システム及び作業機械の監視方法に関する。

作業機械に係る技術分野において、特許文献１に開示されているような作業車両が知られている。

特開２０２１－０８０７９０号公報

作業機械は、作業中において作業機械の状況及び作業環境を監視することにより、作業を円滑に実施できる可能性がある。一方、作業機械の状況及び作業環境の両方を常時監視すると、監視に要する負担が大きくなる。そのため、複数の対象を効率良く監視できる技術が要望される。

本開示は、複数の対象を効率良く監視することを目的とする。

本開示に従えば、作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、作業機械の状態を示す車体データを取得する車体データ取得部と、車体データに基づいて、作業機械の状態を判別する状態判別部と、状態判別部により判別された作業機械の状態に基づいて、計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、アルゴリズム選択部により選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識する処理部と、を備える、作業機械の監視システムが提供される。

本開示によれば、複数の対象を効率良く監視することができる。

図１は、実施形態に係る作業機械を示す側面図である。 図２は、実施形態に係る作業機械を示す上面図である。 図３は、実施形態に係る作業機械を示す正面図である。 図４は、実施形態に係る運転台の運転室を示す図である。 図５は、実施形態に係る作業機械の一部を拡大した正面図である。 図６は、実施形態に係る作業機械の駆動システムを示す図である。 図７は、実施形態に係る作業機の動作を説明する図である。 図８は、実施形態に係る作業機械の動作を説明する図である。 図９は、実施形態に係る積込作業を実施する作業機械を示す側面図である。 図１０は、実施形態に係る積込作業を実施する作業機械を示す上面図である。 図１１は、実施形態に係る左側の第１撮像装置により撮像された画像データの一例を示す図である。 図１２は、実施形態に係る左側の第２撮像装置により撮像された画像データの一例を示す図である。 図１３は、実施形態に係る監視システムを示す機能ブロック図である。 図１４は、実施形態に係る作業機の欠損判定方法を説明する図である。 図１５は、実施形態に係る作業機の欠損判定方法を説明する図である。 図１６は、実施形態に係る作業機の欠損判定方法を説明する図である。 図１７は、実施形態に係る作業機の欠損判定方法を説明する図である。 図１８は、実施形態に係る作業機の欠損判定方法を説明する図である。 図１９は、実施形態に係る健全判定フレームの一例を示す図である。 図２０は、実施形態に係る欠損判定フレームの一例を示す図である。 図２１は、実施形態に係る表示装置に表示されるバケットツースを示すシンボルの一例を示す図である。 図２２は、実施形態に係る欠損判定フレームと警告の形態との関係を示す図である。 図２３は、実施形態に係る判定基準を説明する図である。 図２４は、実施形態に係る警告基準を説明する図である。 図２５は、実施形態に係る判定基準及び警告基準の設定画面の一例を示す図である。 図２６は、実施形態に係る監視方法を示すフローチャートである。 図２７は、実施形態に係る出力装置の一例を示す図である。 図２８は、実施形態に係る出力装置の一例を示す図である。 図２９は、実施形態に係るコンピュータシステムを示すブロック図である。 図３０は、別の実施形態に係る作業機械の動作を説明する図である。 図３１は、別の実施形態に係る監視システムを示す図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［作業機械］
図１は、実施形態に係る作業機械１を示す側面図である。図２は、実施形態に係る作業機械１を示す上面図である。図３は、実施形態に係る作業機械１を示す正面図である。

作業機械１は、作業現場において作業する。実施形態において、作業機械１は、アーティキュレート作業機械の一種であるホイールローダである。作業機械１は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。

図１、図２、及び図３に示すように、作業機械１は、車体２と、運転台３と、走行装置４と、フロントフェンダ７と、支持部材８と、ハウジング９と、作業機１０と、角度センサ９０とを備える。

車体２は、前部車体２Ｆと、後部車体２Ｒとを含む。前部車体２Ｆと後部車体２Ｒとは、関節機構２Ａを介して連結される。

運転台３は、車体２に支持される。運転台３に運転室が設けられる。運転室に運転席が設けられる。作業機械１は、運転台３に搭乗した運転者に操作される。

走行装置４は、車体２を支持して作業現場の地面２００を走行する。走行装置４は、車輪５と、タイヤ６とを有する。タイヤ６は、車輪５に装着される。車輪５は、前部車体２Ｆに支持される前輪５Ｆと、後部車体２Ｒに支持される後輪５Ｒとを含む。タイヤ６は、前輪５Ｆに装着される前タイヤ６Ｆと、後輪５Ｒに装着される後タイヤ６Ｒとを含む。

前輪５Ｆ及び前タイヤ６Ｆは、回転軸ＦＸを中心に回転可能である。後輪５Ｒ及び後タイヤ６Ｒは、回転軸ＲＸを中心に回転可能である。

実施形態において、前輪５Ｆの回転軸ＦＸに平行な方向を適宜、車幅方向、と称する。地面２００に接触する前タイヤ６Ｆの接地面に直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方に直交する方向を適宜、前後方向、と称する。作業機械１の車体２が直進状態で走行するとき、回転軸ＦＸと回転軸ＲＸとは平行である。

また、実施形態において、作業機械１の車幅方向において作業機械１の中心ＣＬに近い位置又は方向を適宜、車幅方向の内側、と称し、中心ＣＬから遠い位置又は方向を適宜、車幅方向の外側、と称する。

車幅方向において作業機械１の中心ＣＬよりも一方側は、左であり、左の逆側は、右である。前後方向において運転台３の運転席を基準として作業機１０に近い位置又は方向は、前であり、前の逆側は、後である。上下方向において前タイヤ６Ｆの接地面に近い位置又は方向は、下であり、下の逆側は、上である。

後部車体２Ｒは、前部車体２Ｆよりも後側に配置される。前部車体２Ｆは、後部車体２Ｒに対して左側及び右側のそれぞれに屈曲する。後輪５Ｒは、前輪５Ｆよりも後側に配置される。後タイヤ６Ｒは、前タイヤ６Ｆよりも後側に配置される。前輪５Ｆ及び前タイヤ６Ｆは、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。後輪５Ｒ及び後タイヤ６Ｒは、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。

タイヤ６は、地面２００に接触した状態で回転する回転部材である。タイヤ６の回転により、作業機械１が地面２００を走行する。前タイヤ６Ｆは、地面２００に接触した状態で回転する前側回転部材である。後タイヤ６Ｒは、前タイヤ６Ｆよりも後側に配置され、地面２００に接触した状態で回転する後側回転部材である。

フロントフェンダ７は、作業機械１の走行において地面２００から飛散した土砂が車体２及び運転台３に当たることを抑制する。フロントフェンダ７の一部は、前タイヤ６Ｆの上側に配置される。フロントフェンダ７の一部は、前タイヤ６Ｆの後側に配置される。フロントフェンダ７は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。フロントフェンダ７は、中心ＣＬよりも左側に配置されるフロントフェンダ７Ｌと、中心ＣＬよりも右側に配置されるフロントフェンダ７Ｒとを含む。左側のフロントフェンダ７Ｌは、前部車体２Ｆの左部に取り付けられる。右側のフロントフェンダ７Ｒは、前部車体２Ｆの右部に取り付けられる。

支持部材８は、棒状の部材である。支持部材８の下端部は、前部車体２Ｆに固定される。支持部材８は、上方に向かって前側且つ車幅方向の外側に傾斜する。支持部材８は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。支持部材８は、中心ＣＬよりも左側に配置される支持部材８Ｌと、中心ＣＬよりも右側に配置される支持部材８Ｒとを含む。左側の支持部材８Ｌの下端部は、前部車体２Ｆの左部に固定される。左側の支持部材８Ｌは、上方に向かって前側且つ左側に傾斜する。右側の支持部材８Ｒの下端部は、前部車体２Ｆの右部に固定される。右側の支持部材８Ｒは、上方に向かって前側且つ右側に傾斜する。

ハウジング９は、支持部材８の上端部に固定される。ハウジング９は、支持部材８を介して前部車体２Ｆに支持される。前後方向において、ハウジング９は、関節機構２Ａと前部車体２Ｆの前端部との間に配置される。上下方向において、ハウジング９は、運転台３の上端部と前部車体２Ｆの上端部との間に配置される。ハウジング９は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。ハウジング９は、中心ＣＬよりも左側に配置されるハウジング９Ｌと、中心ＣＬよりも右側に配置されるハウジング９Ｒとを含む。左側のハウジング９Ｌは、左側の支持部材８Ｌの上端部に固定される。右側のハウジング９Ｒは、右側の支持部材８Ｒの上端部に固定される。左側のハウジング９Ｌは、左側のフロントフェンダ７Ｌの上側に配置される。右側のハウジング９Ｒは、右側のフロントフェンダ７Ｒの上側に配置される。

作業機１０は、掘削作業及び積込作業において動作する。作業機１０は、前部車体２Ｆに連結される。作業機１０の少なくとも一部は、前輪５Ｆよりも前側に配置される。作業機１０は、ブーム１１と、バケット１２と、ベルクランク１５と、バケットリンク１６とを有する。

ブーム１１は、前部車体２Ｆに回動可能に連結される。ブーム１１は、前部車体２Ｆとバケット１２とを連結する。ブーム１１は、ブームシリンダ１３が発生する駆動力により動作する。ブームシリンダ１３は、油圧シリンダである。ブームシリンダ１３の一端部は、前部車体２Ｆに連結される。ブームシリンダ１３の他端部は、ブーム１１に連結される。ブームシリンダ１３は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。

バケット１２は、掘削対象を掘削する。バケット１２は、ブーム１１の先端部に回動可能に連結される。バケット１２は、前輪５Ｆよりも前側に配置される。バケット１２は、バケットシリンダ１４が発生する駆動力により動作する。バケットシリンダ１４は、油圧シリンダである。ベルクランク１５の中央部がブーム１１に回転可能に連結される。バケットシリンダ１４の一端部は、前部車体２Ｆに連結される。バケットシリンダ１４の他端部は、ベルクランク１５の一端部に連結される。ベルクランク１５の他端部は、バケットリンク１６を介してバケット１２に連結される。バケットシリンダ１４は、車幅方向の中央部に１つ配置される。

バケット１２は、バケット本体１７と、バケットツース１８と、ツース間プロテクタ１９とを有する。

バケット本体１７は、掘削物を保持する。バケット本体１７は、底板部１７Ａと、上板部１７Ｂと、左板部１７Ｃと、右板部１７Ｄとを含む。底板部１７Ａと上板部１７Ｂと左板部１７Ｃと右板部１７Ｄとにより、掘削物が収容される保持空間が形成される。底板部１７Ａの先端部及び上板部１７Ｂの先端部のそれぞれは、車幅方向に延伸する。左板部１７Ｃの先端部及び右板部１７Ｄの先端部のそれぞれは、上下方向又は前後方向に延伸する。底板部１７Ａの先端部と上板部１７Ｂの先端部と左板部１７Ｃの先端部と右板部１７Ｄの先端部とにより、バケット１２の開口部１２Ｍが規定される。掘削物は、開口部１２Ｍを介してバケット１２の保持空間に入ることができる。

図２及び図３に示すように、バケット本体１７の車幅方向の両側の端部１２Ｅは、タイヤ６よりも車幅方向の外側に配置される。左側の端部１２Ｅと右側の端部１２Ｅとの車幅方向の距離は、左側のタイヤ６の左側面と右側のタイヤ６の右側面との車幅方向の距離よりも大きい。

バケットツース１８は、バケット１２の刃先を構成する。バケットツース１８は、バケット本体１７に取り付けられる。バケットツース１８は、底板部１７Ａの先端部に取り付けられる。バケットツース１８は、バケット本体１７に複数取り付けられる。複数のバケットツース１８は、車幅方向に間隔をあけて配置される。

バケットツース１８は、バケット本体１７に交換可能に取り付けられる交換部材である。バケットツース１８は、例えばボルトによりバケット本体１７に固定される。ボルトによる固定が解除されることにより、バケットツース１８は、バケット本体１７から離れることができる。

実施形態において、バケットツース１８は、車幅方向に間隔をあけて８個配置される。バケットツース１８は、最も左側に配置されるバケットツース１８１と、バケットツース１８１に次いで左側に配置されるバケットツース１８２と、バケットツース１８２に次いで左側に配置されるバケットツース１８３と、バケットツース１８３に次いで左側に配置されるバケットツース１８４と、バケットツース１８４に次いで左側に配置されるバケットツース１８５と、バケットツース１８５に次いで左側に配置されるバケットツース１８６と、バケットツース１８６に次いで左側に配置されるバケットツース１８７と、最も右側に配置されるバケットツース１８８と、を含む。

ツース間プロテクタ１９は、底板部１７Ａの先端部を保護する。ツース間プロテクタ１９は、バケット本体１７に取り付けられる。ツース間プロテクタ１９は、相互に隣り合う一対のバケットツース１８の間に配置される。ツース間プロテクタ１９は、底板部１７Ａの先端部に取り付けられる。ツース間プロテクタ１９は、バケット本体１７に複数取り付けられる。複数のツース間プロテクタ１９は、車幅方向に間隔をあけて配置される。

ツース間プロテクタ１９は、バケット本体１７に交換可能に取り付けられる交換部材である。ツース間プロテクタ１９は、例えばボルトによりバケット本体１７に固定される。ボルトによる固定が解除されることにより、ツース間プロテクタ１９は、バケット本体１７から離れることができる。

実施形態において、ツース間プロテクタ１９は、車幅方向に間隔をあけて７個配置される。ツース間プロテクタ１９は、最も左側に配置されるツース間プロテクタ１９１と、ツース間プロテクタ１９１に次いで左側に配置されるツース間プロテクタ１９２と、ツース間プロテクタ１９２に次いで左側に配置されるツース間プロテクタ１９３と、ツース間プロテクタ１９３に次いで左側に配置されるツース間プロテクタ１９４と、ツース間プロテクタ１９４に次いで左側に配置されるツース間プロテクタ１９５と、ツース間プロテクタ１９５に次いで左側に配置されるツース間プロテクタ１９６と、最も右側に配置されるツース間プロテクタ１９７と、を含む。

角度センサ９０は、作業機１０の姿勢を検出する姿勢センサである。作業機１０の姿勢は、作業機１０の角度を含む。角度センサ９０は、作業機１０に設けられる。角度センサ９０は、ブーム１１の角度を検出するブーム角度センサ９１と、バケット１２の角度を検出するバケット角度センサ９２とを含む。ブーム角度センサ９１は、例えば前部車体２Ｆに規定された車体座標系の基準軸に対するブーム１１の角度を検出する。バケット角度センサ９２は、ブーム１１に対するバケット１２の角度を検出する。角度センサ９０として、ポテンショメータが例示される。なお、作業機１０の姿勢を検出する姿勢センサは、油圧シリンダ（ブームシリンダ１３、バケットシリンダ１４）のストロークを検出するストロークセンサでもよい。

［運転室］
図４は、実施形態に係る運転台３の運転室を示す図である。図４は、運転室の運転席に着座した運転者から見た景色を模式的に示す図である。

運転室には、運転操作装置２０、操作パネル２１、モニタ装置２２、リアビューモニタ装置２３、出力装置２４、及び入力装置２５が配置される。運転操作装置２０は、運転者に操作される。運転操作装置２０は、アクセルペダル２０Ａ及び一対のブレーキペダル２０Ｂを含む。また、不図示であるが、運転操作装置２０は、ステアリングレバー、シフトレバー、前後進切換レバー、及び作業レバーを含む。アクセルペダル２０Ａが操作されることにより、作業機械１の走行速度が上昇する。ブレーキペダル２０Ｂが操作されることにより、作業機械１の走行速度が低下したり作業機械１の走行が停止したりする。ステアリングレバーが操作されることにより、作業機械１が旋回する。シフトレバーが操作されることにより、作業機械１の速度段が変更される。前後進切換レバーが操作されることにより、作業機械１の進行方向が前進方向と後進方向とに切り換えられる。作業レバーが操作されることにより、作業機１０が動作する。

出力装置２４は、運転者に出力データを提供する。出力データは、警告を含む。出力装置２４は、表示装置２４Ａと、発音装置２４Ｂとを含む。

表示装置２４Ａは、出力データとして運転者に表示データを提供する。表示装置２４Ａとして、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。

発音装置２４Ｂは、出力データとして運転者に音声データを提供する。発音装置２４Ｂとして、ブザー又はスピーカが例示される。

入力装置２５は、運転者に操作されることにより入力データを生成する。入力装置２５として、ボタン又はキーボードが例示される。なお、入力装置２５は、例えばタッチパネルを含んでもよい。

運転室の前部にフロントガラスが設けられる。フロントガラスは、運転室のピラー２７に取り付けられる。実施形態において、出力装置２４は、ピラー２７に支持される。

［計測装置］
図５は、実施形態に係る作業機械１の一部を拡大した正面図である。図３及び図５に示すように、作業機械１は、前照灯２８と、ウインカーランプ２９と、第１計測装置３１と、第２計測装置３２とを有する。

前照灯２８は、照明光を前方に射出して、前部車体２Ｆよりも前方の照明範囲を照明する。前照灯２８は、ハウジング９に保持される。前照灯２８は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。前照灯２８は、中心ＣＬよりも左側に配置される前照灯２８Ｌと、中心ＣＬよりも右側に配置される前照灯２８Ｒとを含む。左側の前照灯２８Ｌは、左側のハウジング９Ｌに保持される。右側の前照灯２８Ｒは、右側のハウジング９Ｒに保持される。

ウインカーランプ２９は、点灯又は点滅することにより、作業機械１の旋回方向を表示する。ウインカーランプ２９は、ハウジング９に保持される。ウインカーランプ２９は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。ウインカーランプ２９は、中心ＣＬよりも左側に配置されるウインカーランプ２９Ｌと、中心ＣＬよりも右側に配置されるウインカーランプ２９Ｒとを含む。左側のウインカーランプ２９Ｌは、左側のハウジング９Ｌに保持される。右側のウインカーランプ２９Ｒは、右側のハウジング９Ｒに保持される。作業機械１の車幅方向において、ウインカーランプ２９は、前照灯２８よりも外側に配置される。

第１計測装置３１は、所定の対象を計測する。第１計測装置３１が計測する対象は、作業機１０を含む。第１計測装置３１は、作業機１０を計測する。第１計測装置３１は、作業機１０の計測データを取得する。実施形態において、第１計測装置３１は、作業機１０を撮像する撮像装置である。作業機１０の計測データは、作業機１０の画像データを含む。以下の説明において、第１計測装置３１を適宜、第１撮像装置３１、と称する。

第２計測装置３２は、所定の対象を計測する。第２計測装置３２が計測する対象は、走行装置４が走行する地面２００を含む。第２計測装置３２は、作業機械１が走行する地面２００を計測する。第２計測装置３２は、地面２００の計測データを取得する。実施形態において、第２計測装置３２は、地面２００を撮像する撮像装置である。地面２００の計測データは、地面２００の画像データを含む。以下の説明において、第２計測装置３２を適宜、第２撮像装置３２、と称する。

第１撮像装置３１及び第２撮像装置３２のそれぞれは、光学系と、光学系を通過した光が入射するイメージセンサとを有する。イメージセンサとして、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが例示される。

第１撮像装置３１及び第２撮像装置３２のそれぞれは、ハウジング９に配置される。作業機械１の車幅方向において、第１撮像装置３１及び第２撮像装置３２のそれぞれは、前照灯２８よりも外側に配置される。ハウジング９において、第２撮像装置３２は、第１撮像装置３１よりも上方に配置される。

第１撮像装置３１は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。第１撮像装置３１は、左側のハウジング９及び右側のハウジング９のそれぞれに配置される。第１撮像装置３１は、中心ＣＬよりも左側に配置される第１撮像装置３１Ｌと、中心ＣＬよりも右側に配置される第１撮像装置３１Ｒとを含む。

第２撮像装置３２は、作業機械１の車幅方向において作業機械１の中心ＣＬよりも左側及び右側のそれぞれに配置される。第２撮像装置３２は、左側のハウジング９及び右側のハウジング９のそれぞれに配置される。第２撮像装置３２は、中心ＣＬよりも左側に配置される第２撮像装置３２Ｌと、中心ＣＬよりも右側に配置される第２撮像装置３２Ｒとを含む。

［駆動システム］
図６は、実施形態に係る作業機械１の駆動システム４０を示す図である。駆動システム４０は、エンジン４１と、燃料噴射装置４２と、パワーテイクオフ４３（ＰＴＯ：Power Take Off）と、トランスミッション４４と、フロントアクスル４５Ｆと、リヤアクスル４５Ｒと、油圧ポンプ４６と、制御弁４７と、駆動コントローラ４８とを有する。

エンジン４１は、例えばディーゼルエンジンである。燃料噴射装置４２は、エンジン４１のシリンダに燃料を噴射する。燃料噴射装置４２からエンジン４１に噴射される燃料量が調整されることにより、エンジン４１の駆動力が調整される。

パワーテイクオフ４３は、エンジン４１の駆動力をトランスミッション４４と油圧ポンプ４６とに分配する。エンジン４１の駆動力は、パワーテイクオフ４３を介してトランスミッション４４及び油圧ポンプ４６のそれぞれに伝達される。

トランスミッション４４は、エンジン４１の駆動力が入力される入力軸と、入力軸に入力された駆動力を変速して出力する出力軸とを有する。トランスミッション４４の入力軸は、パワーテイクオフ４３に接続される。トランスミッション４４の出力軸は、フロントアクスル４５Ｆ及びリヤアクスル４５Ｒのそれぞれに接続される。エンジン４１の駆動力は、パワーテイクオフ４３及びトランスミッション４４を介してフロントアクスル４５Ｆ及びリヤアクスル４５Ｒのそれぞれに伝達される。

トランスミッション４４は、作業機械１の進行方向を前進方向と後進方向とに切り換える。トランスミッション４４は、前進ギヤ４４Ｆと、後進ギヤ４４Ｒとを有する。前進ギヤ４４Ｆが入ることにより、作業機械１の進行方向が前進方向に決定される。後進ギヤ４４Ｒが入ることにより、作業機械１の進行方向が後進方向に決定される。

フロントアクスル４５Ｆは、トランスミッション４４から伝達された駆動力を前輪５Ｆに伝達する。前輪５Ｆは、フロントアクスル４５Ｆから伝達された駆動力に基づいて回転する。

リヤアクスル４５Ｒは、トランスミッション４４から伝達された駆動力を後輪５Ｒに伝達する。後輪５Ｒは、リヤアクスル４５Ｒから伝達された駆動力に基づいて回転する。

前進ギヤ４４Ｆが入ることにより、作業機械１は、前進可能な状態になる。前進ギヤ４４Ｆが入った状態で、アクセルペダル２０Ａが操作され、エンジン４１の駆動力がトランスミッション４４を介してフロントアクスル４５Ｆ及びリヤアクスル４５Ｒのそれぞれに伝達されることにより、作業機械１が前進する。なお、前進ギヤ４４Ｆが入った状態においても、例えばブレーキペダル２０Ｂが操作されている状態においては、作業機械１は前進しない。

後進ギヤ４４Ｒが入ることにより、作業機械１は、後進可能な状態になる。後進ギヤ４４Ｒが入った状態で、アクセルペダル２０Ａが操作され、エンジン４１の駆動力がトランスミッション４４を介してフロントアクスル４５Ｆ及びリヤアクスル４５Ｒのそれぞれに伝達されることにより、作業機械１が後進する。なお、後進ギヤ４４Ｒが入った状態においても、例えばブレーキペダル２０Ｂが操作されている状態においては、作業機械１は後進しない。

油圧ポンプ４６は、作動油を吐出する。油圧ポンプ４６は、可変容量型油圧ポンプである。油圧ポンプ４６は、エンジン４１の駆動力に基づいて駆動する。油圧ポンプ４６から吐出された作動油は、制御弁４７を介してブームシリンダ１３及びバケットシリンダ１４の少なくとも一方に供給される。

制御弁４７は、ブームシリンダ１３及びバケットシリンダ１４それぞれに供給される作動油の流量及び方向を制御する。作業機１０は、制御弁４７を介して油圧ポンプ４６から供給される作動油により動作する。

駆動コントローラ４８は、運転操作装置２０から出力された操作信号に基づいて、作業機械１を制御する。駆動コントローラ４８は、コンピュータシステムを含む。

［作業機の動作］
図７は、実施形態に係る作業機１０の動作を説明する図である。実施形態において、作業機１０は、掘削作業においてバケット１２の開口部１２Ｍが前方を向くフロントローディング方式の作業機である。

ブームシリンダ１３が伸縮することにより、ブーム１１が上げ動作又は下げ動作する。

ブーム１１の上げ動作とは、ブーム１１の先端部が地面２００から離隔するようにブーム１１が回動する動作をいう。ブームシリンダ１３が伸びることにより、ブーム１１が上げ動作する。

ブーム１１の下げ動作とは、ブーム１１の先端部が地面２００に接近するようにブーム１１が回動する動作をいう。ブームシリンダ１３が縮むことにより、ブーム１１が下げ動作する。

バケットシリンダ１４が伸縮することにより、バケット１２がチルト動作又はダンプ動作する。

バケット１２のチルト動作とは、バケット１２の開口部１２Ｍが上方を向いた状態でバケット１２の先端部が地面２００から離隔するようにバケット１２が回動する動作をいう。バケットシリンダ１４が伸びることにより、ベルクランク１５の上端部が前方に移動し、ベルクランク１５の下端部が後方に移動するように、ベルクランク１５が回動する。ベルクランク１５の下端部が後方に移動すると、バケット１２は、バケットリンク１６により後方に引かれ、チルト動作する。バケット１２がチルト動作することにより、掘削対象がバケット１２によって掬い取られ、掘削物がバケット１２に保持される。

バケット１２のダンプ動作とは、バケット１２の開口部１２Ｍが下方を向いた状態でバケット１２の先端部が地面２００に接近するようにバケット１２が回動する動作をいう。バケットシリンダ１４が縮むことにより、ベルクランク１５の上端部が後方に移動し、ベルクランク１５の下端部が前方に移動するように、ベルクランク１５が回動する。ベルクランク１５の下端部が前方に移動すると、バケット１２は、バケットリンク１６により前方に押され、ダンプ動作する。バケット１２がダンプ動作することにより、バケット１２に保持されている掘削物がバケット１２から排出される。

［作業機械の動作］
図８は、実施形態に係る作業機械１の動作を説明する図である。作業機械１は、作業現場において掘削作業及び積込作業を実施する。

掘削作業は、掘削対象を掘削する作業である。掘削対象として、地山又は岩山が例示される。地山は、地面２００に置かれた土砂により構成される山である。岩山は、地面２００に置かれた岩又は石により構成される山である。実施形態において、掘削対象は、地山２１０である。掘削物は、バケット１２に掘削され保持された地山２１０の一部である。

積込作業は、掘削作業により掘削した掘削物を積込対象に積み込む作業である。積込対象として、運搬車両、ホッパ、又はベルトコンベヤが例示される。実施形態において、積込対象は、運搬車両の一種であるダンプトラック２２０のダンプボディ２３０である。

作業機械１は、一連の作業モードを繰り返すサイクル作業を実施するように運転者に操作される。サイクル作業は、相互に関連する複数の作業モードにより構成される。サイクル作業は、走行装置４の走行及び作業機１０の動作を含む。

実施形態において、サイクル作業は、６つの作業モードにより構成される。実施形態において、作業機械１の一連の作業モードは、空荷前進モードと、掘削モードと、積荷後進モードと、積荷前進モードと、積込モードと、空荷後進モードとを含む。

一連の作業モードの順序は、決められている。空荷前進モードが実施された後に、掘削モードが実施される。掘削モードが実施された後に、積荷後進モードが実施される。積荷後進モードが実施された後に、積荷前進モードが実施される。積荷前進モードが実施された後に、積込モードが実施される。積込モードが実施された後に、空荷後進モードが実施される。

空荷前進モードは、バケット１２に掘削物が保持されていない状態で作業機械１が掘削対象に接近するように前進する作業モードである。空荷前進モードにおいて、作業機械１は、バケット１２に掘削物が保持されていない状態で、図８の矢印Ｍ１で示すように、地山２１０に接近するように前進する。

掘削モードは、作業機１０のバケット１２で掘削対象を掘削する作業モードである。掘削モードにおいて、掘削作業が実施される。バケット１２の少なくとも一部が地山２１０に挿入された状態で、バケット１２がチルト動作することにより、地山２１０がバケット１２により掘削され、バケット１２に掘削物が保持される。

積荷後進モードは、バケット１２に掘削物が保持されている状態で作業機械１が掘削対象から離隔するように後進する作業モードである。積荷後進モードにおいて、作業機械１は、バケット１２に掘削物が保持されている状態で、図８の矢印Ｍ２で示すように、地山２１０から離隔するように後進する。

積荷前進モードは、バケット１２に掘削物が保持されている状態で作業機械１が積込対象に接近するように前進する作業モードである。積荷前進モードにおいて、作業機械１は、バケット１２に掘削物が保持されている状態で、図８の矢印Ｍ３で示すように、ダンプトラック２２０に向かって旋回しながら前進する。作業機械１がダンプトラック２２０に向かって前進している状態において、バケット１２がダンプボディ２３０の上方に配置されるようにブーム１１が上げ動作する。

積込モードは、作業機１０のバケット１２に保持されている掘削物を積込対象に積み込む作業モードである。積込モードにおいて、積込作業が実施される。バケット１２がダンプボディ２３０の上方に配置された後、バケット１２がダンプ動作することにより、バケット１２に保持されている掘削物がバケット１２から排出され、ダンプボディ２３０に積み込まれる。

空荷後進モードは、バケット１２に掘削物が保持されていない状態で作業機械１が積込対象から離隔するように後進する作業モードである。作業機械１は、バケット１２に掘削物が保持されていない状態で、図８の矢印Ｍ４で示すように、ダンプトラック２２０から離隔するように旋回しながら後進する。

作業機械１は、掘削物がダンプボディ２３０に目標積載量で積み込まれるまで、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードを含むサイクル作業を繰り返す。

［計測範囲］
図９は、実施形態に係る積込作業を実施する作業機械１を示す側面図である。図１０は、実施形態に係る積込作業を実施する作業機械１を示す上面図である。

図９及び図１０に示すように、ダンプトラック２２０のダンプボディ２３０に掘削物を積み込む場合、作業機械１は、バケット１２がダンプボディ２３０の上方に配置されるようにブーム１１の上げ動作を実施する。ブーム１１が上げ動作し、バケット１２がダンプボディ２３０の上方に配置された後、作業機械１は、バケット１２をダンプ動作させる。バケット１２は、ブーム１１が上げ動作した状態で、バケット１２に保持された掘削物がダンプトラック２２０のダンプボディ２３０に排出されるようにダンプ動作する。第１撮像装置３１は、少なくとも掘削物をダンプボディ２３０に排出するためにダンプ動作するバケット１２を撮像する。バケット１２のダンプ動作により、バケット１２に保持されている掘削物がバケット１２から排出され、ダンプボディ２３０に積み込まれる。

第１撮像装置３１の計測範囲Ｒａは、第１撮像装置３１の撮像範囲を含む。計測範囲Ｒａは、第１撮像装置３１の光学系の画角を示す第１画角αに基づいて定められる。第１撮像装置３１は、掘削物をダンプボディ２３０に排出するためにダンプ動作するバケット１２を撮像する。第１撮像装置３１は、ブーム１１が上げ動作し、且つ、バケット１２がダンプ動作したときに、バケットツース１８を含むバケット１２が計測範囲Ｒａに配置されるように、ハウジング９に固定される。

第２撮像装置３２の計測範囲Ｒｂは、第２撮像装置３２の撮像範囲を含む。計測範囲Ｒｂは、第２撮像装置３２の光学系の画角を示す第２画角βに基づいて定められる。第２撮像装置３２は、少なくともタイヤ６の進行方向の地面２００を撮像する。実施形態において、第２撮像装置３２は、作業機械１が前進するとき、前タイヤ６Ｆの前方の地面２００を撮像する。第２撮像装置３２は、作業機械１が前進するとき、少なくとも前タイヤ６Ｆの前方の地面２００が計測範囲Ｒｂに配置されるように、ハウジング９に固定される。実施形態において、第２撮像装置３２は、前タイヤ６Ｆの前端部、前タイヤ６Ｆの前方の地面２００、及び前タイヤ６Ｆよりも車幅方向の外側の地面２００のそれぞれが計測範囲Ｒｂに配置されるように、ハウジング９に固定される。前タイヤ６Ｆの前方の地面２００は、前後方向において、前タイヤ６Ｆの前端部とバケット１２の後端部との間の地面２００を含む。

実施形態において、第２撮像装置３２の第２画角βは、第１撮像装置３１の第１画角αよりも広い。

図１０に示すように、中心ＣＬよりも左側の第１撮像装置３１Ｌは、作業機１０のバケット１２の少なくとも左部分を撮像する。中心ＣＬよりも右側の第１撮像装置３１Ｒは、作業機１０のバケット１２の少なくとも右部分を撮像する。バケット１２の左部分は、バケット１２の左側の端部１２Ｅと中心ＣＬとの間のバケット１２の一部分である。バケット１２の右部分は、バケット１２の右側の端部１２Ｅと中心ＣＬとの間のバケット１２の一部分である。

図１０に示す例において、中心ＣＬよりも左側の第１撮像装置３１Ｌは、ブーム１１が上げ動作し、且つ、バケット１２がダンプ動作したときに、バケットツース１８１，１８２，１８３，１８４，１８５が計測範囲Ｒａに配置されるように、左側のハウジング９に固定される。中心ＣＬよりも右側の第１撮像装置３１Ｒは、ブーム１１が上げ動作し、且つ、バケット１２がダンプ動作したときに、バケットツース１８４，１８５，１８６，１８７，１８８が計測範囲Ｒａに配置されるように、右側のハウジング９に固定される。

図１０に示すように、中心ＣＬよりも左側の第２撮像装置３２Ｌは、中心ＣＬよりも左側の前タイヤ６Ｆの前方の地面２００を撮像する。中心ＣＬよりも右側の第２撮像装置３２Ｒは、中心ＣＬよりも右側の前タイヤ６Ｆの前方の地面２００を撮像する。

図１０に示す例において、中心ＣＬよりも左側の第２撮像装置３２Ｌは、左側の前タイヤ６Ｆの前端部と、左側の前タイヤ６Ｆの前方の地面２００と、左側の前タイヤ６Ｆの左方の地面２００とが計測範囲Ｒｂに配置されるように、左側のハウジング９に固定される。中心ＣＬよりも右側の第２撮像装置３２Ｒは、右側の前タイヤ６Ｆの前端部と、右側の前タイヤ６Ｆの前方の地面２００と、右側の前タイヤ６Ｆの右方の地面２００とが計測範囲Ｒｂに配置されるように、右側のハウジング９に固定される。

図１１は、実施形態に係る左側の第１撮像装置３１Ｌにより撮像された画像データの一例を示す図である。図１２は、実施形態に係る左側の第２撮像装置３２Ｒにより撮像された画像データの一例を示す図である。

図１１に示すように、第１撮像装置３１Ｌは、掘削物がダンプボディ２３０に排出されるようにダンプ動作するバケット１２を下から見上げるように撮像する。これにより、図１１に示すように、第１撮像装置３１Ｌは、複数のバケットツース１８を同時に撮像することができる。図１１に示す例においては、第１撮像装置３１の計測範囲Ｒａに、バケットツース１８１，１８２，１８３，１８４，１８５，１８６が配置される。

図１２に示すように、第２撮像装置３２Ｌは、前タイヤ６Ｆの前方の地面２００及び左方の地面２００を上から見下ろすように撮像する。これにより、第２撮像装置３２Ｌは、前タイヤ６Ｆの周囲の地面２００を撮像することができる。例えば、前タイヤ６Ｆの周囲の地面２００に転石２４０が存在する場合、第２撮像装置３２Ｌは、地面２００の転石２４０を撮像することができる。

［監視システム］
図１３は、実施形態に係る監視システム３０を示す機能ブロック図である。作業機械１は、監視システム３０を有する。監視システム３０は、作業機１０及び作業機械１が走行する地面２００を監視する。

監視システム３０は、第１撮像装置３１と、第２撮像装置３２と、運転操作装置２０と、角度センサ９０と、出力装置２４と、入力装置２５と、監視コントローラ３３とを有する。第１撮像装置３１は、中心ＣＬよりも左側に配置される第１撮像装置３１Ｌと、中心ＣＬよりも右側に配置される第１撮像装置３１Ｒとを含む。第２撮像装置３２は、中心ＣＬよりも左側に配置される第２撮像装置３２Ｌと、中心ＣＬよりも右側に配置される第２撮像装置３２Ｒとを含む。

第１撮像装置３１、第２撮像装置３２、運転操作装置２０、角度センサ９０、出力装置２４、及び入力装置２５のそれぞれは、監視コントローラ３３に接続される。第１撮像装置３１により撮像された画像データは、監視コントローラ３３に入力される。第２撮像装置３２により撮像された画像データは、監視コントローラ３３に入力される。運転操作装置２０の操作データは、監視コントローラ３３に入力される。角度センサ９０の検出データは、監視コントローラ３３に入力される。入力装置２５により生成された入力データは、監視コントローラ３３に入力される。

実施形態において、第１撮像装置３１及び第２撮像装置３２のそれぞれは、所定のサンプリングレート（ＳＰＳ：samples per second）で計測データを取得する。計測データは、画像データを含む。サンプリングレートは、フレームレート（ＦＰＳ：frames per second）を含む。第１撮像装置３１及び第２撮像装置３２のそれぞれは、所定のフレームレートで画像データを撮像する。第１撮像装置３１が所定のフレームレートで画像データを撮像することにより、動画が撮影される。第２撮像装置３２が所定のフレームレートで画像データを撮像することにより、動画が撮影される。

監視コントローラ３３は、第１撮像装置３１により撮像された画像データに基づいて、作業機１０の欠損の有無を認識する。作業機１０の欠損を認識した場合、監視コントローラ３３は、作業機１０に欠損が有ることを示す警告を出力装置２４から出力させる。作業機１０の欠損は、バケット１２の欠損を含む。バケット１２の欠損は、交換部材であるバケットツース１８の欠損を含む。バケットツース１８の欠損は、バケット本体１７からのバケットツース１８の脱落を含む。

監視コントローラ３３は、第２撮像装置３２により撮像された画像データに基づいて、作業機械１が走行する地面２００の転石２４０の有無を認識する。地面２００の転石２４０を認識した場合、監視コントローラ３３は、地面２００に転石２４０が有ることを示す警告を出力装置２４から出力させる。地面２００の転石２４０は、前タイヤ６Ｆの進行方向の地面２００の転石２４０を含む。前タイヤ６Ｆの進行方向の地面２００の転石２４０は、作業機械１が前進するときの前タイヤ６Ｆの前方の地面２００の転石２４０を含む。

監視コントローラ３３は、図８を参照して説明したサイクル作業において、作業機１０の欠損の有無を認識したり、転石２４０の有無を認識したりする。なお、監視コントローラ３３は、サイクル作業とは別の作業において、作業機１０の欠損の有無を認識したり、転石２４０の有無を認識したりしてもよい。また、監視コントローラ３３は、作業機械１が作業を開始する前の始業点検において、作業機１０の欠損の有無を認識してもよい。

また、監視コントローラ３３は、第１撮像装置３１により撮像された画像データに基づいて、第１撮像装置３１の受信面の汚染の有無を判定する。第１撮像装置３１の汚染が有ると判定した場合、監視コントローラ３３は、第１撮像装置３１の受信面に汚染が有ることを示す警告を出力装置２４から出力させる。監視コントローラ３３は、第１撮像装置３１の受信面に汚染が有ると判定した場合、表示装置２４Ａに警告を示す表示データを表示させたり、発音装置２４Ｂから警告音を出力させたりすることができる。第１撮像装置３１の受信面は、第１撮像装置３１の光学系の入射面を含む。

監視コントローラ３３は、図８を参照して説明したサイクル作業において、第１撮像装置３１の汚染の有無を判定する。なお、監視コントローラ３３は、サイクル作業とは別の作業において、第１撮像装置３１の光学系の入射面の汚染の有無を判定してもよい。また、監視コントローラ３３は、作業機械１が作業を開始する前の始業点検において、第１撮像装置３１の光学系の入射面の汚染の有無を判定してもよい。

監視コントローラ３３は、計測データ取得部３３１と、車体データ取得部３３２と、状態判別部３３３と、アルゴリズム選択部３３４と、処理部３３５と、汚染判定部３３６と、出力部３３７と、アルゴリズム記憶部３３８とを有する。

計測データ取得部３３１は、第１撮像装置３１の計測データ及び第２撮像装置３２の計測データを取得する。計測データ取得部３３１は、第１撮像装置３１により計測された作業機１０の計測データを所定のサンプリングレートで第１撮像装置３１から取得する。作業機１０の計測データは、第１撮像装置３１により撮像された作業機１０の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部３３１は、作業機１０の画像データを所定のフレームレートで第１撮像装置３１から取得する。また、計測データ取得部３３１は、第２撮像装置３２により計測された地面２００の計測データを所定のサンプリングレートで第２撮像装置３２から取得する。地面２００の計測データは、第２撮像装置３２により撮像された地面２００の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部３３１は、地面２００の画像データを所定のフレームレートで第２撮像装置３２から取得する。計測データ取得部３３１は、前タイヤ６Ｆの前方の地面２００の画像データを取得する。

車体データ取得部３３２は、作業機械１の状態を示す車体データを取得する。作業機械１の状態は、作業機械１の作業状態を含む。作業機械１の状態は、作業機１０の状態及び走行装置４の状態を含む。作業機１０の状態は、作業機１０の姿勢を含む。走行装置４の状態は、走行装置４の前進及び後進を含む。車体データは、作業機１０の姿勢を示す姿勢データと、走行装置４の前進又は後進を示す前後進データとを含む。

作業機１０の姿勢データは、作業機１０の角度を含む。作業機１０の角度は、角度センサ９０により検出される。作業機１０の姿勢データは、角度センサ９０の検出データを含む。車体データ取得部３３２は、作業機１０の姿勢データとして、角度センサ９０の検出データを取得する。

走行装置４の前進と後進とは、運転操作装置２０の前後進レバー２０Ｃにより切り換えられる。走行装置４の前後進データは、前後進レバー２０Ｃの操作データを含む。車体データ取得部３３２は、走行装置４の前後進データとして、前後進レバー２０Ｃの操作データを取得する。

なお、例えば車輪５の回転を検出する回転センサが設けられている場合、回転センサは、車輪５の回転方向を検出することにより、走行装置４の前進又は後進を検出することができる。車体データ取得部３３２は、走行装置４の前後進データとして、回転センサの検出データを取得してもよい。

なお、車体データ取得部３３２は、走行装置４の前後進データとして、駆動システム４０の状態を示す状態データを取得してもよい。駆動コントローラ４８は、駆動システム４０の状態を示す状態データを監視コントローラ３３に入力する。車体データ取得部３３２は、駆動コントローラ４８からの状態データに基づいて、駆動システム４０の状態を判定する。駆動システム４０の状態は、トランスミッション４４の作動状態を含む。トランスミッション４４は、作業機械１の進行方向を前進方向と後進方向とに切り換える。トランスミッション４４は、作業機械１を前進させるために作動する前進ギヤ４４Ｆと、作業機械１を後進させるために作動する後進ギヤ４４Ｒとを含む。車体データ取得部３３２は、走行装置４の前後進データとして、トランスミッション４４の状態を示す状態データを取得してもよい。

状態判別部３３３は、車体データ取得部３３２により取得された車体データに基づいて、作業機械１の状態を判別する。状態判別部３３３は、車体データ取得部３３２により取得された作業機１０の姿勢データに基づいて、ブーム１１が上げ動作又は下げ動作しているか否かを判別することができる。状態判別部３３３は、車体データ取得部３３２により取得された作業機１０の姿勢データに基づいて、バケット１２がチルト動作又はダンプ動作しているか否かを判別することができる。状態判別部３３３は、車体データ取得部３３２により取得された走行装置４の前後進データに基づいて、作業機械１が前進又は後進しているか否かを判別することができる。

状態判別部３３３は、作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されたか否かを判定することができる。上述のように、第１撮像装置３１は、ブーム１１が上げ動作し、且つ、バケット１２がダンプ動作したときに、バケット１２が計測範囲Ｒａに配置されるように、ハウジング９に固定される。状態判別部３３３は、作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａにバケットツース１８が配置されたか否かを判定することができる。状態判別部３３３は、作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａにツース間プロテクタ１９が配置されたか否かを判定することができる。

作業機械１の状態は、作業機械１の作業モードを含んでもよい。バケット１２に掘削物が保持されているか否かを検出する重量センサが設けられている場合、状態判別部３３３は、作業機１０の姿勢データと、走行装置４の前後進データと、重量センサの検出データとに基づいて、作業機械１の作業モードが、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードのいずれであるかを判別することができる。バケット１２に掘削物が保持されているか否かを検出する重量センサとして、ブームシリンダ１３のボトム室の圧力を検出する圧力センサが例示される。

アルゴリズム選択部３３４は、状態判別部３３３により判別された作業機械１の状態に基づいて、計測データ取得部３３１により取得された計測データを処理する特定のアルゴリズムを選択する。アルゴリズム記憶部３３８は、相互に異なる複数のアルゴリズムを予め記憶する。アルゴリズム選択部３３４は、状態判別部３３３により判別された作業機械１の状態に基づいて、アルゴリズム記憶部３３８に記憶されている複数のアルゴリズムから特定のアルゴリズムを選択する。

アルゴリズム記憶部３３８に記憶されているアルゴリズムは、第１撮像装置３１により撮像された画像データを処理する第１アルゴリズムと、第２撮像装置３２により撮像された画像データを処理する第２アルゴリズムとを含む。第１アルゴリズムは、第１撮像装置３１により撮像された画像データから作業機１０を識別するアルゴリズムを含む。実施形態において、第１アルゴリズムは、第１撮像装置３１により撮像された画像データからバケットツース１８を識別するアルゴリズムを含む。第２アルゴリズムは、第２撮像装置３２により撮像された画像データから地面２００の転石２４０を識別するアルゴリズムを含む。

アルゴリズムは、人工知能（ＡＩ：Artificial Intelligence）アルゴリズムを含む。第１アルゴリズムと第２アルゴリズムとは、異なる。第１アルゴリズムは、第１のＡＩアルゴリズムを含む。第２アルゴリズムは、第２のＡＩアルゴリズムを含む。第１のＡＩアルゴリズムは、バケットツース１８の特徴量を学習することにより生成された第１の学習モデルに基づいて、第１撮像装置３１により撮像された画像データからバケットツース１８を認識する。第１の学習モデルは、物体の特徴量を入力とし、バケットツース１８を出力とする学習モデルである。第２のＡＩアルゴリズムは、転石２４０の特徴量を学習することにより生成された第２の学習モデルに基づいて、第２撮像装置３２により撮像された画像データから転石２４０を特定する学習モデルである。第２の学習モデルは、物体の特徴量を入力とし、転石２４０を出力とする学習モデルである。

作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されたと状態判別部３３３が判定した場合、アルゴリズム選択部３３４は、アルゴリズム記憶部３３８に記憶されている第１アルゴリズム及び第２アルゴリズムから、特定のアルゴリズムとして第１アルゴリズムを選択する。作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されていないと状態判別部３３３が判定した場合、アルゴリズム選択部３３４は、第１アルゴリズムを選択しない。

走行装置４の前後進データに基づいて、走行装置４が前進していると状態判別部３３３が判定した場合、アルゴリズム選択部３３４は、アルゴリズム記憶部３３８に記憶されている第１アルゴリズム及び第２アルゴリズムから、特定のアルゴリズムとして第２アルゴリズムを選択する。走行装置４の前後進データに基づいて、走行装置４が前進していないと状態判別部３３３が判定した場合、アルゴリズム選択部３３４は、第２アルゴリズムを選択しない。

処理部３３５は、計測データ取得部３３１により取得された画像データを処理して、対象を認識する。処理部３３５は、アルゴリズム選択部３３４により選択された特定のアルゴリズムに基づいて画像データを処理して、対象を認識する。

アルゴリズム選択部３３４により第１アルゴリズムが選択された場合、処理部３３５は、第１アルゴリズムに基づいて第１撮像装置３１の画像データを処理して、作業機１０を認識する。実施形態において、処理部３３５は、第１アルゴリズムに基づいて第１撮像装置３１の画像データを処理して、作業機１０の欠損の有無を判定する。実施形態において、処理部３３５は、第１撮像装置３１の画像データにおいてバケット本体１７からのバケットツース１８の脱落の有無を判定する。

アルゴリズム選択部３３４により第２アルゴリズムが選択された場合、処理部３３５は、第２アルゴリズムに基づいて第２計測装置３２の画像データを処理して、地面２００を認識する。実施形態において、処理部３３５は、第２アルゴリズムに基づいて第２撮像装置３２の画像データを処理して、地面２００の転石２４０の有無を判定する。実施形態において、処理部３３５は、第２撮像装置３２の画像データにおいて前タイヤ６Ｆの前方の地面２００の転石２４０の有無を判定する。

作業機械１の状態に基づいて、画像データを処理する特定のアルゴリズムが選択されるので、処理部３３５は、複数の対象を効率良く認識することができる。第１撮像装置３１の計測範囲Ｒａにバケット１２が配置されている状況においては、処理部３３５は、バケットツース１８を認識するために第１撮像装置３１により撮像された画像データを第１アルゴリズムに基づいて処理する。第１撮像装置３１の計測範囲Ｒａにバケット１２が配置されていない状況においては、処理部３３５は、バケットツース１８を認識するための処理を実施しない。作業機械１が前進して前タイヤ６Ｆの前方の地面２００の転石２４０を前タイヤ６Ｆが踏む可能性が高い状況においては、処理部３３５は、前タイヤ６Ｆの前方の地面２００の転石２４０を認識するために第２撮像装置３２により撮像された画像データを第２アルゴリズムに基づいて処理する。作業機械１が後進又は停止して前タイヤ６Ｆの前方の地面２００の転石２４０を前タイヤ６Ｆが踏む可能性が低い状況においては、処理部３３５は、転石２４０を認識するための処理を実施しない。このように、監視コントローラ３３は、バケットツース１８及び転石２４０の両方を認識するための処理を常時実施しなくても済む。そのため、バケットツース１８及び転石２４０の監視に要する監視コントローラ３３の負担が軽減される。したがって、監視コントローラ３３は、バケットツース１８及び転石２４０のそれぞれを効率良く監視することができる。

汚染判定部３３６は、状態判別部３３３により判別された作業機械１の状態と、処理部３３５による作業機１０の認識結果とに基づいて、第１撮像装置３１の光学系の入射面の汚染の有無を判定する。作業機械１の作業現場においては土砂又は粉塵が飛散する可能性が高く、その結果、第１撮像装置３１の光学系の入射面に異物が付着する可能性がある。異物の付着により第１撮像装置３１の光学系の入射面が汚染される可能性がある。

作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されたと状態判別部３３３が判定し、且つ、処理部３３５が作業機１０のバケット１２を認識した場合、汚染判定部３３６は、第１撮像装置３１の光学系の入射面が汚染されていないと判定する。実施形態において、作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａにバケットツース１８が配置されたと状態判別部３３３が判定し、且つ、処理部３３５がバケットツース１８を認識した場合、汚染判定部３３６は、第１撮像装置３１の光学系の入射面が汚染されていないと判定する。

作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されたと状態判別部３３３が判定し、且つ、処理部３３５が作業機１０のバケット１２を認識しない場合、汚染判定部３３６は、第１撮像装置３１の光学系の入射面が汚染されていると判定する。実施形態において、作業機１０の姿勢データに基づいて、第１撮像装置３１の計測範囲Ｒａにバケットツース１８が配置されたと状態判別部３３３が判定し、且つ、処理部３３５がバケットツース１８を認識しない場合、汚染判定部３３６は、第１撮像装置３１の光学系の入射面が汚染されていると判定する。

第１撮像装置３１の光学系の入射面が汚染されていない場合、第１撮像装置３１の計測範囲Ｒａにバケットツース１８が配置されることにより、第１撮像装置３１は、バケットツース１８を正しく撮像することができる。そのため、処理部３３５は、バケットツース１８を正しく識別することができる。一方、第１撮像装置３１の光学系の入射面が汚染されている場合、第１撮像装置３１の計測範囲Ｒａにバケットツース１８が配置されても、第１撮像装置３１は、バケットツース１８を正しく撮像することができない可能性が高い。そのため、処理部３３５は、バケットツース１８を識別することができない可能性が高い。このように、実施形態において、汚染判定部３３６は、識別できるはずのバケットツース１８が識別できれば、第１撮像装置３１の光学系の入射面が汚染されていないと判定する。汚染判定部３３６は、識別できるはずのバケットツース１８が識別できなければ、第１撮像装置３１の光学系の入射面が汚染されていると判定する。

なお、処理部３３５が第２撮像装置３２により撮像された画像データを処理して転石２４０を認識した場合、汚染判定部３３６は、処理部３３５による転石２４０の認識結果に基づいて、第２撮像装置３２の光学系の入射面の汚染の有無を判定してもよい。第２撮像装置３２の光学系の入射面が汚染されていない場合、第２撮像装置３２の計測範囲Ｒｂに転石２４０が配置されることにより、第２撮像装置３２は、転石２４０を正しく撮像することができる。そのため、処理部３３５は、転石２４０を正しく識別することができる。一方、第２撮像装置３２の光学系の入射面が汚染されている場合、第２撮像装置３２の計測範囲Ｒｂに転石２４０が配置されても、第２撮像装置３２は、転石２４０を正しく撮像することができない可能性が高い。そのため、処理部３３５は、転石２４０を識別することができない可能性が高い。このように、実施形態において、汚染判定部３３６は、識別できるはずの転石２４０が識別できれば、第２撮像装置３２の光学系の入射面が汚染されていないと判定する。汚染判定部３３６は、識別できるはずの転石２４０が識別できなければ、第２撮像装置３２の光学系の入射面が汚染されていると判定する。

出力部３３７は、処理部３３５により認識された対象の認識結果を出力装置２４に出力させる。出力部３３７は、汚染判定部３３６により判定された汚染の有無の判定結果を出力装置２４に出力させる。

［作業機の欠損の判定］
図１４、図１５、図１６、図１７、及び図１８のそれぞれは、実施形態に係る作業機１０の欠損判定方法を説明する図である。以下、一例として、中心ＣＬよりも左側の第１撮像装置３１Ｌにより撮像された画像データに基づいて、バケットツース１８の欠損の有無を判定する方法について説明する。

図１４に示すように、第１撮像装置３１Ｌの計測範囲Ｒａにバケットツース１８が配置されるようにブーム１１が上げ動作し且つバケット１２がダンプ動作した場合、アルゴリズム選択部３３４は、車体データ取得部３３２により取得された角度センサ９０の検出データに基づいて、第１アルゴリズムを選択する。

第１撮像装置３１Ｌは、掘削物をダンプボディ２３０に排出するためにダンプ動作するバケット１２を撮像する。計測データ取得部３３１は、第１撮像装置３１Ｌからバケット１２の画像データを取得する。画像データの認識範囲５０に、複数のバケットツース１８（１８１，１８２，１８３，１８４，１８５）が配置される。複数のバケットツース１８のそれぞれは、バケット本体１７から突出するようにバケット本体１７に取り付けられる。

処理部３３５は、第１アルゴリズムに基づいて計測データ取得部３３１により取得された画像データを処理して、画像データの認識範囲５０において複数のバケットツース１８のそれぞれを認識する。

複数のバケットツース１８を認識した後、図１５に示すように、処理部３３５は、複数のバケットツース１８のそれぞれの根本５１の位置及び刃先５２の位置を推定する。根本５１は、バケットツース１８の基端部である。根本５１は、バケットツース１８とバケット本体１７との境界を含む。刃先５２は、バケットツース１８の先端部である。処理部３３５は、入力データを解析して出力データを出力する第１のＡＩアルゴリズムを利用して、根本５１及び刃先５２を推定する。処理部３３５は、入力データに基づいて根本５１及び刃先５２の確からしさの確率を出力する第１のＡＩアルゴリズムを利用し、確率が所定の閾値以上の中心を根本５１の位置及び刃先５２の位置と推定してもよい。また、処理部３３５は、入力データに基づいて根本５１の位置及び刃先５２の位置を直接推定する第１のＡＩアルゴリズムを利用してもよい。

少なくとも４個のバケットツース１８１，１８２，１８３，１８４のそれぞれの根本５１の位置及び刃先５２の位置を推定した後、図１６に示すように、処理部３３５は、バケットツース１８１の根本５１とバケットツース１８２の根本５１との距離Ｇ１、バケットツース１８２の根本５１とバケットツース１８３の根本５１との距離Ｇ２、及びバケットツース１８３の根本５１とバケットツース１８４の根本５１との距離Ｇ３を算出する。距離Ｇ１，Ｇ２，Ｇ３を算出した後、処理部３３５は、距離Ｇ１，Ｇ２，Ｇ３に基づいて、基準ツース間距離Ｇを算出する。実施形態において、基準ツース間距離Ｇは、距離Ｇ１，Ｇ２，Ｇ３の中央値である。

基準ツース間距離Ｇを算出した後、図１７に示すように、処理部３３５は、根本５１に対応する刃先５２を探索する。根本５１と根本５１に対応する刃先５２とは、１個のバケットツース１８の基端部と先端部とを構成する。実施形態において、処理部３３５は、根本５１を基準として探索範囲５３を設定し、探索範囲５３において刃先５２を探索する。探索範囲５３は、画像データにおいて四角形状に設定される。図１７に示すように、画像データにおける縦方向の探索範囲５３の寸法が［γ×Ｇ］に定められ、画像データにおける横方向の探索範囲５３の寸法が［δ×Ｇ］に定められる。γ及びδは、予め定められた固定値である。

なお、第１撮像装置３１Ｌとバケット１２との距離が短いときに第１撮像装置３１Ｌにより撮像された画像データにおいて、バケット１２は、大きく映る。第１撮像装置３１Ｌとバケット１２との距離が長いときに第１撮像装置３１Ｌにより撮像された画像データにおいて、バケット１２は、小さく映る。画像データにおいてバケット１２の大きさが異なると、処理部３３５は、根本５１に対応する刃先５２を探索できない可能性がある。実施形態においては、基準ツース間距離Ｇに基づいて探索範囲５３が設定される。これにより、処理部３３５は、第１撮像装置３１Ｌとバケット１２との距離によらず、根本５１に対応する刃先５２を探索することができる。

複数の根本５１のそれぞれに対応する刃先５２を探索した後、図１８に示すように、処理部３３５は、バケットツース１８１の根本５１と刃先５２との距離Ｌ１、バケットツース１８２の根本５１と刃先５２との距離Ｌ２、バケットツース１８３の根本５１と刃先５２との距離Ｌ３、及びバケットツース１８４の根本５１と刃先５２との距離Ｌ４を算出する。距離Ｌ１は、バケット本体１７からのバケットツース１８１の突出量に相当する。距離Ｌ２は、バケット本体１７からのバケットツース１８２の突出量に相当する。距離Ｌ３は、バケット本体１７からのバケットツース１８３の突出量に相当する。距離Ｌ４は、バケット本体１７からのバケットツース１８４の突出量に相当する。距離Ｌ１，Ｌ２，Ｌ３，Ｌ４を算出した後、処理部３３５は、距離Ｌ１，Ｌ２，Ｌ３，Ｌ４に基づいて、基準ツース長Ｌを算出する。実施形態において、基準ツース長Ｌは、距離Ｌ１，Ｌ２，Ｌ３，Ｌ４の中央値である。なお、処理部３３５は、中心ＣＬよりも右側の第１撮像装置３１Ｒにより撮像された画像データに基づいて、４本のバケットツース１８５，１８６，１８７，１８８のそれぞれに対応する距離Ｌ５，Ｌ６，Ｌ７，Ｌ８を同様の方法により算出し、距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８に基づいて、基準ツース長Ｌを算出してもよい。

基準ツース長Ｌを算出した後、処理部３３５は、基準ツース長Ｌに基づいて、バケット本体１７からのバケットツース１８の突出量に係る寸法閾値を定める。実施形態において、寸法閾値は、［ε×Ｌ］に定められる。εは、予め定められた固定値である。このように、実施形態において、処理部３３５は、バケット本体１７からの複数のバケットツース１８（１８１，１８２，１８３，１８４）の突出量（Ｌ１，Ｌ２，Ｌ３，Ｌ４）に基づいて、寸法閾値を定める。

処理部３３５は、寸法閾値に基づいて、バケットツース１８（１８１，１８２，１８３，１８４）に欠損が有るか否かを判定する。処理部３３５は、バケット本体１７からのバケットツース１８の突出量が寸法閾値未満である場合、バケットツース１８に欠損が有ると判定する。処理部３３５は、バケット本体１７からのバケットツース１８の突出量が寸法閾値以上である場合、バケットツース１８に欠損が無いと判定する。実施形態において、処理部３３５は、バケットツース１８の突出量が寸法閾値未満である場合、バケット本体１７からバケットツース１８が脱落していると判定し、バケットツース１８の突出量が寸法閾値以上である場合、バケット本体１７からバケットツース１８が脱落していないと判定する。

なお、第１撮像装置３１Ｌとバケット１２との距離が短いときに第１撮像装置３１Ｌにより撮像された画像データにおいて、バケット１２は、大きく映る。第１撮像装置３１Ｌとバケット１２との距離が長いときに第１撮像装置３１Ｌにより撮像された画像データにおいては、バケット１２は、小さく映る。画像データにおいてバケット１２の大きさが異なると、処理部３３５は、バケットツース１８に欠損が有るか否かを正しく判定できない可能性がある。実施形態においては、基準ツース長Ｌに基づいて寸法閾値が定められる。これにより、処理部３３５は、第１撮像装置３１Ｌとバケット１２との距離によらず、バケットツース１８に欠損が有るか否かを判定することができる。

処理部３３５は、バケットツース１８に欠損が有るか否かの判定結果に基づいて、計測データを複数のサンプルに分類する。処理部３３５は、欠損が無いと判定された計測データを健全判定サンプルに分類する。処理部３３５は、欠損が有ると判定された計測データを欠損判定サンプルに分類する。処理部３３５は、バケットツース１８を認識できなかった計測データを未判定サンプルに分類する。処理部３３５は、欠損が無いと判定された計測データを示す健全判定サンプルの数をカウントする。処理部３３５は、欠損が有ると判定された計測データを示す欠損判定サンプルの数をカウントする。処理部３３５は、バケットツース１８を認識できなかった計測データを示す未判定サンプルの数をカウントする。実施形態において、計測データは、画像データであり、処理部３３５に分類されるサンプルは、フレームである。以下の説明において、健全判定サンプルを適宜、健全判定フレーム、と称し、欠損判定サンプルを適宜、欠損判定フレーム、と称し、未判定サンプルを適宜、未判定フレーム、と称する。

図１９は、実施形態に係る健全判定フレームの一例を示す図である。図１９に示すように、バケットツース１８１の突出量を示す距離Ｌ１、バケットツース１８２の突出量を示す距離Ｌ２、バケットツース１８３の突出量を示す距離Ｌ３、及びバケットツース１８４の突出量を示す距離Ｌ４のそれぞれが、寸法閾値以上である。この場合、処理部３３５は、バケットツース１８が欠損していないと判定する。処理部３３５は、欠損が無いと判定された画像データを健全判定フレームに分類する。

図２０は、実施形態に係る欠損判定フレームの一例を示す図である。図２０に示す例において、バケットツース１８２の突出量を示す距離Ｌ２が、寸法閾値未満である。この場合、処理部３３５は、バケットツース１８２が欠損していると判定する。処理部３３５は、欠損が有ると判定された画像データを欠損判定フレームに分類する。

以上、中心ＣＬよりも左側の第１撮像装置３１Ｌにより撮像された画像データに基づいて、バケットツース１８の脱落の有無を判定する方法について説明した。中心ＣＬよりも右側の第１撮像装置３１Ｒにより撮像された画像データに基づいて、バケットツース１８の脱落の有無を判定する方法も同様である。処理部３３５は、計測データ取得部３３１が第１撮像装置３１Ｒから取得した画像データに基づいて、４本のバケットツース１８５，１８６，１８７，１８８の脱落の有無を判定する。

出力部３３７は、バケットツース１８を示すシンボル６０を表示装置２４Ａに表示させる。出力部３３７は、バケットツース１８の欠損の有無に基づいて、シンボル６０の表示形態を変更する。

図２１は、実施形態に係る表示装置２４Ａに表示されるバケットツース１８を示すシンボル６０の一例を示す図である。図２１に示すように、処理部３３５が画像データにおいてバケットツース１８を認識できない場合、出力部３３７は、認識できないバケットツース１８を示すシンボル６０を第１表示形態で表示装置２４Ａに表示させる。画像データにおいてバケットツース１８の欠損が無いと処理部３３５により判定された場合、出力部３３７は、欠損が無いと判定されたバケットツース１８を示すシンボル６０を第２表示形態で表示装置２４Ａに表示させる。画像データにおいてバケットツース１８の欠損が有ると処理部３３５により判定された場合、出力部３３７は、欠損が有ると判定されたバケットツース１８を示すシンボル６０を第３表示形態で表示装置２４Ａに表示させる。

実施形態において、出力部３３７は、処理部３３５が認識できないバケットツース１８を示すシンボル６０を第１色彩で表示する。第１色彩は、例えば灰色である。出力部３３７は、欠損が無いと判定されたバケットツース１８を示すシンボル６０を第２色彩で表示する。第２色彩は、例えば緑色である。出力部３３７は、欠損が有ると判定されたバケットツース１８を示すシンボルを第３色彩で表示する。第３色彩は、例えば赤色である。

出力部３３７は、欠損判定フレームが存在する場合、欠損判定フレームが存在することを示す警告を出力装置２４から出力させる。また、出力部３３７は、処理部３３５によりカウントされた欠損判定フレームの数に基づいて、出力装置２４から出力させる警告の形態を変更する。

出力部３３７は、欠損判定フレームの数がサンプル閾値未満である場合、出力装置２４から第１形態で警告を出力させ、欠損判定フレームの数がサンプル閾値以上である場合、出力装置２４から第２形態で警告を出力させる。サンプル閾値は、予め定められた値である。

出力装置２４は、バケットツース１８を示すシンボル６０を表示する表示装置２４Ａと、警告音を発生する発音装置２４Ｂとを含む。出力部３３７は、欠損判定フレームの数がサンプル閾値未満である場合、表示装置２４Ａに第１形態で表示データを表示させ、欠損判定フレームの数がサンプル閾値以上である場合、表示装置２４Ａに第２形態で表示データを表示させてもよい。出力部３３７は、欠損判定フレームの数がサンプル閾値未満である場合、発音装置２４Ｂに第１形態で警告音を発生させ、欠損判定フレームの数がサンプル閾値以上である場合、発音装置２４Ｂに第２形態で警告音を発生させてもよい。

図２２は、実施形態に係る欠損判定フレームと警告の形態との関係を示す図である。欠損判定フレームの有無の判定は、所定のフレームレートで実施される。図２２に示す例において、欠損判定フレームの有無の判定は、０．２［ｓｅｃ．］間隔で実施される。図２２において、「通常」フレームは、健全判定フレーム又は未判定フレームを示す。図２２において、「欠損」フレームは、欠損判定フレームを含む。図２２に示す例において、サンプル閾値は、２である。

図２２に示すように、第１撮像装置３１により撮影された動画が未判定フレーム及び健全判定フレームの一方又は両方で構成される場合、発音装置２４Ｂから警告音は出力されない。第１撮像装置３１により撮影された動画が未判定フレームのみで構成される場合、表示装置２４Ａには、認識できないバケットツース１８を示すシンボル６０が第１表示形態で表示される。第１撮像装置３１により撮影された動画が健全判定フレームのみで構成される場合、表示装置２４Ａには、欠損が無いと判定されたバケットツース１８を示すシンボル６０が第２表示形態で表示される。

バケットツース１８は、バケット本体１７に複数取り付けられる。実施形態において、バケットツース１８は、車幅方向に間隔をあけて８個配置される。表示装置２４Ａは、複数のバケットツース１８のそれぞれの位置に基づいて、複数のシンボル６０を表示する。表示装置２４Ａには、複数のバケットツース１８１，１８２，１８３，１８４，１８５，１８６，１８７，１８８の位置に合わせて、８個のシンボル６０が間隔をあけて表示される。動画が未判定フレームのみで構成される場合、８個のシンボル６０の全部が第１表示形態で表示される。動画が健全判定フレームのみで構成される場合、８個のシンボル６０の全部が第２表示形態で表示される。

図２２に示すように、動画に欠損判定フレームが１つ存在する場合、出力部３３７は、発音装置２４Ｂから第１警告音を出力させる。第１撮像装置３１により撮影された動画に欠損判定フレームが２つ存在する場合、出力部３３７は、発音装置２４Ｂから第２警告音を出力させる。

実施形態において、出力部３３７は、計測データ取得部３３１に連続して取得されたサンプル閾値未満の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力装置２４から第１形態で警告を出力させ、計測データ取得部３３１に連続して取得されたサンプル閾値以上の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力装置２４から第２形態で警告を出力させる。

例えばサンプル閾値が２である場合、計測データ取得部３３１に連続して取得された２未満の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力部３３７は、発音装置２４Ｂから第１警告音を出力させる。つまり、欠損判定フレームの前後に取得された画像データが健全判定フレーム又は未判定フレームである場合、出力部３３７は、発音装置２４Ｂから第１警告音を出力させる。計測データ取得部３３１に連続して取得された２以上の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力部３３７は、発音装置２４Ｂから第２警告音を出力させる。つまり、欠損判定フレームが少なくとも２回連続する場合、出力部３３７は、発音装置２４Ｂから第２警告音を出力させる。

なお、欠損判定フレームが２回連続しなくても、第１撮像装置３１により撮影された単位時間当たりの動画に欠損判定フレームが少なくとも２つ存在する場合、出力部３３７は、発音装置２４Ｂから第２警告音を出力させてもよい。

なお、サンプル閾値は、任意である。サンプル閾値は、例えば３以上の任意の数でもよい。

警告の形態は、警告音の音量を含む。第１形態で警告を出力させることは、発音装置２４Ｂから第１音量で警告音を発生させることを含む。第２形態で警告を出力させることは、発音装置２４Ｂから第１音量よりも大きい第２音量で警告音を発生させることを含む。図２２に示す例において、第２警告音の音量は、第１警告音の音量よりも大きい。

また、第１撮像装置３１により撮影された動画に欠損判定フレームが有る場合、表示装置２４Ａには、欠損が有ると判定されたバケットツース１８を示すシンボル６０が第３表示形態で表示される。出力部３３７は、欠損が有ると判定されたバケットツース１８を示すシンボル６０と、欠損が無いと判定されたバケットツース１８を示すシンボル６０とを、異なる表示形態で表示する。図２２に示す例において、バケットツース１８４に欠損が有ると判定され、バケットツース１８１，１８２，１８３，１８５，１８６，１８７，１８８に欠損が無いと判定された場合、出力部３３７は、欠損が有ると判定されたバケットツース１８４を示すシンボルを第３表示形態で表示させ、欠損が無いと判定されたバケットツース１８１，１８２，１８３，１８５，１８６，１８７，１８８を示すシンボルを第２表示形態で表示させる。

［転石の判定］
次に、転石２４０の有無を判定する方法について説明する。作業機械１が前進するように前後進レバー２０Ｃが操作された場合、アルゴリズム選択部３３４は、車体データ取得部３３２により取得された前後進レバー２０Ｃの操作データに基づいて、第２アルゴリズムを選択する。実施形態において、処理部３３５は、画像データにおいて地面２００の転石２４０の有無を判定するときの判定基準を設定する。また、処理部３３５は、出力装置２４から警告を出力させるときの警告基準を設定する。

図２３は、実施形態に係る判定基準を説明する図である。実施形態において、判定基準は、画像データの転石２４０の寸法を含む。転石２４０の寸法は、画像データにおける転石２４０のピクセル数を含む。画像データにおいて転石２４０の寸法に係る閾値が設定される。転石２４０の寸法に係る閾値は、横方向の転石２４０の寸法に係る閾値Ｐｘと、縦方向の転石２４０の寸法に係る閾値Ｐｙとを含む。アルゴリズム記憶部３３８には、判定基準に係る標準値（初期値）が記憶されている。標準値は、転石２４０の寸法に係る閾値に係る推奨値である。処理部３３５は、標準値に基づいて、判定基準を設定する。実施形態において、処理部３３５は、標準値に基づいて、転石２４０の寸法に係る閾値を設定する。閾値は、標準値である。

図２４は、実施形態に係る警告基準を説明する図である。実施形態において、警告基準は、地面２００の少なくとも一部に設定される警告エリア３６を含む。

警告基準の設定は、警告エリア３６の寸法の設定を含む。警告エリア３６の寸法は、画像データにおける警告エリアのピクセル数を含む。図２４に示すように、画像データにおいて横方向の警告エリア３６の寸法Ｑｘと、縦方向の警告エリア３６の寸法Ｑｙとが設定される。

また、警告エリア３６の設定は、警告エリア３６の位置の設定を含む。警告エリア３６の位置の設定は、画像データにおける警告エリア３６の位置の設定を含む。処理部３３５は、前タイヤ６Ｆの前方の地面２００の一部に警告エリア３６を設定する。アルゴリズム記憶部３３８には、警告基準に係る標準値（初期値）が記憶されている。標準値は、警告エリア３６の寸法及び位置に係る推奨値である。処理部３３５は、標準値に基づいて、警告基準を設定する。実施形態において、処理部３３５は、標準値に基づいて、画像データにおける警告エリア３６の寸法及び位置を設定する。

処理部３３５は、入力装置２５からの入力データを取得する。運転者は、入力装置２５を操作して、判定基準の設定を変更したり、警告基準の設定を変更したりすることができる。処理部３３５は、入力データに基づいて、判定基準を設定する。処理部３３５は、入力データに基づいて、警告基準を設定する。

図２５は、実施形態に係る判定基準及び警告基準の設定画面の一例を示す図である。図２５に示すように、処理部３３５は、判定基準の設定画面を表示装置２４Ａに表示させる。処理部３３５は、警告基準の設定画面を表示装置２４Ａに表示させる。運転者は、設定画面を視認しながら、入力装置２５を操作して、判定基準の設定の変更、及び警告基準の設定の変更の少なくとも一方を実施することができる。

計測データ取得部３３１は、地面２００の計測データを所定のサンプリングレートで第２撮像装置３２から取得する。上述のように、地面２００の計測データは、第２撮像装置３２により撮像された地面２００の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部３３１は、地面２００の画像データを所定のフレームレートで第２撮像装置３２から取得する。計測データ取得部３３１は、前タイヤ６Ｆの前方の地面２００の画像データを取得する。

処理部３３５は、計測データ取得部３３１により取得された画像データに基づいて、地面２００の転石２４０の有無を判定する。処理部３３５は、画像データにおいて地面２００の転石２４０の有無を判定する。実施形態において、処理部３３５は、画像データにおいて前タイヤ６Ｆの前方の地面２００の転石２４０の有無を判定する。

処理部３３５は、入力データを解析して出力データを出力する第２のＡＩアルゴリズムを利用して、転石２４０の有無を判定する。

処理部３３５は、判定基準に基づいて、画像データにおいて地面２００の転石２４０の有無を判定する。処理部３３５は、転石２４０の寸法が閾値（Ｐｘ，Ｐｙ）を上回る場合、転石２４０が有ると判定し、転石２４０の寸法が閾値（Ｐｘ，Ｐｙ）以下である場合、転石２４０が無いと判定する。処理部３３５は、転石２４０の寸法が閾値Ｐｘ及び閾値Ｐｙの一方を上回る場合、転石２４０が有ると判定してもよい。処理部３３５は、転石２４０の寸法が閾値Ｐｘ及び閾値Ｐｙの両方を上回る場合、転石２４０が有ると判定してもよい。

出力部３３７は、前タイヤ６Ｆの前方の地面２００の転石２４０の有無に基づいて、出力装置２４から警告を出力させる。出力部３３７は、処理部３３５による転石２４０の有無の判定と、転石２４０と警告基準との関係とに基づいて、出力装置２４から警告を出力させる。警告基準は、地面２００の少なくとも一部に設定される警告エリア３６を含む。警告エリア３６は、前タイヤ６Ｆの前方の地面２００の一部に設定される。出力部３３７は、転石２４０が有ると判定された場合、転石２４０と警告エリア３６との位置関係に基づいて、出力装置２４から警告を出力させる。出力部３３７は、警告エリア３６に転石２４０が有ると判定された場合、警告エリア３６に転石２４０が存在することを示す警告を出力装置２４から出力させる。

［監視方法］
図２６は、実施形態に係る監視方法を示すフローチャートである。

計測データ取得部３３１は、第１撮像装置３１及び第２撮像装置３２のそれぞれから画像データを取得する（ステップＳ１）。

車体データ取得部３３２は、作業機械１の状態を示す車体データを取得する。実施形態において、車体データ取得部３３２は、車体データとして、角度センサ９０の検出データ及び前後進レバー２０Ｃの操作データを取得する（ステップＳ２）。

状態判別部３３３は、ステップＳ２において取得された角度センサ９０の検出データに基づいて、第１計測装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されているか否かを判定する（ステップＳ３）。

ステップＳ３において、第１計測装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されていると判定された場合（ステップＳ３：Ｙｅｓ）、状態判別部３３３は、ステップＳ２において取得された前後進レバー２０Ｃの操作データに基づいて、作業機械１が前進しているか否かを判定する（ステップＳ４）。

ステップＳ４において、作業機械１が前進していると判定された場合（ステップＳ４：Ｙｅｓ）、アルゴリズム選択部３３４は、第１アルゴリズム及び第２アルゴリズムを選択する（ステップＳ５）。

ステップＳ４において、作業機械１が前進していないと判定された場合（ステップＳ４：Ｎｏ）、アルゴリズム選択部３３４は、第１アルゴリズムを選択する（ステップＳ６）。

ステップＳ３において、第１計測装置３１の計測範囲Ｒａに作業機１０のバケット１２が配置されていないと判定された場合（ステップＳ３：Ｎｏ）、状態判別部３３３は、ステップＳ２において取得された前後進レバー２０Ｃの操作データに基づいて、作業機械１が前進しているか否かを判定する（ステップＳ７）。

ステップＳ７において、作業機械１が前進していると判定された場合（ステップＳ７：Ｙｅｓ）、アルゴリズム選択部３３４は、第２アルゴリズムを選択する（ステップＳ８）。

ステップＳ５又はステップＳ６において第１アルゴリズムが選択された後、処理部３３５は、第１撮像装置３１により撮像された画像データを第１アルゴリズムに基づいて処理して、作業機１０のバケット１２を認識する（ステップＳ９）。

汚染判定部３３６は、ステップＳ９において処理部３３５によりバケットツース１８が認識されているか否かを判定する（ステップＳ１０）。

ステップＳ１０において、バケットツース１８が認識されていると判定された場合（ステップＳ１０：Ｙｅｓ）、処理部３３５は、バケットツース１８が欠損しているか否かを判定する（ステップＳ１１）。

ステップＳ１１において、バケットツース１８が欠損していると判定された場合（ステップＳ１１：Ｙｅｓ）、出力部３３７は、バケットツース１８が欠損していることを示す警告を出力装置２４に出力させる（ステップＳ１２）。

ステップＳ１１において、バケットツース１８が欠損していないと判定された場合（ステップＳ１１：Ｎｏ）、出力装置２４から警告は出力されない（ステップＳ１３）。

図２２を参照して説明したように、第１撮像装置３１により撮影された動画が未判定フレーム及び健全判定フレームの一方又は両方で構成される場合、発音装置２４Ｂから警告音は出力されない。第１撮像装置３１により撮影された動画が未判定フレームのみで構成される場合、表示装置２４Ａには、認識できないバケットツース１８を示すシンボル６０が第１表示形態で表示される。第１撮像装置３１により撮影された動画が健全判定フレームのみで構成される場合、表示装置２４Ａには、欠損が無いと判定されたバケットツース１８を示すシンボル６０が第２表示形態で表示される。また、動画に欠損判定フレームが１つ存在する場合、発音装置２４Ｂから第１警告音が出力される。第１撮像装置３１により撮影された動画に欠損判定フレームが２つ存在する場合、発音装置２４Ｂから第２警告音が出力される。

ステップＳ１０において、バケットツース１８が認識されていないと判定された場合（ステップＳ１０：Ｎｏ）、汚染判定部３３６は、第１撮像装置３１の光学系の入射面が汚染されていると判定する。第１撮像装置３１の光学系の入射面が汚染されていると判定された場合、出力部３３７は、第１撮像装置３１の光学系の入射面が汚染されていることを示す警告を出力装置２４に出力させる（ステップＳ１４）。

ステップＳ５又はステップＳ８において第２アルゴリズムが選択された後、処理部３３５は、第２撮像装置３２により撮像された画像データを第２アルゴリズムに基づいて処理して、地面２００を認識する（ステップＳ１５）。

地面２００が認識された後、処理部３３５は、前タイヤ６Ｆの前方の地面２００に転石２４０が有るか否かを判定する（ステップＳ１６）。

ステップＳ１６において、前タイヤ６Ｆの前方の地面２００に転石２４０が有ると判定された場合（ステップＳ１６：Ｙｅｓ）、出力部３３７は、転石２４０が有ることを示す警告を出力装置２４に出力させる（ステップＳ１７）。

ステップＳ１６において、転石２４０が無いと判定された場合（ステップＳ１６：Ｎｏ）、出力装置２４から警告は出力されない（ステップＳ１３）。

ステップＳ１２、ステップＳ１３、ステップＳ１４、及びステップＳ１７のいずれかの処理が実施された後、又はステップＳ７において作業機械１が前進していないと判定された場合、処理部３３５は、監視処理を終了するか否かを判定する（ステップＳ１８）。

ステップＳ１８において、監視処理を継続すると判定された場合（ステップＳ１８：Ｎｏ）、ステップＳ１及びステップＳ２の処理に戻る。

ステップＳ１８において、監視処理を終了と判定された場合（ステップＳ１８：Ｙｅｓ）、監視処理が終了する。

［表示装置］
図２７は、実施形態に係る表示装置２４Ａの一例を示す図である。図２７に示すように、出力部３３７は、計測データ取得部３３１により取得された画像データに基づいて生成された地面２００を示す対象画像３７を表示装置２４Ａに表示させる。対象画像３７は、左側の第２撮像装置３２Ｌにより撮像された画像データを示す対象画像３７Ｌと、右側の第２撮像装置３２Ｒにより撮像された画像データを示す対象画像３７Ｒとを含む。対象画像３７Ｌと対象画像３７Ｒとは、表示装置２４Ａの表示画面に並べて表示される。対象画像３７Ｌと対象画像３７Ｒとは、表示装置２４Ａの表示画面に同時に表示される。対象画像３７Ｌは、表示装置２４Ａの表示画面の左領域に表示される。対象画像３７Ｒは、表示装置２４Ａの表示画面の右領域に表示される。

出力部３３７は、警告エリア３６を示すエリア画像３６０を表示装置２４Ａに表示させる。出力部３３７は、対象画像３７にエリア画像３６０を重畳させて表示装置２４Ａに表示させる。左側の前タイヤ６Ｆの前方の地面２００を含むように設定された警告エリア３６を示すエリア画像３６０は、対象画像３７Ｌに重畳した状態で表示装置２４Ａに表示される。右側の前タイヤ６Ｆの前方の地面２００を含むように設定された警告エリア３６を示すエリア画像３６０は、対象画像３７Ｒに重畳した状態で表示装置２４Ａに表示される。

出力部３３７は、前タイヤ６Ｆを示すシンボル７０を表示装置２４Ａに表示させる。シンボル７０は、左側の前タイヤ６Ｆを示すシンボル７０Ｌと、右側の前タイヤ６Ｆを示すシンボル７０Ｒとを含む。

出力部３３７は、前タイヤ６Ｆの前方の地面２００に転石２４０が有ることを示す警告を出力装置２４に出力させる。出力装置２４に警告を出力させることは、前タイヤ６Ｆの前方の地面２００に転石２４０が有ることを示す警告画像を表示装置２４Ａに表示させることを含む。出力装置２４に警告を出力させることは、前タイヤ６Ｆの前方の地面２００に転石２４０が有ることを示す警告音を発音装置２４Ｂから発生させることを含む。

実施形態において、警告画像は、対象画像３７において転石２４０を囲むように表示されるフレーム画像８０と、対象画像３７の周縁部に表示されるフレーム画像８１と、シンボル７０の背景画像８２とを含む。

出力部３３７は、転石２４０が強調されるようにフレーム画像８０を表示装置２４Ａに表示させる。

図２７に示す例において、対象画像３７Ｌの転石２４０は、警告エリア３６の外側に配置される。出力部３３７は、転石２４０が警告エリア３６の外側に存在すると処理部３３５により判定された場合、第１形態のフレーム画像８０Ｌを表示装置２４Ａに表示させる。

図２７に示す例において、対象画像３７Ｒの転石２４０の少なくとも一部は、警告エリア３６の内側に配置される。出力部３３７は、転石２４０が警告エリア３６の内側に存在すると処理部３３５により判定された場合、第１形態とは異なる第２形態のフレーム画像８０Ｒを表示装置２４Ａに表示させる。

出力部３３７は、警告エリア３６の内側に配置される転石２４０が警告エリア３６の外側に配置される転石２４０よりも強調されるように、フレーム画像８０Ｌ及びフレーム画像８０Ｒのそれぞれを表示装置２４Ａに表示させる。図２７に示す例において、フレーム画像８０Ｒが実線で表示され、フレーム画像８０Ｌが点線で表示させる。なお、フレーム画像８０Ｒが第１色彩で表示され、フレーム画像８０Ｌが第２色彩で表示されてもよい。第１色彩として、赤色が例示される。第２色彩として、緑色が例示される。

出力部３３７は、転石２４０の少なくとも一部が警告エリア３６の内側に存在する対象画像３７が強調されるようにフレーム画像８１を表示装置２４Ａに表示させる。

図２７に示す例において、対象画像３７Ｒに表示される転石２４０の少なくとも一部は、警告エリア３６の内側に存在する。対象画像３７Ｌに表示される転石２４０は、警告エリア３６の外側に存在する。出力部３３７は、対象画像３７Ｒが対象画像３７Ｌよりも強調されるように、フレーム画像８１を表示装置２４Ａに表示させる。

出力部３３７は、転石２４０の上を通過する可能性が高い前タイヤ６Ｆが強調されるように背景画像８２を表示装置２４Ａに表示させる。

図２７に示す例において、右側の前タイヤ６Ｆは、転石２４０の上を通過する可能性が高い。すなわち、作業機械１の前進により、右側の前タイヤ６Ｆは、転石２４０を踏む可能性が高い。出力部３３７は、転石２４０の上を通過する可能性が高い右側の前タイヤ６Ｆが強調されるように、シンボル７０Ｒの背景画像８２を表示装置２４Ａに表示させる。

なお、図２７に示す例において、左側の前タイヤ６Ｆが転石２４０の上を通過する可能性が高い場合、出力部３３７は、転石２４０の上を通過する可能性が高い左側の前タイヤ６Ｆが強調されるように、シンボル７０Ｌの背景画像８２を表示装置２４Ａに表示させることができる。

出力部３３７は、バケットツース１８を示すシンボル６０を表示装置２４Ａに表示させる。出力部３３７は、複数のバケットツース１８のそれぞれの位置に基づいて、複数のシンボル６０を表示する。シンボル６０は、バケットツース１８１を示すシンボル６１と、バケットツース１８２を示すシンボル６２と、バケットツース１８３を示すシンボル６３と、バケットツース１８４を示すシンボル６４と、バケットツース１８５を示すシンボル６５と、バケットツース１８６を示すシンボル６６と、バケットツース１８７を示すシンボル６７と、バケットツース１８８を示すシンボル６８と、を含む。

複数のシンボル６０は、表示装置２４Ａの表示画面の上領域に表示される。複数のシンボル６０のうち、シンボル６１は、最も左側に表示され、シンボル６２は、シンボル６１に次いで左側に配置され、シンボル６３は、シンボル６２に次いで左側に配置され、シンボル６４は、シンボル６３に次いで左側に配置され、シンボル６５は、シンボル６４に次いで左側に配置され、シンボル６６は、シンボル６５に次いで左側に配置され、シンボル６７は、シンボル６６に次いで左側に配置され、シンボル６８は、最も右側に配置される。

図２７は、処理部３３５が８個のバケットツース１８を認識できず、８個のシンボル６０が第１表示形態で表示されている例を示す。第１撮像装置３１の光学系の入射面が汚染され、８個のバケットツース１８が認識されない場合、出力部３３７は、図２７に示すように、８個のシンボル６０を第１表示形態で表示させる。

図２８は、実施形態に係る表示装置２４Ａの一例を示す図である。なお、図２８は、表示装置２４Ａの上領域を抽出した図である。

図２８は、処理部３３５が８個のバケットツース１８のそれぞれの欠損の有無を判定したときのシンボル６０の一例を示す。図２８に示すように、出力部３３７は、バケットツース１８の欠損の有無に基づいて、シンボル６０の表示形態を変更する。出力部３３７は、欠損が有ると判定されたバケットツース１８を示すシンボル６０と、欠損が無いと判定されたバケットツース１８を示すシンボル６０とを、異なる表示形態で表示する。図２８に示すように、バケットツース１８４に欠損が有ると判定され、バケットツース１８１，１８２，１８３，１８５，１８６，１８７，１８８に欠損が無いと判定された場合、出力部３３７は、欠損が有ると判定されたバケットツース１８４を示すシンボル６４を第３表示形態で表示させ、欠損が無いと判定されたバケットツース１８１，１８２，１８３，１８５，１８６，１８７，１８８を示すシンボル６１，６２，６３，６５，６６，６７，６８を第２表示形態で表示させる。出力部３３７は、シンボル６４を第３色彩で表示装置２４Ａに表示させ、シンボル６１，６２，６３，６５，６６，６７，６８を第２色彩で表示装置２４Ａに表示させる。第３色彩は、例えば赤色である。第２色彩は、例えば緑色である。

［コンピュータシステム］
図２９は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の監視コントローラ３３及び駆動コントローラ４８のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の監視コントローラ３３及び駆動コントローラ４８のそれぞれの機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１に搭載され対象を計測する第１計測装置３１及び第２計測装置３２の計測データを取得することと、作業機械１の状態を示す車体データを取得することと、車体データに基づいて、作業機械１の状態を判別することと、判別された作業機械１の状態に基づいて、計測データを処理する特定のアルゴリズムを選択することと、選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識することと、対象の認識結果を出力装置に出力させることと、を実行することができる。

［効果］
以上説明したように、作業機械１の監視システム３０は、作業機械１に搭載され対象を計測する第１撮像装置３１及び第２撮像装置３２の画像データを取得する計測データ取得部３３１と、作業機械１の状態を示す車体データを取得する車体データ取得部３３２と、車体データに基づいて、作業機械１の状態を判別する状態判別部３３３と、状態判別部３３３により判別された作業機械１の状態に基づいて、画像データを処理する特定のアルゴリズムを選択するアルゴリズム選択部３３４と、アルゴリズム選択部３３４により選択された特定のアルゴリズムに基づいて画像データを処理して、対象を認識する処理部３３５と、処理部３３５により認識された対象の認識結果を出力装置２４に出力させる出力部３３７と、を備える。

実施形態によれば、作業機械１の状態に基づいて、画像データを処理する特定のアルゴリズムが選択されるので、処理部３３５は、複数の対象を効率良く認識することができる。第１撮像装置３１の計測範囲Ｒａにバケット１２が配置されている状況においては、処理部３３５は、バケットツース１８を認識するために第１撮像装置３１により撮像された画像データを第１アルゴリズムに基づいて処理する。第１撮像装置３１の計測範囲Ｒａにバケット１２が配置されていない状況においては、処理部３３５は、バケットツース１８を認識するための処理を実施しない。作業機械１が前進して前タイヤ６Ｆの前方の地面２００の転石２４０を前タイヤ６Ｆが踏む可能性が高い状況においては、処理部３３５は、前タイヤ６Ｆの前方の地面２００の転石２４０を認識するために第２撮像装置３２により撮像された画像データを第２アルゴリズムに基づいて処理する。作業機械１が後進又は停止して前タイヤ６Ｆの前方の地面２００の転石２４０を前タイヤ６Ｆが踏む可能性が低い状況においては、処理部３３５は、転石２４０を認識するための処理を実施しない。このように、監視コントローラ３３は、バケットツース１８及び転石２４０の両方を認識するための処理を常時実施しなくても済む。そのため、バケットツース１８及び転石２４０の監視に要する監視コントローラ３３の負担が軽減される。したがって、監視コントローラ３３は、バケットツース１８及び転石２４０のそれぞれを効率良く監視することができる。

［別の実施形態］
上述の実施形態において、第１撮像装置３１及び第２撮像装置３２のそれぞれが、前照灯２８を保持するハウジング９に配置されることとした。第１撮像装置３１及び第２撮像装置３２の少なくとも一方は、ハウジング９とは異なる作業機械１の部位に配置されてもよい。

上述の実施形態において、第２撮像装置３２は、第１撮像装置３１よりも上方に配置されることとした。上下方向において、第２撮像装置３２の少なくとも一部は、第１撮像装置３１と同じ位置に配置されてもよい。第２撮像装置３２は、第１撮像装置３１よりも下方に配置されてもよい。

上述の実施形態において、バケットツース１８の欠損は、バケット本体１７からのバケットツース１８の脱落であることとした。バケットツース１８の欠損は、バケットツース１８の摩耗でもよいし、バケットツース１８の折損でもよい。

上述の実施形態において、処理部３３５は、交換部材としてバケットツース１８の欠損を監視することとした。処理部３３５は、交換部材としてツース間プロテクタ１９の欠損を監視してもよい。ツース間プロテクタ１９の欠損は、バケット本体１７からのツース間プロテクタ１９の脱落、ツース間プロテクタ１９の摩耗、及びツース間プロテクタ１９の折損を含む。

上述の実施形態において、警告基準の設定は、警告エリア３６の寸法の設定と警告エリア３６の位置の設定とを含むこととした。警告基準の設定は、警告エリア３６の寸法の設定及び警告エリア３６の位置の設定のいずれか一方の設定でもよい。例えば、警告エリア３６の位置が予め定められた固定値であり、警告エリア３６の寸法のみが設定されてもよい。また、警告エリア３６の寸法が予め定められた固定値であり、警告エリア３６の位置のみが設定されてもよい。

上述の実施形態において、処理部３３５は、判定基準に基づいて、地面２００の転石２４０の有無を判定し、転石２４０と警告基準との関係とに基づいて、出力装置２４から警告を出力させることとした。処理部３３５は、判定基準及び警告基準の両方を満たした場合に、転石２４０が有ると判定してもよい。この場合、処理部３３５は、警告基準を判定基準として用いてもよい。また、処理部３３５は、判定基準によらず、地面２００の転石２４０の有無を判定し、判定基準及び警告基準の両方を満たした場合に、警告を出力させるようにしてもよい。この場合、処理部３３５は、判定基準を警告基準として用いてもよい。

上述の実施形態において、出力部３３７は、警告エリア３６を示すエリア画像３６０を表示装置２４Ａに表示することとした。出力部３３７は、警告エリア３６を示すエリア画像３６０を表示装置２４Ａに表示しなくてもよい。出力部３３７は、転石２４０が有ると判定された場合に、警告エリア３６を示すエリア画像３６０を表示装置２４Ａに表示するようにしてもよい。出力部３３７は、警告エリア３６内に転石２４０が有ると判定された場合に、警告エリア３６を示すエリア画像３６０を表示装置２４Ａに表示するようにしてもよい。

上述の実施形態においては、作業機械１が前進可能な状態又は前進している状態において第２アルゴリズムが選択され、第２アルゴリズムに基づいて、前タイヤ６Ｆの前方の地面２００に転石２４０が有るか否かが判定されることとした。作業機械１が後進可能な状態又は後進している状態において第２アルゴリズムが選択され、後タイヤ６Ｒの後方の地面２００に転石２４０が有るか否かが判定されてもよい。

図３０は、別の実施形態に係る作業機械１の動作を示す図である。図３０に示すように、作業機械１は、後タイヤ６Ｒの後方の地面２００を撮像する第２撮像装置３２を有する。計測データ取得部３３１は、後タイヤ６Ｒの後方の地面２００の画像データを第２撮像装置３２から取得する。アルゴリズム選択部３３４は、作業機械１が後進するときに第２アルゴリズムを選択し、処理部３３５は、作業機械１が後進するときに第２アルゴリズムに基づいて後タイヤ６Ｒの後方の地面２００に転石２４０が有るか否かを判定してもよい。

上述の実施形態において、出力装置２４は、作業機械１の運転室に配置されることとした。出力装置２４は、作業機械１の外部に配置されてもよい。

図３１は、別の実施形態に係る監視システム３００を示す図である。図３１に示す例において、作業機械１は、作業機械１の遠隔地に設けられている運転操作装置２０Ｆによって遠隔操作される。

上述の実施形態と同様、第１撮像装置３１及び第２撮像装置３２のそれぞれが作業機械１に設けられる。また、作業機械１の前方を撮像する遠隔操作用撮像装置（不図示）が作業機械１に設けられる。遠隔操作用撮像装置は、図４に示したような、運転室の運転席に着座した運転者がフロントガラスを介して見る景色と同様の作業機械１の前方の景色の画像データを撮像する。

作業機械１の遠隔地に設けられている遠隔操作施設に、出力装置２４Ｆ、入力装置２５Ｆ、監視コントローラ３３Ｆ、及び運転操作装置２０Ｆの一部又は全部が配置される。出力装置２４Ｆ、入力装置２５Ｆ、監視コントローラ３３Ｆ、及び運転操作装置２０Ｆのそれぞれは、作業機械１とは別体で設けられる。また、遠隔操作施設に、遠隔操作用撮像装置が撮像した画像データを表示する遠隔操作用表示装置が設けられる。

作業機械１と監視コントローラ３３Ｆとは、無線通信システムを介して無線通信する。作業機械１には無線通信システムの無線通信機３０１が設けられ、監視コントローラ３３Ｆには無線通信システムの無線通信機３０２が接続される。なお、作業機械１の無線通信機３０１と監視コントローラ３３Ｆの無線通信機３０２とは、他の機器を経由して通信してもよい。

遠隔操作用撮像装置により撮像された画像データは、無線通信システムを介して遠隔操作用表示装置に送信される。遠隔操作施設の運転者は、遠隔操作用表示装置に表示された画像データを見ながら、運転操作装置２０Ｆを操作することができる。運転操作装置２０Ｆが操作されることにより生成された操作信号は、無線通信システムを介して作業機械１に送信される。これにより、作業機械１が遠隔操作される。

監視コントローラ３３Ｆは、図１３を参照して説明したような、計測データ取得部３３１、車体データ取得部３３２、状態判別部３３３、アルゴリズム選択部３３４、処理部３３５、汚染判定部３３６、出力部３３７、及びアルゴリズム記憶部３３８を有する。

第１撮像装置３１及び第２撮像装置３２により撮像された画像データは、無線通信システムを介して作業機械１から監視コントローラ３３Ｆに送信される。監視コントローラ３３Ｆの処理部３３５は、第１撮像装置３１により撮像された画像データに基づいて、バケットツース１８の欠損の有無を判定することができる。また、監視コントローラ３３Ｆの出力部３３７は、バケットツース１８の欠損が有ることを示す警告を出力装置２４Ｆに出力させることができる。監視コントローラ３３Ｆの処理部３３５は、第２撮像装置３２により撮像された画像データに基づいて、地面２００の転石２４０の有無を判定することができる。また、監視コントローラ３３Ｆの出力部３３７は、地面２００の転石２４０が有ることを示す警告を出力装置２４Ｆに出力させることができる。

上述の実施形態において、第１計測装置３１及び第２計測装置３２のそれぞれが撮像装置であることとした。第１計測装置３１及び第２計測装置３２の少なくとも一方は、レーザ装置でもよい。第１計測装置３１及び第２計測装置３２の少なくとも一方は、レーダ装置でもよい。レーザ装置は、計測対象にレーザ光を照射して、計測対象の計測データを取得する。レーダ装置は、計測対象に音波を照射して、計測対象の計測データを取得する。レーザ装置は、作業機１０にレーザ光を照射して、所定のサンプリングレートで作業機１０の計測データを取得することができる。レーダ装置は、作業機１０に音波を照射して、所定のサンプリングレートで作業機１０の計測データを取得することができる。出力部３３７は、作業機１０に欠損が有ると判定された計測データを示す欠損判定サンプルの数に基づいて、出力装置２４から出力させる警告の形態を変更することができる。

上述の実施形態において、第１計測装置３１及び第２計測装置３２の受信面が光学系の入射面であることとした。第１計測装置３１及び第２計測装置３２の少なくとも一方がレーザ装置である場合、レーザ装置の受信面は、レーザ光の受光面を含む。汚染判定部３３６は、上述の実施形態に従って、レーザ装置の受光面の汚染の有無を判定することができる。第１計測装置３１及び第２計測装置３２の少なくとも一方がレーダ装置である場合、レーザ装置の受信面は、レーダ装置の電波受信面を含む。汚染判定部３３６は、上述の実施形態に従って、レーダ装置の電波受信面の汚染の有無を判定することができる。

上述の実施形態において、作業機械１は、ホイールローダであることとした。作業機械１は、ブルドーザ及び油圧ショベル等の他の作業機械でもよい。ブルドーザ及び油圧ショベルのそれぞれは、作業機と、地面２００に接触した状態で回転する履帯とを有する。履帯は、地面２００に接触した状態で回転する回転部材である。履帯が回転することにより、作業機械が走行する。

１…作業機械、２…車体、２Ａ…関節機構、２Ｆ…前部車体、２Ｒ…後部車体、３…運転台、４…走行装置、５…車輪、５Ｆ…前輪、５Ｒ…後輪、６…タイヤ、６Ｆ…前タイヤ、６Ｒ…後タイヤ、７…フロントフェンダ、７Ｌ…フロントフェンダ、７Ｒ…フロントフェンダ、８…支持部材、８Ｌ…支持部材、８Ｒ…支持部材、９…ハウジング、９Ｌ…ハウジング、９Ｒ…ハウジング、１０…作業機、１１…ブーム、１２…バケット、１２Ｅ…端部、１２Ｍ…開口部、１３…ブームシリンダ、１４…バケットシリンダ、１５…ベルクランク、１６…バケットリンク、１７…バケット本体、１７Ａ…底板部、１７Ｂ…上板部、１７Ｃ…左板部、１７Ｄ…右板部、１８…バケットツース、１９…ツース間プロテクタ、２０…運転操作装置、２０Ａ…アクセルペダル、２０Ｂ…ブレーキペダル、２０Ｃ…前後進レバー、２０Ｆ…運転操作装置、２１…操作パネル、２２…モニタ装置、２３…リアビューモニタ装置、２４…出力装置、２４Ａ…表示装置、２４Ｂ…発音装置、２４Ｆ…出力装置、２５…入力装置、２５Ｆ…入力装置、２７…ピラー、２８…前照灯、２８Ｌ…前照灯、２８Ｒ…前照灯、２９…ウインカーランプ、２９Ｌ…ウインカーランプ、２９Ｒ…ウインカーランプ、３０…監視システム、３１…第１撮像装置（第１計測装置）、３１Ｌ…第１撮像装置、３１Ｒ…第１撮像装置、３２…第２撮像装置（第２計測装置）、３２Ｌ…第２撮像装置、３２Ｒ…第２撮像装置、３３…監視コントローラ、３３Ｆ…監視コントローラ、３６…警告エリア、３７…対象画像、３７Ｌ…対象画像、３７Ｒ…対象画像、４０…駆動システム、４１…エンジン、４２…燃料噴射装置、４３…パワーテイクオフ、４４…トランスミッション、４４Ｆ…前進ギヤ、４４Ｒ…後進ギヤ、４５Ｆ…フロントアクスル、４５Ｒ…リヤアクスル、４６…油圧ポンプ、４７…制御弁、４８…駆動コントローラ、５０…認識範囲、５１…根本、５２…刃先、５３…探索範囲、６０…シンボル、６１…シンボル、６２…シンボル、６３…シンボル、６４…シンボル、６５…シンボル、６６…シンボル、６７…シンボル、６８…シンボル、７０…シンボル、７０Ｌ…シンボル、７０Ｒ…シンボル、８０…フレーム画像、８０Ｌ…フレーム画像、８０Ｒ…フレーム画像、８１…フレーム画像、８２…背景画像、９０…角度センサ、９１…ブーム角度センサ、９２…バケット角度センサ、１８１…バケットツース、１８２…バケットツース、１８３…バケットツース、１８４…バケットツース、１８５…バケットツース、１８６…バケットツース、１８７…バケットツース、１８８…バケットツース、１９１…ツース間プロテクタ、１９２…ツース間プロテクタ、１９３…ツース間プロテクタ、１９４…ツース間プロテクタ、１９５…ツース間プロテクタ、１９６…ツース間プロテクタ、１９７…ツース間プロテクタ、２００…地面、２１０…地山、２２０…ダンプトラック、２３０…ダンプボディ、２４０…転石、３００…監視システム、３０１…無線通信機、３０２…無線通信機、３３１…計測データ取得部、３３２…車体データ取得部、３３３…状態判別部、３３４…アルゴリズム選択部、３３５…処理部、３３６…汚染判定部、３３７…出力部、３３８…アルゴリズム記憶部、３６０…エリア画像、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＣＬ…中心、ＦＸ…回転軸、Ｇ…基準ツース間距離、Ｇ１…距離、Ｇ２…距離、Ｇ３…距離、Ｌ…基準ツース長、Ｌ１…距離、Ｌ２…距離、Ｌ３…距離、Ｌ４…距離、Ｍ１…矢印、Ｍ２…矢印、Ｍ３…矢印、Ｍ４…矢印、Ｐｘ…閾値、Ｐｙ…閾値、Ｑｘ…寸法、Ｑｙ…寸法、Ｒａ…計測範囲、Ｒｂ…計測範囲、ＲＸ…回転軸、α…第１画角、β…第２画角。

Claims (10)

1. 作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、
   前記作業機械の状態を示す車体データを取得する車体データ取得部と、
   前記車体データに基づいて、前記作業機械の状態を判別する状態判別部と、
   前記状態判別部により判別された前記作業機械の状態に基づいて、前記計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、
   前記アルゴリズム選択部により選択された特定のアルゴリズムに基づいて前記計測データを処理して、前記対象を認識する処理部と、を備える、
   作業機械の監視システム。
2. 前記作業機械は、作業機と、走行装置と、を有し、
   前記車体データは、前記作業機の姿勢を示す姿勢データと、前記走行装置の前進又は後進を示す前後進データと、を含む、
   請求項１に記載の作業機械の監視システム。
3. 相互に異なる複数のアルゴリズムを記憶するアルゴリズム記憶部を備え、
   前記アルゴリズム選択部は、前記作業機械の状態に基づいて、前記アルゴリズム記憶部に記憶されている複数のアルゴリズムから特定のアルゴリズムを選択する、
   請求項１に記載の作業機械の監視システム。
4. 前記計測装置は、第１計測装置と、第２計測装置と、を含み、
   前記アルゴリズム記憶部に記憶されているアルゴリズムは、前記第１計測装置の計測データを処理する第１アルゴリズムと、前記第２計測装置の計測データを処理する第２アルゴリズムと、を含む、
   請求項３に記載の作業機械の監視システム。
5. 前記作業機械は、作業機と、走行装置と、を有し、
   前記第１計測装置が計測する対象は、前記作業機を含み、
   前記第２計測装置が計測する対象は、前記走行装置が走行する地面を含む、
   請求項４に記載の作業機械の監視システム。
6. 前記作業機械は、作業機と、走行装置と、を有し、
   前記車体データは、前記作業機の姿勢を示す姿勢データと、前記走行装置の前進又は後進を示す前後進データと、を含み、
   前記姿勢データに基づいて前記第１計測装置の計測範囲に前記作業機が配置されたと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第１アルゴリズムを選択し、
   前記姿勢データに基づいて前記第１計測装置の計測範囲に前記作業機が配置されていないと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第１アルゴリズムを選択せず、
   前記前後進データに基づいて前記走行装置が前進していると前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第２アルゴリズムを選択し、
   前記前後進データに基づいて前記走行装置が前進していないと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第２アルゴリズムを選択しない、
   請求項４に記載の作業機械の監視システム。
7. 前記処理部は、前記第１アルゴリズムに基づいて前記第１計測装置の計測データを処理して、前記作業機の欠損の有無を判定する、
   請求項５に記載の作業機械の監視システム。
8. 前記処理部は、前記第２アルゴリズムに基づいて前記第２計測装置の計測データを処理して、前記地面の転石の有無を判定する、
   請求項５に記載の作業機械の監視システム。
9. 前記処理部により認識された前記対象の認識結果を出力装置に出力させる出力部を備える、
   請求項１から請求項８のいずれか一項に記載の作業機械の監視システム。
10. 作業機械に搭載され対象を計測する計測装置の計測データを取得することと、
    前記作業機械の状態を示す車体データを取得することと、
    前記車体データに基づいて、前記作業機械の状態を判別することと、
    判別された前記作業機械の状態に基づいて、前記計測データを処理する特定のアルゴリズムを選択することと、
    選択された特定のアルゴリズムに基づいて前記計測データを処理して、前記対象を認識することと、を含む、
    作業機械の監視方法。

Images