JP2024507090A - 接地係合ツールの摩耗および喪失検出システムならびに方法 - Google Patents

Abstract

例示的な摩耗検出システム（１１０）は、少なくとも一つの接地係合ツール（ＧＥＴ）（１２５）を有する作業機械（１００）のバケット（１２０）の左画像（５１０）および右画像（５２０）を受信する。例示的なシステムは、ＧＥＴに対応する左画像から第一の関心領域（５５０）を識別し、ＧＥＴに対応する右画像から第二の関心領域（５６０）を識別する。例示的なシステムはまた、第一の関心領域に対応する左エッジデジタル画像（７４０）と、第二の関心領域に対応する右エッジデジタル画像（７５０）も生成する。さらに、例示的なシステムは、左エッジデジタル画像と右エッジデジタル画像との間の低密度ステレオ視差（７６０）を判定し、ＧＥＴに関連する測定データを判定し、また測定データに基づいて、少なくとも一つのＧＥＴに対する摩耗レベルまたは喪失も判定する。
【選択図】図１

Description

本開示は、コンピュータビジョン技術を使用して、経時的な物体の摩耗を検出するためのシステムおよび方法、より詳細には、経時的な接地係合ツール（ＧＥＴ）の摩耗または喪失を検出するためのシステムおよび方法に関する。

機械は、作業現場で様々なタスクを行うために使用されうる。例えば、機械は、砂利、コンクリート、アスファルト、土壌、および／または他の材料など、作業現場に存在する材料の掘削、移動、成形、輪郭形成、および／または除去に使用されうる。これらの機械は、こうした材料を収集するために使用されるバケットを含んでもよく、バケットは、材料をほぐすために、歯などの接地係合ツール（ＧＥＴ）のセットを含んでもよい。ＧＥＴはまた、バケットの縁を保護するために、歯の間にバケットに取り付けられたシュラウドを含みうる。経時的に、ＧＥＴは摩耗し、サイズが小さくなり、効果が低下するため、バケットが作業現場の材料を収集することがより困難になる。ＧＥＴはバケットから壊れる可能性がある。ＧＥＴの破損が検出されない場合、ＧＥＴは作業現場の材料と混合する可能性があり、砕石機または粉砕機などの下流の処理機器に損傷を与える可能性がある。作業機械は、摩耗検出システムを利用して、下流の機器への損傷が発生する前に、摩耗または破損したＧＥＴを識別しうる。

摩耗検出システムを提供する試みは、２０１９年１２月５日に公開された国際公開第２０１９／２２７１９４号（以下、’１９４号公開）に記載されている。具体的には、’１９４号公開は、作業機械のバケットの歯など、重機の動作器具の状態を監視するための方法およびシステムについて記載している。方法およびシステムは、動作器具の画像を受信し、画像内の関心領域を識別するように訓練された第一のニューラルネットワークを使用して、それを処理する。各関心領域は、重要領域または非重要領域として関連付けられた名称を有する。重機に近接した組み込みプロセッサは、第二のニューラルネットワークを使用して重要領域をさらに処理し、動作器具上の“摩耗目印”を識別する。次に、システムおよび方法は、摩耗目印を基準画像と比較し、動作器具の摩耗を判定する。

’１９４号公開のニューラルネットワークへの信頼、および摩耗レベルを識別するための機械学習は、摩耗状態の迅速な検出および予防的保守の正確なスケジューリングを可能にするスケールでＧＥＴ摩耗を測定することが困難でありうるため、問題となる可能性がある。例えば、ニューラルネットワークおよび機械学習の排他的な使用は、数センチメートル以内の測定精度のみを提供することができるが、５ミリメートル未満の範囲での精度が望ましい場合がある。さらに、’１９４号公開に記載されるような機械学習技術は、ＧＥＴの摩耗または喪失に関する大量の「偽陽性」が生じやすく、それらの効果を失わせる可能性がある。本明細書に記載されるシステムおよび方法は、これらの懸念のうちの一つ以上の対処を対象としうる。

第一の態様によれば、接地係合ツール（ＧＥＴ）の摩耗または喪失を検出するための方法は、作業機械に関連付けられた立体カメラから、作業機械のバケットの左画像および右画像を受信することを含む。バケットには少なくとも一つのＧＥＴがある。方法は、少なくとも一つのＧＥＴに対応する左画像から第一の関心領域を識別し、少なくとも一つのＧＥＴに対応する右画像から第二の関心領域を識別することをさらに含む。方法はまた、第一の関心領域に対応する左エッジデジタル画像を生成し、第二の関心領域に対応する右エッジデジタル画像を生成することも含む。方法はまた、左エッジデジタル画像と右エッジデジタル画像との間の低密度ステレオ視差を判定することも含む。低密度ステレオ視差に基づいて、方法は、少なくとも一つのＧＥＴの摩耗レベルまたは喪失を判定する。

さらなる態様によれば、ＧＥＴ摩耗検出システムは、立体カメラ、一つ以上のプロセッサ、および実行可能な命令を格納する非一時的コンピュータ可読媒体を含む。プロセッサによって実行されると、実行可能な命令は、プロセッサに、作業機械のバケットの左画像および右画像を立体カメラから受信することを含む動作を実行させる。バケットには少なくとも一つのＧＥＴがある。動作はまた、少なくとも一つのＧＥＴに対応する左画像から第一の関心領域を識別し、少なくとも一つのＧＥＴに対応する右画像から第二の関心領域を識別することを含む。動作はまた、第一の関心領域に対応する左エッジデジタル画像を生成し、第二の関心領域に対応する右エッジデジタル画像を生成することを含む。動作は、左エッジデジタル画像と右エッジデジタル画像との間の低密度ステレオ視差を判定することをさらに含む。低密度ステレオ視差に基づいて、プロセッサは、少なくとも一つのＧＥＴの摩耗レベルまたは喪失を判定する。

別の態様によれば、作業機械は、左モノクロ画像センサ、右モノクロ画像センサ、およびカラー画像センサを有する、を含む。作業機械はまた、少なくとも一つの接地係合ツール（ＧＥＴ）、一つ以上のプロセッサ、および一つ以上のプロセッサによって実行されると、一つ以上のプロセッサに動作を行わせる実行可能な命令を格納する非一時的コンピュータ可読媒体を有するバケットを含む。動作は、左モノクロ画像センサによって捕捉されたバケットの左画像、左モノクロ画像センサによって捕捉されたバケットの右画像、および立体カメラからカラー画像センサによって捕捉されたバケットのカラー画像を受信することを含みうる。動作はまた、左画像および右画像に深層学習ＧＥＴ検出アルゴリズムを適用し、左画像および右画像に対して高密度ステレオ視差マップを生成することによって、左画像からの第一の関心領域および右画像からの第二の関心領域を識別することを含む。動作はまた、勾配の大きさエッジ検出技術を使用して、左の関心領域に対応する左エッジデジタル画像および右の関心領域に対応する右エッジデジタル画像を生成することを含む。動作はまた、左エッジデジタル画像と右エッジデジタル画像との間の低密度ステレオ視差を判定すること、および低密度ステレオ視差に基づいて、少なくとも一つのＧＥＴの摩耗レベルまたは喪失を判定することを含む。

詳細な説明は、添付図面を参照して記載される。図中、参照番号の左端の桁は、参照番号が最初に現れる図を識別する。異なる図中の同じ参照番号は、類似または同一の項目を示す。

図１は、ＧＥＴにおける摩耗を検出するための例示的なシステムを含む、例示的な機械の概略図を示すブロック図である。 図２は、ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を有する例示的な環境の概略側面図を示す図である。 図３は、ＧＥＴにおける摩耗を検出するための例示的なシステムを含む、例示的な機械を有する別の例示的な環境の概略側面図を示す図である。 図４は、ＧＥＴにおける摩耗を検出するための例示的なシステムを含む、例示的な機械を有する別の例示的な環境の概略側面図を示す図である。 図５は、コンピュータビジョン技術を使用した関心領域検出プロセスのための画像データの例示的な流れを示す、画像データフロー図である。 図６は、深層学習技術を使用した関心領域検出プロセスのための画像データの例示的な流れを示す、画像データフロー図である。 図７は、コンピュータビジョン技術を使用した、摩耗検出プロセスのための画像データの例示的な流れを示す、画像データフロー図である。 図８は、深層学習技術を使用した摩耗検出プロセスのための画像データの例示的な流れを示す、画像データフロー図である。 図９は、コンピュータビジョン技術を使用して、例示的な環境で摩耗を検出するための例示的なプロセスである。 図１０は、深層学習技術を使用して、例示的な環境における摩耗を検出するための例示的なプロセスである。 図１１は、コンピュータビジョンと深層学習技術のハイブリッドを使用して、例示的な環境における摩耗を検出するための例示的なプロセスである。

本開示は、一般に、コンピュータビジョン技術を使用して、作業現場などの環境中の作業機械の構成要素の摩耗を検出するためのシステムおよび方法を対象とする。一部の例では、作業機械に関連付けられた立体カメラ（または「ステレオカメラ」）は、作業機械の構成要素のビデオを捕捉する。ビデオは、ステレオカメラ内またはステレオカメラの外部に配置されうる、作業機械に関連付けられた摩耗検出コンピュータシステムによって分析され、構成要素の摩耗を検出する。構成要素は、一例として、作業機械のバケットの一つ以上の接地係合ツール（ＧＥＴ）とすることができる。ステレオカメラは、ＧＥＴを含む左画像および右画像を捕捉し、摩耗検出コンピュータシステムは、ステレオコンピュータビジョン技術を使用して画像を処理して、ＧＥＴに対応する左画像および右画像の両方の関心領域を識別する。追加的に、または代替的に、左および右画像の両方で関心領域を識別するように訓練された深層学習ＧＥＴ検出アルゴリズムを用いることができる。摩耗検出コンピュータシステムが左画像および右画像の両方の関心領域を識別すると、関心領域をさらに処理して、ＧＥＴに関連付けられたエッジを生成する。摩耗検出コンピュータシステムは、左エッジデジタル画像および右エッジデジタル画像を使用して低密度ステレオ視差を判定し、低密度ステレオ視差を同じＧＥＴの以前判定された低密度ステレオ視差と比較するか、または低密度ステレオ視差を基準画像と比較することによって、低密度ステレオ視差内に囲まれたピクセルの数に基づいてＧＥＴの摩耗または喪失を判定する。左エッジデジタル画像と右エッジデジタル画像との間の低密度ステレオ視差を使用することで、本明細書に開示されるシステムおよび方法は、５ｍｍ未満の精度のレベルでＧＥＴの摩耗または喪失を正確に測定できる。

図１は、例示的な摩耗検出コンピュータシステム１１０を含む、例示的な作業機械１００の概略図を示すブロック図である。図１は、油圧採掘ショベルとしての作業機械１００を示すが、他の例では、作業機械１００は、土、岩、または鉱物などの材料を移動、彫刻、掘り出し、または除去する任意の機械を含みうる。図１に示すように、作業機械１００は、アーム１２２に取り付けられたバケット１２０を含みうる。バケット１２０は、材料をほぐす作業機械１００を支援する、歯などの一つ以上の接地係合ツール（ＧＥＴ）１２５を含みうる。本開示で提供される例は、典型的には、歯としてＧＥＴ１２５を指すが、他の種類のＧＥＴは、本開示によって提供される実施形態の範囲内であることが企図される。例えば、ＧＥＴには、リップシュラウド、エッジガード、アダプタ、リッパープロテクタ、切れ刃、サイドバープロテクタ、先端、または作業現場の材料との摩擦により経時的に摩耗する作業機械に関連する任意の他のツールが含まれうる。

作業機械１００はまた、ステレオカメラ１２８を含みうる。カメラ１２８は、バケット１２０およびＧＥＴ１２５に向けられた視野１２９を有する。ステレオカメラ１２８は、バケット１２０およびＧＥＴ１２５などの視野１２９内の物体のステレオ画像を捕捉するために間隔を置いている左画像センサおよび右画像センサを含む。いくつかの実施形態では、左画像センサおよび右画像センサは、モノクロ画像を捕捉する。ステレオカメラ１２８はまた、視野１２９内の物体のカラー画像を捕捉するためのカラー画像センサを含みうる。一部の実施形態では、カメラ１２８の出力デジタル画像または作業機械１００は、カメラ１２８と摩耗検出コンピュータシステム１１０との間に配置されるアナログデジタル変換器を含んで、摩耗検出コンピュータシステム１１０によって受信される前にアナログ画像をデジタル画像に隠してもよい。

作業機械１００が作業現場内で動作するとき、アーム１２２を移動してバケット１２０を位置付けて、作業現場内の材料を掘り出しダンプサイクルの一部として移動または掘り出すことができる。作業機械１００が、掘り出しダンプサイクルを通してバケット１２０を位置付けるとき、バケット１２０は、カメラ１２８の視野１２９の内および外に移動しうる。カメラ１２８は、掘り出しダンプサイクル中にＧＥＴ１２５の見通しを有するように位置付けられてもよい。例えば、カメラ１２８は、バケット１２０およびＧＥＴ１２５が、バケット１２０が掘り出しダンプサイクル内で材料を空にする瞬間に見えるように、作業機械１００上に位置付けられてもよい。別の例として、カメラ１２８は、アーム１２２が掘り出しダンプサイクル内で完全に伸張された、または完全に収縮された時に、バケット１２０がその視野に入るように位置付けられてもよい。以下で図２～４に関して説明する通り、カメラ１２８の位置は、作業機械１００の種類およびその作業現場に関連する詳細に応じて変化しうる。

一部の実施形態によれば、作業機械１００は、オペレータ制御パネル１３０を含みうる。オペレータ制御パネル１３０は、オペレータが摩耗検出コンピュータシステム１１０に関連する状態または警報を受信できるように、作業機械１００のオペレータのために出力を生成するディスプレイ１３３を含みうる。ディスプレイ１３３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、または当技術分野で既知のその他の種類のディスプレイを含みうる。いくつかの例では、ディスプレイ１３３は、スピーカまたはヘッドフォンまたは周辺スピーカ用ポートなどの音声出力を含みうる。ディスプレイ１３３はまた、マイクまたは周辺マイク用ポートなどの音声入力装置を含みうる。ディスプレイ１３３は、実施形態によっては、タッチセンサ式ディスプレイ画面を含んでもよく、これもまた入力装置として作用しうる。

いくつかの実施形態では、オペレータ制御パネル１３０はまた、キーボード１３７を含みうる。キーボード１３７は、摩耗検出コンピュータシステム１１０に入力能力を提供することができる。キーボード１３７は、作業機械１００のオペレータが摩耗検出コンピュータシステム１１０への入力を提供することを可能にする、複数のキーを含みうる。例えば、オペレータは、本開示の例に従って、キーボード１３７のキーを押して、作業機械１００、バケット１２０、および／またはＧＥＴ１２５の種類を選択または入力してもよい。キーボード１２７は、非仮想的（例えば、物理的に押すことのできるキーを含む）であってもよく、またはキーボード１２７は、ディスプレイ１３３のタッチセンサ式実施形態上に示される仮想キーボードであってもよい。

図１に示すように、摩耗検出コンピュータシステム１１０は、一つ以上のプロセッサ１４０を含みうる。プロセッサ１４０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵ、またはＦＰＧＡのいくつかの組み合わせ、あるいは任意の他の種類の処理装置のうちの一つ以上を含みうる。プロセッサ１４０は、算術演算および論理演算を行う多数の算術論理ユニット（ＡＬＵ）、ならびに命令および保存されたコンテンツをプロセッサキャッシュメモリから抽出し、その後、必要に応じてプログラム実行時にＡＬＵを呼び出すことによって命令を実行する一つ以上の制御ユニット（ＣＵ）を有してもよい。プロセッサ１４０はまた、一般的な種類の揮発性（ＲＡＭ）および／または不揮発性（ＲＯＭ）メモリと関連付けられうる、メモリ１５０に格納されたアプリケーション、ルーチン、またはプロセスに対して、ドライバおよびその他のコンピュータ実行可能命令を実行する責任も負ってもよい。

いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、メモリ１５０を含みうる。メモリ１５０は、揮発性（ＲＡＭなど）、不揮発性（ＲＯＭ、フラッシュメモリなど）、または二つのなんらかの組み合わせでありうるシステムメモリを含みうる。メモリ１５０は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するための任意の方法または技術に実装された、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体などの非一時的コンピュータ可読媒体をさらに含みうる。システムメモリ、リムーバブルストレージ、および非リムーバブルストレージはすべて、非一時的コンピュータ可読媒体の例である。非一時的コンピュータ可読媒体の例としては、限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは所望の情報を格納するために使用することができ、摩耗検出コンピュータシステム１１０によってアクセスできる任意の他の非一時的媒体が挙げられる。

メモリ１５０は、本明細書に記載されるように、摩耗検出コンピュータシステム１１０のために、コンピュータ実行可能命令を含むデータを格納することができる。例えば、メモリ１５０は、物理的パラメータライブラリ１６０、画像アナライザ１７０、摩耗アナライザ１７５、および警報マネージャ１８０などの摩耗検出コンピュータシステム１１０の一つ以上の構成要素を格納することができる。メモリ１５０はまた、摩耗検出コンピュータシステム１１０の動作を可能にするために、プロセッサ１４０によって実行可能な追加の構成要素、モジュール、またはその他のコードを格納できる。例えば、メモリ１５０は、入力／出力関数、ソフトウェアドライバ、オペレーティングシステム、または他の構成要素に関連するコードを含みうる。

一部の実施形態によれば、摩耗検出コンピュータシステム１１０の態様は、カメラ１２８内に配置されてもよい。例えば、カメラ１２８は、プロセッサ１４０および／またはメモリ１５０のうちの一つ以上を含みうる。追加的に、または代替的に、摩耗検出コンピュータシステム１１０の態様は、作業機械１００上およびカメラ１２８の外側に配置されてもよい。例えば、作業機械１００およびカメラ１２８の両方は、一つ以上のプロセッサ１４０またはメモリ１５０を含んでもよく、あるいは一つ以上のプロセッサ１４０またはメモリ１５０は、完全にカメラ１２８の外側に配置されてもよいが、作業機械１００内に配置されてもよい。

物理的パラメータライブラリ１６０は、作業機械１００、バケット１２０および／またはＧＥＴ１２５に関連する物理的パラメータセットを含みうる。例えば、物理的パラメータライブラリ１６０は、いくつかの例として、バケット１２０のサイズ、バケット１２０の形状、ＧＥＴ１２５のサイズ、ＧＥＴ１２５の形状、およびＧＥＴ１２５とバケット１２０との間の空間関係に関連する測定データを含みうる。物理的パラメータライブラリ１６０はまた、新しいまたは未摩耗状態のＧＥＴ１２５のサイズおよび形状に関連するパラメータ、およびＧＥＴ１２５が最大摩耗に達したときのサイズおよび形状に関連するパラメータを含みうる。

物理的パラメータライブラリ１６０はまた、バケット１２０およびＧＥＴ１２５（例えば、バケットツールテンプレート）の組み合わせに関連するテンプレートまたは参照画像を含みうる。例えば、作業機械１００については、物理的パラメータライブラリ１６０に格納されたテンプレートのうちの一つは、バケット１２０がカメラ１２８の視野内に位置付けられることが予想されるため、ＧＥＴ１２５を有するバケット１２０の画像を含みうる。バケットツールテンプレートは、ＧＥＴ１２５が摩耗していない（例えば、摩耗していないまたは予想されるエッジ）とき、またはそれらが最大摩耗（例えば、閾値エッジ）に達したときに、可能である。物理的パラメータライブラリ１６０はまた、ＧＥＴがいつ交換を必要とする点まで摩耗したかを判定する際に、摩耗アナライザ１７５を支援するために、ＧＥＴ１２５の摩耗に関連するその他の情報を含みうる。ＧＥＴ１２５に関連する摩耗データは、実際の測定（例えば、測定基準または帝国寸法）の形態、またはピクセル値の形態でありうる。

物理的パラメータライブラリ１６０は、各物理的パラメータセットが、作業機械、バケット、ＧＥＴ、またはこれらの組み合わせに対応する複数の物理的パラメータセットを含んでもよい。運転中、オペレータは、オペレータ制御パネル１３０を使用して、バケット１２０およびＧＥＴ１２５、または作業機械１００に一致する物理的パラメータライブラリ１６０から物理的パラメータセットを選択しうる。例えば、作業機械１００が、モデル番号「６０１５Ｂ」を有する油圧採掘ショベルである場合、オペレータは、オペレータ制御パネル１３０を使用して、モデル番号「６０１５Ｂ」を入力することができ、摩耗検出コンピュータシステム１１０は、モデル６０１５Ｂの油圧採掘ショベルに対応する物理的パラメータセットを物理的パラメータライブラリ１６０からメモリ１５０に読み込むことができる。一部の例では、物理的パラメータライブラリ１６０で利用可能なテンプレートのリストは、摩耗検出コンピュータシステム１１０の電源投入またはリセット動作時にディスプレイ１３３上に表示されてもよく、オペレータは、作業機械１００のモデル番号、バケット１２０のバケットの種類、またはＧＥＴ１２５の種類に応じて、作業用リストから物理的パラメータセットの一つを選択してもよい。

いくつかの実施形態では、オペレータは、作業シフトの開始時に、カメラ１２８の視野１２９内にバケット１２０およびＧＥＴ１２５を位置付け、摩耗検出コンピュータシステム１１０にオペレータ制御パネル１３０上の入力を使用して、バケット１２０およびＧＥＴ１２５の画像を捕捉させうる。次いで、摩耗検出コンピュータシステム１１０は、バケット１２０およびＧＥＴ１２５を物理的パラメータセットと一致させる画像マッチングプロセスを実行し、一致する物理的パラメータセットに基づいて本明細書に開示される摩耗検出および画像処理プロセスのためにそれ自体を構成しうる。

画像アナライザ１７０は、カメラ１２８によって捕捉された画像を分析して、画像内のＧＥＴ１２５を識別し、それらの画像の処理されたバージョンに基づいてＧＥＴ１２５の摩耗を測定するように構成することができる。例えば、画像アナライザ１７０は、左補正画像（カメラ１２８の左画像センサによって捕捉される）および右補正画像（カメラ１２８の右画像センサによって捕捉される）の形態で、カメラ１２８から立体画像を受信することができる。画像アナライザ１７０は、左補正画像および右補正画像上で様々なコンピュータビジョン技術を実行して、ＧＥＴ１２５に対応するそれらの中の関心領域を識別または判定しうる。

一つの実施形態では、画像アナライザ１７０は、左補正画像および右補正画像に基づいて、高密度ステレオ視差マップを作成しうる。画像アナライザは、高密度ステレオ視差マップをセグメント化して、関心領域を識別しうる。さらに、画像アナライザ１７０はまた、高密度ステレオ視差マップに基づいて３Ｄ点群を作成してもよく、３Ｄ点群をセグメント化して関心領域を識別してもよい。

画像アナライザ１７０は、関心領域を識別すると、さらに処理して、左補正画像に対応する左エッジデジタル画像および右補正画像に対応する右エッジデジタル画像を作成することができる。画像アナライザ１７０は、勾配大きさ検索ベースのエッジ検出を採用してもよいが、コンピュータビジョンの分野（例えば、ゼロ交差ベースのエッジ検出技術）内で用いられる他のエッジ検出技術が、左エッジデジタル画像および右エッジデジタル画像を作成するために他の実施形態で採用されうる。

コンピュータビジョン技術に加えて、またはコンピュータビジョン技術の使用の代替として、画像アナライザ１７０はまた、深層学習または機械学習技術を用いて、カメラ１２８によって捕捉された左補正画像および右補正画像内の関心領域を識別できる。例えば、画像アナライザ１７０は、個々のＧＥＴ、ＧＥＴのグループ、またはＧＥＴとバケットの組み合わせが標識化されている画像のコーパスに基づいて関心領域を識別するように訓練されたニューラルネットワークを用いる、深層学習ＧＥＴ検出アルゴリズムを使用しうる。画像アナライザ１７０はまた、画像内でＧＥＴを見つけるように訓練されたニューラルネットワークを用いる、深層学習ＧＥＴ位置アルゴリズムを使用しうる。ＧＥＴ位置アルゴリズムは、こうした個々のＧＥＴが標識化されている画像のコーパスを使用して訓練されている。ＧＥＴ位置アルゴリズムは、画像内の個々のＧＥＴを識別すると、ＧＥＴに対して対応する位置を出力する。例えば、ＧＥＴ位置アルゴリズムは、ＧＥＴの位置に関連するピクセル位置またはバウンディングボックス出力を出力することができる。

いくつかの例では、画像アナライザ１７０は、捕捉された画像内のＧＥＴ１２５の予想される位置を使用することによって、ＧＥＴのエッジ推定値を精密化してもよく、および／または個々のＧＥＴ１２５を識別してもよい。例えば、画像アナライザ１７０は、使用中のバケット１２０およびＧＥＴ１２５の種類に対応する物理的パラメータライブラリ１６０に格納された物理的パラメータセットに基づいて、バケット１２０に対するＧＥＴ１２５の予想される位置を知ってもよい。この情報を使用して、画像アナライザ１７０は、選択された画像内の予想される位置に移動し、歯に近接したピクセル領域を捕捉することができる。次いで、ピクセル領域を使用して、畳み込みフィルタの適用、セグメンテーション分析、エッジ検出、またはピクセル領域内のピクセル強度／暗さ解析などのコンピュータビジョン技術に基づいて、歯をさらに識別することができる。いくつかの実施形態では、画像アナライザ１７０は、個々の歯のテンプレートを使用して、ピクセル領域に適用し、コンピュータビジョン技術を使用して歯の位置をさらに精密化しうる。画像アナライザ１７０は、動的プログラミング技術を使用してエッジをさらに精密化しうる。動的プログラミング技術は、エッジの強度、エッジが高密度ステレオ視差マップ内の穴または不確かさ領域に近いかどうか、または他のエッジ検出最適化技術に基づいてなめらかにすることを含みうる。画像アナライザ１７０はまた、ＧＥＴ位置アルゴリズムの出力を使用して、ＧＥＴの位置を判定する際の信頼度を得て、ＧＥＴ位置アルゴリズムの出力に基づいてエッジ推定値をさらに精密化することができる。

画像アナライザ１７０はまた、摩耗アナライザ１７５がＧＥＴ１２５における摩耗を判定することができるように、摩耗アナライザ１７５に設けられる、低密度ステレオ視差を作成しうる。いくつかの実施形態では、画像アナライザ１７０は、左エッジデジタル画像（左補正画像と関連付けられる）と右エッジデジタル画像（右補正画像と関連付けられる）との間に低密度ステレオ視差を作成したが、この視差は摩耗アナライザ１７５によって使用される。別の方法として、低密度ステレオ視差は、第一の関心領域画像（左補正画像と関連付けられる）から計算されてもよく、第二の関心領域画像（右補正画像と関連付けられる）から計算されてもよく、画像アナライザ１７０は、低密度ステレオ視差画像からエッジを検出してもよい。

摩耗アナライザ１７５は、摩耗のために画像アナライザ１７０によって生成される低密度ステレオ視差を分析するように構成できる。例えば、バケット１２０およびＧＥＴ１２５に関連付けられた物理的パラメータセットは、カメラ１２８の予想される画像捕捉に基づいて較正された、非摩耗ＧＥＴ１２５または非摩耗ＧＥＴ１２５のセットに関連する予想されるデータを含みうる。予想されるデータは、ピクセル、実際の測定値、または非摩耗ＧＥＴに関連するエッジ画像の形態であってもよい。摩耗アナライザ１７５が低密度ステレオ視差を受信すると、作業機械１００が使用するＧＥＴ１２５に関連する測定データを判定することができる。次に、判定された測定データを、ＧＥＴ１２５の非摩耗バージョンに対応する予想されるデータと比較して、ＧＥＴ１２５についての摩耗レベルまたは喪失を判定してもよい。

一部の実施形態では、低密度ステレオ視差に関連するピクセル数を使用して、ＧＥＴの摩耗または喪失を測定することができる。ピクセル数は、いくつかの例のように、領域（例えば、ＧＥＴの合計ピクセル）、ピクセルでのＧＥＴの高さ、ピクセルでのＧＥＴの幅、ＧＥＴの高さおよび幅の合計を含みうる。ピクセル数を判定する方法は、ＧＥＴの形状およびスタイルに応じて変化しうる。例えば、幅よりもはるかに長いＧＥＴでは、高さピクセル数が使用されてもよく、長さよりもはるかに幅広いＧＥＴでは、幅ピクセル数が使用されてもよい。ピクセル数を判定するための様々な方法は、本開示の趣旨および範囲から逸脱することなく使用されうる。

いくつかの実施形態では、摩耗アナライザ１７５は、低密度ステレオ視差から抽出された判定された測定データと、非摩耗ＧＥＴ１２５に対応する予想されるデータとの間の類似性スコアを計算できる。類似性スコアは、ＧＥＴ１２５の判定された測定データが、物理的パラメータセットの予想されるデータにどの程度よく一致するかの尺度を反映することができる。例えば、類似性スコアは、類似性を検出するための、和集合の交点またはジャッカードインデックス法の使用を含みうる。いくつかの実施形態では、類似性を検出するダイス係数またはＦ１スコア方法を利用して、類似性スコアを判定することができる。類似性スコアはまた、低密度ステレオ視差の何ピクセルが予想されるエッジ画像とオーバーラップするかの割合を反映する値を含むことができる。いくつかの実施形態では、類似性スコアは、ゼロから１００まで計測または正規化されてもよい。

類似性スコアは、ＧＥＴ１２５の摩耗を表示することができる。例えば、低スコア（例えば、０～２０の範囲）は、ＧＥＴ１２５の一つが壊れたか、または歯の欠損を示すことを見落としていることを示しうる。高スコア（例えば、範囲８０～１００）は、歯が良好な健康状態にあり、交換を必要としないことを示しうる。低スコアと高スコアとの間のスコアは、歯の摩耗レベルを提供し得、高いスコアは、低いスコアよりも歯の置換のリードタイムがより長いことを示す。

いくつかの実施形態では、摩耗アナライザ１７５は、経時的にＧＥＴ１２５に関連する測定データを収集し、収集された測定データを使用して、ＧＥＴ１２５の摩耗レベルおよびＧＥＴ１２５の摩耗傾向を判定することができる。例えば、作業機械１００は、作業のために数日間、その作業現場で動作することができる。作業機械１００が作業中に材料を移動する際に、カメラ１２８は、摩耗検出コンピュータシステム１１０にステレオ画像のバケット１２０およびＧＥＴ１２５を提供し、画像アナライザ１７０はＧＥＴ１２５に対する低密度ステレオ視差を生成する。摩耗アナライザ１７５は、作業の期間にわたり、ＧＥＴ１２５に関連付けられた測定データ（例えば、ピクセル数、測定基準測定値、帝国測定値）を、いくつかのインスタンスの時間でマッピングすることができる。バケット１２０およびＧＥＴ１２５は、作業現場において材料と係合するため、ＧＥＴ１２５は摩耗によりサイズが小さくなることが予想される。したがって、ＧＥＴ１２５に関連付けられた測定データは、同様に経時的に減少し、経時的なピクセル数は、摩耗傾向を反映する。摩耗アナライザ１７２は、特定の時点での摩耗傾向を使用して、特定の時点でのＧＥＴ１２５の摩耗レベルを判定することができる。ＧＥＴ１２５に対する摩耗レベルは、ＧＥＴ１２５の交換が必要であることを示してもよく、またはＧＥＴ１２５のうちの一つ以上の喪失を示してもよい。一部の実施形態では、ＧＥＴ１２５に関連付けられた測定データは、メモリ１５０に格納され、複数の作業および複数の作業現場に適用されてもよく、摩耗傾向は、ＧＥＴ１２５の寿命に適用することができる。こうした実施形態では、摩耗アナライザ１７５によって捕捉されたＧＥＴ１２５に関連付けられたピクセル数は、バケット１２０またはＧＥＴ１２５が交換された時にリセットされてもよく、摩耗アナライザ１７５は、ゼロ時点からＧＥＴ１２５のピクセル数の収集を再開することができる。

摩耗アナライザ１７５は、経時的に測定されたＧＥＴ１２５の測定データに基づいて摩耗傾向を判定するため、摩耗アナライザ１７５はまた、ＧＥＴ１２５がいつ交換を必要とするかの予測を形成することができる。例えば、摩耗アナライザ１７５が、ＧＥＴ１２５に関連付けられた測定データが、ＧＥＴ１２５が１０作業時間あたり１％の寿命を失うことを示し（１０作業時間あたり１％測定データが減少するので）、ＧＥＴ１２５が８００作業時間の間使用されたと判定する場合、摩耗アナライザ１７５は、ＧＥＴ１２５を２００時間以内に交換する必要があると判定しうる。

いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、警報マネージャ１８０を含みうる。警報マネージャ１８０は、摩耗アナライザ１７５と通信することができ、摩耗アナライザ１７５によって判定される摩耗傾向および摩耗レベルを監視しうる。警報マネージャ１８０は、摩耗アナライザ１７５によって判定された情報に基づいて、オペレータ制御パネル１３０にメッセージ警報を提供できる。例えば、摩耗レベルが摩耗閾値に達すると、警報マネージャ１８０は、オペレータ制御パネル１３０のディスプレイ１３３上に示される警報を生成しうる。閾値は、極度のＧＥＴ摩耗、または場合によっては完全なＧＥＴ喪失を示す値に対応することができる。警報は、一つ以上のＧＥＴ１２５の交換が必要であることを、作業機械１００のオペレータに表示しうる。摩耗閾値は、実施形態によって異なり得、ＧＥＴ１２５の種類およびＧＥＴ１２５が係合する作業現場における材料に依存しうる。

警報マネージャ１８０はまた、ＧＥＴ１２５が将来何らかの時点で交換を必要とする可能性がある、例えば、ＧＥＴ１２５が２週間以内に交換する必要がある可能性があるという警報を提供することができる。交換警報は、ＧＥＴ１２５の摩耗傾向予測に関連する情報を含みうる。例えば、交換警報は、摩耗傾向（例えば、１作業日当たりＧＥＴ１２５の摩耗２％）、歯が使用中である時間、またはＧＥＴ１２５が使用データに基づいて摩耗閾値に到達すると予想される日付または時間の定量化を含むことができる。

一部の実施形態では、警報マネージャ１８０は、摩耗アナライザ１７５によって判定される摩耗傾向を監視し、ディスプレイ１３３に摩耗レベル値を提供し、作業機械１００のオペレータに現在の摩耗レベルを知らせることができる。例えば、摩耗傾向が、ＧＥＴ１２５が６０％摩耗していることを示す場合、摩耗傾向に基づいて、警告マネージャ１８０は、ＧＥＴ１２５が交換する必要がある前に寿命の４０％が残っていることを示すことができる。ディスプレイ１３３はまた、歯が破損したことをオペレータに通知し、歯の喪失（例えば、ＧＥＴ１２５のうちの一つ以上が２０％未満の寿命を有する場合）を示すことができる。

摩耗検出コンピュータシステム１１０は、広範囲の摩耗のために、ＧＥＴ１２５の交換が必要になったとき、または破損したとき、作業機械１００のオペレータに知らせられる。以下でより詳細に説明する摩耗検出コンピュータシステム１１０によって用いられるプロセスは、５ｍｍ未満のスケールでＧＥＴの摩耗の正確かつ精密な測定値を提供して、オペレータが、極度のＧＥＴ摩耗または喪失の場合に作業機械１００の動作を停止することができるようにする。摩耗検出コンピュータシステム１１０によって展開されるプロセスおよび技術は、様々な作業機械で使用されうる。

例えば、図２は、ホイールローダ作業機械２０１が動作している例示的な環境２００の概略側面図を示す図である。ホイールローダ作業機械２０１は、バケット２２０および一つ以上のＧＥＴ２２５を含みうる。図２に示すように、カメラ２２８は、ＧＥＴ２２５およびバケット２２０が、掘り出しダンプサイクルのダンプ端部の間に、カメラ２２８の視野２２９内にあるように位置付けられる。結果として、カメラ２２８は、こうした実施形態で、バケット２２０が、掘り出しダンプサイクルのダンプ端で静止している時に、画像を捕捉するように構成されうる。

別の例として、図３は、油圧採掘ショベル作業機械３０１が動作している例示的な環境３００の概略側面図を示す図である。油圧採掘ショベル作業機械３０１は、バケット３２０および一つ以上のＧＥＴ３２５を含みうる。ホイールローダ作業機械２０１に対するカメラ２２８の位置とは対照的に、カメラ３２８は、ＧＥＴ３２５が、掘り出しダンプサイクルの掘り出し端部の間カメラ３２８の視野３２９内にあるように位置付けられる。カメラ３２８は、こうした実施形態で、バケット３２０が、掘り出しダンプサイクルの掘り出し端で静止しているときに画像を捕捉するように構成されうる。

さらに別の例では、図４は、電気ロープショベル作業機械４０１が動作している例示的な環境４００の概略側面図を示す図である。電気ロープショベル作業機械４０１は、バケット４２０、一つ以上のＧＥＴ４２５、およびカメラ４２８を含みうる。図４に示すように、ＧＥＴ４２５は、掘り出しダンプサイクルの中点でカメラ４２８の視野４２９内であってもよいが、バケット４２０がカメラ４２８に比較的近い時である。こうした実施形態では、カメラ４２８は、バケット４２０がカメラ４２８の視野４２９に関連する位置の範囲に入る時に、画像を捕捉するように構成されうる。

図５は、コンピュータビジョン技術を使用した関心領域検出プロセスのための画像データの例示的な流れを示す、画像データフロー図５００を示す。画像データフロー図５００は、ＧＥＴ１２５に関連するカメラ１２８によって捕捉された画像内の関心領域を検出する際に、画像アナライザ１７０によって受信、処理、および生成される画像を含む。画像データフロー図５００は、カメラ１２８によって捕捉された左画像５１０および右画像５２０を含む。左画像５１０は、カメラ１２８の左画像センサによって捕捉された補正画像であってもよい。右画像５２０は、カメラ１２８の右画像センサによって捕捉された画像を補正することができる。左画像５１０および右画像５２０の両方は、バケット１２０およびＧＥＴ１２５の画像を含む。

画像アナライザ１７０は、左画像５１０および右画像５２０を処理して、視差マップ５３０を作成してもよい。視差マップ５３０は、左画像５１０の各ピクセルと右画像５２０の各ピクセルとの間の視差を示す高密度ステレオ視差マップとすることができる。物理的パラメータライブラリ１６０から取得され、バケット１２０、ＧＥＴ１２５および／または作業機械１００に関連付けられた、視差マップ５３０および物理的パラメータセット５３５を使用して、画像アナライザ１７０は、３Ｄ点群５４０を構築できる。３Ｄ点群５４０は、三次元で左画像５１０と右画像５２０との間の視差を示す。次に、画像アナライザ１７０は、３Ｄ点群５４０上でルーチンセグメンテーション分析を実行し、左画像５１０に対応する第一の関心領域５５０と、右画像５２０に対応する第二の関心領域５６０とを識別してもよい。

図６は、深層学習技術を使用した関心領域検出プロセスのための画像データの例示的な流れを示す、画像データフロー図６００を示す。上述の画像データフロー図５００と同様に、関心領域検出プロセスの出力は、第一の関心領域５５０およびＧＥＴ１２５に対応する第二の関心領域５６０である。しかし、画像データフロー図５００とは異なり、画像アナライザ１７０は、深層学習技術を利用して、第一の関心領域５５０および第二の関心領域５６０を検出する。

画像データフロー図６００は、カメラ１２８によって捕捉された左画像５１０および右画像５２０を含む。左画像５１０は、カメラ１２８の左画像センサによって捕捉された補正画像であってもよい。右画像５２０は、カメラ１２８の右画像センサによって捕捉された画像を補正することができる。左画像５１０および右画像５２０の両方は、バケット１２０およびＧＥＴ１２５の画像を含む。

画像アナライザ１７０は、左画像５１０に深層学習ＧＥＴ検出アルゴリズムを適用しうる。深層学習ＧＥＴ検出アルゴリズムは、ＧＥＴが個別に識別され、および／またはＧＥＴのグループが個別に識別され、および標識化されている画像データのコーパスで訓練されたニューラルネットワークを利用しうる。画像アナライザ１７０が、深層学習ＧＥＴ検出アルゴリズムを左画像５１０に適用するとき、個々のＧＥＴ１２５の画像を含む複数の個々のＧＥＴバウンディングボックス６１０を識別しうる。いくつかの実施形態では、画像アナライザ１７０はまた、個々のＧＥＴバウンディングボックス６１０を包含するＧＥＴグループバウンディングボックス６１５を識別してもよい。同様に、画像アナライザ１７０が、深層学習ＧＥＴ検出アルゴリズムを右画像５２０に適用するとき、個々のＧＥＴ１２５の画像を含む複数の個々のＧＥＴバウンディングボックス６２０を識別しうる。いくつかの実施形態では、画像アナライザ１７０はまた、個々のＧＥＴバウンディングボックス６２０を包含する右画像５２０用のＧＥＴグループバウンディングボックス６２５を識別してもよい。画像アナライザ１７０は、ＧＥＴグループバウンディングボックス６１５を識別すると、そのピクセルを第一の関心領域５５０として抽出しうる。画像アナライザ１７０はまた、第二の関心領域５６０として、ＧＥＴグループバウンディングボックス６２５のピクセルを抽出してもよい。

図７は、コンピュータビジョン技術を使用した摩耗検出プロセスのための画像データの例示的な流れを示す、画像データフロー図７００を示す。画像データフロー図７００は、ＧＥＴ１２５の摩耗または喪失を検出するために摩耗アナライザ１７５に最終的に提供される出力を生成する際に、画像アナライザ１７０によって受信、処理、および生成される画像を含む。一部の実施形態において、生成された出力は、低密度ステレオ画像の形態となる。

画像データフロー図７００は、第一の関心領域５５０および第二の関心領域５６０を含む。第一の関心領域５５０および第二の関心領域５６０の両方は、図５または図６のいずれかに関して上述したように画像アナライザ１７０によって生成されていてもよく、すなわち、画像アナライザ１７０は、コンピュータビジョン技術または深層学習技術のいずれかを使用して、第一の関心領域５５０および第二の関心領域５６０を生成していてもよい。一部の実施形態では、第一の関心領域５５０および第二の関心領域５６０は、コンピュータビジョン技術および深層学習技術の組み合わせを使用して生成されていてもよい。

画像データフロー図７００はまた、精密化されていない左エッジデジタル画像７１０を含む。画像アナライザ１７０は、コンピュータビジョンエッジ検出技術を第一の関心領域５５０に適用することによって、精密化されていない左エッジデジタル画像７１０を生成しうる。コンピュータビジョンエッジ検出技術は、勾配大きさエッジ検出技術などの検索ベースのエッジ検出技術を含みうる。コンピュータビジョンエッジ検出技術はまた、ゼロ交差ベースの技術を含みうる。画像アナライザ１７０はまた、ガウス平滑化などの精密化されていない左エッジデジタル画像７１０を生成する前に、前処理ステップを実行してもよい。いくつかの実施形態では、画像アナライザ１７０は、コンピュータビジョンの技術分野で、Ｃａｎｎｙエッジ検出器または他の周知のエッジ検出器を利用してもよい。同様に、画像アナライザ１７０は、類似のコンピュータビジョンエッジ技術を使用して、精密化されていない右エッジデジタル画像７２０を生成しうる。

いくつかの実施形態では、画像アナライザ１７０は、精密化されていない左エッジデジタル画像７１０および精密化されていない右エッジデジタル画像７２０の誤差を両方に動的プログラミングを実行することによって、低減することができる。動的プログラミングには、誤差を低減するための一連の最適化ルーチンへの物理的パラメータセット５３５の適用が含まれうる。最適化ルーチンは、検出されたエッジの強度を評価すること、検出されたエッジが、視差マップ５３０の穴もしくは不確かさ領域に近いか、またはそれらに含まれるか、あるいは物理的パラメータセット５３５に基づいてエッジが予想されうる場所を分析することを含むことができる。次に、画像アナライザ１７０は、動的プログラミングに基づいて、精密化された左エッジデジタル画像７４０および精密化された右エッジデジタル画像７５０を出力しうる。次に、画像アナライザ１７０は、精密化された左エッジデジタル画像７４０と精密化された右エッジデジタル画像７５０との間の低密度ステレオ視差を計算することによって、低密度ステレオ視差７６０を作成しうる。次に、画像アナライザ１７０は、開示された実施形態と一致するＧＥＴ１２５の摩耗喪失を検出するために、摩耗アナライザ１７５に低密度ステレオ視差７６０を提供しうる。

図８は、深層学習技術を使用した摩耗検出プロセスのための画像データの例示的な流れを示す、画像データフロー図８００を示す。画像データフロー図８００は、ＧＥＴ１２５の摩耗または喪失を検出するために摩耗アナライザ１７５に最終的に提供される出力を生成する際に、画像アナライザ１７０によって受信、処理、および生成される画像を含む。生成された出力は、低密度ステレオ画像の形態であってもよく、またはＧＥＴ１２５に対応する位置情報の形態であってもよい。画像アナライザ１７０は、いずれかの形態で生成された出力を使用して、図８に記載のプロセスから判定されたエッジに信頼度を構築することができる。

画像データフロー図８００は、第一の関心領域５５０および第二の関心領域５６０を含む。第一の関心領域５５０および第二の関心領域５６０の両方は、図５または図６のいずれかに関して上述したように、画像アナライザ１７０によって生成されていてもよく、すなわち、画像アナライザ１７０は、コンピュータビジョン技術または深層学習技術のいずれかを使用して、第一の関心領域５５０および第二の関心領域を生成していてもよい。一部の実施形態では、第一の関心領域５５０および第二の関心領域５６０は、コンピュータビジョン技術および深層学習技術の組み合わせを使用して生成されていてもよい。

画像データフロー図８００はまた、左エッジデジタル画像８１０および右エッジデジタル画像８２０を含む。画像アナライザ１７０は、深層学習技術を使用して、左エッジデジタル画像８１０および右エッジデジタル画像８２０を生成しうる。例えば、画像アナライザ１７０は、深層学習ＧＥＴ位置アルゴリズムを使用して、左エッジデジタル画像８１０および右エッジデジタル画像８２０を生成しうる。深層学習ＧＥＴ位置アルゴリズムは、ＧＥＴ１２５のグループのエッジが訓練目的のためにどこに標識化され、識別されたかを識別する画像のコーパスを使用して訓練されたニューラルネットワークを利用しうる。いくつかの実施形態では、画像アナライザ１７０は、ＧＥＴ１２５に対応するエッジの位置を決定する。追加で、または別の方法として、画像アナライザ１７０は、個々のＧＥＴ１２５の位置を判定する。

いくつかの実施形態では、画像アナライザ１７０は、左エッジデジタル画像８１０および右エッジデジタル画像８２０を生成した後、関心領域に対するどちらか、または両方のエッジの位置を使用して、画像データフロー図に関して上述したものなどの、コンピュータビジョン技術を使用して作成されたエッジに信頼度を構築しうる。一部の例では、画像アナライザ１７０は、深層学習ＧＥＴ位置アルゴリズムの出力を有するコンピュータビジョン技術を使用して、それが作成するエッジ画像をさらに精密化してもよく、またはＧＥＴ位置アルゴリズムの出力が、従来のコンピュータビジョン技術によって生成されるエッジ画像と著しく異なる例では、摩耗検出処理のための画像を完全に無視してもよい。

いくつかの実施形態では、画像アナライザ１７０は、左エッジデジタル画像８１０と右エッジデジタル画像８２０との間の低密度ステレオ視差を計算することによって、低密度ステレオ視差７６０を作成する。次に、画像アナライザ１７０は、開示された実施形態と一致するＧＥＴ１２５の摩耗喪失を検出するために、摩耗アナライザ１７５に低密度ステレオ視差７６０を提供しうる。

図９は、ＧＥＴ１２５の摩耗を検出するためにコンピュータビジョン技術を用いる、例示的なコンピュータビジョン摩耗検出プロセス９００を表すフローチャートを示す。いくつかの実施形態では、プロセス９００は、画像アナライザ１７０および摩耗アナライザ１７５によって実施されうる。プロセス９００は、概して図５および７の画像データフローに従い、これらの図の説明と一致して解釈されるべきである。以下の考察は、画像アナライザ１７０または摩耗アナライザ１７５によって実施されるプロセス９００の態様を説明するが、摩耗検出コンピュータシステム１１０の他の構成要素は、本開示の趣旨および範囲から逸脱することなく、プロセス９００の一つ以上のブロックを実行しうる。

プロセス９００は、画像アナライザ１７０が、バケット１２０およびＧＥＴ１２５の左画像および右画像を受信するブロック９１０で始まる。左画像は、カメラ１２８の左画像センサによって捕捉されてもよく、右画像は、カメラ１２８の右画像センサによって捕捉されてもよい。左画像および右画像の両方は、補正された画像であってもよい。ブロック９２０で、画像アナライザは、左画像のピクセルと右画像のピクセルとの間の視差に基づいて、高密度ステレオ視差マップを生成しうる。生成された高密度ステレオ視差マップおよびバケット１２０およびＧＥＴ１２５に関連付けられた物理的パラメータセットを使用して、画像アナライザ１７０は、ブロック９２５で、バケット１２０およびＧＥＴ１２５の３Ｄ画像を表す３Ｄ点群を生成しうる。３Ｄ点群から、画像アナライザ１７０は、ブロック９４０で、左画像と関連付けられた第一の関心領域、および右画像と関連付けられた第二の関心領域を識別しうる。上述のように、これは、バケット１２０およびＧＥＴ１２５に関連付けられた物理的パラメータセットからの情報を使用して、３Ｄ点群上でセグメンテーション分析を実行することによって達成することができる。第一の関心領域および第二の関心領域の両方が、ＧＥＴ１２５の画像を含む。

ブロック９５０で、画像アナライザ１７０は、第一の関心領域と関連付けられた左エッジデジタル画像、および第二の関心領域と関連付けられた右エッジデジタル画像を生成しうる。左エッジデジタル画像および右エッジデジタル画像は、開示された実施形態と一致するコンピュータビジョンエッジ検出技術を使用して生成されうる。ブロック９５５で、画像アナライザ１７０は、動的プログラミング技術およびバケット１２０およびＧＥＴ１２５に関連付けられた物理的パラメータセットを使用して、左エッジデジタル画像および右エッジデジタル画像を精密化しうる。次に、画像アナライザ１７０は、ブロック９７０での右エッジデジタル画像の左エッジデジタル画像に基づいて、低密度ステレオ視差を判定しうる。ブロック９８０で、摩耗アナライザ１７５は、図１に関して上述した技術を使用してＧＥＴ１２５の一つ以上の摩耗レベルまたは喪失を判定しうる。

図１０は、ＧＥＴ１２５の摩耗を検出するために、深層学習または機械学習技術を用いる、例示的な深層学習摩耗検出プロセス１０００を表すフローチャートを示す。いくつかの実施形態では、プロセス１０００は、画像アナライザ１７０および摩耗アナライザ１７５によって実行されうる。プロセス１０００は、概して図６および８に関して上述したプロセスに従い、これらの図の説明と一致して解釈されるべきである。以下の考察は、画像アナライザ１７０または摩耗アナライザ１７５によって実行されるプロセス１０００の態様を説明するが、摩耗検出コンピュータシステム１１０の他の構成要素は、本開示の趣旨および範囲から逸脱することなく、プロセス１０００の一つ以上のブロックを実行しうる。

ブロック１０１０で、画像アナライザ１７０は、バケット１２０およびＧＥＴ１２５のステレオ画像を受信する。ステレオ画像は、カメラ１２８の左画像センサによって捕捉された左画像と、カメラ１２８の右画像センサによって捕捉された右画像とを含みうる。ステレオ画像はまた、カメラ１２８のカラー画像センサによって捕捉されたカラー画像を含みうる。画像アナライザ１７０は、ブロック１０３０で深層学習ＧＥＴ検出アルゴリズムを用いて左画像、右画像、およびカラー画像を使用して、左画像に対応する第一の関心領域および右画像に対応する第二の関心領域を識別しうる。カラー画像の使用は、特定の実施形態では、深層学習ＧＥＴ検出アルゴリズムの性能を向上させることができる。

ブロック１０６０で、画像アナライザ１７０は、深層学習ＧＥＴ位置アルゴリズムを使用して、第一の関心領域または第二の関心領域内にＧＥＴを見つける。深層学習ＧＥＴ位置アルゴリズムは、ＧＥＴが画像内で標識化されている画像のコーパスを使用して訓練されたニューラルネットワークを含みうる。ラベルには、個々のＧＥＴまたはＧＥＴのグループのラベルを含めることができる。一部の実施形態では、深層学習ＧＥＴアルゴリズムは、デジタル化された関心領域をニューラルネットワークへの入力として適用することによって、第一の関心領域（左画像に対応する）または第二の関心領域（右画像に対応する）を分析し、ニューラルネットワークの出力は、関心領域内のＧＥＴのピクセル位置、または関心領域内のＧＥＴの位置に関連するバウンディングボックスでありうる。一部の実施形態では、深層学習ＧＥＴ位置アルゴリズムは、第一の関心領域および第二の関心領域の両方内のＧＥＴの位置を検出してもよく、一方で、他の領域では、第一の関心領域または第二の関心領域のうちの一方を使用してもよい。深層学習ＧＥＴ位置アルゴリズムが、第一の関心領域、第二の関心領域、またはその両方内のＧＥＴの位置を検出するかどうかは、実装形態によって異なり得、ＧＥＴの種類、バケットの種類、または作業機械の種類によって異なりうる。

いくつかの実施形態では、ブロック１０６０で、深層学習ＧＥＴ位置アルゴリズムは、ＧＥＴに対応するエッジ画像を出力する。エッジ画像（例えば、左エッジデジタル画像８１０、右エッジデジタル画像８２０）は、第一の関心領域または第二の関心領域のいずれか内のＧＥＴの輪郭に対応してもよい。こうした実施形態では、深層学習ＧＥＴ位置アルゴリズムは、ＧＥＴまたはＧＥＴのエッジが標識化されているバケットに取り付けられたＧＥＴを含む画像のコーパスを使用して訓練されたニューラルネットワークを含みうる。深層学習ＧＥＴアルゴリズムは、デジタル化された関心領域をニューラルネットワークへの入力として適用することによって、第一の関心領域（左画像に対応する）または第二の関心領域（右画像に対応する）を分析し、ニューラルネットワークの出力は、第一の関心領域に対応する左エッジデジタル画像および第二の関心領域に対応する右エッジデジタル画像を含む。

ブロック１０７０で、画像アナライザ１７０は、低密度ステレオ視差を判定することができる。深層学習ＧＥＴ位置アルゴリズムが、ブロック１０６０で左エッジデジタル画像および右エッジデジタル画像を出力する実施形態では、画像アナライザ１７０は、右エッジデジタル画像における左エッジデジタル画像間の低密度ステレオ視差を判定しうる。深層学習ＧＥＴ位置アルゴリズムが、第一の関心領域、第二の関心領域、またはその両方内のＧＥＴの位置を出力する実施形態では、画像アナライザ１７０は、コンピュータビジョン技術を使用して低密度ステレオ視差を判定することができ（例えば、プロセス９００のブロック９７０に関して上述したように）、深層学習ＧＥＴ位置アルゴリズムの出力を使用して、信頼度を構築するか、またはコンピュータビジョン技術によって生成される左エッジデジタル画像および右エッジデジタル画像の精度を検証することができる。

ブロック１０８０で、摩耗アナライザ１７５は、図１に関して上述した技術を使用してＧＥＴ１２５の一つ以上の摩耗レベルまたは喪失を判定しうる。

図１１は、深層学習または機械学習技術の組み合わせを利用してＧＥＴ１２５の摩耗を検出する、例示的なハイブリッド摩耗検出プロセス１１００を表すフローチャートを示す。いくつかの実施形態では、プロセス１１００は、画像アナライザ１７０および摩耗アナライザ１７５によって実行されうる。以下の考察は、画像アナライザ１７０および摩耗アナライザ１７５によって実行されるプロセス１１００の態様を説明するが、摩耗検出コンピュータシステム１１０の他の構成要素は、本開示の趣旨および範囲から逸脱することなく、プロセス１１００の一つ以上のブロックを実行しうる。

一部の実施形態によれば、プロセス１１００の特定のブロックは、関心領域の識別の性能および低密度ステレオ視差の判定を改善するために、並列でおよび組み合わされて実行される。プロセス１１００で示されるブロックの多くは、上述のプロセス９００および１０００のブロックに類似しており、同様の動作を行うブロックは、同じ最後の二つの数字を有する。例えば、プロセス１１００のブロック１１１０は、プロセス９００のブロック９１０およびプロセス１０００のブロック１０１０と機能的に類似している。

ブロック１１１０で、画像アナライザ１７０は、バケット１２０およびＧＥＴ１２５のステレオ画像を受信する。次に、画像アナライザ１７０は、深層学習技術を使用して、動作の第二セット（ブロック１１３０）と並列にコンピュータビジョン技術を使用して、動作の一セット（ブロック１１２０、１１２５）を実行し、ステレオ画像の左画像に関連付けられた第一の関心領域およびステレオ画像の右画像に関連付けられた第二の関心領域を識別する。したがって、ブロック１１２０で、画像アナライザ１７０は、プロセス９００のブロック９２０に類似したステレオ画像に基づいて、高密度ステレオ視差マップを生成する。ブロック１１２５で、画像アナライザ１７０は、プロセス９００のブロック９２５に類似した３Ｄ点群を生成する。ブロック１１３０で、画像アナライザ１７０は、プロセス１０００のブロック１０３０に類似したステレオ画像に基づいて、深層学習ＧＥＴ検出アルゴリズムを適用する。

次いで、プロセス１１００は、ここで、画像アナライザ１７０が、ブロック１１２０および１１２５の結果をブロック１１３０の結果と融合するブロック１１３５に継続する。画像アナライザ１７０は、動的プログラミング技術を使用して、左画像に対応する最適化された第一の関心領域および右画像に対応する最適化された第二の関心領域を生成することができる。例えば、画像アナライザ１７０は、バケット１２０とＧＥＴ１２５との間の空間関係を、３Ｄ点群および深層学習ＧＥＴ検出アルゴリズムによって出力される情報と組み合わせて記述する物理的パラメータセットを利用して、関心領域のより正確な抽出を判定してもよい。融合結果を使用して、画像アナライザ１７０は、ブロック１１４０で第一の関心領域および第二の関心領域を識別しうる。

次いで、プロセス１１００は、コンピュータビジョン技術および深層学習技術の両方を使用して、低密度ステレオ視差生成を行う。したがって、ブロック１１５０で、画像アナライザ１７０は、プロセス９００のブロック９５０に関して上述したものと同様のコンピュータビジョンエッジ検出技術を使用して、左エッジデジタル画像および右エッジデジタル画像を生成する。ブロック１１５５で、左エッジデジタル画像および右エッジデジタル画像は、プロセス９００のブロック９５５に関して上述したように精密化される。ブロック１１６０で、画像アナライザ１７０は、プロセス１０００のブロック１０６０に関して上述したものと類似した様式で、深層学習ＧＥＴ位置アルゴリズムを使用して、第一の関心領域または第二の関心領域を有するＧＥＴを見つける。

ブロック１１７０で、画像アナライザ１７０は、ブロック１１５５で判定された精密化された左エッジデジタル画像および精密化された右エッジデジタル画像、ならびにＧＥＴ１２５の形状およびサイズに対応する低密度ステレオ視差１１７０を判定するブロック１１６０の出力を使用する。いくつかの実施形態では、画像アナライザ１７０は、ブロック１１７０で動作を実施する際に、バケット１２０およびＧＥＴ１２５に関連付けられた物理的パラメータセットを使用して、コンピュータビジョン技術（ブロック１１５０および１１５５）と深層学習技術（ブロック１１６０）との間の情報を融合してもよい。例えば、画像アナライザ１７０は、ＧＥＴの予想されるサイズおよび形状、ＧＥＴ１２５と係合するバケット１２０の側面に対するＧＥＴ１２５の相対的位置決め、精密化された左エッジデジタル画像および精密化された右エッジデジタル画像の滑らかさまたは連続性（ブロック１１５５から）、第一の関心領域または第二の関心領域内のＧＥＴの位置（ブロック１１６０から）、および／または左エッジデジタル画像および右エッジデジタル画像（ブロック１１６０から）の滑らかさまたは連続性を利用して、最適化分析を実行し、低密度ステレオ視差を判定することができる。ブロック１１８０で、摩耗アナライザ１７５は、図１に関して上述した技術を使用してＧＥＴ１２５の一つ以上の摩耗レベルまたは喪失を判定しうる。

いくつかの実施形態では、プロセス１１００は、コンピュータビジョン技術または深層学習技術の様々な組み合わせを含むように流れてもよい。例えば、プロセス１１００は、ブロック１１１０、１１２０、１１２５、１１４０、１１６０、１１７０、１１８０（すなわち、ブロック１１３０、１１３５、１１５０、および１１５５を含まない）のプロセスフローに従ってもよい。別の例として、プロセス１１００は、ブロック１１１０、１１３０、１１４０、１１５０、１１５５、１１７０、１１８０（すなわち、ブロック１１２０、１１２５、１１３５、および１１６０を含まない）のプロセスフローに従ってもよい。さらに、プロセス１１００は、コンピュータビジョン技術を使用して関心領域を識別し（ブロック１１２０および１１２５）、深層学習技術を使用して、左エッジデジタル画像および右エッジデジタル画像を識別する（ブロック１１６０）。逆に、プロセス１１００は、深層学習技術を使用して、関心領域（ブロック１１３０）を識別し、コンピュータビジョン技術（ブロック１１５０および１１５５）を使用して、左エッジデジタル画像および右エッジデジタル画像を識別しうる。

上述の説明全体を通して、摩耗検出コンピュータシステム１１０の特定の構成要素を説明し、特定の動作を行った。しかし、摩耗検出コンピュータシステム１１０のいくつかの実施形態では、他の構成要素は、上述のもの以外のこれらの動作を実行しうる。さらに、摩耗検出コンピュータシステム１１０は、例示的実施形態で上述したものよりも、追加のまたはより少ない構成要素を含んでもよい。当業者であれば、摩耗検出コンピュータシステム１１０は、上記に開示した特定の実施形態に限定されなくてもよいことを認識するであろう。

本明細書に記載のシステムおよび方法は、土壌、岩石、鉱物などの材料の採掘、移動、成形、輪郭形成、および／または除去を行っている、作業現場における作業機械の動作に関連して使用することができる。これらの作業機械には、作業現場にある間に材料をすくい、掘り出し、または捨てるために使用するバケットを装備できる。バケットは、動作中の材料のほぐしを支援するために、一連の接地係合ツール（ＧＥＴ）を装備することができる。作業機械はまた、本明細書に記載の例に従って摩耗検出の方法を実施するように構成されたプロセッサおよびメモリを有するシステムを含みうる。システムおよび方法は、ＧＥＴなどの作業機械構成要素の摩耗または喪失を検出することができ、その結果、こうした作業機械のオペレータは、下流処理機器を損傷する故障が発生する前に、是正措置を取ることができる。

一部の例では、システムおよび方法は、作業機械に関連付けられたステレオカメラから、摩耗検出処理のための作業機械の構成要素のステレオ画像を捕捉することができる。ステレオ画像は、左側画像および右側画像の形態で捕捉することができる。

一部の例では、システムおよび方法は、コンピュータビジョン技術を使用して、高密度ステレオ視差マップを作成することによって、左側画像および右側画像を処理しうる。高密度ステレオ視差マップは、ＧＥＴに関連する画像内の関心領域を識別するようにセグメント化されうる。システムおよび方法は、ＧＥＴの形状を概説する左エッジデジタル画像および右エッジデジタル画像を識別するために、コンピュータビジョン技術、例えば、勾配大きさエッジ検出技術を使用して、関心領域をさらに処理しうる。次いで、システムおよび方法は、左側画像および右側画像内に捕捉されたＧＥＴを測定することができる、左エッジデジタル画像および右エッジデジタル画像を使用して、低密度ステレオ視差を判定することができる。これらの測定値に基づいて、ＧＥＴ摩耗、または喪失を判定することができる。

ＧＥＴのサイズを判定するための低密度ステレオ視差の使用は、５ｍｍ未満の精度で摩耗を測定することができるため、ＧＥＴ摩耗測定の精度を高めることができる。したがって、上述の技術を使用するシステムおよび方法は、約センチメートルまたは数十センチメートルの精度でのみ摩耗を検出することができる、低密度ステレオ視差を使用しないシステムよりも有利である。より正確な摩耗検出は、下流の処理機械に損傷を引き起こす可能性のある壊滅的なＧＥＴの喪失または摩耗の可能性を低減することができる。

一部の例では、システムおよび方法は、深層学習技術を使用して、左側画像および右側画像を処理しうる。システムおよび方法は、ＧＥＴに対応する左側画像および右側画像内の関心領域を識別するように訓練されたニューラルネットワークを使用する、深層学習ＧＥＴ検出アルゴリズムを利用しうる。関心領域が検出されると、左側画像に対応する左エッジデジタル画像と右側画像に対応する右エッジデジタル画像との間の低密度ステレオ視差が判定されうる。上述のように、低密度ステレオ視差の使用は、摩耗測定の精度を増加させる。

他の例では、システムおよび方法は、コンピュータビジョンおよび深層学習技術の両方を使用して、また一部の例では、これらの技術を同時に適用して、左側画像および右側画像を処理しうる。こうした例では、システムおよび方法は、各技術の出力を融合して、ＧＥＴの最良の事例測定を見つけることによって、ＧＥＴ測定精度を増加させることができる。融合された出力を使用することで、ＧＥＴ測定の精度は、低密度ステレオ視差を利用しない、またはコンピュータビジョンと機械学習技術の両方を使用しない従来のシステムよりも高めることができる。

本開示の態様は、上記の例を参照して特に示され、記述されてきたが、開示された内容の趣旨および範囲から逸脱することなく、様々な追加の実施形態が、開示された装置、システムおよび方法の改変によって意図されうることが当業者には理解されるであろう。かかる実施形態は、特許請求の範囲およびその任意の均等物に基づき決定される本開示の範囲内に収まることが理解されるべきである。

Claims (10)

1. コンピュータ実施される方法であって、
   作業機械（１００）のバケット（１２０）であって、前記バケットが少なくとも一つの接地係合ツール（ＧＥＴ）（１２５）を有する、バケット（１２０）の左画像（５１０）および右画像（５２０）を、前記作業機械１００と関連付けられた立体カメラ（１２８）から受信することであって、前記左画像および前記右画像がデジタルである、受信することと、
   前記左画像から第一の関心領域（５５０）であって、前記第一の関心領域が前記少なくとも一つのＧＥＴに対応する、第一の関心領域を識別することと、
   前記右画像から第二の関心領域（５６０）であって、前記第二の関心領域が前記少なくとも一つのＧＥＴに対応する、第二の関心領域を識別することと、
   前記第一の関心領域に対応する左エッジデジタル画像（７４０）を生成することと、
   前記第二の関心領域に対応する右エッジデジタル画像（７５０）を生成することと、
   前記左エッジデジタル画像と前記右エッジデジタル画像との間の低密度ステレオ視差（７６０）を判定することと、
   前記低密度ステレオ視差に基づいて、前記少なくとも一つのＧＥＴに対する摩耗レベルまたは喪失を判定することと、を含む、方法。
2. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、深層学習ＧＥＴ検出アルゴリズムを前記左画像および前記右画像に適用することを含む、請求項１に記載の方法。
3. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、前記左画像および前記右画像に対して高密度ステレオ視差マップ（５３０）を生成することを含む、請求項１に記載の方法。
4. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、前記高密度ステレオ視差マップに少なくとも部分的に基づいて３Ｄ点群（５４０）を生成することをさらに含む、請求項３に記載の方法。
5. 深層学習ＧＥＴ位置アルゴリズムを、前記第一の関心領域または前記第二の関心領域のいずれか一つに適用して、前記低密度ステレオ視差における信頼度を判定することをさらに含む、請求項１に記載の方法。
6. システムであって、
   立体カメラ（１２８）と、
   一つ以上のプロセッサ（１４０）と、
   前記一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
   前記立体カメラから、作業機械（１００）のバケット（１２０）であって、前記バケットが少なくとも一つの接地係合ツール（ＧＥＴ）（１２５）を有する、バケット（１２０）の左画像（５１０）および右画像（５３０）を受信することであって、前記左画像および前記右画像がデジタルである、受信することと、
   前記左画像から第一の関心領域（５５０）であって、前記第一の関心領域が前記少なくとも一つのＧＥＴに対応する、第一の関心領域を識別することと、
   前記右画像から第二の関心領域（５６０）であって、前記第二の関心領域が前記少なくとも一つのＧＥＴに対応する、第二の関心領域を識別することと、
   前記第一の関心領域に対応する左エッジデジタル画像（７４０）を生成することと、
   前記第二の関心領域に対応する右エッジデジタル画像（７５０）を生成することと、
   前記左エッジデジタル画像デジタル画像と前記右エッジデジタル画像との間の低密度ステレオ視差（５３０）を判定することと、
   前記低密度ステレオ視差に基づいて、前記少なくとも一つのＧＥＴに対する摩耗レベルまたは喪失を判定することと、を含む動作を実行させる実行可能命令を格納する非一時的コンピュータ可読媒体（１５０）と、を備える、システム。
7. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、深層学習ＧＥＴ検出アルゴリズムを前記左画像および前記右画像に適用することを含む、請求項６に記載のシステム。
8. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、前記左画像および前記右画像に対して高密度ステレオ視差マップ（５３０）を生成することを含む、請求項６に記載のシステム。
9. 前記左画像から前記第一の関心領域を識別し、前記右画像から前記第二の関心領域を識別することが、前記高密度ステレオ視差マップに少なくとも部分的に基づいて３Ｄ点群（５４０）を生成することをさらに含む、請求項６に記載のシステム。
10. 前記動作が、深層学習ＧＥＴ位置アルゴリズムを、前記第一の関心領域または前記第二の関心領域のいずれか一つに適用して、前記低密度ステレオ視差の信頼度を判定することをさらに含む、請求項９に記載のシステム。