JP7386903B2 - 地面係合工具監視システム - Google Patents

地面係合工具監視システム Download PDF

Info

Publication number
JP7386903B2
JP7386903B2 JP2021568215A JP2021568215A JP7386903B2 JP 7386903 B2 JP7386903 B2 JP 7386903B2 JP 2021568215 A JP2021568215 A JP 2021568215A JP 2021568215 A JP2021568215 A JP 2021568215A JP 7386903 B2 JP7386903 B2 JP 7386903B2
Authority
JP
Japan
Prior art keywords
ground
tool
engaging tool
ground engaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021568215A
Other languages
English (en)
Other versions
JP2022532645A (ja
Inventor
エム. プロゼク、ジョン
シー. ヴラマンク、ミッチェル
エス. フィンチ、ノーラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of JP2022532645A publication Critical patent/JP2022532645A/ja
Application granted granted Critical
Publication of JP7386903B2 publication Critical patent/JP7386903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/28Small metalwork for digging elements, e.g. teeth scraper bits
    • E02F9/2891Tools for assembling or disassembling
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Debugging And Monitoring (AREA)
  • Devices For Executing Special Programs (AREA)
  • Investigation Of Foundation Soil And Reinforcement Of Foundation Soil By Compacting Or Drainage (AREA)
  • Programmable Controllers (AREA)

Description

本開示は、作業工具を使用して物体を移動したり、材料を操縦操作したりする土工、採掘、建設機械などの機械に関する。より具体的には、本開示は、そのような機械操作者又は制御システムが地面係合工具の摩耗、損傷、又は欠損が生じたかどうかを検出することを可能にする地面係合工具監視システムを使用するような機械に関する。
機械は、土工、建設、採掘、及びその他の同様の産業で日常的に使用されている。これらの機械は様々な目的で使用されるため、多数の異なる作業工具を採用している。例えば、前方に向いているバケットを有する油圧採掘ショベル(フロントショベルを備えた油圧採掘ショベルと呼ばれることもあり、HMS-FSと略される)は、土壌を貫通し土壌をすくって保持し、土壌を別の場所に移動するために地面係合工具(GET)を備えたバケットを使用する場合がある。場合によっては、繰り返し使用した後、地面係合工具が摩耗したり、損傷したり、完全に欠損することがあり得る。検出されない場合、バケットなどの作業工具の効率に悪影響を与える可能性がある。
この問題を軽減するために、地面係合工具の表示を提供するカメラなどのセンサを使用して、地面係合工具のメンテナンス又は交換が必要であることを操作者に警告することができる。カメラは、この問題を検出するために操作者によって監視され得る機械の運転室に画像を送信し得る。
ただし、通常、このようなカメラ又はその他のセンサは1つしか提供されない。そのため、状況によっては、地面係合工具の状態を監視することが難しい場合がある。特に、そのようなシステムは、地面係合工具の摩耗を望ましい程度の精度で検出するには不十分であることが多い。
例えば、McCain(マケイン)らに付与された米国特許第9,139,977B2号は車両上の器具の方位を決定するためのシステムを開示している。このシステムは、車両に取り付けられたカメラと、カメラの視野内にあり且つ器具に取り付けられたターゲットオブジェクトとを含む。ターゲットオブジェクトは、カメラに対する器具の方位を決定できるようにするマーキングを含む。したがって、車両上の器具の方位を決定する方法が提供される。同様に、器具を方向付けるシステムが提供される。器具方位システム(implementorientation system)を設置する別の方法が提供される。コンピュータ実行可能命令をその上に格納したコンピュータ読み取り可能な媒体も提供される。コンピュータ実行可能命令は、プロセッサに実行時に器具の方位を決定する方法を実行させる。
同様に、Kawamotoらに付与された米国特許出願公開第2017/0094154A1号は、機械に測位補正が必要か否かを判定するために運転室に取り付けられたマルチカメラ監視システムを開示している。撮像装置の補正システムは、少なくとも2つの撮像装置と、少なくとも2つの撮像装置において第1の撮像装置と第2の撮像装置との間の距離を一定に設定することによって第2の撮像装置の姿勢を規定するパラメータを変更する処理装置とを含み、第1の撮像装置と第2の撮像装置によって取得された一対の画像の間の対応する部分を検索し、そして検索結果に基づいてパラメータを取得する。
そこに見られるように、’977特許と’154公開特許出願は、GETのサービス又は交換の時期については言及していない。したがって、GETが適時にサービス又は交換され得るように、GETが欠損しているか、損傷しているか、又は摩耗しているかを判定するより高い精度及び信頼性を提供する地面係合工具監視システムを開発することが望ましい。
本開示の一実施形態によれば、GET監視システムを使用して、機械の地面係合工具の状態を監視するための方法が提供される。この方法は、異なる角度から前記地面係合工具から信号を受信する複数のセンサを使用して、作業工具に取り付けられた前記地面係合工具の寸法値を決定するステップと;作業工具に取り付けられた前記地面係合工具の前記決定された寸法値を、前記地面係合工具の許容理論寸法値と比較するステップと、前記決定された寸法値と理論寸法値の差を計算するステップと、を含む。
本開示の一実施形態によれば、作業工具に取り付けられた地面係合工具の状態を監視するためのGET監視システムが提供される。前記システムは、少なくとも2つの異なる角度から作業工具に取り付けられた地面係合工具の測定値を得るように構成された複数のセンサと;前記複数のセンサに結合された電子制御装置とを備えることができ、前記電子制御装置は、作業工具に取り付けられた地面係合工具の寸法値を決定し;作業工具に取り付けられた前記地面係合工具の前記決定された寸法値を前記作業工具に取り付けられた新品の地面係合工具の理論寸法値と比較し;そして前記決定された寸法値と前記理論寸法値の差を計算するように構成される。
本開示の一実施形態による機械の電子制御装置(ECU)が提供される。前記ECUは、地面係合工具を認識するためのコンピュータ実行可能命令を含むメモリと、前記メモリに結合され且つ前記コンピュータ実行可能命令を実行するように構成されたプロセッサとを備えることができ、前記コンピュータ実行可能命令は、前記プロセッサによって実行されるとき前記プロセッサに、作業工具に取り付けられた地面係合工具の寸法値を決定させ、作業工具に取り付けられた前記地面係合工具の前記決定された寸法値と前記作業工具に取り付けられた新品の地面係合工具の前記理論寸法と比較させ、そして前記決定された寸法値と前記理論寸法値の差を計算させる。
本明細書に含まれ、その一部を構成する添付の図面は、本開示の幾つかの実施形態を示し、本説明と一緒に本開示の原理を説明する役割をする。図面において、
図1は、本開示の一実施形態による、GET摩耗、損傷、及び存在を検出するために、カメラなどの複数のセンサを備えたGET監視システムを利用する機械の斜視図である。 図2は、図1のGET監視システムの一部として使用されるモニタを含む、図1の機械の運転室の内部を示している。 図3は、図1の機械のバケット及びその地面係合工具の画像が表示されている状態の図3のモニタの拡大正面図である。 図4は、バケット及び8つの地面係合工具(例えば、先端具)並びにそれらの関連付けられた幅及び図1のGET監視システムによって監視されているバケットからの突出距離の正面斜視図である。 図5は、図4の地面係合工具の左端の2つの例とそれらの間に介在されたシュラウドを示し、これらのすべては、GET監視システムによって監視されている寸法値を有している。 図6は、監視されているバケットの領域が図4においてに1つの先端具だけ右側へ移動されていることを除いて、本質的に図5と同じである。 図7は、監視されているバケットの領域が図4において1つの先端具だけ右側へ移動されていることを除いて、本質的に図6と同じである。 図8は、監視されているバケットの領域が図4において1つの先端具だけ右側へ移動されていることを除いて、本質的に図7と同じであり、したがって、示されている2つの先端具がバケットの中心線の両側にある。 図9は、監視されているバケットの領域が図4において1つの先端具だけ右側へ移動されていることを除いて、本質的に図8と同じである。 図10は、監視されているバケットの領域が図4においての1つの先端具だけ右側へ移動されていることを除いて、本質的に図9と同じである。 図11は、監視されているバケットの領域が図4において1つの先端具だけ右側へ移動されていることを除いて、本質的に図10と同じであり、結果として、バケットの最右端の2つの先端具が示されている。 図12は、GET監視システムが、本開示の一実施形態によるバケットの下から図4のバケットの歯をどのように標的にすることができるかを示している。 図13は、GET監視システムが、本開示の別の実施形態により、GETの運動学的作用線(kinematic line of action)を使用して、無関係な画像の解釈をどのように低減するかを示している。 図14は、本開示の一実施形態による図1の機械のGET監視システムの概略ブロック図を含む。 図15は、本開示の一実施形態による、GET監視システムを使用する方法を示している。フローチャートである。 図16は、図14のGET監視システムの電子制御装置がどのように構成され得るかを示している。概略ブロック図を含む。 図17は、プロセッサが、図14のGET監視システムによって使用され得るコンピュータ実行可能命令のセットをどのように実行するかを示している。概略ブロック図を含む。 図18は、本明細書に開示される工具監視システム及び方法の様々な実施形態を使用して監視され得る、バケット及びそれの関連する地面係合工具などの作業工具の多くのプロファイルのいくつかを示している。 図19は、その地面係合工具を含むバケットなどの作業工具の概略プロファイルを含み、操作者又はシステムがアラートを受ける可能性のある様々な程度の摩耗を示している。これらの様々な摩耗レベルは、本明細書に開示される工具監視システム及び方法の様々な実施形態に事前にプログラムされ得る。 図20は、バケット及びその様々な地面係合工具などの作業工具の形状、ならびに操作者又はシステムがアラートを受ける可能性のある様々な摩耗レベルを入力するためにタッチスクリーン、マウス操作カーソル矢印などを介した操作者入力の使用を示している。 図21は、バケット、新品の地面係合工具が取り付けられたバケット、及び交換が指定されている摩耗した地面係合工具を備えたバケットなどの作業工具の裸の形状を決定するために、機械学習が工具監視システムの様々な実施形態とともにどのように使用され得るかを示している。 図22は、カメラにより取り込まれた画像などセンサによって感知されたデータが品質について格付けされ得る場合、地面係合工具の状態を監視するための方法の別の実施形態のフローチャートを含む。 図23は、地面に地面係合工具を備えたリッパー又はスカリファイヤーをはじめとする他の種別の作業工具を含むバックホーなどの機械の描写である。 図24は、地面係合工具がもはや地面の中にないように地面係合工具が持ち上げられていて地面係合工具の状態をより容易に監視することを可能にすることを除いて図23の機械を示している。 図25は、本明細書に開示される様々なシステム及び方法を使用して監視されている地面係合工具を有するブレードを備えたブルドーザーの描写である。 図26は、バックホーなどの機械の様々な実施形態が、本明細書に開示される地面係合工具監視システム及び方法の様々な実施形態で使用するためのデータを提供するためにリンケージセンサをどのように組み込むことができるかを示している。 図27は、センサ、バケットなどの作業工具、及びバケットの動きを制御するリンケージが、作業工具とともに水平又は水平方向に向けて位置決めされる例を開示している。カメラなどのセンサは、画像の品質を格付けするために、そのような場合に作業工具及び地面係合工具の画像をスキップすることができる。 図28は、センサ、バケットなどの作業工具、及びバケットの動きを制御するリンケージが持ち上げ動作している例を開示している。カメラなどのセンサは、そのような場合に画像の品質を格付けするために、作業工具及び地面係合工具の画像をスキップすることができる。 図29は、センサ、バケットなどの作業工具、及びバケットの動きを制御するリンケージが上昇した投棄運動にある例を開示している。カメラなどのセンサは、そのような場合に画像の品質を格付けするために、作業工具及び地面係合工具の画像をスキップすることができる。 図30は、本開示の別の実施形態による、GET監視システムを使用する方法を示しているフローチャートである。 図31は、図14のGET監視システムの電子制御装置がどのように構成され得るかを示している概略ブロック図を含む。 図32は、プロセッサが、図14のGET監視システムによって使用され得るコンピュータ実行可能命令のセットをどのように実行するかを示している。概略ブロック図を含む。
ここで本開示の実施形態に対して詳細に参照されるが、これらの例は、添付図に示されている。可能な限り、図面全体にかけて同一の参照番号が同一又は類似部分を指すために使用されるであろう。幾つかの場合、参照番号が本明細書に表示され、図面は文字の後に付してある参照番号、たとえば、100a、100b又はプライムの後にある参照番号、たとえば100’、100”などを示すことができる。参照番号の後に次ぐ文字又はプライムの使用は、これらの特徴が類似した形状であり、たまに幾何学的構造が対称平面に対してミラーリンクされる場合のように類似する機能を有していることを理解されたい。本明細書では説明の便宜のために、文字及びプライムが本明細書に含まれない場合もたまにあるが、記述された本明細書内で説明される類似又は同一の機能又は幾何学的構造を有する特徴の重複を表示するために図面に示すこともできる。
様々な実施形態において、地面係合工具(GET)監視システム、GET監視システム自体、及びその方法を実施するように構成された、又はGET監視システムと共に使用されるように構成された電子制御装置を提供するための方法について説明する。
図1は、本開示の一実施形態に従って、装置100上で使用するGET監視システム200を示している。装置100は、例示的な作業環境において、機械102及び作業工具104を含む。作業工具視覚システム200は、多様な機械(例えば、ブルドーザー、バックホー、油圧式採掘ショベル、ホイールローダー、電気ロープショベルなど)、複数又は多様な作業工具(例えば、バケット、レーキ、剪断機、ブレード、リッパー、コンパクター、チョッパー、ホイール先端具、軌道シュー先端具、スカリファイヤーなど)を含み得る、又はそれらと共に使用され得る並びに図1に示されている機械102(すなわち、HMS-FS102’)及び作業工具104(すなわち、バケット104’)は例としてのみ挙げられたものであり、限定することを意図したものではないことが理解されるであろう。さらに、作業工具視覚システム200は、地面係合工具134の状態の認識及び監視を支援するために、機械102と通信する基地局、機械102と通信する衛星システム、機械102と通信する無人航空機などを含むがこれらに限定されない追加の構成要素を含み得る。
機械102は、可動式機械又は可動部品を有する固定式機械であり得る。この点で、「可動」という用語は、線形デカルト軸に沿った、及び/又は角度座標、円筒座標、又はらせん座標に沿った、及び/又はそれらの組み合わせに沿った機械102又はその一部の動きを指し得る。機械102のそのような運動は、時間的に連続的又は離散的であり得る。例えば、機械102、及び/又は機械102の一部は、線形運動、角運動、又はその両方を受けることができる。そのような線形運動及び角運動は、加速、軸の周りの回転、又はその両方を含み得る。例としてのみ挙げたものであり、限定することを意図したものではないが、機械102は、バックホー、掘削機、舗装機、ブルドーザー、スキッドステアローダー(SSL)、マルチテレーンローダー(MTL)、コンパクトトラックローダー(CTL)、コンパクトホイールローダー(CWL)、ハーベスター、芝刈り機、ドリラー、ハンマーヘッド、船、ボート、機関車、自動車、トラクター、油圧式採掘用ショベル、電気ロープショベル又は作業工具104が取り付け可能な他の機械であり得る。
本明細書で使用される「地面係合工具」という用語は、広義に解釈されるべきであり、先端具、歯、シュラウド又はシュラウドプロテクターなどを含む。
図1に示す例では、機械102はHMS-FS102’であり、機械構成要素108(例えば、ブーム108’、スティック108’’)、センサ110、運転室112、及びトラック116を含むアンダーキャリッジ114を含む。ブーム108’及びスティック108’’は、作業工具104に取り付けられ、作業工具104が上下に動かされることができるようにジョイント106を形成する。図2に最良に見られるように、運転室112は、他の構成要素の中でも、出力装置132を含む。図3では、出力装置132が、1つ又は複数の地面係合工具134を操作者に表示するモニタ132’の形態をとり得ることが示されている。運転室112は、操作者を収容するのに適切なサイズにすることができる。代替的に、機械102は、基地局から遠隔操作されてもよく、その場合、運転室112はより小さくてもよい。機械102又はその部品の動きを案内するためのステアリングホイール又はジョイスティック、又は他の制御機構の形をとることができるステアリング・システム124も提供され得る(図14に概略的に示される)。さらに、運転室112は、機械102の操作を容易にするために、レバー、ノブ、ダイヤル、ディスプレイ、ライト、アラームなどを含み得る。レバー、ノブ、及びダイヤルは、入力デバイスの例であり得る一方、ディスプレイ、ライト、及びアラームは、本明細書で後述するように、出力装置の例であり得る。
図14を引き続き参照すると、機械102は、電子制御装置126、及び機械制御システム130を含む。機械102は、伝達システム、エンジン、モーター、動力システム、油圧システム、サスペンションシステム、冷却システム、燃料システム、排気システム、アンカーシステム、推進システム、機械制御システム130に結合されたアンテナ、全地球測位システム(GPS)、その他(図示せず)を含む通信システムなどの他の構成要素を含み得る。
図1に戻って参照すると、機械構成要素108は、油圧シリンダ及び機械的リンケージを含むブーム108’であり得、複数のセンサ110は、ジョイント106の近くのブーム108’に取り付けられ得る(又はスティック108’’などに取り付けられ得る)。機械構成要素108は、作業工具104を移動させるために半径方向又は軸方向に延在可能、拡張可能、収縮可能、回転可能、及び並進可能であり得、あるいは他の方法で機械102によって移動可能である。例えば、機械構成要素108の高さ及び傾斜は、作業工具104の上昇及び下降を容易にするために可変であり得る。機械構成要素108は、作業工具104を使用して例示的な作業現場で様々な操作(例えば、土を掘り起こす)を実行するために機械102から必要な動力を受け取るように構成され得る。
本開示の一実施形態では、複数のセンサ110は、複数のカメラ110’であり得る。例としてのみ挙げたものであり、限定することを意図したものではないが、センサ110は、地面係合工具134の認識及び監視を支援するように構成された、単眼式カメラ、ステレオカメラ、赤外線カメラ、高解像度カメラ、1つ又は複数の種別のカメラのアレイ、光音響センサ、レーダー、レーザーベースの撮像センサ、その他又はそれらの組み合わせであり得る。カメラが使用される場合、そのカメラに照明を提供するためのライトも提供され得る。センサの他の例としては、2D又は3D測定種別のカメラなどの環境光カメラ、統合画像処理機能を備えたカメラ、中解像度カメラ、及び標準解像度カメラが挙げられる。センサは、作業工具又は関連するGET(1インチの端数)の任意の構成要素又は部分に関してわずかな増分のサイズの変化を区別するのに十分な小さな解像度の画像に十分なピクセルを提供することによって地面係合足を備えた大型バケットの全範囲にわたって効果的な監視を実行できるように選択され得る。言い換えれば、本明細書で論じられるシステムの任意の実施形態は、以前のシステムと比較して改善された精度を有し得る。作業工具104は、アタッチメントカプラー(図示せず)を介して、例えば、機械構成要素108(例えば、スティック108’’)の端部部分において機械102に、例えばリンケージに取り付け可能である。例としてのみ挙げたものであり、限定することを意図したものではないが、作業工具104は、土を移動させるためのバケット104’(図1に示される)、パレット(図示せず)を持ち上げるためのフォーク、ハーベスターアタッチメント、ドリルヘッド、ハンマーヘッド、コンパクターヘッド、又は機械102に取り付け可能な他の種別の器具であり得る。この点で、機械102は、1つの種別の作業工具104だけでなく、異なる種別の作業工具104とともに、複数の作業工具、地面係合工具134、同時に異なる種別の地面係合工具134などに取り付け可能になるように構成され得る。
図1を引き続き参照すると、利用される作業工具104の種別に応じて、機械102は、作業工具104の種別に固有の出力モードで動作するように構成され得る。機械102の出力モードは、機械構成要素108に取り付けられたときの作業工具104の動作のための適切な電気的及び機械的パラメータによって指定される。例えば、バケットの出力モードは、作業工具104に送達される出力電力の点ではフォークの出力モードとは異なる。誤った出力モードが選択された場合、又は作業工具104が機械構成要素108に取り付けられたときにマニュアルオペレータによって出力モードが選択されなかった場合、機械102は、機械102が配備された目的の作業を適切に実行できないこともある、又は実行しないこともある。
さらに、作業工具104の種別に応じて、アタッチメントカプラは、アタッチメントピン、ラッチ、フック、ボール/ソケットジョイント、又は作業工具104を機械102の機械構成要素108に結合することができるようにする他の種別のアタッチメント構成要素であり得る。一態様では、作業工具104は静止していてもよい。別の態様では、作業工具104は、機械102に向かってモバイルすなわちム―バブルであってもよい。例えば、別の機械(図示せず)を使用して、機械102及び/又は機械構成要素108の運動に一致するように作業工具104を押すことができる。また、本明細書の後半でさらに詳細に説明するように、ボタン、HMI(ヒューマンマシンインターフェース)又はGUI(グラフィカルユーザーインターフェース)の形をとることができるコントロールなどの入力装置136(図2を参照)を使用して、使用されようとする作業工具の種別を選択することができ、地面係合工具134の状態を監視しながら、どこ又はどのように見るかについてGET監視システム200を変更する。
図14に表されるような本開示のいくつかの実施形態では、機械制御システム130は、電子制御装置126から機械制御システム130への出力信号に基づいて、電子制御装置126によって制御される様々な油圧及び電力システムを含み得る。機械制御システム130は、機械102及び/又は機械構成要素108の運動をガイドするように構成されたステアリング・システム124を含み得るか、又はそれに結合され得る。別の態様では、機械制御システム130、又はその一部は、機械102から離れて、例えば、機械102から物理的に分離された基地局に配置され得る。このシナリオでは、機械制御システム130は、電子制御装置126との直接又は間接の通信リンクを有して、作業工具104を設置又は移動するために機械102を制御することができる。他の実施形態では、機械制御システムとステアリング・システムとの間の様々な動作可能な通信を省略してもよい。
図14を引き続き参照すると、作業工具104に取り付けられた地面係合工具134の状態を監視するためのGET監視システム200について以下説明する。システム200は、少なくとも2つの異なる角度202、202’から作業工具104に設置された地面係合工具134の測定を行うように構成された複数のセンサ110と、複数のセンサ110に結合された電子制御装置126とを備えることができる。電子制御装置126は、作業工具104に取り付けられた地面係合工具の寸法値204(図4~図11も参照)を決定し、作業工具に取り付けられた地面係合工具134の決定された寸法値204を作業工具104に取り付けられた新品の地面係合工具134の理論寸法値206と比較し、決定された寸法値204と理論寸法値206との差を計算するように構成され得る。
さらに、図14に示されるように、GET監視システム200の概略図を介して、電子制御装置126は、センサ110、機械制御システム130、出力装置132、ステアリング・システム124、及び入力装置136、ならびに機械102の他の構成要素(図示せず)に結合される。
なお図14を参照すると、電子制御装置126は、作業工具104に設置された新品の地面係合工具134のデータテンプレート208を格納するようにさらに構成され得る。さらに、電子制御装置126は、決定された寸法値204と理論寸法値206との差を閾値と比較するように構成され得る。この差が閾値を下回る場合、電子制御装置126は、地面係合工具134が何らかの所望の時間間隔内にメンテナンスする必要があるというアラートを作成するように構成され得、この差が閾値を超える場合、電子制御装置126は、地面係合工具134が損傷又は欠損しており、即時のメンテナンスを必要とするというアラートを作成するように構成され得る。
複数のセンサ110は、2つの異なる見通しの利く地点210から作業工具104に設置された地面係合工具134の画像を撮影する少なくとも2つのカメラ110を含み得る。
図1を振り返って見ると、システム200は、ブーム及びスティックジョイント106を含むHMS-FS102’をさらに備え得、複数のカメラ110’は、ブーム及びスティックジョイント106の上部に取り付けられ得、複数の角度202、202’からの地面係合工具134の相対摩耗の測定値を得て且つメンテナンスをいつ実行するかについてのオペレータフィードバックを提供するように適応され得る。
図2、図3及び図14を見ると、システム200は、電子制御装置126と通信している出力装置132をさらに備え得る。電子制御装置126は、作業工具104に取り付けられた地面係合工具134の画像を表示する出力装置132に信号を送信するようにさらに構成され得る。
電子制御装置126は、様々な地面係合工具134のデータテンプレート208のデータベース212を格納し、様々な地面係合工具の決定された寸法値204を1つ又は複数のデータテンプレート208と比較するようにさらに構成され得る。
図1及び図14に最良に見られるように。複数のカメラ110’は、複数の地面係合工具134から一定距離214離れて配置され、個々の地面係合工具134に対して複数の見通しの利く地点210を提供し、個々の地面係合工具134間の相対摩耗を決定するのに十分な3D情報を電子制御装置126に与える。
ここで、図1及び図12を見ると、少なくとも2つのカメラ110’は、作業工具104の底部、及び複数の地面係合工具134を視認するように構成され得る。図13及び図14に示されるように、電子制御装置126は、地面係合工具134の運動学的作用線218を追跡して、無関係な画像の解釈を減らすか、又は画像が日中、夜間、降雪時、降雨時、泥の付着時、氷の付着時、又は作業工具104が動いている間に撮影されたかどうかを解釈するように構成され得る。
図14をもう一度見ると、電子制御装置126は、例えば、内部バス(図示せず)によって互いに結合された入出力ポート504、プロセッサ506、及びメモリ508を含む。電子制御装置126は、当業者に知られている追加の構成要素を含むことができ、これらの構成要素は、図14に明示的に図示されていない。例えば、電子制御装置126は、プログラマブルロジック回路(PLC)、タイマー/クロッキング回路、ヒートシンク、視覚的インジケータ(例えば、発光ダイオード)、インピーダンス整合回路、内部バス、コプロセッサ又はモニタプロセッサ、バッテリー及び電源ユニット、パワーコントローラーチップ、トランシーバー、ワイヤレスモジュール、衛星通信処理モジュール、及び種々の集積チップ上の組み込みシステムを含み得る。一実施形態では、電子制御装置126は、エンジン制御装置(図示せず)から分離していてもよい。代替の実施形態では、電子制御装置126は、エンジン制御装置と統合され得るか、又は空間及び処理リソースを共有し得る。
入出力ポート504は、単一のポート又はポートの集合であり得る。入出力ポート504は、機械102の他の部分から様々な入力及びデータを送受信し、そのような入力及びデータをプロセッサ506に転送するように構成される。一態様では、入出力ポート504は、2つの別個のポートであり得、一方は、機械102の様々な部分(例えば、センサ110など)からの様々な入力信号を受信するように構成され、他方は、表示(例えば、出力装置132上)のために又は機械102の制御のために(例えば、機械制御システム130へ)信号を出力するように構成される。代替的に、入力及び出力の機能は、図14の入力出力ポート504として図示される単一のポートに統合され得る。
一態様では、プロセッサ506は、本明細書で論じられる実施形態の様々な特徴及び機能を実装するように製造された集積回路(IC)チップなどのハードウェアデバイスである。例としてのみ挙げたものであり、限定することを意図したものではないが、プロセッサ506は、相補型金属酸化膜半導体(CMOS)製造技術を使用して製造することができる。一実施形態では、プロセッサ506は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、システムオンチップ(SOC)などとして実装され得る。別の実施形態では、プロセッサ506は、パッケージング、入力及び出力ピン、ヒートシンク、信号調整回路、入力装置、出力装置、プロセッサメモリ構成要素、冷却システム、電力システムなどのような構成要素を含み得るが、これらは図14には示されていない。1つの特定の実施形態では、プロセッサ506は、メモリ508内でコンピュータ実行可能命令510を実行することによって図15に例示された方法800の様々な部分を実行するように構成されている。さらに別の実施形態では、プロセッサ506は、例えば、処理アレイとして配置された複数のプロセッサであり得る。
メモリ508は、非一時的なコンピュータ可読媒体として実装され得る。単に一例として、メモリ508は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ダイナミックRAM、プログラム可能型ROM、電気的消去可能プログラム可能型ROM(EEPROM)、スタティックRAM、フラッシュメモリ、それらの組み合わせ、又は当業者に知られている他の種別のメモリデバイスを含むがこれらに限定されない半導体ベースのメモリデバイスであり得る。一実施形態では、メモリ508は、通信及び信号バスを介してプロセッサ506に直接結合される。一実施形態では、メモリ508は、コンピュータ実行可能命令510が存在する非一時的なコンピュータ可読記憶媒体で作製され得るか、又はそれを使用して実装され得る。コンピュータ実行可能命令510は、プロセッサ506によって実行されると、プロセッサ506に、本開示の様々な態様の特徴及び機能を実行させる。そのような非一時的なコンピュータ可読記憶媒体は、半導体メモリ、光メモリ、磁気メモリ、単安定又は双安定回路(フリップフロップなど)など、又はそれらの組み合わせを含み得る。そのような非一時的なコンピュータ可読記憶媒体は、一時的な信号を除外する。
コンピュータ実行可能命令510は、高程度又は低程度のコンパイラ及びプログラミング言語(例えば、C++)を使用して、プロセッサ506によって実行され得る。一実施形態では、コンピュータ実行可能命令510は、基地局によって遠隔で実行され得、そのような実行の結果は、作業工具視覚システムを制御するためにプロセッサ506に提供される。この点に関して、メモリ508内のコンピュータ実行可能命令510の特定の位置は、例としてのみ挙げたものであり、限定することを意図したものではないことが理解されよう。
いくつかの実施形態では、メモリ508は、データベース212を含むか、又はデータベース212に結合されている。データベース212は、複数の地面係合工具134の画像を含み得る。そのような画像は、画像ファイル及びコンピュータ化されたモデルのライブラリとしてデータベース212に保存される。そのようなモデル又はテンプレート画像は、機械102に取り付け可能な複数の地面係合工具134の3次元及び2次元ビューを含み得る。データベース212内のそのような各画像又はモデルはまた、地面係合工具が作業工具から延びる距離、地面係合工具の幅、地面係合工具の高さなどを含む、地面係合工具及び/又は作業工具に関連付けられた1つ又は複数の寸法値を含み得る。
カメラによって撮影された3次元及び2次元ビューは、プロセッサによって修正されたセンサ110からの入力信号(入力信号518を含む)に基づいて、プロセッサ506によって出力装置132に提供されるように出力装置132に出力されたとして動作中の機械102の2つの視覚的な例であるが、出力装置132は、複数の3次元のシーンをフレームごとに連続して表示することができることが理解されよう。一態様では、画像は、機械102及び作業工具104が配備されている作業シーンのリアルタイムビデオとしてリモート基地局(図示せず)内の機械102のリモートオペレータのディスプレイ上に提供され得る。地面係合工具134の動き又は状態を認識及び監視するために使用される場合の、機械102の作業環境のそのようなフレームごとの表現。他の用途では、出力装置132は、図1に示されるように、機械102の運転室112内に配置され得る。ここで操作者は、地面係合工具の状態を直接見ることができる。
図31も見ながら図14に戻って参照すると、作業工具104に取り付けられた地面係合工具134の状態を監視するためのGET監視システム200’の別の実施形態についてここで説明する。システム200’は、作業工具104又は地面係合工具134(図26も参照)の位置又は方位を監視するように構成された少なくとも1つのセンサ216、及びこの少なくとも1つのセンサ216に結合された電子制御装置126を備え得る。
電子制御装置126’は、地面係合工具134の画像を取得し(図31のブロック900を参照)、取得した画像を既存の画像のデータベースと比較して損傷の量、摩耗の量、又は地面係合工具134の不在を決定するアルゴリズムを使用して画像を評価し(図31のブロック902を参照)、且つ取得された画像の品質を格付けして、特定の条件が存在すると判定されない限り取得された画像の品質が不良か又は許容できるか否かを判定するように(図31のブロック904を参照)構成され得る。電子制御装置126’は、次の少なくとも1つ:取得された画像の品質が不良と判定された場合フィルタサイズ又は解像度を改善し、画像の表示領域を拡大し、画像の表示領域を縮小させ、且つ画像の表示領域をシフトすることを実行することによって、格付けアルゴリズムを調整するように(図31のブロック906を参照)、さらに構成され得る。
図31を引き続き参照すると、電子制御装置126’は、取得された画像が許容可能であると判定された場合、取得された画像の品質が許容可能であることをユーザに伝達するように構成され得る(ブロック908を参照)。これは、本明細書で前述したように、出力装置131を介して行うことができる。
少なくとも1つのセンサ216は、次の変数のうちの少なくとも1つ:バケット高さ、バケット傾斜角、リンケージ位置、リンケージ傾斜角、油圧シリンダ伸張の長さ、油圧シリンダに加えられる力、リンケージひずみ、シリンダ制御、駆動力、ホイール又は履帯速度、及びステアリング位置又は制御を決定するように構成され得る(ブロック910を参照)。
電子制御装置は、摩耗に起因して、GETが損傷しているため、又はGETが存在しないために、GET又は作業工具がメンテナンスに備えていることをユーザ又はシステムに警告するように構成され得る(ブロック912を参照)。
電子制御装置はまた、次のうちの少なくとも1つ:作業工具、GET、及び作業工具又はGETの位置を制御するリンケージ、の位置又は方位を決定することによって特定の条件が満たされた場合に、取得された画像の品質の格付けを省略するように構成され得る(ブロック914を参照)。
GET監視システム200’は、電子制御装置126’に結合された入力装置136をさらに備え得、電子制御装置126’は、ユーザが作業工具又はGETの形状、メンテナンスを必要とする作業工具又はGETの摩耗レベルを入力し、メンテナンス作業工具又はGETの、作業工具の輪郭、地面係合工具の数量、シュラウドの数量、又はシュラウドの状態を調整することを可能にするように構成され得る(ブロック916を参照、図20も参照)。
電子制御装置は、機械学習を使用して、次のうちの少なくとも1つを決定するように構成され得る:作業工具の裸の形状、新品の地面係合工具を作業工具に取り付けた状態の作業工具の形状;メンテナンスを必要とする摩耗した作業工具の形状;及びメンテナンスを必要とする摩耗したGETの形状(図31のブロック918を参照、図21も参照)。
実際には、本明細書に記載、図示、又は説明する任意の実施形態によるGET監視システム、電子制御装置又は方法は、販売、購入、製造、再製造、改装、組み立て、又はその他の方法でアフターマーケット又はOEMのコンテキストで入手することができる。同様に、本明細書に記載の任意の実施形態によるそのようなGET監視システム、電子制御装置、又は方法を使用する機械は、機械が新品の場合、又は機械がこれらの実施形態のいずれかで改装される場合に提供され得る。
図16も見ながら図14に戻って参照すると、地面係合工具134の動き又は状態を監視するためのGET監視システム200は、以下のように提供され得る。システム200は、少なくとも2つの異なる角度202、202’から作業工具104上に設置された地面係合工具134の測定値を得るように構成された複数のセンサ110、及び複数のセンサ110に結合された電子制御装置126を含み得る。
電子制御装置126は、以下のように構成することができる。
作業工具に取り付けられた地面係合工具の寸法値を決定する(図16、ブロック600を参照)。
作業工具に取り付けられた地面係合工具の決定された寸法値を、作業工具に取り付けられた新品の地面係合工具の理論寸法値と比較する(ブロック602)、そして
決定された寸法値と理論寸法値との差を計算する(ブロック604)。
さらなる実施形態では、電子制御装置126は、作業工具204に設置された新品の地面係合工具134のデータテンプレート208を格納するようにさらに構成され得る(ブロック606)。そのような場合、電子制御装置126は、様々な地面係合工具134のデータテンプレートのデータベースを格納し、様々な地面係合工具の決定された寸法値を1つ又は複数のデータテンプレートと比較するようにさらに構成され得る(ブロック608)。
いくつかの実施形態では、電子制御装置126は、決定された寸法値204と理論寸法値206との差を閾値と比較するように構成され得、その差が閾値を下回る場合、電子制御装置126は、地面係合工具134をサービスする必要があるというアラートを作成するように構成され得、その差が閾値を超える場合、電子制御装置126は、地面係合工具134が損傷しているか欠損しており、即時のメンテナンスが必要であるというアラートを作成するように構成され得る(ブロック610)。第1の閾値よりも低い第2の閾値が存在する可能性がある。このような場合、その差が第2の閾値よりも小さい場合、アラートが作成されない可能性がある。
さらに別の実施形態では、出力装置132は、電子制御装置126と通信することができ、電子制御装置126は、作業工具204上に設置された地面係合工具134の画像を表示する出力装置132に信号を送信するようにさらに構成され得る(ブロック612)。
さらに別の実施形態では、電子制御装置126は、地面係合工具134の運動学的作用線218を追跡して、無関係な画像の解釈を減らすか、又は画像が日中、夜間、降雪時、降雨時、泥の付着時、氷の付着時、又は作業工具204が動いているときに撮影されたか否かを解釈するように構成され得る(ブロック614)。
特定の実施形態では、図14及び図17を見て理解されるように、機械102の電子制御装置126は、
地面係合工具134を認識するためのコンピュータ実行可能命令510を含むメモリ508と、
メモリ508に結合され、コンピュータ実行可能命令510を実行するように構成されたプロセッサ506と、を備えることができ、コンピュータ実行可能命令510は、プロセッサ506によって実行されるとき、プロセッサ506に、
作業工具に取り付けられた地面係合工具の寸法値を決定させ(図17、ブロック700を参照)、
作業工具に取り付けられた地面係合工具の決定された寸法値を、作業工具に取り付けられた新品の地面係合工具の理論寸法値と比較させ(ブロック702)、そして
決定された寸法値と理論寸法値との差を計算させる(ブロック704)。
メモリ508は、地面係合工具134の決定された寸法値204に一致する閾値を含み得、プロセッサ506は、閾値と、所定の寸法値の決定された測定値と理論寸法値206との計算された差、との差を比較し、計算された差が閾値よりも小さいかあるいはより大きいかに基づいてアラートを送信するように構成され得る(ブロック706)。
次に、電子制御装置126’に関する本開示のさらに別の実施形態について、図14及び図32を見ながら説明する。電子制御装置126’は、地面係合工具134の状態を監視するためのコンピュータ実行可能命令510を含むメモリ508と、メモリ508に結合され且つコンピュータ実行可能命令510を実行するように構成されたプロセッサ506とを備えることができ、コンピュータ実行可能命令510はプロセッサ506によって実行されるとき、プロセッサ506に、
地面係合工具の画像を取得させ(図32のブロック1000を参照)、
取得した画像を既存の画像のデータベースと比較するアルゴリズムを使用して画像を評価させ、損傷、摩耗量、又は地面係合工具の不在を判定させる(ブロック1002を参照)、そして
取得された画像の品質を格付けさせて、特定の条件が存在すると判定されない限り、取得された画像の品質が不良か許容できるかを判定させる(ブロック1004を参照)。
さらに、コンピュータ実行可能命令510は、プロセッサ506によって実行されるとき、プロセッサ506に、取得された画像の品質が不良と判定された場合に、フィルタサイズ又は解像度の改善、画像の表示領域の拡大、画像の表示領域の縮小及び画像の表示領域のシフトの少なくとも1つを実行することによって、格付けアルゴリズムを調整させる(ブロック1006を参照)。
いくつかの実施形態では、コンピュータ実行可能命令は、プロセスによって実行されるときにプロセッサに、地面係合工具の位置又は方位に基づいて特定の条件が満たされていることを判定させる(ブロック1008を参照)。
ここで図15に焦点を合わせると、地面係合工具の状態を監視する方法800については、以下のように説明され得る。方法800は、
異なる角度から地面係合工具から信号を受信する複数のセンサを使用して、作業工具に取り付けられた地面係合工具の寸法値を決定するステップ(ステップ802)と、
作業工具に取り付けられた地面係合工具の決定された寸法値を、地面係合工具の許容可能な理論寸法値と比較するステップ(ステップ804)と、
決定された寸法値と理論寸法値との差を計算するステップ(ステップ806)と、を含み得る。
いくつかの実施形態では、理論寸法値が、地面係合工具の画像を、新品のときの地面係合工具のテンプレート画像と比較するステップ(ステップ808)によって決定される。
他の実施形態では、方法800は、決定された寸法値と理論寸法値との差を閾値と比較するステップ(ステップ810)をさらに含み得る。
方法800は、差が閾値を下回っている場合に、地面係合工具をサービスする必要があるというアラートを作成するステップ(ステップ812)をさらに含み得る。
代替的に、方法800は、差が閾値を超える場合、地面係合工具を交換する必要があるというアラートを作成するステップ(ステップ814)をさらに含み得る。
方法800は、無関係な画像の解釈を低減するために、地面係合工具の運動学的作用線を追跡するステップ(ステップ816)ことをさらに含み得る。
方法800は、画像が昼と夜のどちらで撮影されるたかどうかを判定するステップ(ステップ818)をさらに含む。
また、方法800は、悪天候の間に画像が撮影されたかどうかを判定するステップ(ステップ820)をさらに含む
さらに別の実施形態では、方法800は、地面係合工具が泥、ごみ、砂、又は氷などで覆われているときに画像が撮影されたかどうかを判定するステップ(ステップ822)をさらに含み得る。
GET監視システムに関して望ましい結果を得るために適用に応じて特定の変数が選択されてよい。例えば、GETの摩耗の寸法値はミリメートル単位で測定されてよく、特定のカメラ仕様と地面係合工具に対する相対的な配置が選択されてよく、カメラからGETまでの距離が選択されてよく、カメラ視野が適用に応じて変えられてもよく(例えば、広い視野が望ましい場合がある)、GETの表示によって占有されるスクリーンの望ましい占有率が確認されてよく、カメラとモニタの解像度が選択されてよくし、そしてバケット被写域のカメラ領域が修正されてよいなどである。
ここで、図22及び図30を参照して、本開示の別の実施形態による方法1100について説明する。
GET監視システムを使用して、機械の作業工具に取り付けられた地面係合工具の状態を監視するための方法1100は、
地面係合工具の画像を取得するステップ(ステップ1102)と、
取得した画像を既存の画像のデータベースと比較して、地面係合工具の存在、摩耗量、又は不在を判定するアルゴリズムを使用して画像を評価するステップ(ステップ1104)と、
取得した画像の品質を格付けして、取得した画像の品質が不良か許容できるかを判定するステップ(ステップ1106)と、を含み得る。
取得した画像の品質が不良と判定される場合がある。そうである場合、方法1100は、以下:フィルタサイズ又は解像度を改善する、画像の表示領域を拡大する、画像の表示領域を縮小する、及び画像の表示領域シフトする、の少なくとも1つを実行することによって格付けアルゴリズムを調整するステップ(ステップ1108)をさらに含み得る。
その他の場合、取得された画像の品質が許容できると判定される場合がある。そうである場合、方法1100は、取得された画像の品質が許容可能であることをユーザ又はシステムに伝達するステップ(ステップ1110)、及び/又はGETが損傷しているか、GETが不在であるため、GETは摩耗に起因するサービスに備えることをユーザ又はシステムに警告するステップ(ステップ1112)をさらに含み得る。
場合によっては、方法1100は、特定の条件が存在するか否かを判定した後、取得された画像の品質の格付けを省略するステップ(ステップ1114)をさらに含み得る。
例えば、特定の条件が満たされているか否かを判定することは、少なくとも1つのセンサを使用して、作業工具、地面係合工具、又は作業工具又は地面係合工具の位置を制御するリンケージの位置を決定するステップ(ステップ1116)を含み得る。より具体的には、場合によっては、作業工具、地面係合工具、又はリンケージの位置を決定することは、次の変数のうちの少なくとも1つ:バケット高さ、バケット傾斜角、リンケージ位置、リンケージ傾斜角、油圧シリンダ伸張の長さ、油圧シリンダに加えられる力、リンケージひずみ、シリンダ制御、駆動力、ホイール又はトラック速度、及びステアリング位置又は制御、を評価するステップ(ステップ1118)を含み得る。
上述の説明は、開示されたアセンブリおよび技術の例示を提供するということが理解されよう。しかしながら、本発明の他の実装例は、上述の例とは詳細が異なる場合があるということが考慮される。本発明またはこれらの例示へのすべての言及は、その時点で説明される特定の例示を言及するように意図されたものであり、より一般に本発明の範疇に関する任意の限定を内包することを意図するものではない。特定の特徴に関する区別および見くびりのすべての言語はその特徴に対する選好の欠如を示すためのものであるが、特に明示しない限り、そのようなものを本発明の範疇から完全に排除しないものと意図される。
本明細書における値の範囲の言及は、本明細書に別段に明示されない限り、当該範囲内に属するそれぞれの個別値を個別に言及する速記法として機能することが意図され、それぞれの個別値は、本明細書に個別に引用されているかのように明細書に組み込まれる。
本明細書に述べられる装置及び組み立ての方法の実施形態に対して、本発明(単数又は複数)の範囲又は精神から逸脱することなく、様々な修正及び変形を加えることは当業者には明らかであろう。本明細書及び本願に開示した様々な実施を考慮することから、本開示の他の実施形態が当業者には明らかであろう。たとえば、装備の一部は本明細書で説明されたものと異なるように構成され機能することができ、任意の方法の特定の段階は省略されるか、具体的に言及されたものとは異なる手順で行われるか、ある場合は同時又は下位段階で行われることができる。なお、多様な実施形態の特定の態様又は特徴に対する変形や修正が、また他の実施形態を生成するために加えられることができ、多様な実施形態の特徴及び態様がさらなる実施形態を提供するために他の実施形態の他の特徴又は態様に追加又は代替されることができる。
したがって、本開示は、適用法によって許可されるように、本明細書に添付された特許請求の範囲に記載された主題のすべての修正及び均等物を含む。さらに、そのすべての可能な変形における上記の要素の任意の組み合わせは、本明細書に別段の指示がない限り、又は文脈によって明らかに矛盾しない限り、本開示に包含される。

Claims (9)

  1. 作業工具(104)に取り付けられた地面係合工具(134)の状態を監視するための地面係合工具(GET)監視システム(200)であって、該システム(200)は、
    作業工具(104)に取り付けられた地面係合工具(134)の測定を、少なくとも2つの異なる角度(202、202’)から行うように構成された複数のセンサ(110)と、
    前記複数のセンサ(110)に結合された電子制御装置(126)であって、前記電子制御装置(126)は、
    前記測定の結果に基づいて、作業工具に取り付けられた地面係合工具の寸法値を決定することであって、前記地面係合工具の寸法値は、各地面係合工具の幅及び長さのうちの少なくとも1つである、ことを行い、
    作業工具に取り付けられた前記地面係合工具の前記決定された寸法値を、前記作業工具に取り付けられた新品の地面係合工具の理論寸法値と比較し(602)、
    前記決定された寸法値と前記理論寸法値の差を計算(604)
    前記地面係合工具の画像を取得し、
    取得した前記画像を既存の画像データベースと比較して、損傷の量、摩耗量、又は前記地面係合工具の不在を判定する比較アルゴリズムを使用して前記画像を評価し、
    取得した前記画像の品質を格付けする格付けアルゴリズムを利用して、取得した前記画像の品質が不良か許容可能かを判定することであって、前記格付けアルゴリズムは、取得した前記画像の品質が不良と判定された場合に、フィルタサイズ又は解像度の調整、前記画像の表示領域の拡大又は縮小、及び、前記画像の前記表示領域のシフトのうちの少なくとも1つを実施して調整される、ことを行う
    ように構成される、
    地面係合工具(GET)監視システム(200)。
  2. 前記電子制御装置(126)が、前記作業工具(606)に取り付けられた新品の地面係合工具のデータテンプレートを格納するようにさらに構成される、
    請求項1に記載の地面係合工具(GET)監視システム(200)。
  3. 前記電子制御装置(126)が、前記決定された寸法値と前記理論寸法値との間の差の絶対値を閾値と比較するように構成され、前記差の絶対値が前記閾値を下回る場合、前記電子制御装置が第1の警告をするように構成され、前記差の絶対値が前記閾値を上回る場合、前記電子制御装置が前記地面係合工具が損傷しているか欠損していること、即時のメンテナンスを必要としていることを示す第2の警告をするように構成されている(610)、
    請求項1に記載の地面係合工具(GET)監視システム(200)。
  4. 前記複数のセンサ(110)が、2つの異なる見通しの利く地点から前記作業工具(104)に取り付けられた前記地面係合工具(134)の画像を撮影する複数のカメラ(110’)を含み、前記複数のカメラ(110’)が複数の角度(202、202’)から前記地面係合工具(134)の相対摩耗の測定値を得るように方向付けられ、メンテナンスをいつ実行するかについて操作者にフィードバックを提供する、
    請求項1に記載の地面係合工具(GET)監視システム(200)。
  5. 前記電子制御装置(126)と通信する出力装置(132)をさらに備え且つ前記電子制御装置(126)が、前記作業工具(612)に取り付けられた前記地面係合工具の画像を表示する前記出力装置に信号を送信するようにさらに構成される、
    請求項4に記載の地面係合工具(GET)監視システム(200)。
  6. 前記電子制御装置(126)が、様々な地面係合工具のデータテンプレートのデータベースを格納し且つ様々な地面係合工具の前記決定された寸法値を、前記様々な地面係合工具のデータテンプレートと比較するようにさらに構成される(610)、
    請求項3に記載の地面係合工具(GET)監視システム(200)。
  7. 複数の地面係合工具(134)をさらに備え、前記複数のカメラ(110’)が前記複数の地面係合工具(134)から一定距離(214)離れて配置され、前記複数のカメラ(110’)個々の地面係合工具(134)の複数の見通しの利く地点(210)から画像を撮影し、前記個々の地面係合工具(134)に関する3D情報を前記電子制御装置(134)に与える、
    請求項4に記載の地面係合工具(GET)監視システム(200)。
  8. 機械(100)の電子制御装置(126)であって、
    地面係合工具(134)を認識するためのコンピュータ実行可能命令(510)を含むメモリ(508)と、
    前記メモリ(508)に結合され且つ前記コンピュータ実行可能命令(510)を実行するように構成されたプロセッサ(506)とを備え、前記コンピュータ実行可能命令(510)が前記プロセッサ(506)によって実行されるとき、前記プロセッサ(506)に、
    前記地面係合工具の測定の結果に基づいて、作業工具(700)に取り付けられた地面係合工具の寸法値を決定ることであって、前記地面係合工具の寸法値は、各地面係合工具の幅及び長さのうちの少なくとも1つである、ことを行わせ、
    作業工具に取り付けられた前記地面係合工具の前記決定された寸法値を、前記作業工具に取り付けられた新品の地面係合工具の理論寸法値と比較させ(702)、
    前記決定された寸法値と前記理論寸法値の差を計算させ、
    前記地面係合工具の画像を取得させ、
    取得した前記画像を既存の画像データベースと比較して、損傷の量、摩耗量、又は前記地面係合工具の不在を判定する比較アルゴリズムを使用して前記画像を評価させ、
    取得した前記画像の品質を格付けする格付けアルゴリズムを利用して、取得した前記画像の品質が不良か許容可能かを判定することであって、前記格付けアルゴリズムは、取得した前記画像の品質が不良と判定された場合に、フィルタサイズ又は解像度の調整、前記画像の表示領域の拡大又は縮小、及び、前記画像の前記表示領域のシフトのうちの少なくとも1つを実施して調整される、ことを行わせる、
    電子制御装置(126)。
  9. 前記メモリ(508)が、閾値を含み、前記プロセッサ(506)が、前記計算された差の絶対値が前記閾値(706)よりも小さいか大きいかに基づいてアラートを送信するように構成された、
    請求項8に記載の電子制御装置(126)。
JP2021568215A 2019-05-15 2020-04-09 地面係合工具監視システム Active JP7386903B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/412,553 2019-05-15
US16/412,553 US11447931B2 (en) 2019-05-15 2019-05-15 Ground engaging tool monitoring system
PCT/US2020/027391 WO2020231555A1 (en) 2019-05-15 2020-04-09 Ground engaging tool monitoring system

Publications (2)

Publication Number Publication Date
JP2022532645A JP2022532645A (ja) 2022-07-15
JP7386903B2 true JP7386903B2 (ja) 2023-11-27

Family

ID=70476502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568215A Active JP7386903B2 (ja) 2019-05-15 2020-04-09 地面係合工具監視システム

Country Status (12)

Country Link
US (1) US11447931B2 (ja)
EP (1) EP3969672A1 (ja)
JP (1) JP7386903B2 (ja)
CN (1) CN113874586B (ja)
AU (1) AU2020275694B2 (ja)
BR (1) BR112021022030A2 (ja)
CA (1) CA3138191A1 (ja)
CL (1) CL2021002894A1 (ja)
MX (1) MX2021013556A (ja)
PE (1) PE20220222A1 (ja)
WO (1) WO2020231555A1 (ja)
ZA (1) ZA202108963B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6613185B2 (ja) * 2016-03-23 2019-11-27 株式会社小松製作所 モータグレーダの制御方法、モータグレーダおよびモータグレーダの作業管理システム
US11821177B2 (en) 2021-02-09 2023-11-21 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
US11508073B2 (en) * 2021-04-09 2022-11-22 Caterpillar Inc. Method for determining angle of tips of ripper shanks in dozer machines
US12031304B2 (en) * 2021-05-20 2024-07-09 Caterpillar Inc. Cast top cover for base edge wear protection
US11669956B2 (en) 2021-06-01 2023-06-06 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
US11869331B2 (en) 2021-08-11 2024-01-09 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
US12020419B2 (en) 2021-08-11 2024-06-25 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
US20230340755A1 (en) * 2022-04-21 2023-10-26 Caterpillar Sarl Continuous calibration of grade control system
JP2024011049A (ja) * 2022-07-13 2024-01-25 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077735A1 (en) 2013-11-25 2015-05-28 Esco Corporation Wear part monitoring
WO2018009955A1 (en) 2016-07-15 2018-01-18 Cqms Pty Ltd A wear member monitoring system
JP2018505331A (ja) 2015-02-13 2018-02-22 エスコ・コーポレイションEsco Corporation 土工機器用地面係合製品の監視
WO2018228669A1 (en) 2017-06-13 2018-12-20 Volvo Construction Equipment Ab A working machine provided with an image projection arrangement

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4894920A (en) * 1988-08-31 1990-01-23 The Goodyear Tire & Rubber Company Tread height measuring device
US5105392A (en) * 1989-09-01 1992-04-14 Quantronix, Inc. Measuring method and apparatus
US5220536A (en) * 1989-09-01 1993-06-15 Quantronix, Inc. Measuring method and apparatus
US6990390B2 (en) * 2004-05-19 2006-01-24 Caterpillar Inc. Method and apparatus to detect change in work tool
US9139977B2 (en) 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
JOP20200019A1 (ar) * 2011-07-14 2017-06-16 Esco Group Llc مجموعة بطانه
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
KR101565006B1 (ko) * 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
PE20180594A1 (es) 2015-05-15 2018-04-05 Motion Metrics Int Corp Metodo y aparato para localizar una pieza de desgaste en una imagen de un accesorio de trabajo
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
DE112015000108T5 (de) 2015-09-30 2016-06-16 Komatsu Ltd. Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung
US9994175B2 (en) * 2016-03-04 2018-06-12 Honda Motor Co., Ltd. System for preconditioning a vehicle and method thereof
CN109074068A (zh) * 2016-03-31 2018-12-21 株式会社尼康 飞行装置、电子设备以及程序
KR20170119515A (ko) * 2016-04-19 2017-10-27 주식회사 만도 램프 동작 확인 시스템 및 방법
CN106968289A (zh) * 2017-04-12 2017-07-21 湖南美奕机电科技有限公司 具有斗齿监控功能的矿用挖掘机
CA3005183A1 (en) * 2017-05-30 2018-11-30 Joy Global Surface Mining Inc Predictive replacement for heavy machinery
US10435020B2 (en) * 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
JP6935350B2 (ja) * 2018-03-19 2021-09-15 日立建機株式会社 監視装置およびトロリー式車両
US10689830B2 (en) * 2018-08-06 2020-06-23 Deere & Company Container angle sensing using vision sensor for feedback loop control
US20210339763A1 (en) * 2020-05-04 2021-11-04 Timothy Just Predictive vehicle operating assistance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077735A1 (en) 2013-11-25 2015-05-28 Esco Corporation Wear part monitoring
JP2017503093A (ja) 2013-11-25 2017-01-26 エスコ・コーポレイションEscocorporatio 摩耗部品の監視
JP2018505331A (ja) 2015-02-13 2018-02-22 エスコ・コーポレイションEsco Corporation 土工機器用地面係合製品の監視
WO2018009955A1 (en) 2016-07-15 2018-01-18 Cqms Pty Ltd A wear member monitoring system
WO2018228669A1 (en) 2017-06-13 2018-12-20 Volvo Construction Equipment Ab A working machine provided with an image projection arrangement

Also Published As

Publication number Publication date
PE20220222A1 (es) 2022-02-03
US20200362539A1 (en) 2020-11-19
JP2022532645A (ja) 2022-07-15
BR112021022030A2 (pt) 2022-02-15
MX2021013556A (es) 2021-12-10
WO2020231555A1 (en) 2020-11-19
CL2021002894A1 (es) 2022-07-15
US11447931B2 (en) 2022-09-20
AU2020275694A1 (en) 2021-12-09
ZA202108963B (en) 2023-10-25
AU2020275694B2 (en) 2023-11-30
CN113874586A (zh) 2021-12-31
CN113874586B (zh) 2023-07-28
EP3969672A1 (en) 2022-03-23
CA3138191A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
JP7386903B2 (ja) 地面係合工具監視システム
US11466984B2 (en) Bucket get monitoring system
KR102570490B1 (ko) 쇼벨 및 쇼벨의 표시장치
US9322148B2 (en) System and method for terrain mapping
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
EP3619366B1 (en) Working machine
US6085583A (en) System and method for estimating volume of material swept into the bucket of a digging machine
JP6322612B2 (ja) 施工管理システム及び形状計測方法
US20140064897A1 (en) Single stick operation of a work tool
JP6585697B2 (ja) 施工管理システム
US20210254312A1 (en) Control device and control method for work machine
US9703290B1 (en) Method for operating machines on worksites
US20210140147A1 (en) A working machine provided with an image projection arrangement
JP7023813B2 (ja) 作業機械
CN114945723B (zh) 作业机械以及作业机械的控制方法
JP7560973B2 (ja) 掘削情報処理装置、作業機械、掘削支援装置および掘削情報処理方法
AU2023203740A1 (en) Construction method, work machine control system, and work machine
JP6606230B2 (ja) 形状計測システム
US20230243130A1 (en) Excavation plan creation device, working machine, and excavation plan creation method
EP4102328A1 (en) Work machine
RU2794881C1 (ru) Система мониторинга орудия для земляных работ и ее электронный контроллер
US20230339402A1 (en) Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
JP7197315B2 (ja) ホイールローダの表示システムおよびその制御方法
US20230340755A1 (en) Continuous calibration of grade control system
US20230151586A1 (en) Work tool camera system for utility vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231114

R150 Certificate of patent or registration of utility model

Ref document number: 7386903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150