JP2023548451A - センサデータに基づく材料の体積及び密度の決定 - Google Patents

Abstract

コントローラ（１４５）は、機械（１０５）上及び機械（１０５）の外部の位置を含む複数の候補関心領域（１４０、１７５）から関心領域を識別する情報を受信し得る。コントローラ（１４５）は、１つ又は複数の第１のセンサデバイス（１６０）を使用して、関心領域に位置する材料を識別するデータを取得し得、データに基づいてグラフ表示を生成し得る。コントローラ（１４５）は、１つ又は複数の第２のセンサデバイス（１５０）を使用して、機械（１０５）の１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つを決定し得、１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つに基づいて、グラフ表示の部分を識別し得る。部分は、関心領域に位置する材料に対応し得る。コントローラ（１４５）は、１つ又は複数の計算モデルを使用して、グラフ表示の部分に基づいて材料の体積を決定し得る。
【選択図】図１

Description

本開示は、一般にコントローラに関し、例えば、機械によって移動される材料の体積及び密度を決定するコントローラに関する。

掘削機は、そのバケットがダンプトラックの荷台に材料を下ろした場所にダンプトラックが配置されている間に、材料をダンプトラックに積み込むことができる。掘削機は、材料を荷台に積み込むために、１つ又は複数のパスを実行することができる。個人（例えば、掘削機のオペレータ及び／又は掘削機の所有者）は、（例えば、作業シフト中）、掘削機の生産性の測定を決定することを望む場合がある。

例えば、個人は、荷台に積み込まれた材料の体積及び／又は材料の密度、バケットによって（例えば、地面から）取り除かれた材料の体積及び／又は材料の密度、及び／又は掘削機に近いパイル中の材料の体積及び／又は材料の密度に関する情報を取得することを望む場合がある。掘削機及びダンプトラックは、そのような情報を個人に提供することはできない。したがって、個人は、そのような体積及び／又は密度の手動測定によって行う。このような手動測定は、時間のかかるプロセスである。さらに、手動測定は不正確な場合がある。手動測定の不正確さは、掘削機の不正確な変更及び／又は調整（例えば、掘削機の構成に対する不正確な変更及び／又は調整、掘削機のコンポーネントに対する不正確な変更及び／又は調整など）につながる可能性がある。

米国特許出願第２０２０００８７８９３号（‘８９３出願）は、移動作業機械が、フレームによって移動可能に支持されたコンテナを含むことを開示している。‘８９３出願はまた、コンテナがコンテンツを受け取るように構成され、アクチュエータがフレームに対するコンテナの動きを制御可能に駆動するように構成されていることも開示している。‘８９３出願は、掘削機のバケットなどの作業機械のコンテナ内の土の密度、体積、又は重量を決定することをさらに開示している。

‘８９３出願は、掘削機のバケット内の土の密度、体積、又は重量を決定することを開示しているが、ダンプトラックの荷台の土の密度又は体積を決定することと、掘削機に近いパイル内の土の密度又は体積を決定することとを開示していない。

本開示のコントローラは、上記問題及び／又は当技術分野における他の問題のうちの１つ又は複数を解決する。

いくつかの実装形態では、機械のコントローラによって実行される方法は、機械上及び機械の外部の位置を含む複数の候補関心領域から関心領域を識別する情報を受信することと、機械に関連付けられた１つ又は複数の第１のセンサデバイスを使用して、関心領域に位置する材料を識別する画像を取得することと、画像に基づいて三次元グラフ表示を生成することと、機械の１つ又は複数の第２のセンサデバイスを使用して、機械の１つ又は複数の部分の位置又は向きのうちの少なくとも１つを決定することと、１つ又は複数の部分の位置又は向きのうちの少なくとも１つに基づいて、機械に対する関心領域における材料の座標を決定することと、座標に基づいて、三次元グラフ表示の、関心領域に位置する材料に対応する部分を識別することと、１つ又は複数の計算モデルを使用して、部分の体積を決定することと、部分の体積に基づいて、材料の体積を決定することと、材料の体積に基づいてアクションを実行することとを含む。

いくつかの実装形態では、機械は、１つ又は複数のメモリと、機械上及び機械の外部の位置を含む複数の候補関心領域から関心領域を識別する情報を受信し、機械に関連付けられた１つ又は複数の第１のセンサデバイスを使用して、関心領域に位置する材料を識別するデータを取得し、データに基づいて材料の３次元グラフ表示を生成し、機械の１つ又は複数の第２のセンサデバイスを使用して、機械の１つ又は複数の部分の位置又は向きのうちの少なくとも１つを決定し、１つ又は複数の部分の位置又は向きのうちの少なくとも１つに基づいて、３次元グラフ表示の、関心領域に位置する材料に対応する部分を識別し、１つ又は複数の計算モデルを使用して、部分の体積を決定し、部分の体積に基づいて、材料の体積を決定するように構成された１つ又は複数のプロセッサとを含む。

いくつかの実装形態では、システムは、機械に関連付けられた１つ又は複数の第１のセンサデバイスと、機械に関連付けられた１つ又は複数の第２のセンサデバイスと、コントローラとを含み、前記機械のコントローラは、機械上及び機械の外部の位置を含む複数の候補関心領域から関心領域を識別する情報を受信し、１つ又は複数の第１のセンサデバイスを使用して、関心領域に位置する材料を識別するデータを取得し、データに基づいてグラフ表示を生成し、１つ又は複数の第２のセンサデバイスを使用して、機械の１つ又は複数の部分の位置又は向きのうちの少なくとも１つを決定し、１つ又は複数の部分の位置又は向きのうちの少なくとも１つに基づいて、グラフ表示の、関心領域に位置する材料に対応する部分を識別し、１つ又は複数の計算モデルを使用して、グラフ表示の部分に基づいて材料の体積を決定するように構成される。

本明細書に記載の実装形態の図である。 図１の機械に関連して実装され得る、本明細書で記載される例示的なシステムの図である。 センサデータに基づいて材料の体積及び密度を決定することに関連する例示的なプロセスのフローチャートである。

本開示は、複数の関心領域（例えば、機械上及び機械の外部の位置）に位置する材料の体積及び／又は密度を決定する（機械の）コントローラに関する。「機械」という用語は、例えば、鉱業、建設、農業、輸送、又は別の産業などの産業に関連する操作を実行する任意の機械を指す場合がある。さらに、１つ又は複数の器具を機械に接続することができる。

図１は、本明細書に記載の実装例１００の図である。図１の実装例１００は、機械１０５及び機械１１０を含む。図１に示されるように、機械１０５は、掘削機などの積載機械として具現化される。又は、機械１０５は、例えばドーザー、ホイールローダ、及び／又は同様の機械などの別のタイプの積載機械であってもよい。図１に示されるように、機械１１０は、採掘トラック、運搬トラック、ダンプトラック、及び／又は同様の機械などの運搬機械として具体化される。いくつかの例では、機械１０５は、材料を機械１１０に（例えば、機械１１０の荷台に）積み込む（又は移動する）ことができる。

図１に示されるように、機械１０５は、地面係合部材１１５、オペレータキャビン１２０、及び機械本体１２５を含む。地面係合部材１１５は、機械１０５を推進するように構成され得る。地面係合部材１１５は、（図１に示すように）トラックを含み得る。又は、地面係合部材１１５は、ホイール、ローラ、及び／又は同様のものを含み得る。地面係合部材１１５は、機械本体１２５に取り付けることができ、１つ又は複数のエンジン及びドライブトレイン（図示せず）によって駆動される。

オペレータキャビン１２０は、機械本体１２５及び回転フレーム（図示せず）によって支持される。オペレータキャビン１２０は、一体型ディスプレイ１２２と、例えば一体型ジョイスティックなどのオペレータコントロール１２４とを含む。オペレータコントロール１２４は、機械１０５の動きを制御する信号を生成する１つ又は複数の入力コンポーネントを含み得る。

自律機械の場合、オペレータコントロール１２４は、オペレータが使用するように設計されていなくてもよいが、オペレータとは独立して動作するように設計されていてもよい。この場合、例えば、オペレータコントロール１２４は、オペレータ入力なしで別のコンポーネントによって使用される入力信号を提供する１つ又は複数の入力コンポーネントを含み得る。機械本体１２５は、回転フレーム（図示せず）に取り付けられる。

図１に示されるように、機械１０５は、ブーム１３０、スティック１３５、及びツール１４０を含む。ブーム１３０は、機械本体１２５の近位端に旋回可能に取り付けられ、１つ又は複数の流体作動シリンダ（例えば、油圧又は空気圧シリンダ）、電気モータ、及び／又は他の電気機械コンポーネントによって、機械本体１２５に対して関節運動する。スティック１３５は、ブーム１３０の遠位端に旋回可能に取り付けられ、１つ又は複数の流体作動シリンダ、電気モータ、及び／又は他の電気機械コンポーネントによってブーム１３０に対して関節運動する。ツール１４０は、スティック１３５の遠位端に取り付けられ、１つ又は複数の流体作動シリンダ、電気モータ、及び／又は他の電気機械コンポーネントによって、スティック１３５に対して関節運動することができる。ツール１４０は、（図１に示されるように）バケット又はスティック１３５に取り付けられ得る任意の他のツールであり得る。

図１に示されるように、機械１０５は、コントローラ１４５（例えば、電子制御モジュール（ＥＣＭ））、１つ又は複数の慣性計測装置（ＩＭＵ）１５０（本明細書では、個別に「ＩＭＵ１５０」と呼び、集合的に「ＩＭＵ１５０」と呼ぶ）、荷重センサデバイス１５５、１つ又は複数のステレオカメラデバイス１６０（本明細書では、個別に「ステレオカメラデバイス１６０」と呼び、集合的に「ステレオカメラデバイス１６０」と呼ぶ）、及び無線通信コンポーネント１６５を含む。

コントローラ１４５は、機械１０５の動作を制御及び／又は監視することができる。例えば、コントローラ１４５は、オペレータコントロール１２４から、ＩＭＵ１５０から、ペイロードセンサデバイス１５５から、及び／又はステレオカメラデバイス１６０からの信号に基づいて、機械１０５の動作を制御及び／又は監視することができる。

ＩＭＵ１５０は、ＩＭＵ１５０が設置される機械１０５のコンポーネントの位置及び向きを示す信号を受信、生成、記憶、処理、及び／又は提供できる１つ又は複数のデバイスを含む。例えば、ＩＭＵ１５０は、１つ又は複数の加速度計及び／又は１つ又は複数のジャイロスコープを含み得る。１つ又は複数の加速度計及び／又は１つ又は複数のジャイロスコープは、基準フレームに対するＩＭＵ１５０の位置及び／又は向き、したがってコンポーネントの位置及び／又は向きを決定するために使用できる信号を生成及び提供する。図１に示されるように、ＩＭＵ１５０は、例えば、オペレータキャビン１２０、ブーム１３０、スティック１３５、及びツール１４０など、機械１０５のコンポーネント又は部分上の異なる位置に設置される。

荷重センサデバイス１５５は、材料（例えば、ツール１４０に装着された材料）の質量（又は重量）を感知し、質量を示す信号を生成することができる１つ又は複数のセンサデバイスを含み得る。荷重センサデバイス１５５は、ひずみゲージ、圧電センサ、圧力センサ、圧力トランスデューサ、及び／又は同様のセンサデバイスを含み得る。図１に示されるように、荷重センサデバイス１５５は、ツール１４０に設置されてもよい。

ステレオカメラデバイス１６０は、機械１０５に関連付けられた領域の３次元グラフ表示を生成するために（例えば、コントローラ１４５によって）使用され得るデータを取得することができる１つ又は複数のセンサデバイスを含み得る。一例として、ステレオカメラデバイス１６０は、機械１０５に関連する領域の画像を取得し得る。図１に示されるように、ステレオカメラデバイス１６０は、例えば、オペレータキャビン１２０、ブーム１３０、及びスティック１３５など、機械１０５のコンポーネント又は部分上の異なる位置に設置される。代替として、又はステレオカメラデバイス１６０に加えて、機械１０５は、光検出及び測距（ＬＩＤＡＲ）デバイス、感知センサ、及び／又は同様のデバイスを含み得る。

無線通信コンポーネント１６５は、本明細書で説明するように、１つ又は複数の他の機械（例えば、機械１１０）及び／又は１つ又は複数のデバイスと通信できる１つ又は複数のデバイスを含み得る。無線通信コンポーネント１６５は、トランシーバ、別個の送信機及び受信機、アンテナ、及び／又は同様のものを含み得る。無線通信コンポーネント１６５は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）Ｌｏｗ－Ｅｎｅｒｇｙ、ＢＬＵＥＴＯＯＴＨ（登録商標）、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、電気電子技術者協会（ＩＥＥＥ）８０２．１５４、及び／又は同様のものなどの短距離無線通信プロトコルを使用して、１つ又は複数の機械と通信し得る。

追加的又は代替的に、無線通信コンポーネント１６５は、例えば、無線ローカルエリアネットワーク（ＬＡＮ）、セルラーネットワーク（例えば、ロングタームエボリューション（ＬＴＥ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、３Ｇネットワーク、４Ｇネットワーク、５Ｇネットワーク、又は別のタイプのセルラーネットワーク）、公衆陸上移動網（ＰＬＭＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆電話交換網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワーク、クラウドコンピューティングネットワークなど、及び／又はこれら又は他のタイプのネットワークの組み合わせなどの１つ又は複数の有線及び／又は無線ネットワークを含むネットワークを介して、１つ又は複数の機械と通信し得る。

図１に示されるように、機械１１０は、無線通信コンポーネント１７０及び荷台１７５を含む。無線通信コンポーネント１７０は、上述の無線通信コンポーネント１６５と同様であり得る。荷台１７５を使用して材料１８０を受け取ることができる（例えば、機械１０５のツール１４０を使用して荷台１７５に積み込む）。材料１８０は、地面材料（例えば、土から得られる材料）を含み得る。

上述のように、図１は一例として提供されている。他の例は、図１に関連して説明したものとは異なる場合がある。

図２は、図１の機械（例えば、機械１０５）に関連して実装され得る、本明細書で説明される例示的なシステム２００の図である。図２に示されるように、システム２００は、コントローラ１４５、１つ又は複数のＩＭＵ１５０（例えば、ＩＭＵ１５０－１から１５０－Ｍ（Ｍ≧１））、荷重センサデバイス１５５、ステレオカメラデバイス１６０（例えば、ステレオカメラデバイス１６０－１から１６０－Ｎ（Ｎ≧１））、及びデバイス２３０を含む。代替として、又はステレオカメラデバイス１６０に加えて、システム２００は、ＬＩＤＡＲデバイス、感知センサ、及び／又は同様のデバイスを含み得る。

コントローラ１４５は、１つ又は複数のプロセッサ２１０（本明細書では個別に「プロセッサ２１０」と呼び、集合的に「プロセッサ２１０」と呼ぶ）と、１つ又は複数のメモリ２２０と（本明細書では個別に「メモリ２２０」と呼び、集合的に「メモリ２２０」と呼ぶ）を含み得る。プロセッサ２１０は、ハードウェア、ファームウェア、及び／又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ２１０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントを含む。プロセッサ２１０は、機能を実行するようにプログラムされる。

メモリ２２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、及び／又は機能を実行するためにプロセッサ２１０によって使用される情報及び／又は命令を記憶している別のタイプの動的又は静的記憶装置（例えば、フラッシュメモリ、磁気メモリ及び／又は光メモリ）を含む。例えば、機能を実行するとき、コントローラ１４５は（例えば、プロセッサ２１０及びメモリ２２０を使用して）１つ又は複数のＩＭＵ１５０、荷重センサデバイス１５５、及び／又はステレオカメラデバイス１６０からデータを取得し、リアルタイム又はほぼリアルタイムで、機械１０５によって移動された、又は移動されるべき材料１８０の体積及び／又は密度を決定し得る。

ＩＭＵ１５０は、ポーズ情報をコントローラ１４５に送信して、コントローラ１４５が材料１８０の体積を決定できるように構成され得る。ポーズ情報は、機械１０５の１つ又は複数の部分の位置及び／又は向きに関する情報を含み得る。例えば、ポーズ情報は、オペレータキャビン１２０のスイング角度、ブーム１３０の角度、及び／又はスティック１３５の角度を識別する情報を含み得る。

ＩＭＵ１５０は、定期的に（例えば、毎秒、毎分、トリガーの発生時などに）ポーズ情報をコントローラ１４５に送信するように構成され得る。いくつかの例では、ＩＭＵ１５０は、ポーズ情報を送信する期間が事前に構成され得る。又は、ポーズ情報を送信する期間は、機械１０５に関連するオペレータによって決定され得る。又は、ポーズ情報を送信する期間は、（例えば、機械１０５に関する履歴ポーズ送信データに基づいて）コントローラ１４５によって決定されてもよい。

履歴ポーズ送信データは、ポーズ情報を送信する期間、機械１０５の移動頻度、及び／又は同様の情報に関する履歴データを含み得る。場合によっては、ＩＭＵ１５０は、コントローラ１４５からの要求に基づいてポーズ情報をコントローラ１４５に送信するように構成され得る。例えば、コントローラ１４５は、機械１０５の動きの検出に基づいて、機械１０５のオペレータからのポーズ情報の要求に基づいて、及び／又は材料１８０の体積及び／又は材料１８０の密度を決定する要求に基づいて、ポーズ情報の要求を送信し得る。

荷重センサデバイス１５５は、荷重情報をコントローラ１４５に送信して、コントローラ１４５が材料１８０の密度を決定できるように構成され得る。荷重情報は、（例えば、機械１０５のツール１４０に積み込まれた、及び／又は機械１１０の荷台１７５に積み込まれた）材料１８０の重量及び／又は質量を識別する情報を含み得る。

荷重センサデバイス１５５は、定期的に（例えば、毎秒、毎分、トリガーの発生時などに）荷重情報をコントローラ１４５に送信するように構成され得る。いくつかの例では、荷重センサデバイス１５５は、荷重情報を送信する期間が事前に構成され得る。又は、荷重情報を送信する期間は、機械１０５に関連するオペレータによって決定され得る。又は、荷重情報を送信する期間は、（例えば、機械１０５に関する履歴荷重送信データに基づいて）コントローラ１４５によって決定され得る。

履歴荷重送信データは、荷重情報及び／又は機械１０５の移動頻度を送信する期間に関する履歴データを含み得る。荷重センサデバイス１５５は、コントローラ１４５からの要求に基づいて荷重情報をコントローラ１４５に送信するように構成され得る。例えば、コントローラ１４５は、密度を決定する要求の受信に基づいて、機械１０５の動きの検出に基づいて（例えば、ＩＭＵ１５０からの情報に基づいて）、及び／又は荷重情報の要求に基づいて、荷重情報の要求を送信し得る。

ステレオカメラデバイス１６０は、画像データを取得し、画像データをコントローラ１４５に送信して、コントローラ１４５が材料１８０の体積及び／又は密度を決定できるようにするように構成され得る。画像データは、機械１０５に関連する領域（例えば、機械１０５を取り囲む領域）の画像を含み得る。画像データは、機械１０５に関連する関心領域を識別し得る。関心領域は、機械１０５のツール１４０の位置、機械１１０の荷台１７５の位置、及び／又は材料１８０のパイルの位置を含み得る。

ステレオカメラデバイス１６０は、定期的に（例えば、毎秒、毎分、トリガーの発生時などに）画像データをコントローラ１４５に送信するように構成され得る。いくつかの例では、ステレオカメラデバイス１６０は、画像データを送信する期間が事前に構成され得る。又は、画像データを送信する期間は、機械１０５に関連するオペレータによって決定され得る。又は、画像データを送信する期間は、（例えば、機械１０５に関する履歴画像データに基づいて）コントローラ１４５によって決定され得る。

履歴画像送信データは、画像データを送信する期間、機械１０５の移動の頻度、体積及び／又は密度を決定するための要求の頻度に関する履歴データを含み得る。いくつかの例では、ステレオカメラデバイス１６０は、コントローラ１４５からの要求に基づいて画像データをコントローラ１４５に送信するように構成され得る。例えば、コントローラ１４５は、機械１０５の動き（例えば、機械１１０の荷台１７５への材料の移動に関連する動き）の検出に基づいて、画像データの要求に基づいて、及び／又は材料１８０の体積及び／又は材料１８０の密度を決定する要求に基づいて、画像データの要求を送信し得る。

いくつかの例では、ステレオカメラデバイス１６０は、画像データ内の関心領域を識別するために、１つ又は複数のオブジェクト検出（又はオブジェクト認識）操作を実行し得る。例えば、コントローラ１４５は、関心領域を識別する情報をステレオカメラデバイス１６０に提供することができ、ステレオカメラデバイス１６０は、画像データ内の関心領域を識別するために１つ又は複数のオブジェクト検出動作を実行することができる。

デバイス２３０は、異なる機械（例えば、機械１０５、機械１１０、及び／又は他の機械）によって移動される材料の体積及び／又は密度を監視し得る１つ又は複数のデバイスを含み得る。デバイス２３０は、サーバーデバイス（例えば、ホストサーバー、ウェブサーバー、アプリケーションサーバーなど）、コンピュータ（例えば、ラップトップ、デスクトップなど）、ユーザデバイス（例えば、モバイルデバイス、ラップトップなど）、クラウドデバイス、及び／又は同様のものを含み得る。いくつかの例では、デバイス２３０は機械１１０に含まれ得る。

コントローラ１４５は、以下により詳細に説明するように、１つ又は複数のＩＭＵ１５０、荷重センサデバイス１５５、及び／又はステレオカメラデバイス１６０からデータを取得して、材料１８０の体積及び／又は機械１０５によって移動された材料１８０の体積を決定する。いくつかの例では、コントローラ１４５は、機械１０５によって移動された及び／又は移動されるべき材料の体積（及び／又は密度）（例えば、荷台１７５に積み込まれる材料１８０の体積及び／又は密度、ツール１４０内の材料１８０の体積及び／又は密度、及び／又は機械１０５及び／又は機械１１０の閾値距離内のパイル内の材料１８０の体積及び／又は密度）を決定する要求を受信し得る。

コントローラ１４５は、機械１０５のオペレータ、機械１１０のオペレータ、及び／又はデバイス２３０のユーザから要求を受信し得る。例えば、機械１０５のオペレータは一体型ディスプレイ１２２を使用して要求を提出することができ、コントローラ１４５は一体型ディスプレイ１２２から要求を受信することができる。又は、機械１１０のオペレータが（機械１１０の）無線通信コンポーネント１７０を介して要求を送信し得、コントローラ１４５が（機械１０５の）無線通信コンポーネント１６５を介して要求を受信し得る。又は、コントローラ１４５は、デバイス２３０から（機械１０５の）無線通信コンポーネント１６５を介して要求を受信し得る。いくつかの例では、コントローラ１４５は、ユーザインタフェース（例えば、表示用のグラフィカルユーザインタフェース）を提供し得、要求は、ユーザインタフェースを使用して提出され得る。

いくつかの例では、コントローラ１４５は、複数の候補関心領域から関心領域を識別する情報を（要求の一部として）受信し得る。関心領域は、位置、エリア、領域、及び／又は同様の地理情報に対応する場合がある。複数の候補関心領域は、機械上及び機械１０５の外部の位置を含み得る。例えば、複数の候補関心領域は、機械１１０の荷台１７５、機械１０５の工具１４０、及び／又は機械１０５及び／又は機械１１０の閾値距離内の材料１８０のパイルを含み得る。したがって、関心領域を識別する情報（以下、「関心領域情報」）は、荷台１７５、ツール１４０、及び／又は材料１８０のパイルを識別し得る。

関心領域情報は、機械１１０を識別する情報（例えば、機械１１０のタイプ及び／又は機械１１０の寸法）、荷台１７５を識別する情報（例えば、荷台１７５のタイプ、荷台１７５の寸法、及び／又は機械１１０に対する荷台１７５の位置）、ツール１４０を識別する情報（例えば、ツール１４０のタイプ及び／又はツール１４０の寸法）、及び／又は材料１８０のパイルを識別する情報（例えば、（例えば、機械１０５及び／又は機械１１０に対する）材料１８０のパイルの位置、材料１８０のパイルの寸法、及び材料１８０のパイルの形状）を含み得る。

いくつかの例では、コントローラ１４５は、機械１１０を識別する情報に基づいて、荷台１７５を識別する情報を、機械１０５に関連付けられた１つ又は複数のメモリ（例えば、メモリ２２０）から取得し得る。コントローラ１４５は、１つ又は複数のメモリから、ツール１４０を識別する要求に基づいてツール１４０を識別する情報を関心領域として取得し得る。

いくつかの例では、要求の受信に基づいて、コントローラ１４５は、要求で識別された関心領域に関連するデータを取得し得る。例えば、要求の受信に基づいて、コントローラ１４５は、１つ以上のステレオカメラデバイス１６０を関心領域に向けさせ、関心領域を含むデータ（例えば、画像）を取得することができる。画像は、関心領域に位置する材料１８０を識別し得る。いくつかの例では、コントローラ１４５は、画像を１つ又は複数のメモリに記憶することができる。

場合によっては、コントローラ１４５は、機械１０５の動き（例えば、材料１８０を動かす機械１０５に関連する動き）が検出されるたびに、１つ又は複数のステレオカメラデバイス１６０に画像を取得させることができる。コントローラ１４５は、１つ又は複数のＩＭＵ１５０から得られた情報に基づいて機械１０５の動きを検出し得る。

いくつかの実装形態では、機械１１０は、無線通信コンポーネント１７０を介して、機械１１０が（機械１０５から）材料１８０を取得するために到着することを示し、到着予定時刻を示し、及び／又は到着時に（例えば、機械１０５に対する）機械１１０の予想される位置を示す。到着情報を送信し得る。又は、到着情報は、機械１１０が到着したこと（及び機械１０５から材料１８０を取得する準備ができていること）を示し、（例えば、機械１０５に対する）機械１１０の実際の位置を示すことができる。

コントローラ１４５は、無線通信コンポーネント１６５を介して到着情報を受信し、１つ又は複数のステレオカメラデバイス１６０に、到着情報に基づいて画像を取得させることができる。例えば、コントローラ１４５は、１つ又は複数のステレオカメラデバイス１６０に、予定時間に、予想される位置を含む画像を取得させるか、又は到着情報の受信に基づいて、実際の位置を含む画像を取得させることができる。

コントローラ１４５（及び／又は１つ又は複数のステレオカメラデバイス１６０）は、データ（例えば、画像）を分析して関心領域を識別し得る。例えば、コントローラ１４５（及び／又は１つ又は複数のステレオカメラデバイス１６０）は、１つ又は複数のオブジェクト検出技術（例えば、シングルショット検出器（ＳＳＤ）技術、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）技術など）を使用して画像を分析して、関心領域を識別する。いくつかの例では、コントローラ１４５は、画像を分析する前に、１つ又は複数の画像処理技術を使用して画像を処理し得る。例えば、コントローラ１４５は、画像を分析する前に、１つ又は複数の画像処理技術を使用して画像を組み合わせることができる。

いくつかの例では、到着情報は、１つ又は複数の識別要素（例えば、１つ又は複数の機械可読光学マーカー）が荷台１７５に設けられる（例えば、荷台１７５の１つ又は複数の隅に配置される）ことを示すことができる。識別要素は、コントローラ１４５（及び／又は１つ又は複数のステレオカメラデバイス１６０）が、画像に対してコントローラ１４５（及び／又は１つ又は複数のステレオカメラデバイス１６０）によって実行されるオブジェクト検出動作中に荷台１７５を識別できるようにすることができる。代替として、コントローラ１４５（及び／又は１つ又は複数のステレオカメラデバイス１６０）は、識別要素を使用せずに、荷台１７５を識別するために、（例えば、以上で説明した）１つ又は複数のオブジェクト検出技術を使用して画像を分析し得る。

コントローラ１４５は、画像に基づいて三次元（３Ｄ）グラフ表示を生成し得る。例えば、データ（例えば、画像）内の関心領域を識別した結果として、コントローラ１４５は、３Ｄグラフ表示を生成し得る。３Ｄグラフ表示は、関心領域を含む、機械１０５を取り囲む領域（又は機械１０５を取り囲む領域の一部）を表すことができる。この点に関して、３Ｄグラフ表示は、コントローラ１４５が、関心領域の３Ｄ特性（例えば、関心領域の体積）を含む、機械１０５を取り囲む領域の３Ｄ特性を決定することを可能にすることができる。

コントローラ１４５は、画像に基づいて視差マップを生成し得る。コントローラ１４５は、１つ又は複数のデータ処理技術（例えば、視差マップを生成する１つ又は複数のデータ処理技術）を使用して視差マップを生成し得る。コントローラ１４５は、１つ又は複数の画像処理技術を使用して、視差マップに基づいて３Ｄグラフ表示を生成し得る（例えば、視差マップに基づいて３Ｄグラフ表示を生成する）。一例として、３Ｄグラフ表示は、３Ｄ点群を含み得る。

コントローラ１４５は、機械１０５の１つ又は複数の部分の位置及び／又は向きを決定し得る。例えば、コントローラ１４５は、上述の方法と同様の方法で、１つ又は複数のＩＭＵ１５０からポーズ情報を取得し得る。コントローラ１４５は、ポーズ情報に基づいて機械１０５の１つ又は複数の部分の位置及び／又は向きを決定し得る。例えば、コントローラ１４５は、ポーズ情報に基づいて、オペレータキャビン１２０のスイング角度、ブーム１３０の角度、及び／又はスティック１３５の角度を決定し得る。

コントローラ１４５は、１つ又は複数の部分の位置及び／又は向きに基づいて、機械１０５に対する関心領域の座標（例えば、関心領域における材料１８０の座標）を決定し得る。例えば、コントローラ１４５は、機械１０５の特定の部分に関して関心領域の座標を決定し得る。例えば、コントローラ１４５は、機械１０５の特定の部分を３Ｄグラフ表示の中心点（例えば、３Ｄグラフ表示の座標「０，０，０」）とみなすことができ、関心領域の座標は、中心点に対する３Ｄグラフ表示の３Ｄ座標に対応し得る。

コントローラ１４５は、座標に基づいて、関心領域に対応する３Ｄグラフ表示の部分（以下、「３Ｄ部分」と呼ぶ）を識別し得る。いくつかの例では、３Ｄ部分は、材料１８０を含む荷台１７５に対応し得る。追加的又は代替的に、３Ｄ部分は、材料１８０を含むツール１４０に対応し得る。追加的又は代替的に、３Ｄ部分は材料１８０のパイルに対応し得る。コントローラ１４５は、３Ｄグラフ表示全体を処理して関心領域における材料１８０の体積を決定するために使用されるはずのコンピューティングリソースを保存するために、３Ｄ部分を識別し得る。

コントローラ１４５は、１つ又は複数の計算モデル、１つ又は複数の計算アルゴリズム、及び／又は３Ｄグラフ表示の体積を決定するために使用され得る他の機械アルゴリズムを使用して、３Ｄ部分の体積を決定し得る。場合によっては、３Ｄ部分は材料１８０のパイルに対応し得る。したがって、３Ｄ部分の体積は、材料１８０の体積に対応し得る。

コントローラ１４５は、３Ｄ部分の体積をリアルタイム又はほぼリアルタイムに決定し得る。この点に関して、コントローラ１４５は、定期的に（例えば、毎秒、毎分、及び／又は同様の期間に）３Ｄ部分の体積を決定し得る。追加的又は代替的に、コントローラ１４５は、機械１０５の動き（例えば、材料１８０を動かす機械１０５に関連する動き）が検出されるたびに、３Ｄ部分の体積を決定し得る。コントローラ１４５は、上述のように機械１０５の動きを検出し得る。

コントローラ１４５が、３Ｄ部分の体積をリアルタイムに決定し得るため、３Ｄ部分の体積はある期間にわたって変化し得る。例えば、関心領域が荷台１７５であると仮定する。最初に、機械１０５が材料１８０を荷台１７５に積み込む前に、３Ｄ部分の体積は、荷台１７５が空のときの荷台１７５の体積に対応し得る。

機械１０５が、第１の時間の後に、材料１８０の第１の部分を荷台１７５に積み込むと仮定する。（第１の時間に続く）第２の時間では、３Ｄ部分の体積は、材料１８０の第１の部分を含む荷台１７５の体積（例えば、荷台１７５の場合、荷台１７５の体積に加えて材料１８０の第１の部分の体積）などに対応し得る。コントローラ１４５は、該期間（例えば、作業シフト中）にわたって３Ｄ部分の異なる体積を識別する情報を（例えば、１つ又は複数のメモリに）記憶し得る。

コントローラ１４５は、３Ｄ部分の体積に基づいて材料１８０の体積を決定し得る。場合によっては、３Ｄ部分の体積は、上で説明したように、材料１８０の体積に対応し得る。場合によっては、３Ｄ部分は、（関心領域が荷台１７５である場合に）材料１８０を含む荷台１７５に対応するか、又は（関心領域がツール１４０である場合に）材料１８０を含むツール１４０に対応し得る。

３Ｄ部分が、材料１８０を含む荷台１７５に対応すると仮定すると、コントローラ１４５は、荷台１７５の以前の体積に基づいて、荷台１７５内の材料１８０の体積を決定し得る。一例として、コントローラ１４５は、荷台１７５が空のときの荷台１７５の体積に基づいて、荷台１７５内の材料１８０の体積を決定し得る。例えば、コントローラ１４５は、１つ又は複数のメモリから、荷台１７５が空のときの荷台１７５の体積を識別する情報を取得し得る。コントローラ１４５は、３Ｄ部分の体積から荷台１７５の体積を差し引くことによって、材料１８０の体積を決定し得る。コントローラ１４５は、荷台１７５内の材料１８０の体積に関して上記で説明した方法と同様の方法で、ツール１４０内の材料１８０の体積を決定し得る。

コントローラ１４５は、材料１８０の体積をリアルタイム又はほぼリアルタイムに決定し得る。この点に関して、コントローラ１４５は、定期的に（例えば、毎秒、毎分、及び／又は同様の期間に）材料１８０の体積を決定し得る。追加的又は代替的に、コントローラ１４５は、機械１０５の動き（例えば、材料１８０を動かす機械１０５に関連する動き）が検出されるたびに、材料１８０の体積を決定し得る。コントローラ１４５は、上述のように機械１０５の動きを検出し得る。

コントローラ１４５は、材料１８０の体積に基づいてアクションを実行し得る。例えば、アクションは、コントローラ１４５が材料１８０の体積に関する情報を機械１１０、デバイス２３０、及び／又は別の同様の受信者に送信することを含み得る。例えば、コントローラ１４５は、無線通信コンポーネント１６５を使用して体積に関する情報を送信し得る。

追加的又は代替的に、アクションは、コントローラ１４５が材料１８０の密度を決定することを含み得る。例えば、コントローラ１４５は、材料１８０の体積及び材料１８０の質量に基づいて、材料１８０の密度を決定し得る。例えば、コントローラ１４５は、材料１８０の質量及び材料１８０の体積を含む１つ又は複数の数学的演算に基づいて、材料１８０の密度を決定し得る。場合によっては、コントローラ１４５は、次の式に基づいて材料１８０の密度を決定し得る。
ｐ＝ｍ／Ｖ
ここで、ｐは、材料１８０の密度に対応し、ｍは、材料１８０の質量に対応し、Ｖは、材料１８０の体積に対応する。

いくつかの例では、コントローラ１４５は、荷台１７５内の材料１８０の密度を決定し得る。コントローラ１４５は、無線通信コンポーネント１６５を介して機械１１０から荷台１７５内の材料１８０の質量を識別する情報を取得し得る。例えば、コントローラ１４５は、無線通信コンポーネント１６５を介して、荷台１７５内の材料１８０の質量を識別する情報の要求を機械１１０に送信し得、コントローラ１４５は、無線通信コンポーネント１６５を介して、機械１１０から荷台１７５内の材料１８０の質量を識別する情報を受信し得る。場合によっては、機械１１０は、荷台１７５に関連付けられた１つ又は複数のセンサデバイスからのデータに基づいて材料１８０の質量を決定し得る。１つ又は複数のセンサデバイスは、荷重センサデバイス１５５と同様であってもよく、荷台１７５の１つ又は複数の部分に配置されてもよい。１つ又は複数のセンサデバイスのデータは、荷台１７５内の材料１８０の質量を識別し得る。

追加的又は代替的に、コントローラ１４５は、無線通信コンポーネント１６５を介して、（例えば、機械１１０が材料１８０の体積を識別する情報を受信することに基づいて）荷台１７５内の材料１８０の密度を決定する要求を受信し得る。要求は、（例えば、荷台１７５に関連付けられた１つ又は複数のセンサデバイスから取得される）荷台１７５内の材料１８０の質量を識別する情報を含み得る。コントローラ１４５は、（例えば、荷重情報で識別される）材料１８０の質量及び材料１８０の体積に基づいて、材料１８０の密度を決定し得る。

追加的又は代替的に、コントローラ１４５は、ツール１４０内の材料１８０の密度を決定し得る。コントローラ１４５は、（荷重センサデバイス１５５の説明に関して）上述した方法と同様の方法で、荷重センサデバイス１５５から荷重情報を取得し得る。荷重情報は、ツール１４０内の材料１８０の質量を識別し得る。コントローラ１４５は、以上で決定された（ツール１４０内の）材料１８０の質量及び（ツール１４０内の）材料１８０の体積に基づいて、（ツール１４０内の）材料１８０の密度を決定し得る。

追加的又は代替的に、コントローラ１４５は、材料１８０のパイル内の材料１８０の質量を決定し得る。いくつかの例では、コントローラ１４５は、得られたパイルを堆積させた機械から、パイルを取得させたオペレータのユーザデバイスから、デバイス２３０から、及び／又は他の同様の情報源から、材料１８０の質量を識別する情報を取得し得る。機械は、機械１１０に関して上述した方法と同様の方法で、材料１８０の質量を識別する情報を提供し得る。場合によっては、材料１８０の質量は、（例えば、ユーザデバイスによって、デバイス２３０などによって）予め決定され得る。コントローラ１４５は、以上で決定された（パイル内の）材料１８０の質量及び（パイル内の）材料１８０の体積に基づいて、（パイル内の）材料１８０の密度を決定し得る。

いくつかの例では、コントローラ１４５は、（例えば、荷台１７５内及び／又はパイル内の）材料１８０のタイプを決定し得、材料１８０のタイプ及び材料１８０の体積に基づいて材料１８０の質量を決定し得る。例えば、コントローラ１４５は、材料１８０の体積及び材料１８０のタイプを含む１つ又は複数の数学的演算に基づいて、材料１８０の質量を決定し得る。追加的又は代替的に、コントローラ１４５は、１つ又は複数の計算モデル、１つ又は複数の計算アルゴリズム、及び／又は材料の体積及び材料のタイプに基づいて材料の質量を決定するために使用できる他の機械アルゴリズムを使用して、材料１８０の質量を決定し得る。

コントローラ１４５は、機械１０５のオペレータから、１つ又は複数のメモリから、機械１１０のオペレータから、機械１１０のコントローラから、デバイス２３０のユーザから、及び／又はデバイス２３０から、材料１８０のタイプを識別する情報を取得し得る。材料１８０のタイプは、泥、岩、鉱物、アスファルト、及び／又は他の種類の材料を含み得る。材料１８０の質量は、あるタイプの材料１８０と別のタイプの材料１８０とで異なり得る。

コントローラ１４５は、（例えば、荷台１７５内、ツール１４０内、及び／又はパイル内の）材料１８０の密度に関する情報をデバイス２３０に送信し得る。例えば、コントローラ１４５は、無線通信コンポーネント１６５を使用して、材料１８０の密度（及び／又は材料１８０の体積）に関する情報を送信し得る。

追加的又は代替的に、アクションは、コントローラ１４５が、機械１０５の生産性を向上させるために、機械１０５の動作を自動的に更新することを含み得る。例えば、コントローラ１４５は、機械１０５の構成の更新（例えば、機械１０５のソフトウェアの更新）、機械１０５の１つ以上のコンポーネントの更新（例えば、１つ又は複数のコンポーネントの較正の更新、１つ又は複数のコンポーネントの交換、及び／又は１つ又は複数のコンポーネントに対する同様の更新）、及び／又は別の同様の更新を自動的に行い得る。

いくつかの例では、関心領域情報は、複数の関心領域を識別し得る。例えば、複数の関心領域情報は、荷台１７５、別の機械の荷台（又はコンテナ）、ツール１４０、材料１８０のパイル、及び／又は材料の別のパイル（の２つ以上）の組み合わせを識別する。コントローラ１４５は、材料１８０の体積（及び／又は密度）をリアルタイム又はほぼリアルタイムに決定することに関して上記で説明した方法と同様の方法で、複数の関心領域における材料の体積（及び／又は密度）をリアルタイム又はほぼリアルタイムに決定し得る。

図２に示すデバイスとネットワークの数と配置は、一例として提供される。実際には、追加のデバイス、より少ないデバイス、異なるデバイス、又は図２に示されているものとは異なる配置のデバイスがある場合がある。さらに、図２に示す２つ以上のデバイスを単一のデバイス内に実装することができ、又は図２に示す単一のデバイスを複数の分散デバイスとして実装することができる。追加的又は代替的に、システム２００のデバイスのセット（例えば、１つ又は複数のデバイス）は、システム２００のデバイスの別のセットによって実行されるとして説明された１つ又は複数の機能を実行し得る。

図３は、センサデータに基づいて材料の体積及び密度を決定することに関連する例示的なプロセス３００のフローチャートである。いくつかの実装形態では、図３の１つ又は複数のプロセスブロックは、コントローラ（例えば、コントローラ１４５）によって実行され得る。いくつかの実装形態では、図３の１つ又は複数のプロセスブロックは、センサデバイス（例えば、ステレオカメラ１６０－１から１６０－Ｍ、１つ以上のＬＩＤＡＲデバイス、及び／又は１つ以上の感知センサ）、ＩＭＵ（例えば、ＩＭＵ１５０－１～１５０－Ｎ）、無線通信コンポーネント１６５、及び／又はデバイス（例えば、デバイス２３０）など、別のデバイス又はコントローラとは別の、又はコントローラを含むデバイスのグループによって実行され得る。

図３に示されるように、プロセス３００は、複数の候補関心領域から関心領域を識別する情報を受信することを含み得、複数の候補関心領域は、機械上及び機械の外部の位置を含む（ブロック３１０）。例えば、コントローラは、複数の候補関心領域から関心領域を識別する情報を受信し得、複数の候補関心領域は、上述のように、機械上及び機械の外部の位置を含む。複数の候補関心領域は、機械上及び機械の外部の位置を含む。

図３にさらに示すように、プロセス３００は、機械に関連付けられた１つ又は複数の第１のセンサデバイスを使用して、関心領域に位置する材料を識別する画像を取得することを含み得る（ブロック３２０）。例えば、コントローラは、機械に関連付けられた１つ又は複数のステレオカメラデバイスを使用して、上述のように、関心領域に位置する材料を識別する画像を取得し得る。

図３にさらに示すように、プロセス３００は、画像に基づいて三次元グラフ表示を生成することを含み得る（ブロック３３０）。例えば、コントローラは、上述のように、画像に基づいて三次元グラフ表示を生成し得る。コントローラは、複数の画像の第１の画像及び第２の画像に基づいて視差マップを生成し得、視差マップに基づいて３次元（３Ｄ）点群を生成し得る。

図３にさらに示されるように、プロセス３００は、機械の１つ又は複数の第２のセンサデバイスを使用して、機械の１つ又は複数の部分の位置又は向きのうちの少なくとも１つを決定することを含み得る（ブロック３４０）。例えば、コントローラは、上述のように、機械の１つ又は複数の部分の位置又は向きのうちの少なくとも１つを、機械の１つ又は複数のセンサデバイスを使用して決定し得る。機械の１つ又は複数の部分の位置又は向きの少なくとも１つを決定することは、機械のオペレータキャビン、機械のスティック、又は機械のブームの位置又は向きのうちの少なくとも１つを決定することを含む。

図３にさらに示されるように、プロセス３００は、１つ又は複数の部分の位置又は向きのうちの少なくとも１つに基づいて、機械に対する関心領域における材料の座標を決定することを含み得る（ブロック３５０）。例えば、コントローラは、上述のように、１つ又は複数の部分の位置又は向きのうちの少なくとも１つに基づいて、機械に対する関心領域における材料の座標を決定し得る。

図３にさらに示されるように、プロセス３００は、座標に基づいて、３次元グラフ表示の、関心領域に位置する材料に対応する部分を識別することを含み得る（ブロック３６０）。例えば、コントローラは、座標に基づいて、三次元グラフ表示の一部分を識別し得、この部分は、上述のように、関心領域に位置する材料に対応する。この部分は、関心領域にある材料に対応する。

図３にさらに示すように、プロセス３００は、１つ又は複数の計算モデルを使用して、部分の体積を決定することを含み得る（ブロック３７０）。例えば、コントローラは、上述のように、１つ又は複数の計算モデルを使用して、部分の体積を決定し得る。

図３にさらに示されるように、プロセス３００は、部分の体積に基づいて材料の体積を決定することを含み得る（ブロック３８０）。例えば、コントローラは、上記のように、部分の体積に基づいて材料の体積を決定し得る。

機械は第１の機械であってもよく、プロセスは、画像に基づいて、第２の機械の荷台を関心領域として識別することをさらに含んでもよい。いくつかの実装形態では、材料の体積を決定することは、第１の機械によって荷台に移動された材料の体積を決定することを含む。

図３にさらに示すように、プロセス３００は、材料の体積に基づいてアクションを実行することを含み得る（ブロック３９０）。例えば、コントローラは、上述のように、材料の体積に基づいてアクションを実行し得る。

１つ又は複数の第１のセンサデバイスは、１つ又は複数のステレオカメラデバイス、１つ又は複数のＬＩＤＡＲデバイス、又は１つ又は複数の感知センサのうちの少なくとも１つを含み得、プロセスは、機械の１つ又は複数の第３のセンサデバイスを使用して、材料の質量を識別する情報を取得することと、材料の質量及び材料の体積に基づいて材料の密度を決定することとをさらに含んでもよい。材料の体積を決定することは、データに基づいて、荷台が空のときの荷台の第１の体積を決定することと、データに基づいて、材料が荷台に移動された後の荷台の第２の体積を決定することと、第１の体積と第２の体積との間の差に基づいて、関心領域における材料の体積を決定することとを含み得る。

いくつかの例では、アクションを実行することは、体積又は密度の少なくとも１つに関する情報を、機械によって移動された材料の体積又は材料の密度の少なくとも１つを監視する１つ又は複数のデバイスに送信することを含む。

図３はプロセス３００の例示的なブロックを示しているが、いくつかの実装形態では、プロセス３００は、追加のブロック、より少ないブロック、異なるブロック、又は図３に示されているものとは異なる配置のブロックを含み得る。追加的又は代替的に、プロセス３００のブロックのうちの２つ以上を並行して実行し得る。
産業上の利用可能性

本開示は、複数の関心領域（例えば、機械上及び機械の外部の位置）に位置する材料の体積及び／又は密度を決定するコントローラに関する。複数の関心領域に位置する材料の体積及び／又は密度を決定するための開示されたプロセスは、材料の体積及び／又は密度の手動測定に関連する問題を防止し得る。このような手動測定は、不正確な手動測定に関連する問題を修正する（例えば、掘削機の構成に対する不正確な変更及び／又は調整、掘削機のコンポーネントの不正確な変更及び／又は調整など、掘削機の不正確な変更及び／又は調整に関連する問題を修正する）ために使用されるコンピューティングリソースを浪費する可能性がある。

開示されたプロセスは、手動測定に関して上記の問題を解決し得る。複数の関心領域に位置する材料の体積及び／又は密度を決定するための開示されたプロセスには、いくつかの利点が関連付けられ得る。例えば、プロセスは、機械上及び機械の外部の位置（例えば、機械のバケット、別の機械の荷台、及び／又は機械から閾値距離内にある材料のパイル）で材料の体積及び／又は密度を決定し得る。さらに、センサデータを使用して材料の体積及び／又は密度を決定することにより、プロセスは、材料の体積及び／又は密度の手動測定を防止し得る。

このような手動測定を防止することにより、このプロセスは、手動測定が不正確であることに関連する問題を修正し、例えば、掘削機の不正確な変更及び／又は調整に関連する問題（例えば、掘削機の構成に対する不正確な変更及び／又は調整、掘削機のコンポーネントに対する不正確な変更及び／又は調整に関連する問題など）を修正するために使用されるはずのコンピューティング又は機械のリソースを保存し得る。

上記の開示は、例示及び説明を提供するが、網羅的であること、又は実施形態を開示された正確な形態に制限することを意図するものではない。上記の開示に基づいて修正や変更を行ってもよいし、実施形態の実践から修正や変更を得てもよい。さらに、１つ以上の実施形態を組み合わせることができない理由が上記の開示に明確に提供されていない限り、本明細書に記載されているいずれの実施形態を組み合わせることができる。特徴の特定の組み合わせは、請求項に記載され及び／又は明細書に開示されていても、これらの組み合わせは、種々の実施形態の開示を制限することを意図するものではない。以下に列挙される各従属請求項は、１つの請求項のみに直接従属することができるが、様々な実施形態の開示には、請求項セット内の全ての他の請求項と組み合わせる各従属請求項が含まれる。

本明細書に使用されるように、「一」、「１つ」及び「１セット」は、１つ以上のものを含むことを意図しており、「１つ以上」と交換可能に使用され得る。さらに、本明細書で使用されるように、冠詞「当該」は、冠詞「当該」と組み合わせて引用される１つ以上のものを含むことを意図しており、「１つ以上」と交換可能に使用され得る。さらに、「に基づいて」という語句は、特に明記しない限り、「少なくとも部分的に基づく」ということを意味することを意図している。さらに、本明細書で使用される場合、「又は（ｏｒ）」という用語は、一連で使用される場合、包括的であることを意図し、特に明記しない限り（例えば、「いずれの」又は「１つのみ」と組み合わせて使用される場合）、「及び／又は」と交換可能に使用され得る。さらに、本明細書の説明を容易にするために、例えば「の下」、「下」、「の上」、「上」等の空間的に相対的な用語を使用して、図示のような、１つの要素又は特徴と他の要素又は特徴との関係を説明してもよい。空間的に相対的な用語は、図に示されている方向に加えて、使用又は動作中の機器、装置及び／又は要素の異なる方向を含むことを意図している。機器は、他の向き（９０度回転又は他の向き）にすることができ、本明細書に使用される空間的に相対的な記述子も、それに応じて解釈することができる。

Claims (10)

1. 機械（１０５）のコントローラ（１４５）によって実行される方法であって、
   前記機械（１０５）上及び前記機械（１０５）の外部の位置を含む複数の候補関心領域（１４０、１７５）から関心領域を識別する情報を受信することと、
   前記機械（１０５）に関連付けられた１つ又は複数の第１のセンサデバイス（１６０）を使用して、前記関心領域に位置する材料を識別する画像を取得することと、
   前記画像に基づいて三次元グラフ表示を生成することと、
   前記機械（１０５）の１つ又は複数の第２のセンサデバイス（１５０）を使用して、前記機械（１０５）の１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つを決定することと、
   前記１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つに基づいて、前記機械（１０５）に対する前記関心領域における前記材料の座標を決定することと、
   前記座標に基づいて、前記三次元グラフ表示の、前記関心領域に位置する前記材料に対応する部分を識別することと、
   １つ又は複数の計算モデルを使用して、前記部分の体積を決定することと、
   前記部分の体積に基づいて、前記材料の体積を決定することと、
   前記材料の体積に基づいてアクションを実行することとを含む、方法。
2. 前記１つ又は複数の第１のセンサデバイス（１６０）が、１つ又は複数のステレオカメラデバイス、１つ又は複数の光検出及び測距（ＬＩＤＡＲ）デバイス、又は１つ又は複数の感知センサのうちの少なくとも１つを含み、
   前記方法は、さらに、
   前記機械（１０５）の１つ又は複数の第３のセンサデバイス（１５５）を使用して、前記材料の質量を識別する情報を取得することと、
   前記材料の質量と前記材料の体積に基づいて前記材料の密度を決定することとを含む、請求項１に記載の方法。
3. 前記アクションを実行することは、
   前記体積又は前記密度の少なくとも１つに関する情報を、前記機械（１０５）によって移動された材料の体積又は材料の密度の少なくとも１つを監視する１つ又は複数のデバイス（１１０、２３０）に送信することを含む、請求項２に記載の方法。
4. 前記機械（１０５）が第１の機械（１０５）であり、
   前記方法は、前記画像に基づいて、第２の機械（１１０）の荷台（１７５）を前記関心領域として識別することをさらに含み、
   前記材料の体積を決定することは、前記第１の機械（１０５）によって前記荷台（１７５）に移動された前記材料の体積を決定することとを含む、請求項１に記載の方法。
5. 前記機械（１０５）の前記１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つを決定することは、
   前記機械（１０５）のオペレータキャビン（１２０）、前記機械（１０５）のスティック（１３５）、又は前記機械（１０５）のブーム（１３０）の位置又は向きのうちの少なくとも１つを決定することを含む、請求項１に記載の方法。
6. 機械（１０５）であって、
   １つ又は複数のメモリ（２２０）と、
   前記機械（１０５）上及び前記機械（１０５）の外部の位置を含む複数の候補関心領域（１４０、１７５）から関心領域を識別する情報を受信し、
   前記機械（１０５）に関連付けられた１つ又は複数の第１のセンサデバイス（１６０）を使用して、前記関心領域に位置する材料を識別するデータを取得し、
   前記データに基づいて前記材料の３次元グラフ表示を生成し、
   前記機械（１０５）の１つ又は複数の第２のセンサデバイス（１５０）を使用して、前記機械（１０５）の１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つを決定し、
   前記１つ又は複数の部分（１２０、１３０、１３５）の位置又は向きのうちの少なくとも１つに基づいて、前記３次元グラフ表示の、前記関心領域に位置する前記材料に対応する部分を識別し、
   １つ又は複数の計算モデルを使用して、前記部分の体積を決定し、
   前記部分の体積に基づいて、前記材料の体積を決定するように構成された１つ又は複数のプロセッサ（２１０）とを含む、機械（１０５）。
7. 前記１つ又は複数の第１のセンサデバイス（１６０）が、前記機械（１０５）の前記１つ又は複数の部分（１２０、１３０、１３５）に配置された１つ又は複数のステレオカメラ（１６０）を含み、
   前記１つ又は複数の部分（１２０、１３０、１３５）は、前記機械（１０５）のオペレータキャビン（１２０）、前記機械（１０５）のスティック（１３５）、又は前記機械（１０５）のブーム（１３０）のうちの少なくとも１つを含み、
   前記データは、複数の画像を含み、
   前記三次元グラフ表示を生成するとき、前記１つ又は複数のプロセッサ（２１０）は、
   前記複数の画像の第１の画像及び第２の画像に基づいて視差マップを生成し、
   前記視差マップに基づいて３次元（３Ｄ）点群を生成するように構成される、請求項６に記載の機械（１０５）。
8. 前記１つ又は複数の第１のセンサデバイス（１６０）が、１つ又は複数の光検出及び測距（ＬＩＤＡＲ）デバイスを含み、
   前記三次元グラフ表示を生成するとき、前記１つ又は複数のプロセッサ（２１０）は、
   前記データに基づいて３次元（３Ｄ）点群を生成するように構成される、請求項６に記載の機械（１０５）。
9. 前記データが第１のデータであり、
   前記関心領域は第１の関心領域であり、
   前記１つ又は複数のプロセッサ（２１０）は、さらに、
   前記機械（１０５）の１つ又は複数の第１のセンサデバイスを使用して、前記複数の候補関心領域（１４０、１７５）のうちの第２の関心領域を識別する第２のデータを取得し、
   前記第２のデータに基づいて、前記第２の関心領域を識別し、
   前記第２のデータに基づいて、前記第２の関心領域における前記材料の体積を決定するように構成される、請求項６に記載の機械（１０５）。
10. 前記１つ又は複数のプロセッサ（２１０）は、さらに、
    １つ又は複数のオブジェクト検出技術を使用して、データ内で別の機械（１１０）の荷台（１７５）を関心領域として識別するように構成され、
    前記材料の体積を決定するとき、前記１つ又は複数のプロセッサ（２１０）は、さらに、
    前記データに基づいて、前記荷台（１７５）が空のときの前記荷台（１７５）の第１の体積を決定し、
    前記データに基づいて、前記材料が前記荷台（１７５）に移動された前記荷台（１７５）の第２の体積を決定し、
    前記第１の体積と前記第２の体積の差に基づいて、前記関心領域における前記材料の体積を決定するように構成される、請求項６に記載の機械（１０５）。