JP7240382B2 - 作業機械 - Google Patents

Description

本発明は、作業機械に関する。特に、本発明は、作業機械の可動要素の位置を決定することに関する。

バックホーローダーのような作業機械は、通常、タスクを実行するための１又は２以上の可動要素を有する。例えば、バックホーローダーは、前部にショベル及び後部にバックホーを有する。可動要素の正確な位置を知ることは、溝掘りのようなある一定のタスクを実行する時に有用である可能性がある。バックホーローダーの場合に、特定の深さまで溝を掘る時にバックホーバケットの正確な位置を得ることが望ましいと考えられる。

可動要素の位置を決定するために、１又は２以上のセンサから位置を導出することは一般的である。センサは、可動要素を駆動する油圧アクチュエータの伸長を検出することができる。例えば、センサは、バックホーローダーアームの個々のセクションを駆動する油圧アクチュエータ又はバケットをピボット回転させる油圧アクチュエータの伸長を測定することができる。これに代えて、センサは、可動要素の個々のセクション間の回転を検出することができる。例えば、センサは、バックホーローダーアームの個々のセクション間の回転角（ブームとジッパー間の回転角のような）を測定することができ、又はアーム及びアタッチメント（アーム及びバケットのような）間の回転角を測定することができる。

油圧アクチュエータの伸長は、通常、線形エンコーダを組み込むセンサで測定される。センサは、作業機械上の固定位置に位置付けられ、かつ油圧アクチュエータの伸長可能部分上にマーク付けされた目盛りと対になっている。センサは、目盛りを読み取って油圧アクチュエータの伸長を測定する。線形エンコーダを組み込むセンサは、複雑で高価であり、製造コストを増大する。これに加えて、それらは、損傷を受け易い精密機器の精巧な品目である。

可動要素の個々のセクション間の回転角は、通常、回転エンコーダを組み込むセンサを使用して測定される。回転エンコーダは、典型的に線形エンコーダよりも廉価であるが、弱く、精巧であり、かつ作動中に破損し易く、運用コスト及び保守コストを増大する。

センサの修理は高価であり、損傷している間は可動要素の位置を決定することが可能ではない。更に、作業機械は、典型的に汚れて埃っぽい環境で作動し、ごみ又は塵は、例えば、線形エンコーダによって頼られる目盛りを曖昧にすることにより、センサの作動及び精度に影響を及ぼす可能性がある。

これらの問題を克服する方法を見出すことが望ましいと考えられる。

本発明の第１の態様により、本体及び本体に対して可動である可動要素と、可動要素の少なくとも一部分の画像を取り込むように配置されたカメラと、可動要素の位置を可動要素の画像から決定するように訓練され、カメラから画像を受信して画像内の可動要素の位置を決定する機械学習アルゴリズムを実行するように構成されたプロセッサとを含む作業機械を提供する。

機械学習アルゴリズムは、センサの必要なく可動要素の位置を予測することができ、これは、センサが高価である傾向があり、損傷を受け易く、作業機械が典型的に作動する汚れて埃っぽい環境がセンサの作動及び精度に影響を及ぼす可能性があるので有利である。従って、可動要素の位置を予測する機械学習アルゴリズムの使用は、作業機械のコストを低減し、信頼性を改善する。

可動要素の位置によって意味するのは、可動要素上の１又は２以上の点の位置を決定することができ、及び／又は可動要素の向きを決定することができるということである。可動要素の位置は、作業機械に対して決定することができる。現実世界での作業機械の位置が、例えば、全地球測位システム測定から既知である場合に、現実世界での可動要素の位置も決定することができる。

機械学習アルゴリズムは、ニューラルネットワークを含むことができる。ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている。任意的に、ニューラルネットワークは、監視下深層学習ニューラルネットワークである。試行において、ニューラルネットワークは、監視下深層学習を用いて９７％までの機会で位置を正しく分類することが見出されている。これに代えて、ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている監視下畳み込みニューラルネットワークである場合がある。

作業機械は、以下に限定されるものではないが、バックホーローダー、トラクター、フォークリフト、スキッドステアローダー、掘削機、及び伸縮自在ハンドラーを含む採掘又は資材取り扱い機能を備えた建設及び農業機械のうちの１つとすることができる。

可動要素は、複数の個々の可動セクションを含むことができる。各個々の可動セクションは、平行移動可能（例えば、伸縮自在）である場合があり、又は１又は２以上の他の個々の可動セクションに対してピボット回転可能である場合がある。例えば、可動要素は、個々の可動セクションがブーム、ジッパー、及びアタッチメントを含むアームである場合がある。機械学習アルゴリズムは、複数の個々の可動セクションのうちの１又は２以上の位置を決定することができる。複数の個々の可動セクションのうちの１又は２以上の位置を決定する段階は、複数の個々の可動セクションのうちの１又は２以上の向きを決定する段階、又は複数の個々の可動セクションのうちの２又は３以上の間の相対的な向きを決定する段階を含むことができる。

可動要素は、アタッチメントを含むことができる。

機械学習アルゴリズムは、アタッチメント上の１又は２以上の点の位置を予測することができる。アタッチメントは、例えば、ツール（破砕機、ブレード、又はカッターのような）、バケット、又はフォークである場合がある。機械学習アルゴリズムは、アタッチメントがワークピースに接触する点又は縁部（バケットの縁部又は破砕機の先端のような）の位置を予測することができる。これは、オペレータが正確な作動（望ましい深さの溝を掘るような）に関してワークピース（地面のような）に対してアタッチメントを位置決めするのを支援するガイダンスを提供する、又はアタッチメントの完全自動制御を可能にするのに使用することができる。

機械学習アルゴリズムはまた、アタッチメントの向きを決定することができる。

可動要素は、アーム及びアタッチメントを含むことができる。アームは、各セクションが独立に可動である複数の個々のセクションを含むことができる。アームは、ブーム及びジッパーを含むことができる。機械学習アルゴリズムは、アーム上の１又は２以上の点（セクション間のピボット点のような）の位置、アームの向き、又はアームのセクション間の相対的な向きを予測することができる。

アタッチメントは、土工工事アタッチメント、資材取り扱いアタッチメント、林業アタッチメント、廃棄物処理アタッチメント、又は農業アタッチメントのうちの１つとすることができる。

プロセッサは、機械学習アルゴリズムに対する更新を受信するように構成することができる。更新は、機械学習アルゴリズムを訓練して新しいタイプのアタッチメントの位置を決定するように構成することができる。

プロセッサは、適切なソース、例えば、以下に限定されるものではないが、作業機械に一時的に接続されたストレージ媒体から、コンパクトディスク又は作業機械に一時的に取り付けられたデバイス（ＵＳＢソケットに接続されたメモリスティックのような）から、又は通信ネットワーク（セルラー又はＷｉＦｉ通信ネットワークのような）に結合された通信インタフェースから更新を受信することができ、更新は、サーバから通信ネットワーク上で送信することができる。

機械学習アルゴリズムは、訓練機械によって発生された訓練データを使用して既に訓練されている場合がある。

訓練データは、実際の作動の下で訓練機械を作動させることによって発生させることができる。

通常作動の下で訓練機械を作動させる段階は、作業機械の規則的又は典型的な日常作動中に訓練機械を作動させる段階を含むことができる。通常作動は、作業機械が頻繁に又は時々に実行することを要求される異なるタスクの全範囲を通して訓練機械を作動させる段階を含むことができる。例えば、バックホーローダーの通常作動は、異なる条件で異なるタイプの溝を掘るような建築現場での典型的な建設作業中のバックホーローダーの使用を含むことができ、トラクターの通常作動は、農場でのトラクターの使用を含むことができ、フォークリフトの通常作動は、倉庫内で商品を取り出して運ぶフォークリフトの使用を含むことができる。作業機械が実行することを要求される広範囲の異なるタスクを通して訓練機械を作動させることにより、訓練データは、同様に広範囲の異なるタスク中にかつ多くの異なる状況（異なる現場、照明条件、及び気象条件のような）の下で撮られた画像内の可動要素の位置を正確に決定する機械学習アルゴリズムの機能を改善することになる機械学習アルゴリズムに対する徹底的な訓練を提供することになる。

通常作動の下で訓練機械を作動させる段階は、変動する気象条件、例えば、雨、雪、霧、みぞれ、あられ、及び日光の下で訓練機械を作動させる段階を含む場合があると考えられる。通常作動の下で訓練機械を作動させる段階は、例えば、１日の様々な時間（昼間、夜間、薄明かり、夕暮、及び日の出のような）に作業機械を作動させ、かつ人工照明の下で作業機械を作動させることにより、異なる照明条件下で訓練機械を作動させる段階を含むことができる。広範囲の異なる気象条件及び／又は照明条件にわたって訓練データを収集することは、同様に広範囲な気象条件及び／又は照明条件の下で撮られた画像から可動要素の位置を識別する機械学習アルゴリズムの信頼性を改善することになる。

訓練機械は、作業機械と同じタイプのものである場合がある。可動要素は、アタッチメントを含むことができ、訓練機械は、作業機械と同じタイプのアタッチメントを含むことができる。

この技術は、あらゆるタイプの作業機械及びアタッチメントに対して機械学習アルゴリズムが作業機械及びアタッチメントのこの特定の組合せに対して訓練されている限り適用可能である。例えば、機械学習アルゴリズムは、バックホーローダー上のバケットの位置を機械学習アルゴリズムが同じタイプのバケットを有する同等のバックホーローダーから得られた訓練データを使用して訓練されていた場合に決定することができる。

カメラは、訓練機械上のカメラと同じ位置及び向きに配置することができる。カメラは、訓練機械上のカメラと同じ視野角を与えるように配置することができる。

機械学習アルゴリズムが最適な方法で機能することを保証するために、かつ機械学習アルゴリズムが可動要素の位置を正確に決定する可能性を改善するために、作業機械上のカメラは、機械学習アルゴリズムを訓練するのに使用されたカメラと同じ位置及び向きに位置付けられ、かつ同じ視野角を提供し、すなわち、作業機械のカメラは、機械学習アルゴリズムを訓練するのに使用された訓練データを提供した訓練機械上に位置付けられたカメラと同じ位置及び向きに位置付けられ、かつ同じ視野角を提供しなければならない。

機械学習アルゴリズムは、訓練データを使用して既に訓練されている場合がある。訓練データは、可動要素の少なくとも一部分の複数の画像を含むことができ、複数の画像の各画像は、それぞれの画像内の可動要素の位置を示す対応するセンサデータを有する。

訓練データは、カメラ、センサ、本体、及び本体に対して可動である可動要素を有する作業機械を含む訓練機械を使用して既に発生されている場合がある。複数の画像は、カメラを使用して既に取り込まれている場合があり、センサデータは、センサを使用して既に決定されている場合がある。

カメラは、可動要素の望ましい移動範囲を網羅する視野角を与えるように配置することができる。

作業機械は、可動要素を移動するように配置された油圧機器を更に含むことができ、カメラは、油圧機器の少なくとも一部分の視野を与えるように配置することができる。

油圧機器（油圧アクチュエータのような）の位置、向き、及び伸長は、機械学習アルゴリズムが可動要素の位置を正確に決定することを支援し、かつ機械学習アルゴリズムがカメラの視野から外れた可動要素の一部分の位置を推測することを可能にすることができる。

プロセッサは、決定された位置を別のデバイスに通信するか又はディスプレイ上に決定された位置を表示するように構成することができる。

本発明の第２の態様により、監視下機械学習のための訓練データを発生させる方法を提供し、本方法は、カメラと、センサと、本体と、本体に対して可動である可動要素とを有する作業機械を含む訓練機械を作動させる段階と、可動要素の少なくとも一部分の画像をカメラを使用して取り込むことにより、及び画像に対応し、画像内の可動要素の位置を示すセンサデータをセンサを使用して決定することにより、訓練データを発生させる段階とを含む。

訓練データは、監視下機械学習に使用することができる対応するセンサデータを有する画像を提供して機械学習アルゴリズムを訓練し、訓練された状態で、センサの必要なく単に画像に基づいて作業機械上の可動要素の位置を予測する。これは、それがセンサを必要としない作業機械が将来構築されることを可能にするので有利である。センサは、高価である傾向があり、損傷しやすく、従って、センサに対する必要性を排除することは、作業機械の製造コストを低減し、作業機械の信頼性及び耐久性を高める。

可動要素の位置によって意味するのは、可動要素上の１又は２以上の点（バケットの縁部又は破砕機の先端のようなアタッチメント上の１又は２以上の点のような）の位置を決定することができ、及び／又は可動要素の向きを決定することができることである。可動要素の位置は、作業機械に対して決定することができる。現実世界での作業機械の位置が、例えば、全地球測位システム測定から既知である場合に、現実世界での可動要素の位置も決定することができると考えられる。本方法は、可動要素の少なくとも一部分の複数の画像をカメラを使用して取り込む段階と、複数の画像の各画像に対応し、各画像内の可動要素の位置を示すセンサデータをセンサを使用して決定する段階とを含むことができる。

訓練データを発生させる段階は、作業機械の通常作動中に訓練機械を作動させる段階と、各画像が通常作動中のある瞬間に取り込まれ、かつ各画像がその瞬間での可動要素の少なくとも一部分の画像を含む複数の画像をカメラを使用して取り込む段階と、センサを使用してそれぞれの画像内の可動要素の位置を示す各画像に対応するセンサデータを決定する段階とを含むことができる。

訓練機械は、訓練機械が通常作動を行う時に訓練データを収集するように通常作動に対して派遣された標準的な作業機械である場合がある。例えば、訓練機械は、標準的な作業機械としてオペレータに販売することができると考えられ、訓練機械は、オペレータが規則的な日常作動中に訓練機械を使用する時に訓練データを発生させることができる。

通常作動中に訓練機械を作動させる段階は、通常作動中に予測されるある範囲の移動を通して可動要素を移動する段階を含むことができる。

作業機械の通常作動の下で訓練機械を作動させる段階は、作業機械の規則的な又は典型的な日常作動中に訓練機械を作動させる段階を含むことができる。通常作動は、作業機械が頻繁に又は時々に実行する必要があると考えられる全範囲の異なるタスクを通して訓練機械を作動させる段階を含むことができる。例えば、バックホーローダーの通常作動は、溝を掘るような建築現場での典型的な建設作動中のバックホーローダーの使用を含む場合があり、トラクターの通常作動は、農場でのトラクターの使用を含む場合があり、フォークリフトの通常作動は、倉庫内で品物を取り出して運ぶためのフォークリフトの使用を含む場合がある。作業機械の実施が要求される場合がある広範囲の異なるタスクを通して訓練機械を作動させながら訓練データを発生させることにより、訓練データは、広範囲の異なるタスク中にかつ多くの異なる状況（異なる現場、照明条件などのような）の下で撮られた画像内の可動要素の位置を正確に決定するために機械学習アルゴリズムの能力を改善することになる機械学習アルゴリズムに対する徹底的な訓練を提供することになる。センサの必要なく画像のみから可動要素の位置を正確に決定することができるように機械学習アルゴリズムを訓練するための十分な訓練データが収集された状態で、可動要素の位置を決定するためのセンサを必要としない作業機械を構築することができる。

通常作動の下で訓練機械を作動させる段階は、変動する気象条件、例えば、雨、雪、霧、みぞれ、あられ、及び日光の下で訓練機械を作動させる段階を含む場合があると考えられる。通常作動の下で訓練機械を作動させる段階は、例えば、昼間、夜間、薄明、夕暮、及び日の出のような１日の様々な時間に作業機械を作動させることにより、異なる照明条件の下で訓練機械を作動させる段階を含む場合がある。これは、広範囲の気象条件及び１日の異なる時間での広範囲の可能な現場作動で作業する可動要素の位置を識別するための機械学習アルゴリズムの信頼性を改善することになる。

訓練機械は、以下に限定されるものではないが、バックホーローダー、トラクター、フォークリフト、スキッドステアローダー、掘削機、及び伸縮自在ハンドラーを含む採掘又は資材取り扱い機能を有する建設及び農業機械のうちの１つとすることができる。

可動要素は、複数の個々の可動セクションを含むことができる。各個々の可動セクションは、平行移動可能（例えば、伸縮自在）である場合があり、又は１又は２以上の他の個々の可動セクションに対してピボット回転可能である場合がある。例えば、可動要素は、個々の可動セクションがブーム、ジッパー、及びアタッチメントを含むアームである場合がある。機械学習アルゴリズムは、複数の個々の可動セクションのうちの１又は２以上の位置を決定することができる。複数の個々の可動セクションのうちの１又は２以上の位置を決定する段階は、複数の個々の可動セクションのうちの１又は２以上の向きを決定する段階、又は複数の個々の可動セクションのうちの２又は３以上の間の相対的な向きを決定する段階を含むことができる。

可動要素は、アーム及び／又はアタッチメントを含むことができる。

通常作動の下で訓練機械を作動させる段階は、アーム及びアタッチメントの通常作動中のアーム及びアタッチメントの使用中に予測されるある範囲の運動を通してアーム及びアタッチメントを移動する段階を含むことができる。

アタッチメントは、土工工事アタッチメント、資材取り扱いアタッチメント、林業アタッチメント、廃棄物処理アタッチメント、又は農業アタッチメントのうちの１つである場合がある。

カメラは、可動要素の望ましい範囲の移動を網羅する視野角を与えるように配置することができる。これは、機械学習アルゴリズムが可動要素の望ましい範囲の移動にわたって可動要素の位置を決定することができることになることを保証する。

油圧機器は、可動要素を移動するように配置することができ、カメラは、油圧機器の少なくとも一部分の視野を提供するように配置することができる。

油圧機器（油圧ラムのような）の位置、向き、及び伸長は、機械学習アルゴリズムが可動要素の位置を正確に決定することを支援する。

訓練データは、監視下機械学習のための機械学習アルゴリズムを含むコンピュータに転送することができる。本方法は、訓練データをストレージデバイス上に格納する段階を含むことができる。ストレージデバイスは、取外し可能である場合があり、かつ取り外してコンピュータに接続されて訓練データをコンピュータに転送することができる。これに加えて又はこれに代えて、訓練データは、コンピュータへの転送のためにストレージデバイスから携帯型ストレージデバイスに転送することができる。本方法は、通信ネットワーク（セルラー又は無線通信ネットワークのような）上で訓練データをコンピュータに送信する段階を含むことができる。

機械学習アルゴリズムは、ニューラルネットワークを含むことができる。ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている。任意的に、ニューラルネットワークは、監視下深層学習ニューラルネットワークである。試行において、ニューラルネットワークは、監視下深層学習を用いて９７％までの機会で位置を正しく分類することが見出されている。これに代えて、ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている監視下畳み込みニューラルネットワークである場合がある。

本発明の第３の態様により、監視下機械学習のための訓練データを発生させる訓練機械を提供し、訓練機械は、本体と、可動要素と、カメラと、センサとを有する作業機械を含み、可動要素は、本体に対して可動であり、カメラは、可動要素の少なくとも一部分の画像を取り込むように配置され、センサは、可動要素の位置を示すセンサデータを決定するように構成され、訓練機械は、カメラからの画像と画像内の可動要素の位置を示すセンサからの対応するセンサデータとを受信することによって訓練データを発生させるように構成されたプロセッサを更に含む。

訓練機械は、センサの必要なく単に画像に基づいて作業機械上の可動要素の位置を予測するように機械学習アルゴリズムを訓練するために、監視下機械学習に使用することができる対応するセンサデータを有する画像を含む訓練データを発生させる。これは、それがセンサを必要としない作業機械が将来構築されることを可能にするので有利である。センサは、高価である傾向があり、損傷し易く、従って、センサに対する必要性を排除することは、作業機械の製造コストを低減し、作業機械の信頼性及び耐久性を更に高める。

可動要素の位置によって意味するのは、可動要素上の１又は２以上の点（バケットの縁部又は破砕機の先端のようなアタッチメント上の１又は２以上の点のような）の位置を決定することができ、及び／又は可動要素の向きを決定することができることである。可動要素の位置は、作業機械に対して決定することができる。現実世界での作業機械の位置が、例えば、全地球測位システム測定から既知である場合に、現実世界での可動要素の位置も決定することができると考えられる。

プロセッサは、各画像が通常作動中のある瞬間に取り込まれ、かつ各画像がその瞬間での可動要素の少なくとも一部分の画像を含む複数の画像をカメラから受信し、かつそれぞれの画像内の可動要素の位置を示す各画像に対応するセンサデータを受信することによって訓練データを発生させるように構成することができる。

訓練機械は、訓練機械が通常作動を行う時に訓練データを収集するために通常作動に対して派遣される標準的で生産的な作業機械とすることができる。例えば、訓練機械は、標準的で生産的な作業機械としてオペレータに販売し、訓練機械は、オペレータが規則的な日常作動中に訓練機械を使用する時に訓練データを発生させることができる。

通常作動は、通常作動中に予測されるある範囲の移動を通して可動要素を移動する段階を含むことができる。

通常作動は、作業機械の規則的又は典型的な日常作動中に訓練機械を作動させる段階を含むことができる。通常作動は、作業機械が頻繁に又は時々に実行する必要があると考えられる全範囲の異なるタスクを通して訓練機械を作動させる段階を含むことができる。例えば、バックホーローダーの通常作動は、溝を掘るなどの建築現場での典型的な建設作業中のバックホーローダーの使用を含むことができ、トラクターの通常作動は、農場でのトラクターの使用を含むことができ、フォークリフトの通常作動は、倉庫内で品物を取り出して運ぶためのフォークリフトの使用を含むことができる。作業機械を実行する必要がある広範囲の異なるタスクを通して訓練機械を作動させながら訓練データを発生させることにより、訓練データは、広範囲の異なるタスクをしながらかつ多くの様々な状況（異なる現場、照明条件のような）の下で取り込まれた画像内の可動要素の位置を正確に決定するように機械学習アルゴリズムの機能を改善するための機械学習アルゴリズムの徹底的な訓練を提供することになる。センサの必要なく画像のみから可動要素の位置を正確に決定することができるように機械学習アルゴリズムを訓練するための十分な訓練データが収集された状態で、可動要素の位置を決定するためのセンサを必要としない作業機械を構築することができる。

通常作動は、変動する気象条件、例えば、雨、雪、霧、みぞれ、あられ、及び日光の下で訓練機械を作動させる段階を含むことができる。通常作動の下で訓練機械を作動させる段階は、例えば、昼間、夜間、薄明かり、夕暮、及び日の出のような１日の様々な時間に作業機械を作動させることによって異なる照明条件の下で訓練機械を作動させる段階を含むことができる。これは、広範囲な可能な現場作動で広範囲な気象条件下でかつ１日の異なる時間で作業する可動要素の位置を識別する機械学習アルゴリズムの信頼性を改善することになる。

訓練機械は、以下に限定されるものではないが、バックホーローダー、トラクター、フォークリフト、スキッドステアローダー、掘削機、及び伸縮自在ハンドラーを含む採掘又は資材取り扱い機能を有する建設及び農業機械のうちの１つとすることができる。

可動要素は、複数の個々の可動セクションを含むことができる。個々の可動セクションは、平行移動可能（例えば、伸縮自在）とすることができ、又は１又は２以上の他の個々の可動セクションに対してピボット回転可能とすることができる。例えば、可動要素は、個々の可動セクションがブーム、ジッパー、及びアタッチメントを含むアームとすることができる。機械学習アルゴリズムは、複数の個々の可動セクションのうちの１又は２以上の位置を決定することができる。複数の個々の可動セクションのうちの１又は２以上の位置を決定することは、複数の個々の可動セクションの１又は２以上の向きを決定する又は複数の個々の可動セクションの２又は３以上の間の相対的な向きを決定する段階を含むことができる。

可動要素は、アーム及びアタッチメントを含むことができる。

通常作動は、アーム及びアタッチメントの通常作動中のアーム及びアタッチメントの使用中に予測されるある範囲の運動を通してアーム及びアタッチメントを移動する段階を含むことができる。

センサは、アーム又はアタッチメントの位置を決定するように構成することができる。

センサは、アームを駆動する油圧アクチュエータの伸長、及びアームのセクション間の回転角のうちの少なくとも一方を決定するように構成することができる。

アタッチメントは、土工工事アタッチメント、資材取り扱いアタッチメント、林業アタッチメント、廃棄物処理アタッチメント、又は農業アタッチメントのうちの１つとすることができる。

カメラは、可動要素の望ましい移動の範囲を網羅する視野角を与えるように配置することができる。これは、機械学習アルゴリズムが可動要素の望ましい移動の範囲にわたって可動要素の位置を決定することができることになることを保証する。

カメラは、生産作業機械上のカメラと同じ位置及び向きに配置することができ、カメラは、生産作業機械上のカメラと同じ視野角を与えるように配置することができる。

機械学習アルゴリズムが最適の方法で機能することを保証するために、かつ機械学習アルゴリズムがセンサの必要なく単に画像に基づいて可動要素の位置を正確に決定する可能性を改善するために、機械学習アルゴリズムを訓練するのに使用されるカメラ（機械学習アルゴリズムを訓練するための訓練データを提供する訓練機械上のカメラ）は、機械学習が使用されることになる生産作業機械上のカメラと同じ位置及び向きに位置付けられ、かつ同じ視野角を与える。

訓練機械は、可動要素を移動するように配置された油圧機器を更に含むことができ、カメラは、油圧機器の少なくとも一部分の視野を提供するように配置することができる。油圧機器（油圧ラムのような）の位置、向き、及び伸長は、機械学習アルゴリズムが可動要素の位置を正確に決定することを支援する。

訓練機械は、監視下機械学習のための機械学習アルゴリズムを含むコンピュータへの訓練データの転送を可能にするために訓練データを格納するように構成されたストレージデバイスを含むことができる。ストレージデバイスは、取外し可能、かつ訓練データをコンピュータに転送するためにコンピュータに接続可能とすることができる。訓練機械は、訓練データを転送するために携帯型ストレージデバイスに接続可能な出力を含むことができる。訓練機械は、通信ネットワーク（セルラー又は無線通信ネットワークのような）を通してコンピュータに訓練データを送信するように構成された通信インタフェースを含むことができる。

機械学習アルゴリズムは、ニューラルネットワークを含むことができる。ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている。任意的に、ニューラルネットワークは、監視下深層学習ニューラルネットワークである。試行において、ニューラルネットワークは、監視下深層学習を用いて９７％までの機会で位置を正しく分類することが見出されている。これに代えて、ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている監視下畳み込みニューラルネットワークとすることができる。

本発明の第４の態様により、可動要素の少なくとも一部分の画像に基づいて作業機械上の可動要素の位置を決定する機械学習アルゴリズムを訓練するコンピュータ実装方法を提供し、本方法は、各画像がそれぞれの画像内の可動要素の位置を示す対応するセンサデータを有する可動要素の複数の画像を含む訓練データを提供する段階と、対応するセンサデータなしで画像内の可動要素の位置を認識する機械学習アルゴリズムを訓練するために訓練データを使用する段階とを含む。

可動要素の位置によって意味することは、可動要素上の１又は２以上の点（バケットの縁部又は破砕機の先端のようなアタッチメント上の１又は２以上の点のような）の位置を決定することができる及び／又は可動要素の向きを決定することができるということである。可動要素の位置は、作業機械に対して決定することができる。現実世界での作業機械の位置が、例えば、全地球測位システム測定から既知である場合に、現実世界での可動要素の位置も決定することができる。

訓練データは、本発明の第３の態様による訓練機械によって発生されたものとすることができる。

画像は、グレースケール画像又はフルカラー画像を含むことができる。

グレースケール画像を使用する利点は、機械学習アルゴリズムが、機械学習アルゴリズムが訓練されたのと同じ色を有する作業機械の認識に限定されないことになり、かつ機械学習アルゴリズムの処理速度を改善することができるということである。

機械学習アルゴリズムは、ニューラルネットワークを含むことができる。ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている。任意的に、ニューラルネットワークは、監視下深層学習ニューラルネットワークである。試行において、ニューラルネットワークは、監視下深層学習を用いて９７％までの機会で位置を正しく分類することが見出されている。これに代えて、ニューラルネットワークは、画像に基づいて可動要素の位置を決定する時に特に正確であることが見出されている監視下畳み込みニューラルネットワークとすることができる。

本発明の第５の態様により、本発明の第４の態様の方法によって発生された訓練データを含むコンピュータ可読媒体を提供する。

ここで、本発明を添付図面を参照して単に一例として以下に説明するものとする。

バケットの位置を決定するためのセンサを有するバックホーローダーを示す図である。 バックホーローダーが機械学習システムを使用してカメラからの画像に基づいてバケットの位置を決定するカメラと機械学習システムとを有するバックホーローダーを示す図である。 機械学習システムを示す図である。 図３ａの機械学習システムのプロセッサによって実施される機械学習処理を示す図である。 図２のバックホーローダーによって使用されるニューラルネットワークを訓練するための訓練データを発生させる訓練機械を示す図である。 訓練データ収集システムを示す図である。 ニューラルネットワーク訓練コンピュータを示す図である。 ２台のカメラを有するバックホーローダーを示す図である。

図１は、いくつかのセンサを使用して可動要素の位置を決定する従来技術の作業機械を示している。この場合に、作業機械は、バックホーローダー１００である。バックホーローダー１００は、トラクター状の本体１１０を有し、バックホー１２０の形態の可動要素が、本体１１０の後部に装着されている。バックホー１２０は、ブーム１２４とジッパー１２６とである２つのセクションを有するアーム１２２を有する。ブーム１２４は、本体１１０の後部にピボット回転可能に接続される。ブーム１２４は、ジッパー１２６にピボット回転可能に接続される。バケット１２７は、ジッパー１２６の端部にピボット回転可能に接続される。油圧アクチュエータ１２８は、溝堀りのようなあらゆる与えられたタスクに必要なバケット１２７の位置を制御するためにブーム１２４、ジッパー１２６、及びバケット１２７のピボット回転を制御する。

各油圧アクチュエータ１２８は、油圧アクチュエータ１２８の伸長可能部分１３０の伸長を測定するための線形エンコーダを組み込むセンサ１２９を有する。各センサ１２９は、油圧アクチュエータ１２８の伸長可能部分１３０に隣接して固定される（例えば、センサ１２９は、油圧アクチュエータ１２８のハウジングに固定することができる）。各センサ１２９は、油圧アクチュエータ１２８の伸長可能部分１３０の伸長を測定するために、隣接する油圧アクチュエータ１２８の伸長可能部分１３０上にマーク付けされた目盛り１３１を読み取る。

バックホーローダー１００に対するバケット１２７の位置及び向き（又はバケット１２７の縁部１２５のようなバケット１２７上の１又は２以上の望ましい点の位置及び向き）は、センサ１２９で測定された油圧アクチュエータ１２８の伸長及びバックホー２２０の形状の知識から導出することができる。しかし、センサ１２９は、複雑で高価であり、製造コストの増加をもたらす。センサ１２９は、壊れやすい精密機器の精巧な品目であり、センサ１２９の修理は、高価であり、壊れている間はセンサ１２９が修理されるまでバケット１２７の位置及び向きを決定することはできず、ユーザの満足度を低減する。更に、バックホーローダー１００は、通常、汚れて埃っぽい環境で作動する。すなわち、ごみ又はちりが目盛り１３１を曖昧にしてセンサ１２９の作動と精度に影響を及ぼす可能性がある。

図２は、バケット１２７の位置を決定するのにセンサ１２９又は目盛り１３１を必要としない本発明によるバックホーローダー２００を示している。

図２に示されているバックホーローダー２００は、バックホーローダー２００がどのセンサ１２９も持たず、かつ油圧アクチュエータ２２８の伸長可能部分２３０上にマーク付けされた目盛り１３１を有する必要がないことを除いて図１のバックホーローダー１００と同じである。代わりに、図２のバックホーローダー２００は、バックホーローダー１００のキャブの内側に装着された後向きカメラ２４２を有する。

カメラ２４２は、バックホー２２０が行うことができる全範囲の作動中にカメラ２４２がバックホー２２０又はバックホー２２０の少なくとも一部を見るのに十分である視野角を有するバックホー２２０の良好な視野を有する。

カメラ２４２は、ニューラルネットワーク上でカメラ２４２からの画像を処理してセンサ１２９を必要とせずにカメラ２４２からの画像のみを使用してバケット２２７の位置を決定するニューラルネットワークシステム２４０に結合される。

カメラ２４２は、ニューラルネットワークがカメラ２４２が見ることができるバックホー２２０の部分からバケットの位置を推測することができる場合があるので、バケット２２７の位置を決定するのにバックホー２２０全体を見ることができることが必ずしも必要ではない。一部の場合では、バケット２２７は、カメラ２４２の視野から外れる場合がある（例えば、溝を掘る時に、バケット２２７は、溝内の視野から外れる場合がある）。これは、カメラ２４２がバケット２２７の位置及び向きを直接に見ることができないことになることを意味する。しかし、バケット２２７の位置及び向きは、画像内の他の情報から推測することができる。例えば、油圧機器の位置、向き、及び伸長（油圧ラムの伸長可能部分２３０の伸長のような）、又はバケット２２７を回転させるリンケージ２７０及び２７２の角度位置である。

カメラ２４２は、ニューラルネットワーク上でカメラ２４２からの画像を処理してセンサ１２９の必要なくカメラ２４２からの画像のみを使用してバケット２２７の位置を決定するニューラルネットワークシステム２４０に結合される。

図３ａは、ニューラルネットワークシステム２４０をより詳細に示している。ニューラルネットワークシステム２４０は、カメラ２４２からバックホー２２０の画像を受信するプロセッサ２４４を有する。プロセッサ２４４は、図３ｂにより詳細に示されているニューラルネットワーク処理２６０を実行する。

図３ｂは、ニューラルネットワークシステム２４０内のプロセッサ２４４によって実施されるニュートラルネットワーク処理２６０を示している。段階２６１では、カメラ２４２から画像が得られる。段階２６２では、画像は、以前にバックホー２２０の画像からバケット２２７の位置を決定するように訓練されたニューラルネットワークアルゴリズムを通して処理される。ニューラルネットワークアルゴリズムは、段階２６３で、バケット２２７の決定した位置を出力し、段階２６４で、バケット２２７の位置が出力デバイス（ディスプレイ２４６、ストレージデバイス２４８、及び通信インタフェース２５０のうちの１又は２以上のような）に通信される。

バケット２２７の位置は、ディスプレイ２４６（ステアリングホイールの隣のバックホーローダー２００のキャブの内側に位置付けられる）上でオペレータに表示することができる。バケット２２７の位置は、後の使用又は記録保持のためにストレージデバイス２４８に格納することができる。バケット２２７の位置は、通信インタフェース２５０にわたってアームコントローラのような別のデバイスに送信することができる。

バケット２２７の位置は、例えば、バケット２２７が地面からどれだけ離れているかを示すことができ、特定の深さの溝を掘るオペレータに支援を提供し、作動境界を提供し、又はバケット２２７の完全に自動化された制御のために使用することができる。バケット２２７の位置は、通常はバックホーローダー２００に対して決定されることになる。しかし、現実世界でのバケット２２７の位置は、バックホーローダー２００に対するバケット２２７の位置が、現実世界でのバックホーローダー２００の位置を示すデータ（全地球測位システムデータのような）とバックホーローダー２００の形状の知識とに組み合わされた時に決定することができる。

ニューラルネットワークが、センサなしでカメラ２４２を用いて撮られたバックホー２２０の画像のみを使用してバケット２２７の位置を正確に決定することができるように、十分な訓練データでニューラルネットワークを訓練する効率的な方法を見出す必要がある。訓練データは、バケット２２７の位置が既知であるバックホー２２０の画像を含める必要がある。次に、そのような訓練データは、ニューラルネットワークの監視下機械学習を実行するのに使用することができる。本出願人は、訓練車両がバックホーローダーの通常の日常の作動を実行する時に訓練データを収集するように適応された訓練車両を使用することにより、大量の訓練データを収集する特に効率的な方法を見出した。

図４は、ニューラルネットワークがバックホー２２０の画像だけでバケット２２７の位置を正確に決定することを可能にするようにニューラルネットワークの機械学習を監視するための訓練データを発生させるのに使用することができる訓練機械３００の例を示している。

ニューラルネットワークがバックホー２２０の画像からバケット２２７の位置を正確に認識するために、同じタイプのアタッチメントを有する同じタイプの作業機械に対して発生された訓練データを使用してニューラルネットワークが訓練されていたことが重要である。従って、訓練機械３００は、バックホーローダー２００と同じタイプのバックホーローダーであり、アーム３２２を構成するブーム３２４及びジッパー３２６は、アーム２２２を構成するブーム２２４及びジッパー２２６と同じ寸法及び移動範囲を有し、バケット３２７は、バケット２２７と同じ寸法及び移動範囲を有する。

訓練機械３００は、バックホー３２０の視野を有するキャブの内側に装着された後向きカメラ３４２を有する。訓練された状態でニューラルネットワークがセンサの必要なく単にバックホー２２０の画像に基づいてバケット２２７の位置を正確に決定することができることになる可能性を高めるために、訓練機械３００上のカメラ３４２は、バックホーローダー２００上のカメラ２４２と同じ位置及び向きに位置付けられ、かつ同じ視野角を与える。

訓練機械３００は、標準的なバックホーローダーとして作動され、バックホーローダーの典型的な通常作動を実施するために派遣される。例えば、訓練機械３００は、建築現場で作動し、パイプのための溝を掘るなどの典型的な建設作動を請け負うことができる。訓練機械３００が通常作動を実施している間に、訓練機械３００は、ニューラルネットワークを訓練するための訓練データを収集している。

訓練機械３００は、バケット３２７の位置を決定するためのいくつかのセンサ３２９を有する。この例では、訓練機械３００上の各油圧アクチュエータ３２８は、油圧アクチュエータ３２８の伸縮部分３３０の伸長を測定するための線形エンコーダを組み込むセンサ３２９を有する。各センサ３２９は、油圧アクチュエータの伸縮部分３３０に隣接して固定される（この場合は油圧アクチュエータ３２８のハウジングに固定される）。各センサ３２９は、油圧アクチュエータ３２８の伸縮部分３３０の伸長を測定するために、隣接する油圧アクチュエータ３２８の伸縮部分３３０上にマーク付けされた目盛り３３１を読み取る。センサ３２９からの測定値は、訓練機械３００に対するバケット３２７の位置を導出するのに使用することができる。これに加えて又はこれに代えて、訓練機械３００は、バケット３２７の位置を導出するのに使用することができる回転エンコーダを組み込む１又は２以上のセンサを有することができる。各回転エンコーダは、アーム３２０の個々のセクション間（例えば、本体３１０とブーム３２５間又はブーム３２４とジッパー３２６間）、又はアーム３２０とバケット３２７間の回転角度を決定する。

図５は、訓練データ収集システム３４０を示している。訓練機械３００がタスクを実施している間の規則的間隔で、カメラ３４２は、バックホー３２０又はバックホー３２０の少なくとも一部の画像を取り込む。バックホー３２０の各画像は、訓練機械３００のキャブの内側に位置付けられたデータ収集システム３４０を訓練する際にプロセッサ３４４によって受信される。プロセッサ３４４はまた、センサ３２９からセンサデータを受信する。プロセッサ３４４は、各画像を対応するセンサデータと同期させる（例えば、各画像上のタイムスタンプを最も近いタイムスタンプを有するセンサデータと位置合わせする）。プロセッサ３４４は、対応するセンサデータから各画像に示されているバケット３２７の位置を決定する。バックホー３２０の各画像は、包括的な訓練データセットを構築するためにバケット３２７の対応する位置と共にストレージデバイス３４８上に格納される。

訓練データは、訓練データがニューラルネットワーク訓練コンピュータ６４０に転送される前に、訓練データ収集システム３４０のストレージデバイス３４８に格納される。ニューラルネットワークト訓練コンピュータ６４０への訓練データの転送は、訓練車両３００からのストレージデバイス３４８の取り外しを伴うか（ストレージデバイス３４８は、取り外しを容易にするために訓練車両３００のキャブ内の取外し可能なキャディに取り付けることができる）、又は取外し可能なストレージデバイスをソケット３５２に接続して（ソケット３５２は、キャブの内側に位置付けることができ、例えば、携帯型ハードディスク又はメモリスティックが接続することができるＵＳＢインタフェースとすることができる）訓練データを取外し可能なストレージデバイスに転送する。これに代えて、訓練データ収集システム３４０は、ニューラルネットワーク訓練コンピュータに又はサーバにかに関わらず直接に有線又は無線通信ネットワーク上で訓練データを送信する通信インタフェース３５０を有することができる。

バックホーローダー２００を実行することが求められる場合がある広範囲の異なるタスクを通して訓練機械３００を作動し、バックホーローダー２００が体験する場合がある広範囲の異なる作動条件（異なる現場、変動する照明条件、及びある範囲の気象条件のような）の下でこれらの異なるタスクのそれぞれを実行することが望ましい。これは、ニューラルネットワークに適切な訓練を提供する訓練データを発生させ、広範囲の組合せのタスク及び作動条件中に撮られた画像からバケット２２７の位置を正確に決定することができるのに重要である。

ある範囲の照明条件の下で訓練データを収集することも有利である。例えば、日中、夜間、薄明かり、夕暮、及び日の出のような１日の様々な時間及び人工照明（現場照明又はバックホーローダーに取り付けられた照明のような）の下で訓練機械３００を使って訓練データが収集される。訓練車両３００に取り付けられた１又は複数の照明を使用して訓練データを収集する時に、訓練車両３００上の１又は複数の照明がバックホーローダー２００上の１又は複数の照明と同じに置かれて角度付けされ、訓練車両３００上の照明がバックホーローダー２００上の照明と同じ強度を有するので有利である。訓練車両３００とバックホーローダー２００の間の照明の一貫性を保つことは、訓練データとバックホーローダー２００のために取り込まれた画像の間の影と照明が同様であることを保証するのを支援し、ニューラルネットワークがバケット２２７の位置を決定することができる精度を改善する。

図６は、ニューラルネットワーク訓練コンピュータ６４０を示している。ニューラルネットワーク訓練コンピュータ６４０は、ソケット６５２（ＵＳＢインタフェースである場合がある）に取り付けられた取外し可能ストレージデバイスから又は通信インタフェース６５０（有線又は無線通信ネットワークから、訓練車両３００から、又はサーバから直接に訓練データを受信する）を通して訓練機械３００から訓練データを受信する。訓練データは、ニューラルネットワーク訓練コンピュータ６４０のストレージデバイス６４８に格納される。

訓練データは、予測される出力（画像が撮られた時点でセンサ３２９を使った測定から導出されたバケット３２７の位置）と各々が対になった入力のセット（バックホー３２２の画像又はバックホー３２２の一部分）を提供し、ニューラルネットワークの監視下機械学習に適する訓練データをもたらす。プロセッサ６４４は、監視下機械学習アルゴリズムを実行し、ニューラルネットワークが以前に訓練されていない新しい画像内のバケット２２７の位置の正確な予測をもたらすことができるようにニューラルネットワークを訓練する。

訓練されたニューラルネットワークアルゴリズムは、ソケット６５２に一時的に接続される取外し可能なストレージデバイス６５４に転送することができる。転送された状態で、取外し可能なストレージデバイス６５４は、バックホーローダー２００のニューラルネットワークシステム２４０上のソケット２５２に対して分離かつ接続することができる。これに代えて、訓練されたニューラルネットワークは、通信インタフェース６５０から有線又は無線ネットワーク上でバックホーローダー２００のニューラルネットワークシステム２４０の通信インタフェース２５０に転送することができる。

訓練されたニューラルネットワークアルゴリズムは、ニューラルネットワークを初めて訓練するために又はニューラルネットワークを更新するために（例えば、ニューラルネットワークが新しいアタッチメントの位置を認識することを可能にするために）ニューラルネットワークシステム２４０に転送することができる。

作業機械は、１よりも多いアタッチメントを有することができ、作業機械上の各アタッチメントの位置は、各アタッチメントの画像に基づいてニューラルネットワークを使用して決定することができる。

図７は、２つのアタッチメントを有するバックホーローダー４００の例を示している。バックホー２２０に加えて、バックホーローダー４００は、アームによってバックホーローダー４００の前部に取り付けられたショベル４７０を有する。第２のカメラ４４２は、アーム及びショベル４７０の全て又は一部を網羅する視野を有して置かれる。ニューラルネットワークは、同一のショベルを有する訓練車両からの訓練データを使用して訓練されたものである。アーム及び／又はショベル（又はアーム及び／又はショベル上のあらゆる点）の位置及び向きは、ニューラルネットワーク上でカメラ４４２からの画像を処理することによって決定することができる。アームは、シャベル４７０がカメラ４４２の視野外にある場合でもニューラルネットワークがショベル４７０の位置を識別することを支援する台形リンケージを有する。

本発明をある一定の実施形態に関して説明したが、当業者は、添付の特許請求の範囲から逸脱することなく様々な修正を行うことができることを認めるであろう。

例えば、作業機械はバックホーローダーとして及び可動要素はバックホーとアタッチメントとして説明したが、可動要素の画像から可動要素の位置を決定するためのニューラルネットワークの使用は、ニューラルネットワークが作業機械とアタッチメントの特定の組合せに対して訓練されている限り、他のタイプの可動要素を有する他のタイプの作業機械に等しく適用可能である。更に、１つだけの訓練機械を説明したが、訓練処理を迅速化するために、同じタイプの複数の訓練機械を同時に使用することができ、上述の様々な条件の下での訓練データを少ない総時間で取り込むことができることは認められるであろう。

カメラは、キャブの内側又は外側に装着することができる。カメラをキャブの内側に装着することは、盗難、カメラの損傷、又はカメラを曖昧にする汚れを防ぐことを支援することができる。

画像は、カラー画像又はグレースケール画像とすることができる。カラー画像は、ニューラルネットワークのよりロバストな信頼性の高い挙動に至り、信頼性の高い位置決定に至る。グレースケール画像は、より高速な訓練が望まれて精度をそれほど問題にしない場合に好ましいと考えられる。

グレースケール画像を使用する更に別の利点は、ニューラルネットワークが、ニューラルネットワークが訓練された同じ色を有する作業機械の認識に限定されることにならず、かつニューラルネットワークの処理速度を増大することができるということである。

ニューラルネットワークは、監視下深層学習ニューラルネットワーク又は監視下畳み込みニューラルネットワークとすることができる。本発明は、ニューラルネットワークに関して説明したが、本発明は、監視下機械学習に適する他の種類の機械学習アルゴリズムを用いて実施することができると考えられる。

２００ バックホーローダー
２２０ バックホー
２２２ アーム
２４０ ニューラルネットワークシステム
２４２ カメラ

Claims (15)

1. 作業機械であって、
   本体及び可動要素を含み、
   前記可動要素は、該本体に対して可動であり、
   前記作業機械は、さらに、
   前記可動要素の少なくとも一部分の画像を取り込むように配置されたカメラと、
   可動要素の位置を該可動要素の画像から決定するように訓練された機械学習アルゴリズムを実行するプロセッサと、
   を含み、
   前記機械学習アルゴリズムは、前記カメラから該画像を受信して該画像内の該可動要素の該位置を決定し、
   前記機械学習アルゴリズムは、訓練データを使用して既に訓練されたものであり、
   前記訓練データは、可動要素の少なくとも一部分の複数の画像を含み、該複数の画像の各画像が、それぞれの該画像内の該可動要素の前記位置を示す対応するセンサデータを有し、
   前記訓練データは、カメラと、センサと、本体と、該本体に対して可動である可動要素とを有する作業機械を含む訓練機械を使用して既に発生されていたものであり、
   前記複数の画像は、前記カメラを使用して既に取り込まれていたものであり、前記センサデータは、前記センサを使用して既に決定されていたものである、ことを特徴とする作業機械。
2. 前記可動要素の前記位置は、作業機械又は現実世界に対する該可動要素の位置であることを特徴とする請求項１に記載の作業機械。
3. 前記機械学習アルゴリズムは、ニューラルネットワークを含むことを特徴とする請求項１又は請求項２のいずれか１項に記載の作業機械。
4. 前記作業機械は、採掘又は資材取り扱い機能を有する建設及び農業機械のうちの１つであることを特徴とする請求項１から請求項３のいずれか１項に記載の作業機械。
5. 前記建設及び農業機械は、バックホーローダー、トラクター、フォークリフト、スキッドステアローダー、掘削機、及び伸縮自在ハンドラーのうちの１つであることを特徴とする請求項４に記載の作業機械。
6. 前記可動要素は、アタッチメントを含むことを特徴とする請求項１から請求項５のいずれか１項に記載の作業機械。
7. 前記アタッチメントは、土工工事アタッチメント、資材取り扱いアタッチメント、林業アタッチメント、廃棄物処理アタッチメント、又は農業アタッチメントのうちの１つであることを特徴とする請求項６に記載の作業機械。
8. 前記プロセッサは、前記機械学習アルゴリズムに対する更新を受信するように構成され、
   前記更新は、前記機械学習アルゴリズムを訓練して新しいタイプのアタッチメントの位置を決定するように構成される、
   ことを特徴とする請求項６又は請求項７のいずれか１項に記載の作業機械。
9. 前記機械学習アルゴリズムは、訓練機械によって発生された訓練データを使用して既に訓練されていることを特徴とする請求項１から請求項８のいずれか１項に記載の作業機械。
10. 前記訓練データは、実際の作動の下で前記訓練機械を作動させることによって発生されていたものであることを特徴とする請求項９に記載の作業機械。
11. 前記訓練機械は、作業機械と同じタイプのものであり、
    前記可動要素は、アタッチメントを含み、前記訓練機械は、作業機械と同じタイプのアタッチメントを含む、
    ことを特徴とする請求項９又は請求項１０のいずれか１項に記載の作業機械。
12. 前記カメラは、前記訓練機械上のカメラと同じ位置及び向きに配置され、該カメラは、該訓練機械上のカメラと同じ視野角を与えるように配置されることを特徴とする請求項９から請求項１１のいずれか１項に記載の作業機械。
13. 前記カメラは、前記可動要素の移動範囲を網羅する視野角を与えるように配置されることを特徴とする請求項１から請求項１２のいずれか１項に記載の作業機械。
14. 前記可動要素を移動するように配置された油圧機器を更に含み、
    前記カメラは、前記油圧機器の少なくとも一部分の視野を与えるように配置される、
    ことを特徴とする請求項１から請求項１３のいずれか１項に記載の作業機械。
15. 前記プロセッサは、前記決定された位置を別のデバイスに通信するか又は該決定された位置をディスプレイ上に表示するように構成されることを特徴とする請求項１から請求項１４のいずれか１項に記載の作業機械。

Images