JP7390428B2 - 視覚に基づく農機の運転方法、システム、農業機器、及び記憶媒体 - Google Patents

Description

本発明の実施形態は、農機の運転技術分野に関し、特に、視覚に基づく農機の運転方法、システム、農業機器、及び記憶媒体に関する。

現在の農機（農業機械を指す）の作業形態は人工運転を主としており、各業界の自動運転の進行に伴い、農機作業中にも北斗衛星測位やレーザレーダなどの技術の導入が開始されて自動運転が実現されている。現在、市場の農機の運転は、主にグローバル衛星測位システム（北斗、ＧＰＳ、ＧＬＯＮＡＳＳなどを含むが、これらに限らない）と地上増強ステーションとによる自動運転を使用しており、位置決めが正確で、正確なナビゲーション作業を実現している。しかし、衛星ナビゲーション作業は作業地形環境の拘束に制限されており、地形に対する要求が高く、複雑な農地領域には効果的なフルオーバーレイ作業ができない。業界では赤外線、超音波、レーザレーダーセンサを搭載して支援することで問題を解決しようと試みられているが、これらの方法はナビゲーション効果に一定の向上があるが、ナビゲーション精度が著しく低下し、さらにナビゲーションができない場合、相応の発見や処理手段がなく、意外な事故を招きやすい。

本発明の実施例は、自動運転による事故を低減するとともに、自動運転ができない場合に円滑に手動運転に切り替えることができ、農機の正常な作業に影響を与えることなく、農機の作業効率を向上させる、視覚に基づく農機の運転方法、システム、機器、及び記憶媒体を提供することを目的とする。

上記の目的を達成するために、本発明の実施例に係る視覚に基づく農機の運転方法は、
地上画像情報を収集するステップと、
前記地上画像情報に基づいて目標作業領域を識別するステップと、
前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定するステップと、
前記ナビゲーシヨン経路が信頼できるか否かを判断するステップと、
信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御するステップと、
信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢から走行調整パラメータを決定して、前記走行調整パラメータに基づいて農機の走行を制御するステップと、を備える。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記地上画像情報に基づいて目標作業領域を識別するステップは、前記地上画像情報を予め定められたディープ学習モデルにより意味分割して複数の地上領域を取得し、前記複数の地上領域における目標作業領域を識別することを含む。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する前に、さらに、
前記地上画像情報が識別要求を満たすか否かを判断するステップと、
もし満たさなければ、農機のＧＰＳ測位情報を取得して、前記ＧＰＳ測位情報と前記地上画像情報とに基づいて目標作業領域を識別するステップを備える。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記地上画像情報が識別要求を満たすか否かを判断するステップは、
前記地上画像情報における地上特徴情報が正確で連続しているか否かを判断し、前記地上画像情報における地上特徴情報が不正確または不連続であれば、識別要求を満たさないと認定する。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記ナビゲーシヨン経路が信頼できるか否かを判断するステップは、
前記ナビゲーシヨン経路が前記目標作業領域にわたっているか否か、且つ目標作業領域に対応する作業タスクを完了できるか否かを判断し、この２つの条件を満たせば、前記ナビゲーシヨン経路が信頼できると認定する。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記ナビゲーシヨン経路と農機の現在の走行姿勢から走行調整パラメータを決定するステップは、
農機の現在の航行方向を検出し、
前記現在の航行方向と前記ナビゲーシヨン経路との走行方向の偏差を決定し、
前記走行方向の偏差から農機の運転パラメータに基づいて、農機の走行操舵角とオフセット距離とを決定することを含む。

また、幾つかの実施例に係る視覚に基づく農機の運転方法において、前記地上画像情報の中に軌跡停止標識が存在するか、又は農機が前記ナビゲーシヨン経路の終了位置に到達したか否かを判断し、
もしそうであれば、農機は動作を停止するステップをさらに備える。

本発明の他の局面では、地上画像情報を収集するための画像収集モジュールと、
前記地上画像情報に基づいて目標作業領域を識別するための作業領域識別モジュールと、
前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定するためのナビゲーシヨン経路決定モジュールと、
前記ナビゲーシヨン経路が信頼できるか否かを判断するための信頼度判断モジュールと、
前記ナビゲーシヨン経路が信頼できない場合に、ユーザの手動運転信号を検出して、当該手動運転信号に基づいて農機の走行を制御するための手動運転モジュールと、
前記ナビゲーシヨン経路が信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢とから走行調整パラメータを決定して、前記走行調整パラメータに基づいて農機の走行を制御するための自動運転モジュールと、
を備える視覚に基づく農機の運転システムをさらに提供している。

本発明のさらに他の局面では、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するための記憶装置とを備える農業機器を提供し、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されることにより、前記１つまたは複数のプロセッサに、本発明の任意の実施例に係る視覚に基づく農業機械の運転方法を実現させる。

本発明のさらに他の局面では、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体を提供し、前記コンピュータプログラムがプロセッサにより実行される時に、請求項１乃至請求項７のいずれか１項に記載の視覚に基づく農機の運転方法を実現する。

本発明の実施例は、農機の作業時に農機近傍の地上画像情報を収集し、地上画像情報に基づいて農機が作業を必要とする目標作業領域を識別し、識別した目標作業領域に基づいて農機のナビゲーシヨン経路を特定し、ナビゲーシヨン経路が信頼できるかどうかに基づいて手動運転と自動運転とを切り替えるものにおいて、ナビゲーシヨン経路が信頼できると判断した場合に、ユーザの手動運転信号を検出して、手動運転信号に基づいて農機を走行させるように制御する。ナビゲーシヨン経路が信頼できないと判断した場合に、ナビゲーシヨン経路と農機の現在の走行姿勢に応じて走行調整パラメータが決定され、走行調整パラメータに基づいて農機の走行が自動制御される。この方法は、農機の作業中に自ら収集した地上画像情報からナビゲーシヨン経路を計画して自動運転作業を行うことができるとともに、自動運転中に信頼度判断を導入して、ナビゲーシヨン経路が信頼できない時に即時に発見して手動運転に切り替えることで、自動運転による事故をある程度減らし、自動運転ができない時に円滑に切り替えることができ、農機の正常な作業に影響を与えず、農業機械の作業効率を高めた。

本発明の実施例１による視覚に基づく農機の運転方法を示すフロー図である。 本発明の実施例１による視覚に基づく農機の他の運転方法を示すフロー図である。 本発明の実施例２による視覚に基づく農機の運転方法のさらに他のフローチャートである。 本発明の実施例２による視覚に基づく農機の運転方法のさらに他のフローチャートである。 本発明の実施例３による視覚に基づく農機の運転システムの構成を示す図である。 本発明の実施例４に係る農機設備の概略構成図である。

以下、添付図面及び実施例を参照して本発明をさらに詳細に説明するが、ここで説明される具体的な実施例は本発明を解釈するためのものであり、本発明を限定するものではない。なお、図面においては、説明の都合上、本発明に関連する部分のみを示し、全ての構成を示していない。

例示的な実施例をより詳細に説明する前に、幾つかの例示的な実施例は、フローチャートとして描かれる処理または方法として説明される。フローチャートは、各ステップを順次の処理として説明するが、そのうちの多くのステップは、並列にまたは同時に実施することができる。さらに、各ステップの順序を再配置することができる。その動作が完了すると、処理は終了することができるが、図面に含まれていない追加のステップを有していてもよい。処理は、方法、関数、規程、サブルーチン、サブプログラムなどに対応することができる。

さらに、用語「第１」、「第２」等は、様々な方向、動作、ステップ又は部品等を説明するために本明細書において使用することができるが、これらの方向、動作、ステップ又は部品は、これらの用語に限定されない。これらの用語は、第１の方向、動作、ステップまたは部品と、他の方向、動作、ステップまたは部品とを区別するためにのみ用いられる。例えば、本開示の範囲を逸脱しない限り、第１のモジュールを第２のモジュールと称し、同様に、第２のモジュールを第１のモジュールと称してもよい。第１のモジュールと第２のモジュールとは、双方ともモジュールであるが、同一のモジュールではない。「第１」、「第２」という用語は、相対的重要性を示すか若しくは暗示するものではなく、または示された技術的特徴の数を暗黙的に示すとは理解できない。これにより、「第１」、「第２」が限定された特徴は、１つまたはそれ以上の特徴を明示的または暗示的に含み得る。本発明の実施形態の説明において、「複数」は、特に限定されない限り、少なくとも２つ、例えば２つ、３つ等を意味する。

[実施例１]
図１は、本発明の実施例１による視覚に基づく農機の運転方法のフローチャートである。この方法は、農機の運転を主導的または補助的に行うために種々の農機の運転システムに適用することができる。例示的には、本実施例が提供する視覚に基づく農機の運転方法は、穀物収穫機、穀物播種機、植物保護機、トラクター、及びその他の農地地上作業設備に適用することができる。図１に示すように、この方法は、以下のステップを備える。

Ｓ１１０では、地上画像情報を収集する。

地上画像情報は、画像収集モジュールによって収集され、農機が現在置かれている作業環境を特定する。具体的には、画像収集モジュールは、一般的に農機に設置され、既知のプリセット角度に基づいて画像収集を行う。ここで言うプリセット角度とは、農業機械が収集した地上画像情報の農業機械に対する位置関係を特定できることを保障し、農業機械が実際に位置する位置を特定しやすいようにするためである。それは、画像収集モジュールの実際の位置姿勢（例えば、農機に画像収集モジュールを設置する場合は、農機の位置姿勢と画像収集モジュールの農機での位置とを組み合わせて特定する）と、固定した撮影角度（例えば、農機に画像収集モジュールを設置する場合は、画像収集モジュールが農業機械に対して１つまたは複数の撮影角度を予め設定しておく）とによって特定できる。

具体的には、本実施例では、画像収集モジュールは、カメラ（カメラの具体的な型番が問わない）である。農機には、農機の作業時に農機の周囲の地上画像情報を収集するための１つ又は複数のカメラが設けられている。通常、カメラは農機の前方や側方に固定されており、カメラのレンズが農機の走行方向に向いており、レンズ光軸が地面と一定の角度を成しており、カメラ取り付け位置の３Ｄ空間換算関係が既に農機に格納されている。より具体的には、カメラは、農機において、より広い撮影角度をカバーし、より全面的な地上画像情報を取得するために、固定された１つまたは複数の角度（農機に対して）に基づいて地上画像の収集を行うことができる。

Ｓ１２０では、前記地上画像情報に基づいて目標作業領域を識別する。

目標作業領域とは、農機による作業を必要とする領域であり、例えば、刈り入れ待ちの農地である。地上画像情報には、作業対象の農地領域及び背景領域が含まれている。穀物収穫機を例にとると、穀物収穫機は、走行中に、その上のカメラで農地の植え付け領域、隣り合う植え付け領域の間の分割領域及び空などの非農地領域を含む地上画像情報を撮影し続けることとなる。植え付け領域は、さらに、作業済み領域と未作業領域とに分けることができる。未作業領域は、本実施例で言う目標作業領域である。目標作業領域は、これから農機を目標作業領域に行き渡らせて作業を完了するように、農機の残りの作業タスクを決定するために用いられる。

具体的には、本実施例では、農機にはさらに処理モジュールが設けられている。処理モジュールは、通常、車載コンピュータを用いる。処理モジュールには、予め地上画像を処理するための相関アルゴリズムやモデルを格納して、画像中の特徴を識別し、且つ識別した特徴に応じて画像分割を行って異なる領域を得て、さらに、その中の目標作業領域を識別する。

Ｓ１３０では、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。ナビゲーシヨン経路は、農機の走行軌跡を計画する予測ルートであり、農機をすべての目標作業区域にわたって完全な作業任務を遂行するように導く。ナビゲーシヨン経路は、具体的な目標作業領域と農機の作業タスクに応じて定められる必要がある。例示的には、ある穀物収穫機が稼働しているときに、地上画像情報に基づいて定められる目標作業領域に、農機の順方向に延びる植え付け領域が１つ含まれている。植え付け領域は長方形であり、穀物収穫機が植え付け領域の一方側（長方形の幅側に対応する）から他方側（長方形の長辺に沿って移動）まで収穫するだけで植え付け領域の収穫が完了できる場合には、定められるナビゲーシヨン経路は目標領域の中心線である。もちろん、上記の例は、比較的単純な場合のナビゲーシヨン経路決定プロセスのみであり、実際には目標作業領域の形状の複雑度及び作業内容の複雑度の増加により、ナビゲーシヨン経路の決定方式もより複雑になり、具体的なニーズに応じて自ら設定する必要があり、ここでは限定しない。

本実施例では、農機における処理モジュールが、目標作業領域を識別した後に、予め設置された視覚アルゴリズムを用いて、目標作業領域を検索し、農機がナビゲーシヨン経路に従って走行し、目標作業領域にわたって作業タスクを完了できるように、農機のナビゲーシヨン経路を具体的な作業タスクから予測する。より具体的には、現在の農機の作業方式には、エッジ作業と束状作業と行間作業との３種類があり、異なる作業方式に対してナビゲーシヨン経路を決定する方式も異なるため、幾つかの実施例では、処理モジュールには、異なる作業タイプに対してナビゲーシヨン経路の作成を行うための多種のビジュアルアルゴリズムが予め設けられている。また、農機の自動化の度合いをさらに向上させるために、処理モジュールに、地上画像情報及び農機の作業タスク（例えば、収穫、播種など）に応じて自ら最適な作業形態を選択するための特殊視覚アルゴリズムを設けてもよい。

Ｓ１４０では、前記ナビゲーシヨン経路が信頼できるか否かを判断する。

ナビゲーシヨン経路がビジュアルアルゴリズムによって決定されるため、実際の農業作業環境が複雑である一方で、アルゴリズム自体に一定の制限がある可能性があるため、目標作業領域が乱れてナビゲーシヨン経路の作成が困難な場合や、ナビゲーシヨン経路が作成されてもエラーが発生する場合は現れやすい。例えば、実際にナビゲーシヨン経路に従って運転すると目標作業領域を遍歴できないか、またはナビゲーシヨン経路に従って農業機械が走行すると障害物と衝突するなどの意外な事故が発生するため、ナビゲーシヨン経路をさらなる検証する必要がある。

具体的には、処理モジュールには、ナビゲーシヨン経路に基づいて農機の実際の稼動状況をシミュレートするための信頼度検証アルゴリズムが設けられている。農機がナビゲーシヨン経路に従って目標作業領域を巡回して対応する作業タスクを完了することができれば、信頼性の検証に合格したと見なし、逆であれば、信頼性の検証に合格しないと見なす。もちろん、ステップＳ１３０でナビゲーシヨン経路が特定されていなければ、直接的にナビゲーシヨン経路が信頼できないと判断する。すなわち、前記ナビゲーシヨン経路が信頼できるか否かを判断することは、前記ナビゲーシヨン経路が前記目標作業領域を遍歴しているか否かを判断し、かつ、目標作業領域に対応する作業タスクを完了できるか否かを判断し、信頼できる場合、前記ナビゲーシヨン経路が信頼できるものである。

Ｓ１５０では、信頼できない場合に、ユーザの手動運転信号を検出し、前記手動運転信号に基づいて農機の走行を制御する。

手動運転信号は、ユーザの手運転操作によって発生される。手動運転操作には、遠隔運転操作（遠隔リモコン端末を介して操作）と実際運転操作（ユーザが農機の運転席での操作）が含まれる。処理モジュールの検証によりナビゲーシヨン経路が信頼できないと判断する場合、手動運転モードに切り替える必要があり、すなわち、ユーザが手動で運転し、このとき、農業機械はユーザの手動運転信号に従って走行し作業する。

具体的には、本発明の農機には、さらに手動運転モジュールが設けられる。この手動運転モジュールは、運転席の手動操作部品（ハンドルなどを含む）及び／又はリモートコントロールコンポーネント（遠隔制御端末など）を含み、ユーザはナビゲーシヨン経路が信頼できない場合に、ハンドルなどの手動制御コンポーネント及び/または遠隔制御端末を介して手動運転を行うことを容易にする。

Ｓ１６０では、信頼できる場合、前記ナビゲーシヨン経路と農機の現在の走行姿勢から走行調整パラメータを決定し、前記走行調整パラメータに基づいて農機の走行を制御する。

走行調整パラメータは、農機をナビゲーシヨン経路に従って自動的に運転させるためのものであり、通常は、農機の走行方向を制御するための走行操舵角と、農機の移動距離を特定するためのオフセット距離とを含んでいる。

具体的には、農機には、自動運転モジュール（処理モジュールによって実現される仮想モジュールであってもよいし、別個に設けられたハードウェアモジュールであってもよい）が設けられている。この自動運転モジュールは、情報処理モジュールがナビゲーシヨン経路の信頼性を検証した後に、農機の現在の走行姿勢に基づいて農機をナビゲーシヨン経路に従って移動させるように調整する。自動運転モジュールは、農機の現在の走行姿勢とナビゲーシヨン経路とに基づいて、どのように農機を現在の走行軌跡からナビゲーシヨン経路に移動させるかを決定する。形式調整パラメータは、現在の走行軌跡とナビゲーシヨン経路との間で調整が必要な偏差である。

より具体的には、処理モジュールは、地上画像情報に基づいて目標作業領域を識別する際に、閾値分割法、遺伝的アルゴリズムや粒子群アルゴリズムを組み合わせた補助分割方法及びディープ畳み込みニューラルネットワークによる画像意味分割方法などの複数の方式を用いることができ、方式によって長所と短所が異なる。幾つかの態様において、ディープ畳み込みニューラルネットワークによる画像意味分割方法が好適に採用される。この方法は、識別が迅速で、精度が高く、実際の使用に伴って絶えず最適化できる。これらの実施例では、処理モジュールに予め設定されたディープ学習モデルを配置する必要があり、予め設定されたディープ学習モデルは地上画像を大量に訓練することによって得られる。訓練される地上画像は、各種作業環境における地上画像を含むべきである。そして、訓練される地上画像には、画像分割を実現するための特徴（地上画像の異なる地上領域に応じてマークされる）が付されている。訓練される地上画像に基づいて、実際のニーズに応じて自らディープ学習モデルの訓練回数を制御し、訓練完了後に予め設定された深度学習モデルを得る。これに応じて、前記地上画像情報から目標作業領域を識別することは、前記地上画像情報を予め設定されたディープ学習モデルにより意味分割して複数の地上領域を得て、前記複数の地上領域における目標作業領域を識別することを含む。

本実施例による視覚に基づく農機の運転方法は、農機の作業時に農機の近傍の地上画像情報を取得し、地上画像情報に基づいて農機が作業を必要とする目標作業領域を識別し、識別した目標作業領域に基づいて農機のナビゲーシヨン経路を決定し、ナビゲーシヨン経路が信頼できるか否かに基づいて手動運転と自動運転とを切り替える。ナビゲーシヨン経路が信頼できると判断した場合に、ユーザの手動運転信号を検出して、手動運転信号に基づいて農機の走行を制御し、ナビゲーシヨン経路が信頼できないと判断した場合、ナビゲーシヨン経路と農機の現在の走行姿勢に応じて走行調整パラメータが決定され、走行調整パラメータに基づいて農機の走行が自動制御される。この方法は、農機の作業中に自ら収集した地上画像情報からナビゲーシヨン経路を計画して自動運転作業を行うことができるとともに、自動運転中に信頼度判断を導入して、ナビゲーシヨン経路が信頼できない時に即時に発見して手動運転に切り替えることで、自動運転による事故をある程度減らし、且つ自動運転ができない時に円滑に切り替えることができ、農機の正常な作業に影響を与えず、農機の作業効率を高めた。

[実施例２]
本発明の実施例２は、実施例１に加えて、実施例１における一部の内容について更なる補足及び／または解釈をしたものである。

図２は、本発明の他の実施例で提供される視覚に基づく農機の運転方法のフローチャートである。この運転方法は、具体的に、以下のステップを備える。

Ｓ２１０では、地上画像情報を収集する。

Ｓ２２０では、前記地上画像情報が識別要求を満たすか否かを判断する。

画像収集モジュールは、天候などの要因に影響され、例えば雨雪天候の場合、地上画像情報の鮮明度に影響を受けるため、地上画像情報から目標作業領域を識別する際に、地上特徴が目立たなかったり、地上特徴が不連続になったり（例えば、雪が植え付け領域の境界を覆っていたり、目標作業領域を区別しづらくなったり）してしまうため、特殊な場合には、他の技術手段を導入して目標領域の識別を支援する必要がある。具体的には、地上画像情報に基づいて目標作業領域を識別する時に地上の特徴に基づいて行われるが、前記地上画像情報が識別要求を満たしているか否かを判断する際に、地上特徴が目標作業領域の識別の完了をサポートしているかどうかを考慮する必要がある。すなわち、前記地上画像情報が識別要求を満たしているか否かを判断する場合、前記地上画像情報における地上特徴情報が正確で連続しているか否かを判断し、前記地上画像情報における地上特徴情報が不正確または不連続であれば、識別要求を満たさないと認定する。

Ｓ２３０では、信頼できない場合に、農機のＧＰＳ測位情報を取得し、前記ＧＰＳ測位情報と前記地上画像情報とに基づいて目標作業領域を識別する。

本実施例では、地上画像情報が識別要求を満たさないと判断された場合に、ＧＰＳ測位情報を導入して目標作業領域の識別を支援する。具体的には、本実施例では、農機に、さらに、農機のＧＰＳ測位情報を特定して、ＧＰＳ測位情報によって地上画像情報における地上特徴情報に対して修正と補足を行ない、地上画像情報における地上特徴情報を正確かつ連続的にして、最終的に正確かつ連続した地上特徴情報に基づいて地上画像の分割、識別を行うことで、目標作業領域を決定する。

Ｓ２４０では、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。

Ｓ２５０では、前記ナビゲーシヨン経路が信頼できるか否かを判断する。

Ｓ２６０では、信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御する。

Ｓ２７０では、信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢とから、走行調整パラメータを決定して、前記走行調整パラメータに基づいて農機が走行するように制御する。

なお、ステップＳ２２０において地上画像情報が識別要求を満たしていると判断されれば、ＧＰＳ測位情報を導入することなく、そのまま地上画像情報に基づいて目標作業領域を識別してもよく、それ以外のステップはステップＳ２４０～２７０と一致する。

オプションとして、本発明の一態様において、図３に示すように、もう１つの視覚に基づく農機の運転方法が提供される。この方法は、以下のステップを備える。

Ｓ３１０では、地上画像情報を収集する。

Ｓ３２０では、前記地上画像情報に基づいて目標作業領域を識別する。

Ｓ３３０では、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。

Ｓ３４０では、前記ナビゲーシヨン経路が信頼できるか否かを判断する。

Ｓ３５０では、信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御する。

Ｓ３６０では、信頼できる場合、農機の現在の形態状態を検出する。

自動運転の分野では、車両が所望の経路に沿って走行するように制御するために、横方向制御の制御目標は、車両の位置と航行方向との２つがある。航行方向の制御を実現するには、所望の航行方向と実際の航行方向とのずれを知る必要がある。本実施例では、所望の航行方向がナビゲーシヨン経路によって特定可能であり、実際の航行方向が農機の現在の航行方向である。通常の場合、現在の航行方向は農機の頭部の向きによって特定可能であり、すなわち、農機の頭部の向きが農機の現在の航行方向であるが、これは一例であり、実際には農機の移動方向を現在の航行方向とすることもできる。

Ｓ３７０では、前述の現在の航行方向と前記ナビゲーシヨン経路との走行方向の偏差を決定する。農機の現在の航行方向を確定した後、現在の航行方向とナビゲーシヨン経路の走行方向の偏差を算出する必要がある。走行方向の偏差は、実際には現在の航行方向とナビゲーシヨン経路に対応する所望航行方向との差である。

Ｓ３８０では、前記走行方向の偏差から、農機の運転パラメータに基づいて農機の走行操舵角とオフセット距離とを決定して、前記走行調整パラメータに従って農機の走行を制御する。

走行方向の偏差は、ナビゲーシヨン経路が所望する航行方向をどのように実現するかを記述するためにのみ用いられるが、農機がナビゲーシヨン経路に存在しない場合が多いため、位置の同期も必要となる。本実施例では、走行方向の偏差に基づいて航行方向の同期を実現することを考えると、農機の運転パラメータ（速度、現在位置などを含む）に基づいて、どのように移動すれば、ナビゲーシヨン経路と位置、航行方向の二重同期を実現するのを計算する。具体的には、走行操舵角は、農機の自動運転方向を特定するために用いられる。シフト距離は、ナビゲーシヨン経路と位置を同期するために、農機が走行操舵角に従って走行するのにどのくらいオフセットする必要があるかを確定するために用いられる。

オプションとして、本発明の一実施例において、図４に示すように、さらに１つの視覚に基づく農機の運転方法が提供される。この方法は、以下のステップを備える。

Ｓ４１０では、地上画像情報を収集する。

Ｓ４２０では、前記地上画像情報に基づいて目標作業領域を識別する。

Ｓ４３０では、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。

Ｓ４４０では、前記ナビゲーシヨン経路が信頼できるか否かを判断する。

Ｓ４５０では、信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御する。

Ｓ４６０では、信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢とから走行調整パラメータを決定して、前記走行調整パラメータに基づいて農機の走行を制御する。

Ｓ４７０では、前記地上画像情報の中に軌跡停止標識が存在するか否か、又は農機が前記ナビゲーシヨン経路の終了位置に到達しているか否かを判断する。

軌跡停止標識は、農機が作業を間違えたり、意図しない故障が出ないように、収穫を行う必要のない植え付け領域及び農機が走行できないエリアなどの農機の通行が禁止される領域を表記するために用いられる。軌跡停止標識は、農機の自動運転について特殊に設けられるフラグであってもよいし、特殊な地形や交通案内板などであってもよい。具体的には、地上において、農機の通行が禁止される領域に軌跡停止標識が設けられており、農機の処理モジュールには、地上画像情報における軌跡停止標識を識別するための停止フラグ識別アルゴリズムが予め設定されている。軌跡停止標識を識別するには、同様にディープ学習モデルを採用しても良いが、ここで用いられるディープ学習モデルと、目標作業領域を識別するディープ学習モデルとが同一モデルでないことは言うまでもない。

農機が、作業の完了や軌跡からの逸脱、あるいは障害に遭遇した時に即時に走行を停止して、不用意な損失を起こさないようにするために、本実施例では、軌跡停止標識が検出されたか否か、及びナビゲーシヨン経路の終了位置に到達したか否かを判断することを停止の根拠とする。

Ｓ４８０では、信頼できる場合に、農機が作動を停止する。

地上画像情報の中に軌跡停止標識が存在するか、又は、農機がナビゲーシヨン経路の終了位置まで走行したと判断すると、農機を即時に停止する必要がある。具体的には、処理モジュールは、軌跡停止標識又は農機がナビゲーシヨン経路の終了位置まで走行したことを検出すると、即時に終了信号を発し、農機の動力出力を遮断し、ブレーキをかける。

本実施例による視覚に基づく農機の運転方法は、さらに、地上画像情報が識別要求を満たさない場合に、ＧＰＳ測位情報に基づいて目標作業領域の識別を支援する過程を提供し、自動運転の安全性と安定性をさらに保障するとともに、ナビゲーシヨン経路に基づいて走行調整パラメータの決定を行う過程を提供し、ナビゲーシヨン経路との迅速な同軌道を実現し、軌道停止標識またはナビゲーシヨン経路に基づいて停止させる過程を提供し、農機が非作業区域を誤って侵入しないことを確保し、農機の自動運転の安全性を高めた。

[実施例３]
図５は、本発明の実施例３による視覚に基づく農機運転システム５００を示す図である。本発明の実施例３が提供する視覚に基づく農機運転システム５００は、本発明の任意の実施例で提供される視覚に基づく農機運転方法を実行可能であり、実行方法に応じた機能モジュールと有益な効果を有する。

図５に示すように、当該視覚に基づく農機運転システム５００は、地上画像情報を収集するための画像収集モジュール５１０と、前記地上画像情報に基づいて目標作業領域を識別するための作業領域識別モジュール５２０と、前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定するためのナビゲーシヨン経路決定モジュール５３０と、前記ナビゲーシヨン経路が信頼できるか否かを判断するための信頼度判断モジュール５４０と、前記ナビゲーシヨン経路が信頼できない場合に、ユーザの手動運転信号を検出して、当該手動運転信号に基づいて農機の走行を制御するための手動運転モジュール５５０と、前記ナビゲーシヨン経路が信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢とから走行調整パラメータを決定して、前記走行調整パラメータに基づいて農機の走行を制御するための自動運転モジュール５６０と、を備える。

また、幾つかの態様では、作業領域識別モジュール５２０は、具体的に、予め定められたデプス学習モデルにより前記地上画像情報を意味分割して複数の地上領域を取得し、前記複数の地上領域における目標作業領域を識別することに用いられる。

さらに、幾つかの態様では、作業領域識別モジュール５２０は、前記地上画像情報が識別要求を満たすか否かを判断し、満たさない場合に、農機のＧＰＳ測位情報を取得し、前記ＧＰＳ測位情報と前記地上画像情報とに基づいて目標作業領域を識別する。

また、幾つかの態様では、前記地上画像情報が識別要求を満たしているか否かを判断することは、前記地上画像情報における地上特徴情報が正確で連続しているか否かを判断し、前記地上画像情報における地上特徴情報が不正確または不連続であれば、識別要求を満たさないと認定することを含む。

また、幾つかの態様では、信頼度判断モジュール５４０は、具体的に、前記ナビゲーシヨン経路が前記目標作業領域を遍歴しているか否か、かつ、目標作業領域に対応する作業タスクを完了できるか否かを判断し、信頼できる場合に、前記ナビゲーシヨン経路が信頼できると判断する。

また、幾つかの態様では、自動運転モジュール５６０は、具体的に、農機の現在の航行方向を検出し、前述の現在の航行方向と前記ナビゲーシヨン経路との走行方向の偏差を決定し、前記走行方向の偏差から、農機の運転パラメータに基づいて農機の走行操舵角とオフセット距離とを決定することに用いられる。

また、幾つかの態様では、農機運転システム５００は、さらに、地上画像情報の中に軌跡停止標識が存在するか否か又は農機がナビゲーシヨン経路の終了位置に到達しているか否かを判断するための終止検出モジュールと、地上画像情報の中に軌跡停止標識が存在し且つ農機がナビゲーシヨン経路の終了位置に到達している場合に、農機の作動を停止させるための停止モジュールと、を備える。

本実施例による視覚に基づく農機運転システムは、農機の作業中に自ら収集した地上画像情報からナビゲーシヨン経路を計画して自動運転作業を行うことができ、且つ自動運転過程において信頼度判断を導入して、ナビゲーシヨン経路が信頼できない時に即時に発見して手動運転に切り替えることで、自動運転による事故をある程度減らし、自動運転ができない時にシームレスに切り替えることができ、農機の正常な作業に影響を与えず、農業機械の作業効率を高めた。

[実施例４]
図６は、本発明の実施例４に係る農業機器１２の構造概略図である。図６は、本発明の実施形態を実施するのに適した例示的な農業機器１２のブロック図を示す。図６に示す農業機器１２は、あくまで一例であり、本発明の実施例の機能や使用範囲に何ら制限はない。

図６に示すように、農業機器１２は、汎用的な演算装置として表現されている。農業機器１２の構成要素は、１つまたは複数のプロセッサ、または処理ユニット１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８及び処理ユニット１６を含む）を接続するバス１８とを含んでいてもよいが、これらに限定されるものではない。

バス１８は、幾つかのバス構造のうちの１つまたは複数を表し、メモリバスまたはメモリコントローラ、周辺バス、グラフィックアクセラレータポート、プロセッサ、または複数のバス構造の任意のバス構造を使用するローカルバスを含む。例えば、これらのアーキテクチャには、工業標準アーキテクチャ（ＩＳＡ，Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ，Ｍｉｃｒｏ－ｃｈａｎｎｅｌ Ｓｙｓｔｅｍｓ）バス、拡張型ＩＳＡバス、ビデオ電子標準協会（ＶＥＳＡ，Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、及び周辺コンポーネント相互接続（ＰＣＩ，Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ）バスなどが含まれるが、これらに限定されるものではない。

農業機器１２は、典型的には、複数種類のコンピュータシステムにより読み取り可能な媒体を含む。これらの媒体は、農業機器１２によってアクセス可能な任意の利用可能な媒体であってよく、揮発性及び不揮発性媒体、移動可能及び移動不能な媒体を含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０及び／又はキャッシュメモリ３２などの揮発性メモリー形式のコンピュータシステム読み取り可能な媒体を含み得る。農業機器１２は、さらに、その他の移動可能な／移動不能な、揮発性／不揮発性コンピュータシステム記憶媒体を備えてもよい。単なる例示として、ストレージシステム３４は、移動不能な、不揮発性磁気媒体（図６には図示せず、一般的に「ハードディスクドライブ」という）を読み書くことに用いられてもよい。図６には図示していないが、移動可能な不揮発性磁気ディスク（例えば「フレキシブルディスク」）を読み書くためのディスクドライブや、移動可能な不揮発性光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭまたはその他の光媒体）を読み書くための光ディスクドライブを提供してもよい。これらの場合、各ドライバは、１つまたは複数のデータ媒体インターフェースを介して、バス１８に接続されてよい。メモリ２８は、本発明の各実施例の機能を実行するためのプログラムモジュールを一組（例えば、備えたプログラム製品を少なくとも１つ含むことができる。

例えば、メモリ２８には、一セットのプログラムモジュール４２を有するプログラム/ユーティリティ４０が記憶されている。このようなプログラムモジュール４２は、オペレーティングシステム、１つまたは複数のアプリケーション、他のプログラムモジュール、及びプログラムデータを含むが、これらに限らない。これらの例のそれぞれまたは幾つかの組合せにおいてネットワーク環境の実装を含むことができる。プログラムモジュール４２は、通常、本発明に記載された実施例における機能及び／または方法を実行する。

農業機器１２は、１つ以上の外部機器１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信可能であってもよいし、ユーザが農業機器１２とインタラクション可能な１つ以上の機器と通信可能であってもよいし、及び／または、農業機器１２が１つまたは複数の他の演算装置と通信可能な任意の機器（例えば、ネットワークカード、モデムなど）と通信可能であってもよい。このような通信は、入出力（Ｉ／Ｏ）インターフェース２２を介して行われてもよい。そして、農業機器１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及び／またはインターネットなどのパブリックネットワークと通信することもできる。図示するように、ネットワークアダプタ２０は、バス１８を介して農業機器１２の他のモジュールと通信するものである。図示しないが、農業機器１２と組み合わせて、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ及びデータバックアップストレージシステムなど他のハードウェア及び／又はソフトウェアモジュールが使用されてもよいことは言うまでもない。

処理ユニット１６は、システムメモリ２８に記憶されたプログラムを実行することにより、各種の機能アプリケーションやデータ処理を実行する。例えば、本発明の実施例における視覚に基づく農機の運転方法は、次のステップを備える。
地上画像情報を収集する。
前記地上画像情報に基づいて目標作業領域を識別する。
前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。
前記ナビゲーシヨン経路が信頼できるか否かを判断する。
信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御する。
信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢から走行調整パラメータを決定し、前記走行調整パラメータに基づいて農機の走行を制御する。

[実施例５]
本発明の実施例５は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供する。このプログラムがプロセッサによって実行されると、本願のすべての発明の実施例による視覚に基づく農機の運転方法を実現する。具体的には、以下のステップを実現する。
地上画像情報を収集する。
前記地上画像情報に基づいて目標作業領域を識別する。
前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定する。
前記ナビゲーシヨン経路が信頼できるか否かを判断する。
信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて農機の走行を制御する。
信頼できる場合に、前記ナビゲーシヨン経路と農機の現在の走行姿勢から走行調整パラメータを決定し、前記走行調整パラメータに基づいて農機の走行を制御する。

本発明の実施例に係るコンピュータ記憶媒体は、１つ又は複数のコンピュータ読み取り可能な媒体の任意の組合せを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体であってもよいし、コンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記録媒体は、例えば、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置、または素子、あるいはこれらの任意の組合せであってよいが、これらに限らない。コンピュータ読取可能な記憶媒体のより具体的な例（無限列挙のリストではない）は、１つまたは複数の導線を有する電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、またはこれらの任意の適切な組み合わせを含む。本文では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むまたは格納する任意の有形メディアであってもよい。このプログラムは、指令実行システム、デバイスまたは素子により使用されるか、またはそれと組み合わせて使用されてもよい。

コンピュータが読み取り可能な信号媒体は、ベースバンドにおいてまたは搬送波の一部として伝搬されるデータ信号を含み、その中にコンピュータが読み取り可能なプログラムコードが担持されている。このような伝搬されるデータ信号は、電磁信号、光信号またはこれらの任意の適切な組み合わせを含む多様な形態をとり得る。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。当該コンピュータ読み取り可能な媒体は、命令実行システム、装置または素子によって使用されるかまたはそれと組み合わせて使用されるプログラムを送信、伝播または伝送することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、任意の適切な媒体を用いて伝送されてもよく、ワイヤレス、電線、光ケーブル、ＲＦまたは上記の任意の適切な組み合わせを含むが、これらに限定されるものではない。

本発明の動作を実行するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語またはそれらの組み合わせで記述することができる。前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けプログラミング言語を含み、「Ｃ」言語などの従来のプログラミング言語または類似のプログラミング言語も含む。プログラムコードは、ユーザコンピュータで完全に実行されてもよいし、ユーザコンピュータで部分的に実行されてもよいし、独立した１つのソフトウェアパッケージとして実行されてもよいし、部分的にユーザコンピュータで部分的にリモートコンピュータで実行されてもよく、リモートコンピュータまたはサーバで完全に実行されてもよい。リモートコンピュータに係る場合、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む）を介してユーザコンピュータに接続されてもよいし、外部のコンピュータ（例えば、インターネットサービスプロバイダによるインターネット接続）に接続されてもよい。

なお、上記は本発明の好適な実施例及び応用された技術的原理に過ぎない。当業者は、ここで述べた特定の実施例に限定されることなく、当業者にとって、本発明の技術的範囲を逸脱することなく様々な変更、再調整及び代替が可能であることを理解するであろう。したがって、以上の実施例により本発明をより詳細に説明するが、本発明は上記の実施例に限定されるものではなく、本発明の趣旨を逸脱しない限り、更に他の等価な実施例を含んでもよい。本発明の保護範囲は、添付の特許請求の範囲によって決定されるものである。

１４ 外部機器
１６ 処理ユニット
２０ ネットワークアダプタ
２２ Ｉ／Ｏポート
２４ ディスプレイ
２８ メモリ
３０ ＲＡＭ
３４ ストレージシステム
５１０ 画像収集モジュール
５２０ 作業領域識別モジュール
５３０ ナビゲーシヨン経路決定モジュール
５４０ 信頼度判断モジュール
５５０ 手動運転モジュール
５６０ 自動運転モジュール

Claims (9)

1. 地上画像情報を収集するステップと、
   前記地上画像情報に基づいて目標作業領域を識別するステップと、
   前記目標作業領域に基づいて農機のナビゲーシヨン経路を決定するステップと、
   前記ナビゲーシヨン経路が信頼できるか否かを判断するステップと、
   信頼できない場合に、ユーザの手動運転信号を検出して、前記手動運転信号に基づいて前記農機の走行を制御するステップと、
   信頼できる場合に、前記ナビゲーシヨン経路と前記農機の現在の走行姿勢から走行調整パラメータを決定して、前記走行調整パラメータに基づいて前記農機の走行を制御するステップと、
   を備え、
   前記地上画像情報に基づいて前記目標作業領域を識別するステップは、
   前記地上画像情報が識別要求を満たすか否かを判断するステップと、
   もし満たさなければ、前記農機のＧＰＳ測位情報を取得して、前記ＧＰＳ測位情報と前記地上画像情報とに基づいて前記目標作業領域を識別することを含むことを特徴とする視覚に基づく農機の運転方法。
2. 前記地上画像情報に基づいて前記目標作業領域を識別するステップは、
   前記地上画像情報を予め定められたディープ学習モデルにより意味分割して複数の地上領域を取得し、前記複数の地上領域における前記目標作業領域を識別することを含むことを特徴とする請求項１に記載の視覚に基づく農機の運転方法。
3. 前記地上画像情報が前記識別要求を満たすか否かを判断するステップは、
   前記地上画像情報における地上特徴情報が正確で連続しているか否かを判断し、前記地上画像情報における前記地上特徴情報が不正確または不連続であれば、前記識別要求を満たさないと認定することを含むことを特徴とする請求項１に記載の視覚に基づく農機の運転方法。
4. 前記ナビゲーシヨン経路が信頼できるか否かを判断するステップは、
   前記ナビゲーシヨン経路が前記目標作業領域にわたっているか否か、且つ前記目標作業領域に対応する作業タスクを完了できるか否かを判断し、この２つの条件を満たせば、前記ナビゲーシヨン経路が信頼できると認定することを含むことを特徴とする請求項１に記載の視覚に基づく農機の運転方法。
5. 前記ナビゲーシヨン経路と前記農機の現在の走行姿勢から前記走行調整パラメータを決定するステップは、
   前記農機の現在の航行方向を検出し、
   前記現在の航行方向と前記ナビゲーシヨン経路との走行方向の偏差を決定し、
   前記走行方向の偏差から前記農機の運転パラメータに基づいて、前記農機の走行操舵角とオフセット距離とを決定することを含むことを特徴とする請求項４に記載の視覚に基づく農機の運転方法。
6. 前記地上画像情報の中に軌跡停止標識が存在するか、又は前記農機が前記ナビゲーシヨン経路の終了位置に到達したか否かを判断し、
   もしそうであれば、前記農機は動作を停止するステップをさらに備えることを特徴とする請求項１に記載の視覚に基づく農機の運転方法。
7. 視覚に基づく農機の運転システムであって、
   地上画像情報を収集するための画像収集モジュールと、
   前記地上画像情報に基づいて目標作業領域を識別するための作業領域識別モジュールと、
   前記目標作業領域に基づいて前記農機のナビゲーシヨン経路を決定するためのナビゲーシヨン経路決定モジュールと、
   前記ナビゲーシヨン経路が信頼できるか否かを判断するための信頼度判断モジュールと、
   前記ナビゲーシヨン経路が信頼できない場合に、ユーザの手動運転信号を検出して、当該手動運転信号に基づいて前記農機の走行を制御するための手動運転モジュールと、
   前記ナビゲーシヨン経路が信頼できる場合に、前記ナビゲーシヨン経路と前記農機の現在の走行姿勢とから走行調整パラメータを決定して、前記走行調整パラメータに基づいて前記農機の走行を制御するための自動運転モジュールと、
   を備え、
   前記作業領域識別モジュールは、前記地上画像情報が識別要求を満たすか否かを判断し、もし満たさなければ、前記農機のＧＰＳ測位情報を取得して、前記ＧＰＳ測位情報と前記地上画像情報とに基づいて前記目標作業領域を識別することを特徴とする視覚に基づく農機の運転システム。
8. 農業機器であって、
   １つ又は複数のプロセッサと、
   １つ又は複数のプログラムを記憶するための記憶装置と、
   前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されることにより、前記１つまたは複数のプロセッサに、請求項１～６の何れか１項に記載の視覚に基づく農機の運転方法を実現させることを特徴とする農業機器。
9. コンピュータプログラムが記憶されたコンピュータ読み取り可能な記録媒体であって、
   前記コンピュータプログラムがプロセッサにより実行される時に、請求項１乃至請求項６のいずれか１項に記載の視覚に基づく農機の運転方法を実現することを特徴とするコンピュータ読み取り可能な記録媒体。