JP7068781B2

JP7068781B2 - 収穫機

Info

Publication number: JP7068781B2
Application number: JP2017123440A
Authority: JP
Inventors: 隼輔宮下; 憲一石見; 一浩高原
Original assignee: Kubota Corp
Current assignee: Kubota Corp
Priority date: 2017-06-23
Filing date: 2017-06-23
Publication date: 2022-05-17
Anticipated expiration: 2037-06-23
Also published as: JP2019004772A

Description

本発明は、圃場を走行しながら農作物を収穫し、撮影部によって取得された撮影画像に基づく収穫作業支援が可能な収穫機に関する。

圃場での収穫機を用いた農作物の収穫作業では、局所的に異なる農作物の生育状態や人物を含む障害物の存在に注意を払う必要がある。このため、例えば、特許文献１によるコンバインでは、刈取部の前方の穀稈を撮影するテレビカメラと画像処理装置とが備えられている。画像処理装置は、テレビカメラからの画像と、予め記憶させておいた種々の穀稈の植立状態を示す画像とを比較して、穀稈の特定の状態を検出する。例えば、刈取部前方の穀稈の一部が倒伏していることを、画像処理装置が検出すると、掻込みリールが穀稈倒伏側を下方にして傾動される。これにより、倒伏穀稈の刈取性能が向上する。また、特許文献１のコンバインと同様にテレビカメラと画像処理装置が備えられている特許文献２によるコンバインでは、刈取部の前方に穀稈が存在しないことが検出された場合に、コンバインが枕地に達したものとみなし、カッターへの動力伝達を遮断してカッターを上昇させ、走行速度を減速させる。これにより、枕地での回行中におけるカッターの畦等への衝突が回避されるとともに、コンバインの枕地の回行がスムーズに行われる。

特開平１１－１５５３４０号公報特開平１１－１３７０６２号公報

特許文献１や特許文献２によるコンバインでは、刈取部前方の穀稈の状態が画像処理技術を用いて検出され、その検出結果に基づいて作業機器の動作が制御される。しかしながら、検出された穀稈の圃場における地図上の実際の位置は考慮されていない。このため、作業走行において問題となる状態の穀稈が検出され、その問題を解決するための回避制御を行うとしても、問題となる穀稈状態を示している領域とコンバインとが遠く離れている場合には、回避制御が早過ぎるとか遅すぎるとかいう問題が生じる。また、回避制御を終了すべきタイミングを適切に決定することも困難である。

上述した実情に鑑み、車体に設けられた撮影部による撮影画像を用いた収穫作業支援が効果的に行われる収穫機が要望されている。

本発明の第１の特徴は、圃場を走行しながら農作物を収穫する収穫機であって、衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
前記撮影画像において前記認識対象物が前記撮影部から遠くに位置するほど、当該認識対象物の前記推定確率は低減される点にある。
本発明の第２の特徴は、圃場を走行しながら農作物を収穫する収穫機であって、衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
複数の前記認識対象物位置情報が記憶され、記憶された複数の前記認識対象物位置情報が、対応する前記認識出力データに含まれている前記推定確率の統計的演算の結果に基づいて補正される点にある。
本発明の第３の特徴は、圃場を走行しながら農作物を収穫する収穫機であって、衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
前記画像認識モジュールから遂次出力された前記認識出力データを認識出力データ列として一時的かつ経時的に記憶するデータ記憶部と、データ判定部とが備えられ、
前記データ判定部は、前記認識出力データ列において継時的に前後関係となる前記認識出力データの前記推定確率と比べて、所定レベル以上に低い前記推定確率を有する前記認識出力データを不適認識出力データとして判定する点にある。

本発明では、撮影画像である画像データから、撮影画像における認識対象物が存在する存在領域を推定する画像認識モジュールが、例えば、ニューラルネットワーク（ディープラーニングを含む）や強化学習などの技術を用いて構成されている。また、当該存在領域を推定した際の推定確率も同時に出力することができるように構成されているので、その確率値を用いた最適制御も可能となる。さらには、撮影画像が取得された時点の地図座標で示された機体位置が、機体位置算出部によって算出され、当該機体位置と、認識対象物の存在領域を示す認識出力データとから、認識対象物の地図上の位置を示す認識対象物位置情報が生成される。このような構成から、認識対象物の存在領域を推定する推定確率、及び、当該認識対象物の地図上の位置、結果的には当該認識対象物と収穫機との距離を考慮した収穫作業支援の制御が可能となる。

撮影部によって撮影された圃場の撮影画像では、遠近法の関係で、撮影部から遠い認識対象物に対する分解能は、撮影部から近い認識対象物に対する分解能に比べて低下する。このことから、撮影部から遠い場所で写っている認識対象物は、撮影部から近い場所で写っている認識対象物に比べてその認識信頼性は低いものとなってしまう。このことから、本発明の第１の特徴では、前記撮影画像において前記認識対象物が前記撮影部から遠くに位置するほど、当該認識対象物の前記推定確率は低減されるように構成されている。

撮像画像に基づく認識対象物位置情報の生成は、収穫機の車速と比較して高速で行うことができるので、同一の認識対象物に関する認識対象物位置情報は複数生成される。このため、同一の認識対象物に関する複数の認識対象物位置情報に含まれているそれぞれの推定確率を統計的演算することが可能となる。この統計的演算を通じて、より信頼度の高い認識対象物位置情報を生成することができる。ここでの統計的演算とは、算術平均、重み平均、中間値演算などであり、複数のデータ値からより信頼性の高いデータ値が導出されるような演算である。このような統計的演算を推定確率に対して利用することで、複数の認識対象物位置情報から、より適切な認識対象物位置情報を導出することが可能となる。このことから、本発明の第２の特徴では、複数の前記認識対象物位置情報が記憶され、記憶された複数の前記認識対象物位置情報が、対応する前記認識出力データに含まれている前記推定確率の統計的演算の結果に基づいて補正されるように構成されている。

機体に設けられた撮影部によって取得された撮影画像は、画像認識モジュールの入力ソースとなるにもかかわらず、撮影条件によって認識対象物の認識に不適当なものとなってしまう可能性がある。その結果、認識対象物が認識されたとしても、その認識出力データの認識確率は低いものとなってしまうので、当該認識出力データを、その後の処理にそのまま利用することは好ましくはない。このことから、本発明の第３の特徴では、前記画像認識モジュールから遂次出力された前記認識出力データを認識出力データ列として一時的かつ経時的に記憶するデータ記憶部と、データ判定部とが備えられ、前記データ判定部は、前記認識出力データ列において継時的に前後関係となる前記認識出力データの前記推定確率と比べて、所定レベル以上に低い前記推定確率を有する前記認識出力データを不適認識出力データとして判定する。不適認識出力データと判定された認識出力データは削除してもよいし、当該認識出力データの推定確率を、前後の認識出力データで補間した推定確率が置き換えるようにしてもよい。

圃場を走行しながら農作物を収穫する収穫機にとって重要となる認識対象物は、人物、倒伏穀稈、雑草、畦などである。作業走行の障害物となる人物を認識することは、障害物回避制御や障害物警報報知のトリガーとなるため、圃場における安全走行のために重要である。倒伏穀稈や雑草を認識することは、作業制御における倒伏穀稈対策制御や雑草対策制御のとなるため、高品質の収穫作業を行うために重要である。畦を認識することは、圃場の境界線を検出することになり、圃場の枕地走行制御等にとって重要である。

コンバインの全体側面図である。コンバインの制御系を示す機能ブロック図である。画像認識モジュールによる認識出力データの生成の流れを模式的に示す説明図である。撮像画像から認識対象物位置情報を生成する際のデータの流れを示すデータ流れ図である。認識対象物位置情報の１つとしての雑草位置情報をマップ化することによって得られた雑草マップを示す模式図である。

以下、本発明に係る収穫機の一例としてのコンバインの実施形態を図面に基づいて説明する。この実施形態で、機体１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図１に符号（Ｆ）で示す方向が機体前側、図１に符号（Ｂ）で示す方向が機体後側である。機体１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。

図１に示すように、コンバインでは、左右一対のクローラ走行装置１０を備えた機体１の前部に横軸芯Ｘ周りで昇降操作自在に刈取部２が連結されている。機体１の後部には、機体横幅方向に並ぶ状態で脱穀装置１１と、穀粒を貯留する穀粒タンク１２とが備えられている。機体１の前部右側箇所に搭乗運転部を覆うキャビン１４が備えられ、このキャビン１４の下方に駆動用のエンジン１５が備えられている。

図１に示すように、脱穀装置１１は、刈取部２で刈り取られて後方に搬送されてくる刈取穀稈を内部に受け入れて、穀稈の株元を脱穀フィードチェーン１１１と挟持レール１１２とによって挟持して搬送しながら穂先側を扱胴１１３にて脱穀処理する。そして、扱胴１１３の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク１２へ搬送され、貯留される。また、詳述はしないが、穀粒タンク１２にて貯留される穀粒を外部に排出する穀粒排出装置１３が備えられている。

刈取部２には、倒伏した植立穀稈を引き起こす複数の引き起こし装置２１、引起された植立穀稈の株元を切断するバリカン型の切断装置２２、穀稈搬送装置２３等が備えられている。穀稈搬送装置２３は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、機体後方側に位置する脱穀装置１１の脱穀フィードチェーン１１１の始端部に向けて搬送する。

穀稈搬送装置２３は、切断装置２２により刈り取られた複数条の刈取穀稈を刈幅方向中央に寄せ集めながら搬送する合流搬送部２３１、寄せ集めた刈取穀稈の株元を挟持して後方に搬送する株元挟持搬送装置２３２、刈取穀稈の穂先側を係止搬送する穂先係止搬送装置２３３、株元挟持搬送装置２３２の終端部から刈取穀稈の株元を脱穀フィードチェーン１１１に向けて案内する供給搬送装置２３４等を備えている。

キャビン１４の天井部の前端に、カラーカメラを備えた撮影部７０が設けられている。
この実施形態では、撮影部７０の撮影視野の前後方向の広がりは、刈取部２の前端領域からほぼ地平線に達している。撮影視野の幅方法の広がりは、１０ｍ程度から数十ｍに達している。撮影部７０によって取得された撮影画像は、画像データ化され、コンバインの制御系に送られる。

撮影部７０は、収穫作業時に圃場を撮影するが、圃場には種々の物体が撮影対象として存在している。コンバインの制御系は、撮影部７０から送られてきた画像データから特定の物体を認識対象物として認識する機能を有する。そのような認識対象物として、図１では、符号Ｚ０で示された正常な植立穀稈群、符号Ｚ１で示された植立穀稈より高く伸びた雑草群、符号Ｚ２で示された倒伏穀稈群、符号Ｚ３で示された人物が模式的に示されている。

キャビン１４の天井部には、衛星測位モジュール８０も設けられている。衛星測位モジュール８０には、ＧＮＳＳ（global navigation satellite system）信号（ＧＰＳ信号を含む）を受信するための衛星用アンテナが含まれている。衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは別の場所に配置できる。図１において、衛星測位モジュール８０は、作図の便宜上、キャビン１４の天井部における後部に配置されているが、例えば、切断装置２２の左右中央部の直上方位置にできるだけ近づくように、天井部の前端部における機体中央側寄りの位置に配置されていると好適である。

図２には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス９１は、運転者等に作業走行状態や種々の警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。通信部９２は、このコンバインの制御系が、遠隔地に設置されているクラウドコンピュータシステム１００や携帯通信端末２００との間でデータ交換するために用いられる。携帯通信端末２００は、ここでは、作業走行現場における監視者（運転者も含む）が操作するタブレットコンピュータである。
制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、及び、撮影部７０からの画像データは、配線網を通じて制御ユニット６に入力される。

制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａ及び作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における動力制御機器などが含まれている。

入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続されている。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群８Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における装置状態及び穀稈や穀粒の状態を検出するセンサが含まれている。

制御ユニット６には、作業走行制御モジュール６０、画像認識モジュール５、データ処理モジュール５０、機体位置算出部６６、報知部６７が備えられている。

報知部６７は、制御ユニット６の各機能部からの指令等に基づいて報知データを生成し、報知デバイス９１に与える。機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１の地図座標（または圃場座標）である機体位置を算出する。

この実施形態のコンバインは自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。作業走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、自動作業走行指令部６３及び走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）がキャビン１４内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。

走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。

手動操舵モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。自動操舵モードが選択されている場合、自動作業走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。

走行経路設定部６４は、制御ユニット６、携帯通信端末２００、クラウドコンピュータシステム１００などのいずれかで作成された自動走行のための走行経路を、走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。

自動作業走行指令部６３は、より詳しくは、自動操舵指令及び車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって走行経路と、機体位置算出部６６によって算出された自車位置との間の方位ずれ及び位置ずれを解消するように生成される。車速指令は、前もって設定された車速値に基づいて生成される。さらに、自動作業走行指令部６３は、作業制御部６２に、自車位置や自車の走行状態に応じて、作業装置動作指令を与える。

画像認識モジュール５には、撮影部７０によって継時的に遂次取得された撮影画像の画像データが入力される。画像認識モジュール５は、この撮影画像における認識対象物が存在する存在領域を推定し、存在領域及び存在領域が推定された際の推定確率を含む認識出力データを、認識結果として出力する。画像認識モジュール５は、深層学習を採用したニューラルネットワーク技術を用いて構築されている。

画像認識モジュール５による認識出力データの生成の流れが、図３及び図４に示されている。画像認識モジュール５には、ＲＧＢ画像データの画素値が入力値として入力される。図３の図例では、推定される認証対象物は、雑草と倒伏穀稈と人物である。したがって、認識結果としての認識出力データには、雑草の存在領域(以下、雑草領域と称する)とその推定確率、倒伏穀稈の存在領域(以下、倒伏穀稈領域と称する)とその推定確率、人物の存在領域(以下、人物領域と称する)とその推定確率が含まれる。

図３では、推定結果は模式化されており、雑草領域は符号Ｆ１を付与された矩形の枠で示され、倒伏穀稈領域は符号Ｆ２を付与された矩形の枠で示され、人物領域は符号Ｆ３を付与された矩形の枠で示されている。それぞれの領域には、その推定確率がリンクされる。雑草領域、倒伏穀稈領域、人物領域は、それぞれ４つのコーナ点で規定されるが、そのような各矩形の４つのコーナ点の撮影画像上の座標位置も推定結果に含まれている。もちろん、認証対象物が推定されなければ、認証対象物の存在領域は出力されず、その推定確率はゼロとなる。

なお、この実施形態では、画像認識モジュール５は、撮影画像において認識対象物が撮影部７０から遠くに位置するほど、当該認識対象物の推定確率は低減されるように内部パラメータを設定している。これにより、撮影部７０から遠く離れているために分解能が低くなっている撮影領域における認識対象物の認識を厳しくし、誤認識を低減させている。

データ処理モジュール５０は、画像認識モジュール５から出力された認識出力データを処理する。図２及び図４に示すように、この実施形態のデータ処理モジュール５０には、認識対象物位置情報生成部５１、統計処理部５２、データ記憶部５３、データ判定部５４、データ補正部５５が含まれている。

認識対象物位置情報生成部５１は、撮影画像が取得された時点の機体位置と認識出力データとから、認識対象物の地図上の位置を示す認識対象物位置情報を生成する。認識出力データに含まれている認識対象物（雑草、倒伏穀稈、人物）が存在する地図上の位置は、認証対象物の存在領域（雑草領域、倒伏穀稈領域、人物領域）を示す矩形の４つのコーナ点の撮影画像上の座標位置（カメラ座標位置）を、地図上の座標に変換することで得られる。

撮影部７０は、所定時間間隔、例えば０．５秒間隔で撮影画像を取得し、その画像データを画像認識モジュール５に入力するので、画像認識モジュール５も、同じ時間間隔で、認識出力データを出力する。したがって、撮影部７０の撮影視野に認識対象物が入っていた場合には、複数の認識出力データが同一の認識対象物に対する存在領域を含むことになる。その結果、同一の認識対象物に対する複数の認識対象物位置情報が得られる。その際、各元データである認識出力データに含まれている推定確率、つまり認識対象物位置情報に含まれる認識対象物の存在領域の推定確率は、撮影部７０と認識対象物との間の位置関係が相違することから、違う値となることが多い。

したがって、この実施形態では、そのような複数の認識対象物位置情報が記憶され、記憶された複数の認識対象物位置情報のそれぞれに含まれる推定確率が統計的演算される。
統計処理部５２は、複数の認識対象物位置情報の推定確率に対する統計的な演算を用いて、推定確率群の代表値を求める。その代表値を用いて、複数の認識対象物位置情報を、１つの最適認識対象物位置情報（認識対象物補正位置情報）に補正することができる。そのような補正の一例は、各推定確率の算術平均値または重み平均値あるいは中間値を基準値（代表値）として求め、その基準値以上の推定確率を有する存在領域の論理和を求め、それを最適存在領域とする補正認識対象物位置情報を生成することである。もちろん、これ以外の統計的演算を用いて信頼性の高い１つの認識対象物位置情報を生成することも可能である。つまり、複数の認識対象物位置情報が、当該認識対象物位置情報に対応する認識出力データに含まれている推定確率の統計的演算の結果に基づいて補正されるのである。

このようにして求められた認証対象物の存在領域（雑草領域、倒伏穀稈領域、人物領域）の地図上の位置を示す認識対象物位置情報（雑草位置情報、倒伏穀稈位置情報、人物位置情報）を用いることで、雑草、倒伏穀稈、人物の認識時において、それぞれ予め設定された走行作業制御や警告報知が行われる。

上述したように、本発明では、画像認識モジュール５から出力される推定確率は、最終的な認識対象物位置情報の生成にとって重要である。このため、この実施形態では、画像認識モジュール５から出力された認識出力データの推定確率の信頼性を調べて、信頼できない推定確率を有する認識出力データを不適認識出力データと判定する認識出力データ評価機能が、データ処理モジュール５０に備えられている。

認識出力データ評価機能は、図２及び図４に示すように、データ記憶部５３と、データ判定部５４と、データ補正部５５とによって実現する。データ記憶部５３は、画像認識モジュール５から遂次出力された認識出力データを認識出力データ列として一時的かつ経時的に記憶する。データ判定部５４は、認識出力データ列において、判定対象となる認識出力データの推定確率と、当該認識出力データに対して継時的に前後関係となる認識出力データの推定確率と比べて、所定レベル以上に低い推定確率を有する認識出力データを不適認識出力データとして判定する。

認識ソースとしての撮影画像は、コンバインの作業走行中に撮影されるので、コンバインの突発的な動きなどにより、撮影画像が不鮮明になることがある。さらに、コンバインは、畦近傍で方向転換するので、撮影方向が急激に変更されることもある。それに伴って、同一の認識対象物に対して順光での撮影と逆光での撮影とが混じることもある。このような撮影条件等の変動により、不測に低い推定確率を有する認識出力データが生じうるが、そのような認識出力データである不適認識出力データの抽出は、上述した認識出力データ評価機能により、可能である。

認識出力データの数が少ない場合には、不適認識出力データと判定された認識出力データの推定確率を、その前後の認識出力データの推定確率で補間補正するとよい。これにより、当該不適認識出力データは適切に補正されたことになって、利用可能となり、データ数が確保されるという利点が得られる。データ補正部５５は、そのような補間補正を行う。もちろん、不適認識出力データと判定された認識出力データを破棄する場合には、補間補正が不要になるので、データ補正部５５は省略される。

なお、認識対象物位置情報生成部５１で生成された各認識対象物位置情報は、視覚的に分かりやすい表示のために、図５に示すようなマップ化が可能である。図５では、雑草位置情報をマップ化した雑草マップが例示されている。雑草位置情報において推定確率が相違する雑草存在領域が含まれている場合、図５に示すように、推定確率値の所定範囲でパターン分けされた形態で雑草存在領域を表示することも可能である。

なお、上記実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

〔別実施の形態〕
（１）上述した実施形態では、画像認識モジュール５は、深層学習タイプのニューラルネットワーク技術を用いて構築されている。これに代えて、その他の機械学習技術を用いて構築された画像認識モジュール５が採用されてもよい。
（２）上述した実施形態では、画像認識モジュール５やデータ処理モジュール５０は、コンバインの制御ユニット６に組み込まれていたが、その一部または全部は、コンバインから独立した制御ユニット、例えば、携帯通信端末２００などに構築可能である。
（３）図２で示された各機能部は、主に説明目的で区分けされている。実際には、各機能部は他の機能部と統合してもよいし、またはさらに複数の機能部に分けてもよい。

本発明は、圃場を撮影する機能と機体位置を算出する機能とを有する収穫機であれば、稲や小麦等を収穫するコンバインだけでなく、トウモロコシなど他の農作物を収穫するコンバインや、ニンジンなどを収穫する収穫機にも適用可能である。

１：機体
２：刈取部
５：画像認識モジュール
５０：データ処理モジュール
５１：認識対象物位置情報生成部
５２：統計処理部
５３：データ記憶部
５４：データ判定部
５５：データ補正部
６：制御ユニット
６０：作業走行制御モジュール
６１：走行制御部
６２：作業制御部
６６：機体位置算出部
７０：撮影部
８０：衛星測位モジュール

Claims

圃場を走行しながら農作物を収穫する収穫機であって、
衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、
前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、
前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、
前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
前記撮影画像において前記認識対象物が前記撮影部から遠くに位置するほど、当該認識対象物の前記推定確率は低減される収穫機。
圃場を走行しながら農作物を収穫する収穫機であって、
衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、
前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、
前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、
前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
複数の前記認識対象物位置情報が記憶され、記憶された複数の前記認識対象物位置情報が、対応する前記認識出力データに含まれている前記推定確率の統計的演算の結果に基づいて補正される収穫機。
圃場を走行しながら農作物を収穫する収穫機であって、
衛星測位モジュールからの測位データに基づいて機体の地図座標である機体位置を算出する機体位置算出部と、
前記機体に設けられ、収穫作業時に圃場を撮影する撮影部と、
前記撮影部によって継時的に遂次取得された撮影画像の画像データが入力され、前記撮影画像における認識対象物が存在する存在領域を推定し、前記存在領域及び前記存在領域が推定された際の推定確率を含む認識出力データを出力する画像認識モジュールと、
前記撮影画像が取得された時点の前記機体位置と前記認識出力データとから前記認識対象物の地図上の位置を示す認識対象物位置情報を生成する認識対象物位置情報生成部と、を備え、
前記画像認識モジュールから遂次出力された前記認識出力データを認識出力データ列として一時的かつ経時的に記憶するデータ記憶部と、データ判定部とが備えられ、
前記データ判定部は、前記認識出力データ列において継時的に前後関係となる前記認識出力データの前記推定確率と比べて、所定レベル以上に低い前記推定確率を有する前記認識出力データを不適認識出力データとして判定する収穫機。
前記認識対象物は、人物、倒伏穀稈、雑草、畦のうちの少なくとも１つである請求項１から３のいずれか一項に記載の収穫機。