JP7321086B2 - 脱穀状態管理システム - Google Patents

Description

本発明は、刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムに関する。

近年、ＡＩ技術を用いたコンバインの脱穀制御が提案される。例えば、特許文献１によるコンバインの脱穀制御には、選別ロスセンサや穀粒品質センサなどによる測定値に基づいて、車速やシーブ開度や唐箕回転数などの調節値を算出して、脱穀制御を行う強化学習モデルが用いられる。

米国特許出願公開第２０１８／０２７１０１５号明細書

特許文献１によるコンバインに搭載される脱穀制御用強化学習モデルでは、コンバインの状態を検出するための多数のセンサの測定値が入力され、多数の動作構成要素に対する適正調節値が出力される。この調節値に基づいて動作構成要素が制御されることで、脱穀性能の改善、その結果としての収穫性能の改善が行われる。しかしながら、強化学習モデル入力される測定値を測定するセンサの数が多く、センサ信号処理における演算負荷が大きくなる。
本発明の課題は、脱穀状態を検出する検出センサの数が少なくても、良好な脱穀制御が可能となる脱穀状態管理システムを提供することである。

本発明による、走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムは、前記脱穀装置による脱穀処理物を撮影する撮影部と、前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットと、車速及びエンジン回転数を含む走行状態を検出する走行状態センサとを備え、
前記走行状態センサからの検出信号から生成された前記走行状態を示す状態入力データがさらに前記状態検出ニューラルネットワークに入力される。
本発明による、走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムは、前記脱穀装置による脱穀処理物を撮影する撮影部と、前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットとを備え、
前記状態検出ニューラルネットワークは、前記脱穀処理中に撮影された学習用撮影画像と、前記学習用撮影画像から人為的に推定された推定脱穀処理状態が学習データの正解データとして、学習されている。
本発明による、走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムは、前記脱穀装置による脱穀処理物を撮影する撮影部と、前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットとを備え、
前記撮影部にはそれぞれ異なる撮影視野を有する複数のカメラが含まれており、かつ、前記複数のカメラのそれぞれに対応するように複数の前記状態検出ニューラルネットワークが備えられ、
前記パラメータ決定部が、ニューラルネットワークで構築され、
前記複数のカメラからの前記撮影画像に対応する個別の画像入力データが、撮影元である前記カメラに対応するそれぞれの前記状態検出ニューラルネットワークに入力され、それぞれの前記状態検出ニューラルネットワークから出力された前記脱穀処理状態がそれぞれ異なる脱穀処理状態特徴量として前記パラメータ決定部に入力される。

この構成によれば、脱穀装置によって処理されている脱穀処理物を写した撮影画像から生成された画像入力データ（撮影画像の画素値群または撮影画像を所定数に分割した区画における画素値の代表値群など）を入力することで、脱穀処理状態が出力される。脱穀処理状態には、例えば、脱穀処理物における穀粒と非穀粒（潰れ穀粒などの規定外の穀粒や枝梗や藁くずなど）や脱穀処理物量や脱穀ロスなどが含まれる。脱穀処理の専門家であれば、脱穀装置における脱穀処理物の状態を目視して脱穀処理状態を推定することが可能であるが、本発明の状態検出ニューラルネットワークはこの推定をより正確にかつ迅速に行う。パラメータ決定部は、状態検出ニューラルネットワークから出力された脱穀処理状態を入力し、現状の脱穀処理状態がさらに改善すべきものであれば、その改善が実現できるように脱穀装置の制御パラメータを決定する。脱穀制御ユニットは、決定された制御パラメータに基づいて脱穀装置を制御する。

脱穀処理状態に影響を及ぼす因子として、脱穀装置の動作構成要素の設定状態だけでなく、機体の速度（車速）やエンジン回転数などの走行状態も考慮することで、脱穀処理状態の推定がより正確になる。このことから、本発明では、走行状態を検出する走行状態センサが備えられ、前記走行状態センサからの検出信号から生成された前記走行状態を示す状態入力データが前記状態検出ニューラルネットワークに入力される。

本発明の１つでは、前記状態検出ニューラルネットワークは、前記脱穀処理中に撮影された学習用撮影画像と、前記学習用撮影画像から推定される推定脱穀処理状態とを学習データとして、学習されている。脱穀処理の専門家などによって人為的に学習用撮影画像から推定された推定脱穀処理状態が学習データの正解データとして用いられる。このような学習データを用いて学習された状態検出ニューラルネットワークは、脱穀処理の専門家と同等な脱穀処理状態を推定することができる。

本発明の好適な実施形態の１つでは、前記パラメータ決定部は、前記脱穀処理状態を示す特徴量ベクトルを入力して、前記制御パラメータを出力するように構成された制御ニューラルネットワークである。この構成では、状態検出ニューラルネットワークから脱穀処理状態を受け取るパラメータ決定部もニューラルネットワークによって構成されるので、脱穀処理状態として、互いに取り扱いやすい特徴量ベクトルを、それぞれの出力と入力として用いることができる。つまり、状態検出用ニューラルネットワークの出力としての特徴量ベクトルが、制御ニューラルネットワークの入力となる。この構成では、状態検出ニューラルネットワークと制御ニューラルネットワークとを結合することができる。結合された状態検出ニューラルネットワークと制御ニューラルネットワークでは、学習用撮影画像が示す脱穀処理状態に最適な制御パラメータセットと当該学習用撮影画像とを学習データとすることで、一括した学習が可能となる。

脱穀装置によって処理されている脱穀処理物の撮影画像を用いて脱穀処理状態を推定するには、複数の位置及び複数方向で脱穀処理物を撮影することが好ましい。そのような複数の撮影画像が用いられると、推定のための情報量が多くなるからである。このことから、本発明の好適な実施形態の１つでは、前記撮影部にはそれぞれ異なる撮影視野を有する複数のカメラが含まれており、かつ、前記複数のカメラに１つの前記状態検出ニューラルネットワークが対応しており、前記複数のカメラからの前記撮影画像に対応する全ての前記画像入力データが、前記状態検出ニューラルネットワークに入力される。

脱穀装置では、大量の穀粒の中に少量の非穀粒（藁くずなど）が混じる部域や大量の非穀粒の中に少量の穀粒が混じる領域がある。このような部域を撮影視野とした複数の撮影画像が、状態検出ニューラルネットワークの画像入力データとして用いられると、脱穀処理状態の推定が不正確になる可能性がある。このことから、本発明の１つでは、前記撮影部にはそれぞれ異なる撮影視野を有する複数のカメラが含まれており、かつ、前記複数のカメラのそれぞれに対応するように複数の前記状態検出ニューラルネットワークが備えられ、前記複数のカメラからの前記撮影画像に対応する個別の画像入力データが、撮影元である前記カメラに対応する前記状態検出ニューラルネットワークに入力され、それぞれから出力された前記脱穀処理状態が前記パラメータ決定部に与えられる。

脱穀装置を備えたコンバインの側面図である。 脱穀装置を備えたコンバインの平面図である。 脱穀装置の縦断側面図である。 二番物排出口の配置図である。 コンバインの制御系の機能ブロック図である。 脱穀状態管理ユニットの構成図である。 脱穀処理物の撮影画像の拡大された模式図である。 脱穀処理物のラベル画像の拡大された模式図である。 別実施形態での脱穀状態管理ユニットの構成図である。 別実施形態での脱穀状態管理ユニットの構成図である。 別実施形態での脱穀状態管理ユニットの構成図である。

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。この実施の形態では、脱穀状態管理システムは、走行しながら刈り取った穀稈を脱穀処理するコンバインに搭載されており、脱穀処理物の撮影画像に基づいて出力された脱穀処理状態から脱穀処理のための制御パラメータを決定する。

図１は、コンバインの側面図である。図２は、コンバインの平面図である。また、図３は脱穀装置１の断面図である。なお、以下では、本実施形態のコンバインは普通型コンバインであるが、もちろん、自脱型コンバインであっても良い。

ここで、理解を容易にするために、本実施形態では、特に断りがない限り、「前」（図１に示す矢印Ｆの方向）は機体前後方向（走行方向）における前方を意味し、「後」（図１に示す矢印Ｂの方向）は機体前後方向（走行方向）における後方を意味するものとする。また、「上」(図１に示す矢印Ｕの方向)及び「下」(図１に示す矢印Ｄの方向)は、機体の鉛直方向(垂直方向)での位置関係であり、地上高さにおける関係を示すものとする。更に、左右方向または横方向は、機体前後方向に直交する機体横断方向（機体幅方向）、すなわち、「左」(図２に示す矢印Ｌの方向)及び「右」(図２に示す矢印Ｒの方向)は、夫々、機体の左方向及び右方向を意味するものとする。

図１及び図２に示されるように、コンバインは、機体フレーム２とクローラ走行装置３とを備えている。走行機体１７の前方には、植立穀稈を刈り取る刈取部４が設けられる。

刈取部４の後方には、刈取穀稈を脱穀処理する脱穀装置１が設けられ、刈取部４と脱穀装置１とに亘って、刈取穀稈を脱穀装置１に向けて搬送するフィーダ１１が設けられる。脱穀装置１の側方には、脱穀処理後の穀粒を貯留する穀粒タンク１２が設けられ、脱穀装置１の後方には、排藁細断装置１３が設けられる。

走行機体１７の前部における右側には、キャビン１０で覆われた運転部９が配置される。運転部９の下方にはエンジンＥが設けられる。エンジンＥの動力は動力伝達構造（図示しない）によって、クローラ走行装置３や脱穀装置１等に伝達される。さらに、穀粒タンク１２内の穀粒を外部に排出する穀粒排出装置１４が設けられる。

穀粒排出装置１４には、穀粒タンク１２内の穀粒を上方に向けて搬送する縦搬送部１５と、縦搬送部１５からの穀粒を機体外側に向けて搬送する横搬送部１６とが備えられる。穀粒排出装置１４は、縦搬送部１５の軸心周りで旋回可能に構成される。縦搬送部１５の下端部は、穀粒タンク１２の底部に連通接続される。横搬送部１６のうち縦搬送部１５側の端部は、縦搬送部１５の上端部に連通接続され、かつ、上下揺動可能に支持される。

図３に示すように、脱穀装置１は、刈取り穀稈を脱穀する扱胴部４１と、選別部４２とを備える。扱胴部４１は脱穀装置１における上部に配置され、選別部４２は、扱胴部４１の下方に配置される。選別部４２は、揺動選別機構２４と、一番物回収部２６と、二番物回収部２７と、二番物還元部３２とを備えている。

扱胴部４１は、扱室２１に収容された扱胴２２と、扱胴２２の下部に敷設された受網２３とを有する。扱室２１は、前側の前壁５１と、後側の後壁５２と、左右の側壁と、上部を覆う天板５３とで取り囲まれる空間として形成される。扱室２１のうち前壁５１の下方には刈取穀稈が供給される供給口５４ａが形成され、この供給口５４ａの下に案内底板５９が配置される。また、扱室２１のうち後壁５２の下方に排塵口５４ｂが形成される。

扱胴２２は、回転駆動機構５６からの駆動回転力によって一体回転する胴体６０と回転支軸５５とを有する。胴体６０は、前端部の掻込部５７と、掻込部５７の後方位置の扱処理部５８とで一体形成される。

天板５３の内面（下面）には、プレート状の複数の送塵弁５３ａが、前後方向に沿って所定の間隔で設けられる。複数の送塵弁５３ａは、扱室２１において扱胴２２と共に回転する刈取穀稈に働く後方移動力を調節できるように構成される。

扱胴部４１で処理された脱穀処理物には穀粒、枝梗、藁くず等が含まれる。また、一番物とは、主として穀粒を含む脱穀処理物であり、二番物とは、単粒化が不充分な穀粒と枝梗や藁くず等とを含む脱穀処理物である。

扱胴部４１では、フィーダ１１からの収穫物が供給口５４ａを介して扱室２１に供給される。供給された刈取穀稈は、掻込部５７の螺旋羽根によって案内底板５９に沿って掻き込まれ、脱穀処理されている。

脱穀処理によって得られた穀粒と短い藁くず等が受網２３を漏下して選別部４２に落下する。これに対し、受網２３を漏下できない処理物（穀稈や、長寸の藁くず等）は、排塵口５４ｂから扱室２１の外に排出される。

揺動選別機構２４は、偏心軸等を用いた偏心カム機構により、枠状のシーブケース３３を前後方向に揺り動かす。前から後への選別風を発生させる唐箕２５が選別部４２に設けられる。唐箕２５から選別風が供給される環境において、シーブケース３３が揺り動かされることで脱穀処理物から穀粒（一番物）が選別される。また、シーブケース３３の下方には一番物回収部２６と、二番物回収部２７とが配置される。

一番物回収部２６により回収された一番物は、一番物回収搬送部２９により穀粒タンク１２に向けて上方に搬送される（揚送される）。一番物回収搬送部２９により搬送された一番物は、貯留スクリュ３０（図１参照）により右方に搬送して穀粒タンク１２（図１参照）へ供給される。

二番物回収部２７は、回収された二番物を横方向に搬送する二番物スクリュとして構成される。二番物回収部２７により回収された二番物は、二番物還元部３２により前斜め上方に搬送してシーブケース３３の上方に還元される。

シーブケース３３には、第１グレンパン３４、複数の第１篩線３５、第２篩線３６、第１チャフシーブ３８、第２チャフシーブ３９、グレンシーブ４０、上部グレンパン６１、下部グレンパン６５が備えられる。

上部グレンパン６１より後側に複数のチャフリップ３８Ａを有する第１チャフシーブ３８が配置され、この第１チャフシーブ３８より後側に第２チャフシーブ３９が配置される。なお、複数のチャフリップ３８Ａは処理物が搬送される搬送方向（後方向）に沿って並べられ、複数のチャフリップ３８Ａの各々は、後端側ほど斜め上方に向かう傾斜姿勢で配置される。下部グレンパン６５は、第１チャフシーブ３８の前端部の下方に配置され、この後方に連なる位置に網状体でなるグレンシーブ４０が配置される。第２チャフシーブ３９は、第１チャフシーブ３８の後端部の下方であって、グレンシーブ４０の後方に配置される。シーブケース３３の後端部（図３では右端部）と、受網２３の後端部とで排出部２８が形成される。

第１チャフシーブ３８は選別風による風選別と、揺動に伴う比重選別とにより脱穀処理物を後側に搬送すると同時に、脱穀処理物に含まれる穀粒を漏下させる。藁くず等の茎稈類は第２チャフシーブ３９に受け渡され、この第２チャフシーブ３９の後端からシーブケース３３の後方に送り出され、排出部２８から排藁細断装置１３に向けて排出される。排出部２８から排出された茎稈類は、排藁細断装置１３により細断され、脱穀装置１の外部に排出される。また、受網２３を介して第２チャフシーブ３９に直接、漏下してくる穀粒は、第２チャフシーブ３９で穀粒と藁くず等の茎稈類とに選別される。

穀粒を多く含む処理物がグレンシーブ４０の上面で受け止められる。藁くず等はグレンシーブ４０の上面で後方に送られるので、グレンシーブ４０を漏下する脱穀処理物の大部分は穀粒であり、一番物回収部２６に流下して回収され、一番物回収搬送部２９によって穀粒タンク１２に貯留される。グレンシーブ４０を漏下しなかった脱穀処理物のうち藁くず等は、選別風により後方に送られる。

これに対し、グレンシーブ４０の最後端の部位を漏下した脱穀処理物、あるいは、第２チャフシーブ３９から落下した脱穀処理物は、二番物回収部２７に流下して回収され、二番物還元部３２によって揺動選別機構２４の上流側に戻される。そして、選別処理によって発生した３番処理物としての藁くずなどの塵埃はシーブケース３３の後端から後方へ送られ、排出部２８から排藁細断装置１３に排出される。

図４に示すように、二番物は、扱胴部４１における受網２３の側方の位置に還元される。二番物還元部３２の二番物排出口３２Ａは、円弧状の受網２３における径方向外側の位置に設けられ、この位置において二番物が排出される。

上述したように選別部４２は脱穀処理物から穀粒を選別する機能を有しているが、その選別能力は変更可能である。揺動選別機構２４の選別能力は、受網２３から漏下する脱穀処理物の量に対する、一番物回収部２６により回収される一番物の量の割合、すなわち、選別度（あるいは選別効率）によって表すことができる。

選別部４２によって脱穀処理物から穀粒を選別する選別能力は、第１チャフシーブ３８に設けられた複数のチャフリップ３８Ａの夫々の開度の調節、及び唐箕２５の風量の調節によって変更可能である。また、本実施形態では、送塵弁５３ａは、天板５３に対する取付角度が変更可能に構成されているので、送塵弁５３ａの角度の調節によっても、選別能力を変更することができる。さらには、チャフリップ３８Ａの開度や唐箕２５の風量の調節による選別能力の変化は、脱穀処理物の量や二番物の還元量とも関係する。脱穀処理物の量は、刈取穀稈量が多いと多くなるが、作物の状態が同じなら車速が早いほど、刈取穀稈量が多くなる。このことから、選別能力を含む脱穀装置１における脱穀性能に影響を与えるパラメータとして、チャフリップ３８Ａの開度、唐箕２５の風量、送塵弁５３ａの角度、二番物の還元量、車速などを挙げることができる。これらのパラメータを決定するために必要となる脱穀装置１における脱穀処理状態は、脱穀状態管理システムの構成要素によって検出される。

図５は、コンバインの制御系の機能ブロック図である。図５には、制御装置１００と、撮影部８０、脱穀状態管理ユニット７、各種センサ及び各種動作機器が示されている。撮影部８０と脱穀状態管理ユニット７とによって、脱穀装置１の状態を管理する脱穀状態管理システムが構築される。

各種動作機器には、走行動作機器Ｄ１、刈取動作機器Ｄ２、脱穀動作機器Ｄ３、排出動作機器Ｄ４などが含まれる。走行動作機器Ｄ１には、エンジン動作機器、変速動作機器、操舵動作機器が含まれる。刈取動作機器Ｄ２には、刈取部４やフィーダ１１の動きを作り出す動作機器が含まれる。脱穀動作機器Ｄ３には、扱胴２２、揺動選別機構２４、チャフリップ３８Ａ、唐箕２５、送塵弁５３ａ、一番物回収搬送部２９、二番物還元部３２などの動きを作り出す動作機器が含まれる。排出動作機器Ｄ４には、穀粒排出装置１４の動きを作り出す動作機器が含まれる。

各種センサのうちで本発明に特に関係するセンサは、走行状態センサＳ１及び脱穀状態センサＳ２である。走行状態センサＳ１は、種々の走行動作機器Ｄ１の動作状態を検出する。脱穀動作機器Ｄ３は、扱胴２２、揺動選別機構２４、チャフリップ３８Ａ、唐箕２５、一番物回収搬送部２９、二番物還元部３２などの動作状態を検出する。なお、この実施形態では、走行状態センサＳ１に、衛星電波を受信して、位置座標を演算する衛星測位機能を有するＧＮＳＳセンサが含まれている。

制御装置１００には、走行制御ユニットＲＵ、刈取制御ユニットＣＵ、脱穀制御ユニットＴＵ、排出制御ユニットＵＵが備えられている。走行制御ユニットＲＵは、走行制御に関する制御信号を生成して、入出力信号処理部ＩＯを介して走行動作機器Ｄ１に送って、走行機体１７の走行を制御する。この実施形態では、走行制御ユニットＲＵは、ＧＮＳＳユニットから出力される位置座標に基づいて圃場における自車位置を算出する自車位置算出機能、経時的な自車位置から走行軌跡を算出する走行軌跡算出機能、自車位置に基づいて自動走行を行う自動走行機能も有する。刈取制御ユニットＣＵは、刈取制御に関する制御信号を生成して、入出力信号処理部ＩＯを介して刈取動作機器Ｄ２に送って、刈取り作業の動作を制御する。

脱穀制御ユニットＴＵは、脱穀制御に関する制御信号を生成して、入出力信号処理部ＩＯを介して脱穀動作機器Ｄ３に送って、脱穀作業の動作を制御する。脱穀制御ユニットＴＵは、チャフリップ３８Ａの開度を調節するチャフ開度制御部Ｔ１、唐箕２５の風力を調整する唐箕風力制御部Ｔ２、送塵弁５３ａの弁角度を調整する弁角度制御部Ｔ３などを有する。

排出制御ユニットＵＵは、穀粒タンク１２から穀粒を排出する排出制御に関する制御信号を生成して、入出力信号処理部ＩＯを介して排出動作機器Ｄ４に送って、穀粒排出作業の動作を制御する。

上述した走行状態センサＳ１や脱穀状態センサＳ２も、入出力信号処理部ＩＯを介して制御装置１００に信号やデータを送り込む。

脱穀状態管理ユニット７は、撮影部８０から送られてきた脱穀装置１における脱穀処理物の撮影画像を入力して、脱穀装置１の脱穀処理状態を出力する。撮影部８０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いた少なくとも１つのカメラ８１と、当該カメラ８１の撮影視野を照明する照明ユニット８２とを有する。

カメラ８１は、脱穀処理物の状態がよく示された撮影画像が撮影できる位置、例えば、第１チャフシーブ３８の上方領域を撮影できる位置、あるいは第１チャフシーブ３８とグレンシーブ４０との隙間領域を撮影できる位置に配置される（図３参照）。

脱穀状態管理ユニット７は、前処理部７１、状態検出ニューラルネットワーク７２、パラメータ決定部７３を備えている。前処理部７１は、撮影部８０からの撮影画像に対してトリミングや色調整や解像度変更などの前処理を行う。さらに、脱穀装置１は、外部から閉鎖されており、その内部は照明されていても、穀粒以外の粉塵が舞い回っているので、撮影条件を一定に維持することは困難である。このため、撮影画像の正規化が、前処理部７１によって行われる。前処理部７１は、前処理が行われた撮影画像をさらにニューラルネットワークの入力に適したデータに変換し、画像入力データとして状態検出ニューラルネットワーク７２に与える。

図６で示す脱穀状態管理ユニット７の第１の実施形態では、状態検出ニューラルネットワーク７２は、畳み込みニューラルネットワーク、好ましくはディープラーニングにより構成されており、複数の畳み込み層と、複数のプーリング層と、１つ以上の全結合層とを含んでおり、入力側には入力層、出力側には出力層が設けられる。畳み込み層とプーリング層とは複数回繰り返すように構成される。

状態検出ニューラルネットワーク７２は、カラーの撮影画像に基づいて前処理部７１によって生成された画像入力データを入力とし、脱穀処理状態を示す脱穀処理状態特徴量を出力する。出力される脱穀処理状態特徴量の一例は、ラベル画像（脱穀処理物分布画像）である。ラベル画像では、例えば、撮影画像における脱穀処理物を穀粒と非穀粒とに区分けしたものである。穀粒を示す画素には「１」が割り当てられ、非穀粒を示す画素には「２」が割り当てられ、背景を示す画素には「０」割り当てられる。なお、非穀粒には、枝梗や藁くずだけでなく、規定外の形状と粒色を有する穀粒なども含まれる。図７に、脱穀処理物の撮影画像の部分拡大模式図が濃淡画で示される。図８は、図７に示された撮影画像の部分拡大箇所に対応するラベル画像である。図７及び図８は、理解を容易にするための模式図であり、実際の状態に即したものではない。

状態検出ニューラルネットワーク７２の構築は、学習データとしての多数の学習用サンプル（学習用撮影画像とそのラベル画像）を使用した教師あり学習により実現される。学習用サンプルは、実際の撮影画像と、当該撮影画像から専門家によって人為的に学習用撮影画像から推定された推定脱穀処理状態に基づいて作成されたラベル画像（推定脱穀処理状態）とによって構成される。なお、ディープラーニングのようなニューラルネットワークでは、学習用サンプルが多いほど出力の信頼度が高くなる。このため、学習用サンプル数を多くするためには、実際の撮影画像を流用した学習用撮影画像とそのラベル画像を学習用サンプルとするだけでなく、この学習用サンプルに回転や並進の画像処理を施した撮影画像及びラベル画像が追加の学習用サンプルとして用いられる。なお、実際に、この状態検出ニューラルネットワーク７２に学習用データとして入力されるのは、学習用撮影画像に基づいて、前処理部７１が生成する学習用画像入力データである。

さらに、状態検出ニューラルネットワーク７２の出力である脱穀処理状態として、脱穀処理物における穀粒または非穀粒の分布を示す正規分布やガウス分布のパラメータを出力させてもよい。あるいは、状態検出ニューラルネットワーク７２をセマンティックセグメンテーション方式で構成し、画素毎に穀粒と非穀粒と背景との推定度を出力させ、穀粒と非穀粒と背景とをそれらの輪郭で区分けした画像データ（ベクトルデータ）を出力させてもよい。

なお、撮影画像における認識対象としての脱穀処理物の大部分は穀粒であるので、より精密な認識を行うためには、前処理部７１において撮影画像を複数の領域（パッチ領域）に分割し、当該領域毎に画像入力データを生成してもよい。あるいは、状態検出ニューラルネットワーク７２の入力層において、画像入力データを複数のパッチに分割してもよい。

パラメータ決定部７３は、状態検出ニューラルネットワーク７２の出力層から出力されたラベル画像（実際には、脱穀処理物の識別値が代入されている画素値を要素とするベクトルデータである）から、脱穀処理物分布状態を求める。さらに、脱穀処理物分布状態がリファレンスの分布状態と所定以上に異なっており、脱穀性能を改善する必要があると判定された場合、この分布状態から脱穀性能を改善するための脱穀装置１の脱穀制御パラメータを決定する。例えば、脱穀処理物における非穀粒の割合が大きくなるほど、脱穀処理が不十分とみなして、送塵弁５３ａなどの調節を通じて、より丁寧な脱穀処理が行われるようにする。また、枝梗や藁くずなどの割合が多い場合には、チャフリップ３８Ａの開度を小さくするとともに唐箕２５の風力を大きくして、枝梗や藁くずが一番物回収部２６に落下しないようにする。

図９に示す第２の実施形態では、脱穀状態管理ユニット７には、撮影画像だけでなく、走行状態センサＳ１の検出信号も入力される。前処理部７１は、走行状態センサＳ１の検出信号から走行状態（車速やエンジン回転数など）を示す状態入力データを生成する。状態検出ニューラルネットワーク７２は、入力画像データと状態入力データを入力して、脱穀処理状態特徴量を出力する。脱穀処理状態特徴量には、走行状態と脱穀処理状態の関係も含まれるので、パラメータ決定部７３は、脱穀処理状態特徴量から、脱穀処理物分布状態を求め、走行制御パラメータ及び脱穀制御パラメータを決定する。この実施形態では、脱穀性能の改善のために、脱穀装置１の調節だけでなく、車速やエンジン回転数を調節することも可能である。

図１０に示す第３の実施形態では、それぞれ異なる撮影視野を有する２つのカメラ８１からの個別の撮影画像が前処理部７１に入力される。この実施形態では、各カメラ８１の撮影視野は、第１チャフシーブ３８の上方領域と、第１チャフシーブ３８とグレンシーブ４０との隙間領域（第１チャフシーブ３８の下方領域）としている。この２つの領域では穀粒と非穀粒との混ざり具合が異なるので、上方領域のための第１状態検出ニューラルネットワーク７２Ａと下方領域のため第２状態検出ニューラルネットワーク７２Ｂとが個別に用意されている。第１状態検出ニューラルネットワーク７２Ａには、上方領域の撮影画像に基づく第１入力画像データが入力され、第１脱穀処理状態特徴量が出力される。第２状態検出ニューラルネットワーク７２Ｂには、下方方領域の撮影画像に基づく第２入力画像データが入力され、第２脱穀処理状態特徴量が出力される。パラメータ決定部７３は、第１脱穀処理状態特徴量と第２脱穀処理状態特徴量とに基づいて、脱穀処理物分布状態を求め、脱穀制御パラメータを決定する。なお、この実施形態の変形として、３台以上のカメラ８１が用意され、３つ以上の異なる撮影視野を有する撮影画像が用いられてもよい。この構成では、各カメラ８１からの撮影画像に対応する個別の画像入力データである第1入力画像データ、第２入力画像データ、・・・が、撮影元である２つのカメラ８１に対応する第１状態検出ニューラルネットワーク７２Ａ、第２状態検出ニューラルネットワーク７２Ｂ、・・・に入力される。さらに、第１状態検出ニューラルネットワーク７２Ａ、第２状態検出ニューラルネットワーク７２Ｂ、・・・から出力された第１脱穀処理状態特徴量（第１脱穀処理状態）、第２脱穀処理状態特徴量（第２脱穀処理状態）、・・・が、パラメータ決定部７３に与えられる。

図１０に示す第３の実施形態では、複数のカメラ８１による撮影画像毎に状態検出ニューラルネットワーク７２が用意されていた。これに代えて、これらの異なる撮影視野を有する複数の撮影画像に基づいて生成される入力画像データの全てが、同一の状態検出ニューラルネットワーク７２に入力される構成を採用してもよい。

図１１に示す第４の実施形態では、パラメータ決定部７３もニューラルネットワークで構築される。つまり、この実施形態の脱穀状態管理ユニット７は、前処理部７１と、状態検出ニューラルネットワーク７２と、制御ニューラルネットワークとして機能するパラメータ決定部７３とから構成される。状態検出ニューラルネットワーク７２の出力層と制御ニューラルネットワーク（パラメータ決定部７３）の入力層が直接結合されるので、状態検出ニューラルネットワーク７２の出力データが制御ニューラルネットワークの入力データとなる。このため、状態検出ニューラルネットワーク７２の出力データ及び制御ニューラルネットワークの入力データは、共通化された特徴量ベクトルとなっている。

〔その他の実施形態〕
上記実施形態では、ニューラルネットワークとして、１枚の撮影画像または同時的に撮影された複数の撮影画像に基づく入力画像データを入力とするディープラーニングが用いられていた。これに代えて、時系列撮影画像に基づく時系列入力画像データ群を入力とするニューラルネットワークが用いられてもよい。

上記実施形態では、前処理部７１と状態検出ニューラルネットワーク７２とは、別構成であったが、前処理部７１は状態検出ニューラルネットワーク７２に組み込まれてもよい。さらには、前処理部７１と状態検出ニューラルネットワーク７２とパラメータ決定部７３とが一体的に構成されてもよい。

上記実施形態では、脱穀装置１がコンバインに搭載される場合を例として、脱穀状態管理システムが説明された。これに代えて、脱穀装置１がコンバインとは異なる作業車両に本発明の脱穀状態管理システムを搭載することや、固定型の脱穀装置１に、本発明の脱穀状態管理システム組み込むことは可能である。

本発明は、脱穀処理する脱穀装置の状態を管理するシステムに適用することができる。

１ ：脱穀装置
２１ ：扱室
２２ ：扱胴
２５ ：唐箕
３３ ：シーブケース
３８Ａ ：チャフリップ
３９ ：第２チャフシーブ
４０ ：グレンシーブ
４１ ：扱胴部
４２ ：選別部
５３ａ ：送塵弁
７ ：脱穀状態管理ユニット
７１ ：前処理部
７２ ：状態検出ニューラルネットワーク
７２Ａ ：第１状態検出ニューラルネットワーク
７２Ｂ ：第２状態検出ニューラルネットワーク
７３ ：パラメータ決定部
８０ ：撮影部
８１ ：カメラ
１００ ：制御装置
ＣＵ ：刈取制御ユニット
Ｄ１ ：走行動作機器
Ｄ３ ：脱穀動作機器
ＲＵ ：走行制御ユニット
Ｓ１ ：走行状態センサ
Ｓ２ ：脱穀状態センサ
ＴＵ ：脱穀制御ユニット
Ｔ１ ：チャフ開度制御部
Ｔ２ ：唐箕風力制御部
Ｔ３ ：弁角度制御部

Claims (5)

1. 走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムにおいて、
   前記脱穀装置による脱穀処理物を撮影する撮影部と、
   前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、
   前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、
   前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットと、
   車速及びエンジン回転数を含む走行状態を検出する走行状態センサとを備え、
   前記走行状態センサからの検出信号から生成された前記走行状態を示す状態入力データがさらに前記状態検出ニューラルネットワークに入力される脱穀状態管理システム。
2. 走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムにおいて、
   前記脱穀装置による脱穀処理物を撮影する撮影部と、
   前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、
   前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、
   前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットとを備え、
   前記状態検出ニューラルネットワークは、前記脱穀処理中に撮影された学習用撮影画像と、前記学習用撮影画像から人為的に推定された推定脱穀処理状態が学習データの正解データとして、学習されている脱穀状態管理システム。
3. 走行しながら刈り取った穀稈を脱穀処理する脱穀装置の状態を管理する脱穀状態管理システムにおいて、
   前記脱穀装置による脱穀処理物を撮影する撮影部と、
   前記撮影部からの撮影画像から生成された画像入力データに基づいて前記脱穀装置での脱穀処理状態を出力する状態検出ニューラルネットワークと、
   前記脱穀処理状態に基づいて前記脱穀装置の制御パラメータを決定するパラメータ決定部と、
   前記制御パラメータに基づいて前記脱穀装置を制御する脱穀制御ユニットとを備え、
   前記撮影部にはそれぞれ異なる撮影視野を有する複数のカメラが含まれており、かつ、前記複数のカメラのそれぞれに対応するように複数の前記状態検出ニューラルネットワークが備えられ、
   前記パラメータ決定部が、ニューラルネットワークで構築され、
   前記複数のカメラからの前記撮影画像に対応する個別の画像入力データが、撮影元である前記カメラに対応するそれぞれの前記状態検出ニューラルネットワークに入力され、それぞれの前記状態検出ニューラルネットワークから出力された前記脱穀処理状態がそれぞれ異なる脱穀処理状態特徴量として前記パラメータ決定部に入力される脱穀状態管理システム。
4. 前記パラメータ決定部は、前記脱穀処理状態を示す特徴量ベクトルを入力して、前記制御パラメータを出力するように構成された制御ニューラルネットワークである請求項１から３のいずれか一項に記載の脱穀状態管理システム。
5. 前記撮影部にはそれぞれ異なる撮影視野を有する複数のカメラが含まれており、かつ、前記複数のカメラに１つの前記状態検出ニューラルネットワークが対応しており、
   前記複数のカメラからの前記撮影画像に対応する全ての前記画像入力データが、前記状態検出ニューラルネットワークに入力される請求項１または２に記載の脱穀状態管理システム。

Images