JPWO2020044480A1

JPWO2020044480A1 - 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム

Info

Publication number: JPWO2020044480A1
Application number: JP2019561334A
Authority: JP
Inventors: 有年三尾; 紀生岩澤; 誠一原; 洋人下城; 宏竹本
Original assignee: NTT Data CCS Corp
Current assignee: NTT Data CCS Corp
Priority date: 2018-08-30
Filing date: 2018-08-30
Publication date: 2020-09-03
Anticipated expiration: 2038-08-30
Also published as: US11935282B2; CN112639869A; US20210183045A1; WO2020044480A1; KR20210040088A; JP6638121B1

Abstract

非破壊で簡易且つ的確に作物の生育状態を判定すること。
作物を撮影した画像情報を複数入力する画像データ入力部11と、入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部12と、入力した複数の画像情報と生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なう学習部14と、生育ステージの不明な作物を撮影した画像情報を入力する画像入力部16と、画像入力部16で入力した画像情報に対し、学習部14での学習結果に基づいて生育ステージを判定する生育ステージ判定部10と、生育ステージ判定部10で判定した生育ステージを出力する判定結果出力部17とを備える。

Description

本発明は、作物の生育状況を正しく把握するのに好適な作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラムに関する。

農業経営、特に水稲など主食となる土地利用型作物の分野では、高齢化を背景とした産業構造の変化から、大規模経営体への農地集約が急速に進行している。このような農地集約の傾向は、長期的にも一層進むものと見られる。農地集約の結果、一経営体当たりが一定以上の規模に達すると、現状の栽培管理方法では人間の情報処理能力を超えて、必要な診断及び管理を適切に実施できなくなる。これにより、重要な作業時期を逃すなどして生産物の品質や収量が低下し、減収減益が生じる事例が増えて、経営問題となっている。

作物栽培の要諦は、作物の生育ステージを見極めて、水と肥料を適切に管理することにある。作物には、出芽、栄養成長、生殖成長、開花、成熟などさまざまな生育ステージがあり、農業者はこれらを日々追いながら適切な栽培管理を行なう。

例えば、水稲栽培においても、生育ステージの判定は重要な基本管理技術の１つであり、特に生育ステージの判定の１つである幼穂診断に依存した施肥（穂肥）の時期判断は、玄米の収量性と品質を直接左右する。

このような生育ステージ判定を的確に行なうためには、農業者が日々圃場を巡回し、前日との変化を感じ取り、仔細には直接植物体を採取して分解、調査しなければならない。しかしながら、農地集約が進む中、作業に追われる農業者が遠隔、且つ広範囲にわたる多数の農地をつぶさに観察し、幼穂診断等により作物の生育ステージまで判定することは、きわめて困難な作業となっている。

特に幼穂診断は、幼穂が葉鞘に包まれていて外から見えないことに加え、言語による情報の伝達可能性が低い技術であることから、経験の乏しい人では診断すること自体が難しいなど、教育と技術伝承のための人的、時間的コストも課題となっている。

ところで、水稲の生育ステージを、例えば５段階、すなわち（１）分げつ期、（２）幼穂分化期、（３）減数分裂期、（４）出穂期、（５）登熟期に分けて考える場合、上記（４）出穂期及び（５）登熟期は共に外観の変化が比較的明確である。

そのため、例えば特開２０１３−１１１０７８号公報に記載された技術のように、基準画像を用意しておき、基準画像と撮影した検査画像とを比較することによって判別を行なうシステムや、「デジタルカメラ画像ＲＧＢ処理による水稲生育診断技術」（後藤克典他、東北農業研究、２００４年１２月、５７号、ｐｐ５９−６０）に記載された技術のように、画像中の稲体画素数から草丈、茎数を推定することで生育状態を判断するシステム等が提案されている。

一方、上記（２）幼穂分化期及び（３）減数分裂期は、収量及び品質に最も影響を与える重要な作業時期である。しかしながら現状では、特に（２）幼穂分化期の初期を熟練者以外が判別することは事実上不可能であり、熟練者であっても確実に調査するためには、幼穂を顕微鏡下で解剖する必要があり、作業の難易度が極めて高い。また（３）減数分裂期も、幼穂部分を手でむくか、あるいはカッターで切開することで生育の状態を目視確認するなど、いずれも破壊検査を行なう必要があり、すべての圃場を確認するのには多大な労力を要するため、大規模農場で上記した破壊検査による状態確認を行なうのは現実的ではない。

そのため、実際には幼穂等の診断を行なわず、適切なタイミングを見逃した状態で作業がなされる場合も多く、収量性と品質を損なう大きな要因と考えられている。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、非破壊で簡易且つ的確に作物の生育状態を判定することが可能な作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラムを提供することにある。

本発明の一態様は、作物生育ステージ判定システムのサーバ装置であって、作物を撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、を備える。

図１は、本発明の一実施形態に係る生育ステージ判定システム全体の構成を示す図である。図２は、上記実施形態に係るサーバ装置の機能構成を示すブロック図である。図３は、上記実施形態に係る学習フェーズで実行する一連の処理内容を示すフローチャートである。図４は、上記実施形態に係る図３で実行される一連の処理の概要を説明する図である。図５は、上記実施形態に係る判定フェーズで実行する一連の処理内容を示すフローチャートである。図６は、上記実施形態に係る図５で実行される一連の処理の概要を説明する図である。

以下、本実施形態を、水稲の生育ステージ判定を行なう生育ステージ判定システムに適用した場合の一実施形態について、図面を参照して詳細に説明する。

図１は、同実施形態に係る生育ステージ判定システム全体の構成を示す図である。同図において、生育ステージの判定対象となる水田ＰＤを、ここでは図示しないユーザが所持するスマートフォンＳＰのカメラ機能により撮影する。

スマートフォンＳＰには、本システム専用のアプリケーションプログラムを予めインストールしておく。スマートフォンＳＰでそのアプリケーションプログラムを起動した状態で、ディスプレイ画面に表示されるガイドラインに沿った構図で水田のイネを撮影することで、撮影により得られたイネの静止画像データが判定対象となる画像情報として取得される。

スマートフォンＳＰは、携帯電話網の基地局やインターネットを含むネットワークＮＷを介して、生育ステージの判定を行なうためのサーバ装置ＳＶと接続される。

なお、判定対象の画像を撮影する手段としては、ユーザが所持するスマートフォンＳＰに限らず、例えば固定設置したデジタルカメラでタイムラプス機能により定時的に計測した画像を、サーバ装置ＳＶに送信するものとしても良い。

サーバ装置ＳＶは、格納している学習済モデルに基づいて、スマートフォンＳＰから送られてきた画像情報に対し、色成分を除去し、輝度成分のみの画像情報としてグレイスケール化した後に、そのグレイスケール化した画像情報中のイネの生育ステージを判定し、判定結果を当該スマートフォンＳＰに返送する。

なお実際の運用に際しては、単にスマートフォンＳＰで生育ステージが分かるだけでなく、サーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去の生育ステージの履歴から、その生育ステージの何日目か、あるいは次の生育ステージとなる何日前であるか等をスマートフォンＳＰに提示させるようにしても良い。

図２は、サーバ装置ＳＶ内で実行されるコンピュータプログラムの機能構成を示すブロック図である。
サーバ装置ＳＶは、生育ステージ判定部１０を主構成要素とし、この生育ステージ判定部１０が、学習フェーズと判定フェーズとに二分される領域に跨がって配置される構成となる。

学習フェーズにおいて、基本の学習モデルを構成するための各種生育ステージ毎のイネの画像データが画像データ入力部１１により入力される。一方で、生育ステージの判定を行なう熟練者により、各画像データと関連付けられた生育ステージ情報が、ステージ情報入力部１２により入力される。

画像データ入力部１１から入力されたイネの画像データと、ステージ情報入力部１２で入力された、画像データと関連付けられた生育ステージ情報とが、学習画像入力部１３により受け付けられ、関連付けられて生育ステージ判定部１０の学習部１４に入力される。

学習部１４は、例えば５層、すなわち入力層、中間層Ａ、中間層Ｂ、中間層Ｃ、及び出力層を有する畳み込みニューラルネットワーク（ＣＮＮ）による深層学習により、入力される画像データと生育ステージ情報との多数の組を教師データとした学習を実行する。

学習実行時においては、試行錯誤によって各種パラメータが変更設定されながら最適な学習モデルが作成される。十分に実用に適したものとなったと判断された時点で、取得したニューラルネットワークである学習済モデルを構築し、判定フェーズ側の学習済モデル保持部１５に保持させる。

生育ステージ判定部１０の判定フェーズにおいては、ネットワークＮＷを介してイネの画像データが画像入力部１６より入力されると、その画像データに対して学習済モデル保持部１５に保持している学習済モデルに基づいて生育ステージを判定する。そして、判定結果となる生育ステージの情報を得、得た生育ステージの情報を判定結果出力部１７によりネットワークＮＷを介して、上記画像データを送ってきたスマートフォンＳＰに返信する。

次に上記実施形態の動作について説明する。
なお、サーバ装置ＳＶでの学習フェーズで入力する画像データの撮影条件として、同一の年に撮影対象の圃場に対して観察位置となる一定点を設定し、シーズンを通して晴天時であれば十分な日照が得られる撮影時刻帯、例えば１１：００〜１３：００とするなど、学習精度を高めるために撮影条件を揃えるものとする。

また、サーバ装置ＳＶでの学習フェーズ、判定フェーズで入力する画像データは、撮影時刻帯による太陽光（朝焼けなど）や、肥料等による色の影響を排除するべく、撮影により得られるカラー画像を輝度成分のみでグレースケール化した上で処理するものとする。

さらに、日照や風によるイネの倒伏等の除外条件を予め設定することで、例えば雨天時など日照が十分ではない状態や、風が強くて静止画像中のイネが著しく傾き、あるいはブレて写るなど、学習時間の長期化や学習データとしての精度の低下の要因となり得る画像データの入力を制限するものとする。

まず、水田ＰＤにおける全生育ステージに対応した水稲を撮影した画像データを順次、生育ステージを示す情報と共に入力し、入力した内容により深層学習を行なう学習フェーズでの処理について説明する。

図３は、サーバ装置ＳＶの生育ステージ判定部１０で学習フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、未入力の対象圃場の画像データを１つ選択して画像データ入力部１１から入力するとともに（ステップＳ１０１）、熟練者によりその画像に対応する生育ステージの識別結果の情報をステージ情報入力部１２から入力する（ステップＳ１０２）。画像データには、付帯データの一部に、撮影を行なった年月日と時刻のデータが含まれる。

サーバ装置ＳＶでは、学習画像入力部１３がこれら画像データと生育ステージの情報とを関連付けて受け付けると共に、入力された画像データを所定サイズの画像ブロックに分割する（ステップＳ１０３）。

ここで分割するサイズは、画像中のイネの形状や株間が判別できる程度の大きさが望ましい。また、隣接する画像ブロック間で、適度なオーバーラップ率により周囲部分の画像が重複するような分割処理を行なっても良い。

サーバ装置ＳＶの生育ステージ判定部１０では、分割した画像ブロックを１つ選択して学習部１４に入力すると共に（ステップＳ１０４）、直前のステップＳ１０２で入力された、当該画像データに対応する生育ステージの識別結果の情報を併せて学習部１４に入力する（ステップＳ１０５）。

その後、画像データから分割した画像ブロックのすべてを学習部１４に入力したか否かを判断する（ステップＳ１０６）。まだ分割したすべての画像ブロックをその生育ステージの識別結果の情報とともに入力していないと判断した場合（ステップＳ１０６のＮｏ）、生育ステージ判定部１０では、再び上記ステップＳ１０４からの処理に戻って、まだ入力していない画像ブロックに関しても同様の入力処理を続行する。

こうしてステップＳ１０４〜Ｓ１０６の処理を繰り返し実行し、１つの画像データを分割したすべての画像ブロックをその生育ステージの識別結果の情報とともに入力し終えたと判断した時点で（ステップＳ１０６のＹｅｓ）、次に生育ステージ判定部１０では、その対象圃場に関するすべての画像データの入力を終えたか否かを判断する（ステップＳ１０７）。

対象圃場に関するすべての画像データの入力を終えておらず、まだ未入力の画像データがあると判断した場合（ステップＳ１０７のＮｏ）、生育ステージ判定部１０では、再び上記ステップＳ１０１からの処理に戻って、まだ入力していない画像データに関しても同様の入力処理を続行する。

こうしてステップＳ１０１〜Ｓ１０７の処理を再度繰り返し実行し、すべての画像データについて、その生育ステージの識別結果の情報とともに入力した上で、所定サイズの複数の画像ブロックに分割して学習部１４に入力し終えたと判断した時点で（ステップＳ１０７のＹｅｓ）、学習部１４において、画像の特徴量と生育ステージの識別結果とを対応付けるモデルを構築するべく、ＣＮＮによる深層学習を実行し（ステップＳ１０８）、以上で学習フェーズでの処理を完了する。

図４は、上記図３で実行される一連の処理の概要を説明する図である。図４（Ａ）に示す水田ＰＤの「ｘｘｘｘ年」における同一場所、同一時間帯での時系列な撮影を実施することで、図４（Ｂ）に示すように、多数の画像データが取得される。これらの画像データに対して、図４（Ｃ）に示す如く、熟練者が生育ステージの各期間を判断して入力設定する。

これらの入力によって、図４（Ｄ）に示すように、画像データの個々に対応して生育ステージの識別情報が対応付けられて学習部１４に入力される。

学習部１４では、生育ステージの識別情報により画像データ毎にラベル付けを行なうことで、画像データを生育ステージ毎にグルーピングできる。

このグルーピングの結果、図４（Ｅ）に示すように、分げつ期、幼穂分化期、減数分裂期、出穂期、及び登熟期それぞれの複数の画像データのグループが学習部１４に入力される。

学習部１４では、それぞれの画像データのグループをデータセットとして深層学習を実行することにより、各生育ステージにおける水稲画像の特徴を示す特徴情報を抽出した学習済モデルを構築し、構築した学習済モデルを学習済モデル保持部１５に保持させる。

次に、学習済モデル保持部１５に学習済モデルが保持されている状態で、画像入力部１６から生育ステージの判定を求める対象圃場の画像データが入力された場合の判定フェーズでの処理について説明する。

図５は、サーバ装置ＳＶの生育ステージ判定部１０で判定フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、ネットワークＮＷを介してユーザから送られてきた、生育ステージが不明な対象圃場の画像データを画像入力部１６で入力する（ステップＳ２０１）。

ここでユーザから送られてくる画像データは、ユーザ側のスマートフォンＳＰのアプリケーションプログラムにより、予め色成分を除去して輝度成分のみとした、グレイスケール化された画像データであるものとする。

生育ステージ判定部１０では、入力された画像データに対し、予め設定された複数の撮影条件をそれぞれ満たしているか否かにより、画像に対する除外条件の合致を個々に判定する（ステップＳ２０２）。

具体的には、グレイスケール化された画像データに対し、例えば画像全体の輝度レベルが予め設定したレベル以上であるか否かにより一定の日照条件であるか否か、またエッジ検出と輪郭抽出処理を含む画像処理により画像中のイネが風による倒伏を起こしていないか否か等を個々に判定する。

判定の結果、全体として除外条件に合致するものが１つもないかどうかにより、入力された画像データが生育ステージの判定に適合するものであるか否かを判断する（ステップＳ２０３）。

適合しないと判断した場合、すなわち除外条件に合致するものが少なくとも１つあった場合（ステップＳ２０３のＮｏ）、生育ステージ判定部１０では、ネットワークＮＷを介して当該画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果出力部１７により、判定結果として除外条件（雨、風、太陽高度、カメラ撮影角度、判別結果の確度など）により正しい判定を行なうことができなかった旨を示すガイドメッセージのデータを返答として出力し（ステップＳ２０４）、以上でこの図５の処理を終了する。

また上記ステップＳ２０３において、入力された画像データが生育ステージの判定に適合するものであると判断した場合（ステップＳ２０３のＹｅｓ）、次に生育ステージ判定部１０では、入力された画像データを所定サイズの画像ブロックに分割する（ステップＳ２０５）。

ここで分割するサイズは、画像中のイネの形状や株間が判別できる程度の大きさが望ましい。また、隣接する画像ブロック間で、適度なオーバーラップ率により周囲部分の画像が重複するような分割処理を行なっても良い。加えて、学習フェーズにおいて画像を分割したサイズと同様であることが望ましい。

生育ステージ判定部１０では、分割した画像ブロックを１つ選択した上で（ステップＳ２０６）、選択した画像ブロックについて学習済モデル保持部１５に保持している学習済モデルを用いて生育ステージの判定する（ステップＳ２０７）。

次に生育ステージ判定部１０では、まだ判定を行なっていない画像ブロックがないか否かにより、画像ブロックの全判定を終えたか否かを判断する（ステップＳ２０８）。

まだすべての画像ブロックの判定を終えていないと判断した場合（ステップＳ２０８のＮｏ）、生育ステージ判定部１０では上記ステップＳ２０６からの処理に戻り、同様の処理を実行する。

こうしてステップＳ２０６〜Ｓ２０８の処理を繰り返し実行し、１つの画像データを分割したすべての画像ブロックについて、それぞれ学習済モデル保持部１５が保持する学習済モデルに基づいて生育ステージを判定する。

入力された画像データを分割したすべての画像ブロックに対する生育ステージの判定を終えたと判断すると（ステップＳ２０８のＹｅｓ）、予め設定した決定手法、例えば多数決理論により、最も多い判定結果である生育ステージの情報を画像データ全体の判定結果とする（ステップＳ２０９）。

より詳細には、画像ブロックの生育ステージの判定において、例えば５つの生育ステージの確率を算出する。これら算出した確率の中で最も高いものをその画像ブロックの生育ステージとする。確率の分布が全体にばらついており、著しい偏りがなく、高い確度での判定が行なえない場合、例えばステージ１の確率：１５％、ステージ２の確率：２０％、ステージ３の確率：２５％、ステージ４の確率：２０％、ステージ５の確率：２０％であった場合などには、当該画像ブロックは無判定として、多数決の演算には含めない。

これにより、個々の画像ブロックでの判別において得た確度の高い結果のみを用いて、全体で多数決理論を用いることで、より高い精度で生育ステージの判定を行なう、２段階に分けた判定工程を採ることができる。

生育ステージ判定部１０では、こうして得た判定結果の生育ステージの情報を判定結果出力部１７により、ネットワークＮＷを介して、画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果としての生育ステージの情報を返答として出力し（ステップＳ２１０）、以上でこの図５の処理を終了する。

ここでユーザのスマートフォンＳＰに返送する、判定結果とする生育ステージの情報としては、分割した画像ブロック毎の生育ステージの判定結果を色分けしたドットを重畳した画像データ中の端部に、画像全体での判定結果としての生育ステージの情報を重畳した画像データや、分割した画像ブロックに基づく生育ステージ毎の判定結果の総計をパーセンテージにより併せて表示するようにした画像データを作成することが考えられる。

加えて、同一ユーザが同一圃場を撮影した画像を連続して送ってきている場合には、サーバＳＶに記録されている判定結果の履歴に基づいて、該当ステージの何日目かを、例えば「○○期ｎ日目」、あるいは推定される次のステージや、追肥を行なうのに適したタイミングまでのカウントダウン表示により、「出穂期まであとｎ日」のような表記を含んだ画像データを作成して返信するものとしても良い。なお、同一ユーザであることは、画像データの送信者ＩＤ情報により容易に判断できる。加えて、ユーザが画像データにＧＰＳデータを付加して送信するような設定とすれば、同一圃場であることも容易に判断できる。

なお上記図６の処理においては、日照や風による倒伏等の撮影条件を満たしている場合にのみ、学習済データを用いた生育ステージの判定を実行するものとしたが、そのような判定の実行の事前処理を省略して、直接生育ステージの判定を実施するものとしても良い。

図６は、上記図５で実行される一連の処理の概要を説明する図である。図６（Ａ）に示す。図６（Ａ）に示すように、生育ステージの判定を求める水田ＰＤの画像を、ユーザがスマートフォンＳＰで撮影した後に、ネットワークＮＷを介してサーバ装置ＳＶに送信する。

ユーザが画像の撮影時にスマートフォンＳＰで実行するアプリケーションプログラムにおいては、カメラ機能により圃場を表示するディスプレイにおいて、撮影の構図、具体的には、圃場端側のイネの側面とその奥に続く稲穂の最上部の連なりを示すようなガイド表示を行なうことで、サーバ装置ＳＶ側での学習内容を活かした精度の高い判定を行なうことができるようにすることが考えられる。

ユーザからの画像データを画像入力部１６で受け付けた生育ステージ判定部１０では、図６（Ｂ）に示すように学習済モデル保持部１５に保持している学習済モデルを用いて生育ステージの判定を実施する。

その結果として得られる生育ステージの情報を、サーバ装置ＳＶは図６（Ｃ）に示すように判定結果出力部１７によって、ネットワークＮＷを介してユーザの所持するスマートフォンＳＰに返信する。

以上詳述した如く本実施形態によれば、非破壊で簡易且つ的確に作物の生育状態を判定することが可能となる。

また上記実施形態では、生育ステージの判定を行なう対象として、特に水田ＰＤにおける水稲を扱うものとし、幼穂分化期を含む生育ステージの判定も行なうものとしたので、水田ＰＤがより広範囲に渡ることも含めて、日頃のきめ細かい判定が困難な作業を、深層学習を用いた技術により、熟練者ではなくとも容易に実現できる。

さらに上記実施形態では、撮影する画像データにおける作物の撮影条件を設定し、当該撮影条件を満たしていない画像データの入力を除外するものとしたので、深層学習における判定精度をより向上させることができる。

また上記実施形態では、判定対象となる作物の画像を撮影する際に、スマートフォンＳＰにインストールされたアプリケーションプログラムに従って、一定の構図での撮影を行なうようなガイド表示を行なうものとしたので、判定に適した作物の画像の撮影を促して、より高い精度での運用が期待できる。

さらに上記実施形態では、得られた画像を深層学習に適した複数の領域の画像ブロックに分割した上で処理を実行し、それら分割した領域毎に学習済モデルに基づいて生育ステージを判定し、複数の領域の判定結果を総合して、画像データ全体の生育ステージを判定するものとしたので、個々の領域に分割した作物毎の生育ステージの個体差を吸収して、全体として的確な生育ステージの判定を行なうことができる。

なお上記実施形態では、学習フェーズ及び判定フェーズで取扱う画像データが、カラー画像データから色成分を除去して輝度成分のみとした、グレイスケール化した画像データであるものとした。これにより、色成分の変化によって学習と後の判定とに係る精度が悪化するのを回避できる。

またグレイスケール化した画像データに代えて、イネのエッジのみを抽出した白黒２値化した画像データを用いるものとしても良い。２値化した画像データを用いることで、計算量を大幅に削減できると共に、太陽光の散乱の影響を完全に除去できる。

さらに上記実施形態では、判定結果として判定を依頼したユーザに対し、単に作物がどの生育ステージであると判定したのか、の結果だけでなく、過去の同ユーザの同圃場での判定結果の履歴を用いることで、現在の生育ステージとなってから何日目であるのか、次の生育ステージに至るまでに推定で何日かかるのかを併せて提示することができるため、追肥や除草剤の散布等のタイミングを把握し易く、より実用に適したシステムを提供できる。

なお、本実施形態に関し、水稲の種類を「コシヒカリ」とした画像データを、シーズンを通して取得し、次のシーズンで同一撮影条件による生育ステージの判定を行なう実験を実施した結果、きわめて的確で良好な結果を得ることができたことを付記しておく。

なお、本発明自体は、水稲の種類を「コシヒカリ」に限定するものではなく、さらに作物を水稲に限定するものでもない。例えば、水稲以外でも大麦、小麦を含む各種麦類、ニンジン、タマネギ、イモ等の根菜類を含む各種野菜などに関しても、地上に露出している部分の画像を撮影することで生育ステージを判定可能な作物であれば、同様に適用することが可能となる。

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の一態様は、作物生育ステージ判定システムのサーバ装置であって、作物の形状を抽出可能に撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生理的な発育程度を表す生育ステージの情報を入力するステージ情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、生育ステージの不明な作物の形状を抽出可能に撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、を備える。

Claims

作物生育ステージ判定システムのサーバ装置であって、
作物を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、
生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、
上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、
を備える作物生育ステージ判定システムのサーバ装置。
上記作物は水稲であり、上記学習部は、幼穂分化期を含む生育ステージと水稲の画像との対応付けの深層学習を行なう、請求項１記載の作物生育ステージ判定システムのサーバ装置。
上記第１の画像入力部及び第２の画像入力部の少なくとも一方は、画像情報に対して設定された作物の撮影条件を満たしていない画像情報の入力を除外する、請求項１または２記載の作物生育ステージ判定システムのサーバ装置。
上記第１の画像入力部は、撮影時刻帯を限定した画像情報を複数入力する、請求項１乃至３いずれか記載の作物生育ステージ判定システムのサーバ装置。
上記第１の画像入力部及び第２の画像入力部の少なくとも一方は、撮影する作物に対する構図をガイド表示するアプリケーションプログラムに従って撮影された画像情報を識別して受け付ける、請求項１乃至４いずれか記載の作物生育ステージ判定システムのサーバ装置。
上記ステージ判定部は、上記第２の画像入力部で入力した画像情報を複数の領域に分割し、分割した領域毎に上記学習部で構築した学習モデルに基づいて生育ステージを判定し、複数の領域の判定結果を総合して画像情報全体の生育ステージを判定する、請求項１乃至５いずれか記載の作物生育ステージ判定システムのサーバ装置。
上記ステージ判定部は、分割した領域で判定した結果に対する合致条件を設定し、当該合致条件に達しない判定結果は、複数の領域の判定結果に含めずに画像情報全体の生育ステージを判定する、請求項６記載の作物生育ステージ判定システムのサーバ装置。
上記学習部が深層学習を行なう画像情報、及び上記ステージ判定部が生育ステージを判定する画像情報は、グレイスケール化されている、請求項１乃至７いずれか記載の作物生育ステージ判定システムのサーバ装置。
上記ステージ判定部で判定した生育ステージを履歴として記録する記録部をさらに備え、
上記出力部は、上記ステージ判定部で判定した生育ステージと上記記録部で記録する履歴とから、判定した生育ステージの何日目であるか、及び次の生育ステージに移行するまでに推定で何日あるか、の少なくとも一方を出力する、
請求項１乃至８いずれか記載の作物生育ステージ判定システムのサーバ装置。
作物を撮影した画像情報を複数入力する第１の画像入力工程と、
上記第１の画像入力工程で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力工程と、
上記第１の画像入力工程で入力した複数の画像情報と上記ステージ情報入力工程で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習工程と、
生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力工程と、
上記第２の画像入力工程で入力した画像情報に対し、上記学習工程で構築した学習済モデルに基づいて生育ステージを判定するステージ判定工程と、
上記ステージ判定工程で判定した生育ステージの情報を出力する出力工程と、
を有する生育ステージ判定方法。
コンピュータが実行するプログラムであって、上記コンピュータを、
作物を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の生育ステージを示す情報を入力するステージ情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記ステージ情報入力部で入力した生育ステージを示す情報とに基づいて、作物の画像と生育ステージとの対応付けの深層学習を行なって学習済モデルを構築する学習部と、
生育ステージの不明な作物を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて生育ステージを判定するステージ判定部と、
上記ステージ判定部で判定した生育ステージの情報を出力する出力部と、
して機能させるプログラム。