JP6817516B2 - 情報処理装置、その制御方法とプログラム - Google Patents

Description

本発明は、情報処理装置、その制御方法とプログラムに関し、特に、農作物の生育状況を特定するために有効でない画像データによって、農作物の生育状況の特定の精度が低下する可能性を低減可能な仕組みに関する。

近年、ネットワークカメラを用いて圃場内のいちごの生育状況を管理することがおこなわれている。

ネットワークカメラを用いて圃場内のいちごの生育状況を管理する場合、ユーザが圃場内でのネットワークカメラのプリセット情報を複数箇所で予め設定し、プリセットごとに撮影された画像データを解析していちごの生育状況を管理している。

特許文献１には、ネットワークカメラのプリセット情報をより簡単に設定するために、ネットワークカメラのプリセット撮影位置を、画像解析結果に基づいて決定する技術が開示されている。

特開２０１６−１００６９６号公報

ところで、ユーザが設定したネットワークカメラのプリセット情報は、通常、一度設定したら変えないため、例えば、最初プリセット情報を設定したときにはそれほど成長していなかったいちごの葉が、日が経過することに成長し、プリセットの撮影範囲にいちごの実や花があるにも関わらず、それらの実や花を葉が覆ってしまい、実や花がネットワークカメラで撮影した画像に写らなくなってしまうことがあった。

そうすると、画像データを解析したときに、実や花がないと判定され、正確にいちごの生育状況を把握できない恐れがあった。

特許文献１も上記課題を解決することを目的としてなされた発明ではないため、上記課題に対する対策は記載されておらず、特許文献１に記載の技術を用いたとしても、依然として上記課題が発生する恐れがあった。

本発明は、農作物の生育状況を特定するために有効でない画像データによって、農作物の生育状況の特定の精度が低下する可能性を低減可能な仕組みを提供することを目的とする。

本発明は、農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置であって、前記撮像装置により撮像された複数の画像データを取得する取得手段と、前記取得手段で取得した画像データを解析する解析手段と、前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御する制御手段と、を備えることを特徴とする。

また、本発明は、農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置の制御方法であって、前記情報処理装置の取得手段が、前記撮像装置により撮像された複数の画像データを取得する取得工程と、前記情報処理装置の解析手段が、前記取得工程で取得した画像データを解析する解析工程と、前記情報処理装置の制御手段が、前記取得工程で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析工程で解析する対象から除外するように制御する制御工程とを備えることを特徴とする。

また、本発明は、農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、農作物を撮像する撮像装置により撮像された複数の画像データを取得する取得手段と、前記取得手段で取得した画像データを解析する解析手段と、前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御する制御手段として機能させることを特徴とする。

本発明によると、農作物の生育状況を特定するために有効でない画像データによって、農作物の生育状況の特定の精度が低下する可能性を低減することが可能となる。

本発明におけるシステム構成の一例を示す図 本発明で用いる各種ハードウェアのハードウェア構成図 本発明の処理の全体像を説明するフローチャートの一例を示す図。 本発明の葉領域推定処理を示すフローチャートの一例を示す図。 プリセット情報が登録されているテーブルの一例を示す図。 葉領域推定情報が登録されているテーブルの一例を示す図。 閾値を６０％と設定した際の、閾値未満の画像イメージの例と、閾値以上の画像イメージの例を示す図。 葉領域情報の教師データの一例を示す図。 葉領域に基づくアラート通知処理を示すフローチャートの一例を示す図。 警告画面の一例を示す図。

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

まず、図１を説明する。図１は、本発明の葉領域データに基づく巡回プリセット選定システムの構成の一例を示すシステム構成図である。

図１の左図は、制御部を示したものであり、ネットワークカメラ２００と通信可能に接続されるシステムを示したものである。

サーバ装置１００は、データベースサーバ１０１で管理するデータをデータベースサーバから取得し、取得したデータに含まれる画像データを解析して、農作物（本実施例ではいちごを想定。ただし、いちごに限らず、ピーマンや、トマトなど他の農作物でも良い）の生育状況、例えば実や花ができているか、画像に占める葉の領域の割合等を特定する。

サーバ装置１００は、本発明における、農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置の一例である。

データベースサーバ１０１は、図５や図６に示されるようなテーブルのデータを読み出し、書き出しするデータベースとして管理するサーバであり、サーバ装置１００からの要求に従って、当該データベースサーバ１０１が管理するデータをサーバ装置１００に送信する。

図１の右図は、画像取得部を示したものであり、ビニールハウスである圃場５００の天井等に固定設置されたネットワークカメラ２００で、ビニールハウス内で生育中のいちごなどの畝３００を天井から撮影している状況を示している。そして、ネットワークカメラ２００で撮影された画像データは、ルータを介してデータベースサーバ１０１に送信され、データベースサーバ１０１で管理される。

なお、本実施形態ではサーバ装置１００とデータベースサーバ１０１を別々の装置としたが、他の実施形態として、サーバ装置１００とデータベースサーバ１０１はひとつの装置であっても良い。

以下、図２を用いて図１に示したサーバ装置１００、データベースサーバ１０１、ネットワークカメラ２００に適用可能な情報処理装置のハードウェア構成について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

以下、図３を参照して、本発明の葉領域データに基づく巡回プリセット選定システムにおける、サーバ装置１００、データベースサーバ１０１で動作する処理について説明する。

図３のフローチャートで示す処理は、サーバ装置１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、本処理は、例えば日毎に、その日や、その日の前日にネットワークカメラ２００で撮影された画像データに対して実施される（つまり、所定の時間間隔で実施される）。

ステップＳ３０１で、サーバ装置１００は、図５に示すデータベースサーバ１０１で管理するプリセット情報テーブルからプリセット情報を読み込み、読み込んだプリセットで撮影された画像データごとにステップＳ３０２以降の処理を実行する。

ステップＳ３０１は、本発明における、前記撮像装置により撮像された複数の画像データを取得する取得手段の一例である。

図５は、データベースサーバ１０１の外部メモリ２１１に記憶されたプリセット情報テーブルの一例である。

プリセット情報テーブルは、プリセットＩＤ５０１、パン５０２、チルト５０３、ズーム５０４、撮影フラグ５０５、画像データフォルダパス５０６から構成される。

プリセット情報テーブルは、畝３００を撮影するネットワークカメラ２００をユーザによる手動制御、もしくは自動制御して所望の地点を撮影するパン５０２、チルト５０３、ズーム５０４をあらかじめ登録している。

撮影フラグ５０５は巡回撮影時において、ネットワークカメラ２００による撮影を行うかどうかを判断するため設定であり、ＴＲＵＥの場合は撮影を行い、ＦＡＬＳＥの場合は撮影を行わないことを示す。

画像データフォルダパス５０６には、プリセットごとに撮影された画像データが保管されるフォルダのパスが保存される。

ステップＳ３０２でサーバ装置１００は読み込んだプリセットで撮影された画像データにおける葉領域推定を行う。ステップＳ３０２の処理の詳細に関しては後述する図４で説明する。

ステップＳ３０３でサーバ装置１００は、ステップＳ３０２で推定した葉領域が閾値以上であるかどうかを判定する。閾値に満たない場合は、ステップＳ３０４に進み、サーバ装置１００はプリセット情報テーブル中の、閾値に満たなかったプリセットのプリセットＩＤ５０１と紐付く撮影フラグ５０５をＦａｌｓｅにする。閾値以上である場合はステップＳ３０５に進み、サーバ装置１００はプリセット情報テーブルの撮影フラグ５０５をＴｒｕｅにする。

図７に、閾値を６０％と設定した際の、閾葉領域が閾値６０％未満の画像イメージの例（図７左図）と、閾値６０％以上の画像イメージの例（図７右図）とを示す。

ステップＳ３０３の処理を実行することにより、本来いちごがあるにも関わらず、葉がいちごに覆いかぶさることで画像データからいちごが特定できず、それによって、いちごの生育状況が把握できなくなるという可能性を低減する事が可能となる。

なお、ステップＳ３０３は、本発明における、前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御する制御手段の一例である。

ステップＳ３０６でサーバ装置１００は、プリセット情報テーブルの各プリセットで撮影された画像データ全ての読み込みが終了したか否かを判断し、終了（画像が無い）と判断した場合に処理を終了する。終了ではない（他の撮影画像がまだある）と判断した場合にはＳ３０１に処理を戻してＳ３０６までの処理を繰り返す。

ステップＳ３０７において、サーバ装置１００は、撮影フラグ５０５がＴｒｕｅとなっているプリセットＩＤ５０１のプリセットで撮影された画像データごとに、現在のいちごの実や花の数を特定したり、将来のいちごの実や花の数や、それらができる日を推定したりする処理を実行する。

ステップＳ３０７は、本発明における、前記取得手段で取得した画像データを解析する解析手段の一例である。

なお、本実施形態では、ステップＳ３０６の処理を実行した後に、ステップＳ３０７の処理を実行するとしたが、他の実施形態として、ステップＳ３０７の処理は、別のタイミングで行なっても良く、例えば、ユーザから任意のタイミングでステップＳ３０７の処理を実行する指示を受け付けることで、ステップＳ３０７の処理を実行しても良い。
以上で、図３の説明を終了する。
次に、図４を参照して、ステップＳ３０３に示す葉領域推定の詳細処理について説明する。

ステップＳ４０１でサーバ装置１００は、学習済み特徴量の重みデータを読み込む。学習済み特徴量の重みデータとは、例えば、図８に示すような葉領域の画像データを複数学習させておき、それらの画像データから葉の特徴量を算出して、教師データを作成しておく。

ステップＳ４０２では、サーバ装置１００は、処理対象となっているプリセットで撮影された画像データから、葉領域を抽出する。葉領域の抽出については、「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ（ＦＣＮ）」といった公知技術を用いることで実現可能である。

ＦＣＮとは、畳み込みニューラルネットワークを用いることにより、ピクセル毎のカテゴリ予測をする領域分割のための技術である。

なお、本実施形態では、ＦＣＮで葉領域を抽出するとしたが、他の実施形態として色情報を用いても良い。具体的には、画像データから平均Ｇ値を計算し、画素値が平均Ｇ値を上回るものを葉領域とする。
ステップＳ４０３でサーバ装置１００は、抽出された葉領域のピクセル数を計算する。

ステップＳ４０４でサーバ装置１００は、図４の処理を実行した日を示す葉領域推定日と、ステップＳ４０３の処理における計算で求められる葉領域ピクセル数を、データベースサーバ１０１の外部メモリ２１１に記憶された図６に示す葉領域推定情報テーブルの葉領域推定日６０２、葉領域ピクセル数６０３にそれぞれ保存するように制御する。

図６は、データベースサーバ１０１の外部メモリ２１１に記憶された葉領域推定情報テーブルの一例である。

葉領域推定情報テーブルは、プリセットＩＤ６０１、葉領域推定日６０２、葉領域ピクセル数６０３から構成される。なお、プリセットＩＤ６０１は、図５のプリセットＩＤ５０１と同一の情報を示す。以上で、図６の説明を終了する。
次に図９に示すフローチャートを用いて、本発明の第２の実施形態について説明する。
図９の処理は、図３のステップＳ３０６とステップＳ３０７の処理の間に実行される処理である。

図３の処理を実行した結果、撮影フラグ５０５がＦａｌｓｅとなるプリセットが増えることにより、プリセット数の絶対数が減ってしまい、いちごの正確な生育情報を得ることが出来なくなる場合が考えられる。そこで、第２の実施形態では、プリセット数の最低値を設定し、最低値を下回る場合には撮影フラグ５０５をＦａｌｓｅにしないという処理を行うことで、上記課題を解決する。
図９は、葉領域に基づくアラート通知処理を示すフローチャートの一例を示す図である。

図９のフローチャートで示す処理は、サーバ装置１００が所定の制御プログラムを読み出して実行する処理である。

ステップＳ９０１において、サーバ装置１００は、図５に示すデータベースサーバ１０１で管理するプリセット情報テーブルから再びプリセット情報を読み込む。

ステップＳ９０２において、サーバ装置１００は、ステップＳ９０１で読み込んだプリセット情報テーブルの撮影フラグ５０５を参照し、撮影フラグ５０５がＦａｌｓｅとなっているプリセットの数を特定する。

ステップＳ９０３において、サーバ装置１００は、ステップＳ９０２の処理の結果特定される撮影フラグ５０５がＦａｌｓｅとなっているプリセットの数が設定値以上であるかを判定し、設定値以上であれば、ステップＳ９０４に進み、設定値以下であれば、本処理を終了する。設定値は、ユーザから予め指定を受け付けても良いし、サーバ装置１００が自動で決定しても良い。

ステップＳ９０４において、サーバ装置１００は、ステップＳ９０２の処理の結果特定される撮影フラグ５０５がＦａｌｓｅとなっているプリセットの数が設定値以上である場合に、ユーザに通知する。

具体的には、サーバ装置１００のＣＲＴ２１０上、またはサーバ装置１００と接続するＰＣの画面上に図１０に示す警告画面を表示し、ユーザにプリセットの修正、または葉の除去を促す。
図１０の１００１は、ネットワークカメラ２００で撮影する圃場５００の全体を示す。

図１０の１００２は、各プリセットで撮影している畝３００の位置を示し、左上から順にプリセットＩＤ１、２、３となっている。

図１０の１００３は、ステップＳ３０３で葉領域が閾値以上であるプリセットを他のプリセットと識別表示し、さらに１００４に葉領域が閾値以上であるプリセットがあることをメッセージで表示している。以上で図１０の説明を終了する。

次に、本発明の第３の実施形態について説明する。第２の実施形態では、ステップＳ９０４において、サーバ装置１００は、ステップＳ９０２の処理の結果特定される撮影フラグ５０５がＦａｌｓｅとなっているプリセットの数が設定値以上である場合に、ユーザに通知するとしたが、第３の実施形態では、ステップＳ９０４において、撮影フラグ５０５がＦａｌｓｅとなっているプリセットのうち、一部のプリセットの撮影フラグ５０５をＴｒｕｅに変更する。いずれのプリセットの撮影フラグ５０５をＴｒｕｅにするかは、ユーザから指定を受け付けることによって決定するか、葉領域ピクセル数６０３が他のプリセットよりも少ないプリセットをＴｒｕｅにする。

以上、本発明によると、農作物の生育状況を特定するために有効でない画像データによって、農作物の生育状況の特定の精度が低下する可能性を低減することができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ サーバ装置（情報処理装置）
１０１ データベースサーバ
２００ ネットワークカメラ

Claims (7)

1. 農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置であって、
   前記撮像装置により撮像された複数の画像データを取得する取得手段と、
   前記取得手段で取得した画像データを解析する解析手段と、
   前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御する制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記取得手段は、所定の時間間隔で画像データを取得し、
   前記解析手段は、前記取得手段で所定の時間間隔で画像データを取得するごとに、当該画像データを解析し、
   前記制御手段は、前記取得手段で所定の時間間隔で画像データを取得するごとに、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、農作物の生育状況を特定するのに前記解析手段で解析する画像データが足りない場合に、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データも、前記解析手段により解析する対象とするように制御することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを撮影した撮像装置がある旨をユーザに認識させるべく通知する通知手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記解析手段による解析結果を用いて農作物の生育状況を特定する特定手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置の制御方法であって、
   前記情報処理装置の取得手段が、前記撮像装置により撮像された複数の画像データを取得する取得工程と、
   前記情報処理装置の解析手段が、前記取得工程で取得した画像データを解析する解析工程と、
   前記情報処理装置の制御手段が、前記取得工程で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析工程で解析する対象から除外するように制御する制御工程と
   を備えることを特徴とする情報処理装置の制御方法。
7. 農作物を撮像する撮像装置により撮像された画像データを解析して農作物の生育状況を特定する情報処理装置で読み取り実行可能なプログラムであって、
   前記情報処理装置を、
   農作物を撮像する撮像装置により撮像された複数の画像データを取得する取得手段と、
   前記取得手段で取得した画像データを解析する解析手段と、
   前記取得手段で取得した複数の画像データのうち、画像データ１枚あたりに占める葉の領域の割合が所定以上である画像データを、前記解析手段により解析する対象から除外するように制御する制御手段として機能させることを特徴とするプログラム。

Images