JP5626056B2 - 農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置 - Google Patents

Description

本発明は、農作物の画像を処理する農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置に関する。

大規模な圃場を抱える農業法人では、経営的観点から収穫量を予想することは重要である。現状では、収穫量を農業従事者の勘及び経験に頼って予測している。

収穫量は天候、病害虫、実施作業など様々な要因に依存している。例えば、天候要因（落雷、強風、大雨、温度など）や生育要因（生理障害、病害虫、鳥獣害など）や人為的要因（植え忘れ、培土ミスなど）などが挙げられる。

一方で、航空・衛星画像を用いた収穫量の予測手法が開示されている（例えば、特許文献１を参照）。この場合、農作物が反射する特有の波長を取得するために分光反射光画像を用いる。この画像を解析することにより、観察対象の圃場における農作物面積や生育度を推定し、収穫量を予測する。

特開２０１０−１４０２９６号公報

しかしながら、特許文献１に記載された予測手法では、圃場面の真上から画像を撮影しているため、この画像から計算される農作物の収穫量は農作物面積を反映しているに過ぎず、農作物の高さを踏まえた正確な農作物の大きさを測定することはできない。

本願は、上記の課題を解決するため、圃場面に線状に植立された農作物の高さを画像を用いて算出し、農作物の収穫量予測に利用することができる農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置を提供することを目的とする。

本願に開示する農作物画像処理プログラムは、コンピュータに、圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第１生育段階において撮像された第１画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、前記第１画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第１の直線を検出して前記記憶手段に記憶し、前記記憶手段を参照して、前記第１画像と実質的に同一の位置から、前記農作物の第１生育段階より遅い第２生育段階において撮像された第２画像から前記色相の範囲の情報と前記第１の直線とを基に前記第１の直線上の農作物を表す領域の画像を分離し、前記第２画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第２の直線を検出し、前記第１の直線と前記第２の直線との間の距離に基づいて、前記農作物の高さを算出する処理を実行させることを特徴とする。

本願によれば、圃場面に線状に植立された農作物の高さを画像を用いて算出し、例えば、農作物の収穫量予測に利用することができる。

本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。 本実施の形態に係る算出装置の機能的構成を示す模式図である。 算出装置のハードウェア構成を示す模式図である。 畝線を検出する手順を説明するフローチャートである。 処理対象の画像の一例を示す模式図である。 背景分離及びセグメンテーションを行った画像の一例を示す模式図である。 畝線の検出結果の一例を示す模式図である。 農作物の高さを算出する手順を説明するフローチャートである。 処理対象の画像の一例を示す模式図である。 透視変換を用いた高さの算出手法を説明する説明図である。 実施の形態２に係る収穫量予測装置の機能的構成を示す模式図である。 重み関数の一例を示す模式図である。 収穫量予測装置による予測収穫量の算出手順を説明するフローチャートである。 農作物面積の実測値の一例を示す図である。

以下、本願をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。本実施の形態に係る農作物の高さ算出システムは、撮像装置１及び算出装置１０を備える。撮像装置１は、例えば、デジタルカメラである。撮像装置１は、圃場又は圃場近傍の定点に設置され、圃場に植立された農作物を定期的に撮像し、得られた画像（デジタルカラー画像）を算出装置１０へ送出する。このため、撮像装置１は有線又は無線の通信機能を備え、撮像して得られた画像を通信機能により算出装置１０へ送信するように構成している。

圃場には畝が形成され、この畝に沿って農作物が適宜の間隔で植立されるものとする。すなわち、圃場には線状の農作物の列が複数形成されるものとする。撮像装置１は、撮像方向（カメラの光軸）がこの畝に略平行となるように、しかも成長した農作物の高さよりも高い固定位置から圃場を俯瞰的に撮像する。撮像装置１は、カメラアングルが固定された状態で、圃場又は圃場近傍の定点に設置される。
なお、撮像装置１が撮像する圃場範囲は、圃場内の一部であってもよい。また、撮像装置１を複数箇所に設置して圃場全体を撮像する構成としてもよい。

圃場に植立される農作物は、例えば、葉菜類に属する農作物である。本実施の形態に係る農作物の高さ算出システムでは、農作物の育苗期、生育期又は収穫期に、ある程度の高さまで垂直方向に成長する農作物について高さを好適に算出することができる。また、対象の農作物は、収穫後に圃場から除去されるような農作物であることが好ましい。
例えば、しそ科葉菜類、せり科葉菜類に属する農作物、ニラ、ネギなどの農作物の高さを好適に算出することができる。また、稲、麦類、とうもろこし等の雑穀類、非結球レタス、カリフラワー、キャベツ、白菜、ブロッコリー、レタスなどの農作物についても高さを算出することができる。
一方、ジャガイモや人参といった根菜類については、本実施の形態の高さ算出の対象から除外される。

算出装置１０は、パーソナルコンピュータ、サーバ装置などの情報処理装置であり、撮像装置１から送出される画像を取得し、画像の特徴を利用して農作物の高さを算出する。高さの算出手法については後に詳述することとするが、本実施の形態に係る算出装置１０は、撮像装置１から取得した画像について、農作物を表す領域と背景領域とを分離する領域分離処理を実行する。また、算出装置１０は、育苗期に撮像装置１によって撮像された画像から畝の位置を表す直線（畝線）を検出し、生育期又は収穫期に撮像装置１によって撮像された画像から農作物の上端部分を表す直線（成長線）を検出する処理（直線検出処理）を実行する。更に、算出装置１０は、検出した畝線及び成長線を利用して透視変換を適用することにより、農作物の高さを算出する算出処理を実行する。

なお、本実施の形態では、撮像装置１は、圃場に植立された農作物を定期的に撮像する構成とするが、算出装置１０から撮像装置１に対して定期的に撮像指示を与え、撮像指示が与えられたときに撮像装置１が農作物の画像を撮像する構成としてもよい。また、農作物の育苗期、生育期、及び収穫期に適宜のタイミングで撮像する構成としてもよい。この場合、ユーザが指示するタイミングで撮像する構成としてもよい。更に、パスライトやビニールトンネルといった被覆を行う期間については、撮像の対象から除外してもよい。

また、本実施の形態では、撮像装置１により撮像された画像を、有線又は無線の通信機能により算出装置１０へ送信する構成としたが、撮像装置１にて適宜の期間に撮像された画像を可搬型記録媒体に蓄積しておき、この可搬型記録媒体を利用して算出装置１０内に画像を取込む構成としてもよい。

図２は本実施の形態に係る算出装置１０の機能的構成を示す模式図である。本実施の形態に係る算出装置１０は、画像取得部１１、画像記憶部１２、領域分離処理部１３、直線検出部１４、算出部１５、及び出力部１６を備える。

画像取得部１１は、撮像装置１が撮像した画像を取得する。そのため、画像取得部１１は、撮像装置１から送信される画像を受信する機能、及び可搬型記録媒体に蓄積された画像を算出装置１０内に取込む機能の少なくとも一方を備える。画像取得部１１は、取得した画像を画像記憶部１２へ出力する。

画像記憶部１２は、画像取得部１１が出力する画像を取得して記憶する。このとき、画像記憶部１２は、算出装置１０の備える図示しない記憶領域内の適宜の記憶場所を指定して画像を記憶すると共に、画像を識別する情報、画像の記憶場所を識別する情報、画像の撮像日時を示す情報を互いに関連付けて記憶する。また、画像記憶部１２は、複数の撮像装置１の画像を取得し、記憶する場合には、画像を撮影した撮像装置１や画像の撮影位置など、同一のカメラアングルで撮影された圃場を特定可能な情報を更に関連付けて記憶することが好ましい。例えば、同一の撮像装置１や撮影位置で撮像した画像毎にディレクトリを分けて記憶領域内に記憶してもよい。

画像を識別する情報は、例えば、画像のファイル名であり、撮像装置１が画像を生成する際に付与する名称を用いることができる。画像の記憶場所を識別する情報は、画像記憶部１２の記憶領域内での位置を特定するための情報であり、ディレクトリ、フォルダ等を含む階層情報により表される。撮像日時は、画像を生成する際に撮像装置１が埋め込む撮像条件に含まれる情報（メタデータ）である。画像記憶部１２は、撮像日時を示す情報を画像のメタデータから抽出し、その画像を識別する情報、及び画像の記憶場所を識別する情報に関連付けて記憶する。
また、画像記憶部１２は、これらの情報に加え、農作物の播種期、育苗期、生育期、及び収穫期を区別する情報を関連付けて記憶する構成としてもよい。例えば、それぞれの期間を予め定めておき、画像記憶部１２は、メタデータから撮像日時の情報を取得した際、どの期間に属するかを判定し、判定した期間（播種期、育苗期、生育期、収穫期）を他の情報に関連付けて、算出装置１０の備える図示しない記憶領域に記憶することができる。

領域分離処理部１３は、処理対象の画像について、農作物を表す領域と背景領域とを分離する処理を行う。本実施の形態において、農作物は、畝と呼ばれる盛り土の上に植立されるものであるが、その畝の間に雑草がしばしば発生する。単純に、画像処理で農作物の色（緑色）で抽出した場合、畝間に存在する雑草も同時に抽出してしまうことになる。そこで、本実施の形態に係る算出装置１０は、領域分離処理部１３において、畝の位置を検出し、検出した畝の位置を基準として、画像上で農作物を表す領域とそれ以外（土壌や雑草）の背景領域とを分離する。

領域分離処理部１３は、処理した画像（すなわち、撮像画像から農作物を表す領域と背景領域とを分離した画像）を直線検出部１４へ出力する。このとき、領域分離処理部１３は、畝線の検出対象となる画像（例えば、育苗期に撮像された画像）を直線検出部１４の畝線検出部１４ａへ出力し、成長線の検出対象となる画像（例えば、生育期又は収穫期に撮像された画像）を直線検出部１４の成長線検出部１４ｂへ出力する。

なお、領域分離処理部１３は、ユーザが指定した範囲で領域分離を行えばよい。ユーザが適宜の範囲を設定することにより、領域分離処理部１３は、例えば、遠近法により畝の判別が困難となる領域を除外して処理を行うことができる。以下では、領域分離処理の際にユーザが設定する範囲を観察領域という。

直線検出部１４は、畝線検出部１４ａ及び成長線検出部１４ｂを備える。
畝線検出部１４ａは、領域分離処理部１３が処理した画像のうち、育苗期に撮像された画像について畝線の検出を行う。畝線の検出には、直線検出の手法として一般的に知られるハフ変換を利用することができる。本実施の形態のように、検出したい線の形（直線）が予め決められており、代数方程式でその形状が表現できる場合には、畝線検出部１４ａは、線の形状を表すパラメータ空間に画像中の特徴点を写像するハフ変換を利用して直線検出を行うことができる。
例えば、畝線検出部１４ａは、領域分離した領域のうち、農作物を表す領域部分を画像中の特徴点としてハフ変換を適用することにより、直線（畝線）を検出することができる。このとき、畝線検出部１４ａは、各直線の傾きΔＬｉに関して、クラスタリングをする距離の閾値をΔｄＬｔｈ以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に当該クラスタの重心値に最近傍となる傾きを持った直線を、農作物を表す領域部分を通る直線、すなわち、畝の領域内に多数存在する農作物の植立地点に漸近する直線として求めることができる。
本実施の形態では、ハフ変換を用いて畝線を検出する構成としたが、直線検出の手法はハフ変換に限定されるものではない。例えば、加重マトリクスを用いて画像をフィルタリングする手法、微分画像を用いて微分値が大きくなる領域を抽出し、細線化する手法、微分画像を用いて微分値の高い画素を逐次つなぎ合わせて領域の境界線を抽出する手法等を用いることができる。

撮像装置１が撮像する画像には複数の畝が含まれることが多い。また、領域分離処理部１３で領域分離処理を行ったとしても、領域分離処理部１３は、農作物以外の領域（例えば、雑草などを含む領域）を完全に除去できないこともある。したがって、畝線検出部１４ａが検出する直線には、畝線及び畝線以外の直線が複数含まれる。そこで、畝線検出部１４ａは、検出した直線のうち畝に相当する直線（畝線）を選択し、他の直線を除外する。
畝線の選択は、畝線検出部１４ａが自動で行ってもよく、ユーザによる選択を畝線検出部１４ａにて受付ける構成としてもよい。畝線検出部１４ａが畝線を自動で選択する手法としては、遠近法における消失点を利用した選択手法を用いることができる。畝は平行かつ等間隔に形成されることが多いので、画像上において、検出した直線が最も多く重なる点（消失点）が存在する。したがって、畝線検出部１４ａは、この消失点を通らない直線は畝以外の要素により検出された直線であるとして除外し、残りの直線を選択することにより、畝線のみを検出することができる。
畝線検出部１４ａは、検出した畝線の情報を算出装置１０の備える図示しない記憶領域に記憶する。例えば、各畝線の画像上の端点の座標、各畝線を表す代数方程式の情報等を記憶する。

一方、成長線検出部１４ｂは、領域分離処理部１３が処理した画像のうち、生育期又は収穫期に撮像された画像について成長線の検出を行う。
成長線検出部１４ｂは、畝線検出部１４ａによって検出された畝線のうち、農作物の高さを算出しやすい畝線を選択する。畝線の選択は、成長線検出部１４ｂが自動で行ってもよく、ユーザによる選択を成長線検出部１４ｂにて受付ける構成としてもよい。成長線検出部１４ｂが畝線を自動で選択する場合、例えば、成長線検出部１４ｂは、画像上で傾きが最も大きい畝線の両隣りに存在する２つの畝線のうち、畝線の消失点から遠い方の終端が観察領域内に存在する畝線を選択することができる。

成長線検出部１４ｂは、領域分離処理部１３が領域分離を行った画像を用いて、選択した畝線上に存在する農作物部分を表す領域を抽出する。また、撮像装置１が撮像した画像を用いて、選択した畝線上の農作物の色をサンプリングし、農作物部分を表す色の領域を抽出し、農作物部分とそれ以外の部分（土壌や雑草）とを領域分離する処理を新たに行ってもよい。
成長線検出部１４ｂは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する。直線検出の手法は、畝線検出部１４ａで行う直線検出の手法と全く同様の手法を用いることができる。例えば、成長線検出部１４ｂは、農作物を表す領域部分の輪郭を画像中の特徴点として、ハフ変換を適用することにより、直線（成長線）を検出することができる。このとき、成長線検出部１４ｂは、各直線の傾きΔＬｉに関して、クラスタリングをする距離の閾値をΔｄＬｔｈ以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に、当該クラスタの重心値に最遠傍となる傾きをもった直線であって、畝線の消失点近傍を通る直線を、成長線（すなわち、農作物の上端部を通る直線）として検出することができる。
成長線検出部１４ｂは、検出した成長線の情報を算出装置１０の備える図示しない記憶領域に記憶する。例えば、成長線検出部１４ｂは、成長線の画像上の端点の座標、成長線を表す代数方程式の情報等を記憶する。

算出部１５は、畝線検出部１４ａが検出した畝線、及び成長線検出部１４ｂが検出した成長線を用いて、農作物の高さを算出する。算出部１５は、成長線を検出する際に選択した畝線の手前側の端点と成長線とを垂直に結ぶ線分を求め、その線分の長さを農作物の画像上での高さとすることができる。また、算出部１５は、得られた高さを撮像装置１の位置関係及び透視変換を用いて実際の高さに変換することで、農作物の実際の高さを算出することができる。

出力部１６は、算出部１５による算出結果等、すなわち算出した農作物の高さ等を出力する。出力部１６による算出結果の出力は、例えば、算出部１５が算出した農作物の高さを文字情報として画面上に表示することによって行う。また、出力部１６は、算出部１５が算出した農作物の高さを外部の装置（例えば、ユーザが使用する端末装置）へ通知する構成としてもよい。

図３は算出装置１０のハードウェア構成を示す模式図である。算出装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信インタフェース１０４、ハードディスクドライブ１０５、光ディスクドライブ１０６、キーボード１０７、及びディスプレイ１０８を備える。

ＲＯＭ１０２には、上述したハードウェア各部の動作を制御するために必要な制御用プログラムが予め格納されている。また、ハードディスク１０５Ｄには、撮像画像から農作物の高さを算出する処理を算出装置１０に実行させる算出用プログラムが予め格納されている。

ＣＰＵ１０１は、適宜のタイミングでＲＯＭ１０２又はハードディスク１０５Ｄに格納されているコンピュータプログラムをＲＡＭ１０３上に読み出し、実行することにより、上述したハードウェア各部の動作を制御し、全体として本願の算出方法を実現する装置として動作させる。

ＲＡＭ１０３は、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、フラッシュメモリなどであり、ＣＰＵ１０１によるコンピュータプログラムの実行時に発生する種々のデータ（例えば、各種パラメータ、演算の途中経過、演算結果等）を一時的に記憶する。

通信インタフェース１０４は、通信ネットワーク（不図示）を介して、外部の装置と通信を行うためのインタフェースである。

ハードディスクドライブ１０５は、ハードディスク１０５Ｄに対してデータの書き込み、及びハードディスク１０５Ｄからのデータの読み出しを制御する。ハードディスクドライブ１０５は、キーボード１０７を通じて受付けた情報、通信インタフェース１０４にて受信した情報、光ディスクドライブ１０６により光ディスク１０６Ｄから読み出された情報等をハードディスク１０５Ｄに書き込むことにより、ハードディスク１０５Ｄに各種情報を記憶させる。

光ディスクドライブ１０６は、光ディスク１０６Ｄに対してデータの書き込み、及び光ディスク１０６Ｄに記録されたデータの読み出しを制御する。なお、本実施の形態では、本願のコンピュータプログラムがハードディスク１０５Ｄに記憶されているものとするが、光ディスク１０６Ｄに記録された状態で提供されるものであってもよい。

キーボード１０７は、ユーザによる操作及び文字入力を受付ける。ディスプレイ１０８は、ユーザに報知する情報を表示する。

なお、算出装置１０のハードウェア構成は上記のものに限定する必要はない。例えば、通信ネットワークを介して遠隔操作が可能である場合には、光ディスクドライブ１０６、キーボード１０７、ディスプレイ１０８等が省略されていてもよい。

算出装置１０は、ハードディスク１０５Ｄに格納された算出用プログラムをＣＰＵ１０１に実行させ、ＲＯＭ１０２に格納された制御用プログラムに従ってハードウェア各部を制御することにより、図２に示す画像取得部１１、画像記憶部１２、領域分離処理部１３、直線検出部１４、算出部１５、及び出力部１６による各処理を実行する。

次に、算出装置１０による農作物の高さの算出手順について説明する。以下では、育苗期に撮像された画像を用いて畝線を検出する手順と、生育期又は収穫期に撮像された画像を用いて成長線の検出し、次いで農作物の高さを算出する手順とに分けて算出手順を説明する。

図４は畝線を検出する手順を説明するフローチャートである。算出装置１０の領域分離処理部１３は、画像記憶部１２に記憶されている育苗期に撮像された画像を取得する（ステップＳ１１）。図５は処理対象の画像の一例を示す模式図である。図５（ａ）は、育苗期に撮像された画像の一例を示したものである。育苗期（特に、育苗期の初期）では、農作物の高さがあまり高くないため、画像中央付近の畝（画像上で傾きが大きな畝）は他の畝から分離しやすい。一方、画像の端部付近では遠近法により多数の畝が近接して見えるので、それらを互いに分離することは困難である。

そこで、領域分離処理部１３は、畝を分離しやすい領域を観察領域として指定する（ステップＳ１２）。例えば、図５（ｂ）のハッチングで示した領域を観察領域として指定する。この観察領域の指定は、ユーザの選択操作を受付けることにより領域分離処理部１３が実行する。観察領域を指定することにより、領域分離処理部１３は、多数の畝が接近して見え、互いに分離することが困難な畝の領域を除外することができる。

次いで、領域分離処理部１３は、背景分離とセグメンテーションとを行う（ステップＳ１３，Ｓ１４）。領域分離処理部１３は、農作物特有の色を表す色相の範囲（緑色）だけを抽出する処理を加えることにより、農作物の候補部分と土壌部分（背景）とを分離することができる。セグメンテーションでは、大域的に類似した画素値が連続している領域を抽出する。例えば、細かいノイズ変化を除去するために、画像サイズを縮小し、平滑化処理を行い、画像ピラミッドによる画像のセグメント化などの手法を利用する。なお、このようなセグメンテーションは一般的な手法であり、上記手法に依らずに他の手法を用いることも可能である。図６は背景分離及びセグメンテーションを行った画像の一例を示す模式図である。図６（ａ）及び図６（ｂ）は、それぞれ背景分離及びセグメンテーションを行った画像の一例であり、画像中の白い部分が農作物の候補部分、黒い部分が土壌部分を表している。ここで、図６（ａ）は、平滑化処理前の画像を表し、図６（ｂ）は平滑化処理後の画像を表している。

次いで、畝線検出部１４ａは、セグメンテーション後の画像において観察領域内に含まれる直線を検出する（ステップＳ１５）。上述したように、畝線検出部１４ａは、直線検出の手法として一般的に知られるハフ変換をセグメンテーション後の画像に適用することによって、直線を検出することができる。検出した直線には畝線以外の直線も含まれる可能性があるため、畝線検出部１４ａは、例えば、遠近法における消失点を通らない直線を除外し、残りの直線を選択することにより、畝線を選択する（ステップＳ１６）。図７は畝線の検出結果の一例を示す模式図である。図７は、遠近法における消失点Ｖｐを通る直線のみを選択することで、Ｌ１〜Ｌ８までの８本の畝線を検出した様子を示している。

次に、成長線を検出する手順について説明する。図８は農作物の高さを算出する手順を説明するフローチャートである。算出装置１０の領域分離処理部１３は、画像記憶部１２に記憶されている生育期又は収穫期に撮像された画像を取得する（ステップＳ２１）。図９は処理対象の画像の一例を示す模式図である。図９（ａ）は、生育期に撮像された画像の一例を示したものである。本実施の形態では、育苗期、生育期、収穫期の全期間において、定点に設置された撮像装置１により常に同一のカメラアングルで圃場を撮像する構成としているため、領域分離処理部１３は、育苗期で検出した畝線をそのまま育苗期及び生育期の畝線として用いることができる。
図９（ｂ）は、生育期に撮像された画像に、育苗期で検出した畝線を重畳して描いた様子を示している。図９（ｂ）からも理解できるように、農作物の高さを算出しやすい畝（畝線Ｌ５で示される畝）と、算出が困難又は不能な畝とが存在する。

そこで、領域分離処理部１３は、農作物の高さを算出しやすい観察対象の畝線を選択する（ステップＳ２２）。例えば、図９（ｂ）に示す畝線Ｌ１〜Ｌ８のうち、傾きが最も大きな畝線は畝線Ｌ４である。この畝線Ｌ４上の農作物の成長線は畝線Ｌ４と略重なっているため、成長線の検出が困難となる。そこで、本実施の形態では、この最も傾きの大きな畝線Ｌ４の両隣りに存在する畝線Ｌ３及びＬ５に着目し、その両端点のうち、消失点から遠い方の端点が観察領域内に存在する畝線Ｌ５を観察対象の畝線として選択する。

領域分離処理部１３は、ステップＳ２２で選択した畝線上の農作物部分の色をサンプリングし（ステップＳ２３）、農作物領域のセグメンテーションを行う（ステップＳ２４）。すなわち、領域分離処理部１３は、観察対象の農作物部分とそれ以外の部分（土壌や雑草、観察対象外の農作物部分）とを領域分離する。

次いで、成長線検出部１４ｂは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する（ステップＳ２５）。直線検出の手法は、上述の通り、畝線検出部１４ａで行う直線検出の手法と全く同様の手法を用いることができる。更に、成長線検出部１４ｂは、畝線の消失点近傍を通る直線のみを成長線として選択する（ステップＳ２６）。図９（ｃ）は、畝線Ｌ５、消失点Ｖｐに対し、成長線Ｌ０を検出した様子を示している。

次いで、算出部１５は、畝線検出部１４ａが検出した畝線、及び成長線検出部１４ｂが検出した成長線を用いて、農作物の画像上の高さを算出する（ステップＳ２７）。例えば、算出部１５は、図９（ｃ）に示すように、成長線Ｌ０を検出する際に選択した畝線Ｌ５の手前側の端点Ｘ０と成長線Ｌ０とを垂直に結ぶ線分を求め、その線分の長さｈ１を農作物の画像上での高さとすることができる。

そして、算出部１５は、得られた高さを透視変換を用いて実際の高さに変換することにより、農作物の実際の高さを算出する（ステップＳ２８）。図１０は透視変換を用いた高さの算出手法を説明する説明図である。図１０に示すように、撮像装置１の高さをｙ０、撮像装置１から観察対象の畝線の終端までの水平距離をｚ２、画像投影面までの水平距離をｚ１、ステップＳ２７で算出した農作物の画像上の高さをｈ１とした場合、算出部１５は、農作物の実際の高さｈ２を、相似関係より算出することができる。

以上のように、本実施の形態では、圃場を撮像した画像から農作物を表す領域を背景領域から分離する領域分離処理、及び育苗期に撮像された画像からは畝線、生育期又は収穫機に撮像された画像からは成長線をそれぞれ検出する直線検出処理を実行し、検出した畝線及び成長線を利用して、農作物の実際の高さを算出することができる。
畝の状態は、降雨、潅水、施肥などの影響を受けて時間の経過と共に変化し得るものであるが、本実施の形態では、初期の段階（育苗期）で畝線を決定しておき、高さ検出の際には、予め定めた畝線を基準として農作物の高さを算出するので、土壌などの周囲の影響を受けることなく農作物の実際の高さを正確に算出することが可能となる。

実施の形態２．
実施の形態１では、農作物の高さを算出する構成としたが、算出した高さと同時期の基準高さとを比較して農作物の収穫量を予測することが可能である。実施の形態２では、農作物の収穫量を予測する形態について説明を行う。

図１１は実施の形態２に係る収穫量予測装置２０の機能的構成を示す模式図である。実施の形態２に係る収穫量予測装置２０は、実施の形態１で説明した画像取得部１１、画像記憶部１２、領域分離処理部１３、直線検出部１４、及び出力部１６に加え、高さ算出部２１、面積算出部２２、標準指標ＤＢ２３、圃場情報ＤＢ２４、収穫量予測部２５を備える。
画像取得部１１、画像記憶部１２、領域分離処理部１３、直線検出部１４、及び出力部１６の機能については実施の形態１と同様であるため、その説明を省略することとする。また、高さ算出部２１は、実施の形態１で説明した算出部１５と全く同様であり、検出した畝線及び成長線を利用して農作物の高さを算出する処理部として機能する。

面積算出部２２は、育苗期、生育期、及び収穫期の夫々において撮像装置１が撮像した圃場の画像を用いて、農作物の面積を算出する。直線検出部１４（畝線検出部１４ａ）にて検出した畝線の数をｎ本とし、各畝線をＬｉ（ｉ＝１〜ｎ）により定義する。面積算出部２２は、各畝線Ｌｉ周辺に対して農作物の色を表す色相の範囲（緑色）の画素を算出する。なお、画素数を算出する領域は、各畝線Ｌｉを中心として水平方向の閾値を用いて固定領域としてもよく、農作物の生育段階に応じて領域を広げてもよい。算出した画素数をＳ（Ｌｉ）とした場合、面積算出部２２は、農作物の面積を、全畝線に対する農作物の画素数の合計ΣＳ（Ｌｉ）により算出することができる。

標準指標ＤＢ２３は、農作物の品目、品種毎に標準収穫量を記憶するデータベースである。また、圃場情報ＤＢ２４は、圃場毎の実際の圃場面積を記憶するデータベースである。これらのデータベースは、外部からのアクセス要求に応じて、要求されている情報を返すように構成されている。

収穫量予測部２５は、高さ算出部２１が算出した農作物の高さ、面積算出部２２が算出した農作物面積を用いて、収穫量の予測を行う。収穫量予測部２５は、予測収穫量を、例えば、次式により算出することができる。

予測収穫量＝標準収穫量×圃場面積×
｛１＋（農作物面積比−１）×重み１＋（農作物高さ比−１）×重み２｝

ここで、標準収穫量は、観察対象の圃場に作付けしている農作物の品目、品種によって異なるので、標準指標ＤＢ２３から対応する標準収穫量を取得する。また、観察対象の圃場面積については、圃場情報ＤＢから取得する。

農作物面積比は、同時期の観察領域における標準農作物面積（例えば、収穫量が標準的であった年の農作物面積）に対する、面積算出部２２で算出した農作物面積の比率を表す。一方、農作物高さ比も同様に、同時期の観察領域における標準農作物高さ（例えば、収穫量が標準的であった年の農作物の高さ）に対する、高さ算出部２１で算出した農作物高さの比率を表す。

上記算出式における重み（重み１及び重み２）は、作付け日からの経過日数によって異なる。一般に、作付け直後（播種期〜育苗期）の生育の変動は収穫量へ寄与する確度が低いが、生育期〜収穫期の生育状況の変動は収穫量へ寄与する確度が高い。したがって、収穫量予測部２５は、作付け日からの経過日数ｔが進むにつれて大きくなる関数を、重み関数Ｗｉ（ｔ）（ただし、０≦Ｗｉ（ｔ）≦１）として用いることが好ましい。図１２は重み関数の一例を示す模式図である。播種期における重み関数Ｗｉ（ｔ）の値はゼロに近いため、予測収穫量は標準収穫量を基にした値となる。また、収穫日が近づくにつれて重み関数Ｗｉ（ｔ）の値が１に近づくため、高さ算出部２１で算出した農作物の高さ、面積算出部２２で算出した農作物の面積を反映した予測収穫量が上記算出式により求まることになる。

また、農作物の品目や品種によっても、重み関数は異なる。例えば、生育段階において最も大きさや高さが変化するタイミングは品目によって異なる。このように変化が顕著に表われるタイミングにて、重みが増えるような関数を設定する。なお、重み関数は既知であるものとし、標準指標ＤＢ２３に予め登録されており、収穫量予測部２５にて品目や品種に応じた重み関数を抽出するものとする。
また、農作物の品目や品種によって、農作物面積比に係る重み１及び農作物高さ比に係る重み２の関数を異ならせることができる。例えば、生育期に高さの変化が大きく、収穫期に面積の変化が大きい場合には、生育期での重み関数は、重み１＜重み２となるように設定し、収穫期での重み関数は、重み１＞重み２となるように設定することができる。したがって、重み関数は、品目数×品種数×重み種別（重み１及び重み２）の数だけ、標準指標ＤＢ２３に登録される。

以下、予測収穫量の算出手順について説明する。図１３は収穫量予測装置２０による予測収穫量の算出手順を説明するフローチャートである。画像取得部１１は、育苗期、生育期、収穫期の定期的又は適宜のタイミングで撮像装置１から画像を取得し、随時、画像記憶部１２に記憶しているものとする。
領域分離処理部１３は、画像記憶部１２から１つの画像を取得し（ステップＳ１０１）、初回判定であるか否かを判断する（ステップＳ１０２）。初回判定である場合のみ（Ｓ１０２：ＹＥＳ）、領域分離処理部１３は、図５（ｂ）に示すように観察領域の指定を受付ける（ステップＳ１０３）。

次いで、領域分離処理部１３は、画像記憶部１２から取得した画像が播種期に撮像された画像であるか否かを判断する（ステップＳ１０４）。播種期に撮像された画像であると判断した場合（Ｓ１０４：ＹＥＳ）、その時点での予測収穫量を収穫量予測部２５にて算出し（ステップＳ１１０）、出力部１６が予測結果を出力する（ステップＳ１１１）。

画像記憶部１２から取得した画像が播種期に撮像された画像でないと判断した場合（Ｓ１０４：ＮＯ）、領域分離処理部１３は、画像記憶部１２から取得した画像が育苗期に撮像された画像であるか否かを判断する（ステップＳ１０５）。育苗期に撮像された画像であると判断した場合（Ｓ１０５：ＹＥＳ）、領域分離処理部１３は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を畝線検出部１４ａへ出力する。

畝線検出部１４ａは、領域分離処理部１３から出力される画像を用いて畝線検出を行う（ステップＳ１０７）。畝線の検出手順は、図４に示すフローチャートに従うものとする。次いで、畝線検出部１４ａは、領域分離された画像及び検出した畝線の情報を面積算出部２２へ出力する。

面積算出部２２は、畝線検出部１４ａから出力される画像及び畝線の情報を用いて農作物の面積を算出する（ステップＳ１０９）。すなわち、面積算出部２２は、畝線検出部１４ａによって検出された各畝線の周辺に対して農作物の色を表す色相の範囲（緑色）の画素を計数し、全ての畝線について合計することにより、農作物の面積を算出することができる。農作物の面積を算出した後、処理をステップＳ１１０へ移行させ、育苗期での予測収穫量を収穫量予測部２５にて算出し（Ｓ１１０）、出力部１６にて予測結果を出力する（Ｓ１１１）。

ステップＳ１０５において、領域分離処理部１３は、画像記憶部１２から取得した画像が育苗期に撮像された画像でないと判断した場合（Ｓ１０５：ＮＯ）、領域分離処理部１３は、画像記憶部１２から取得した画像が生育期又は収穫期に撮像された画像であるか否かを判断する（ステップＳ１０６）。領域分離処理部１３は、生育期又は収穫期に撮像された画像であると判断した場合（Ｓ１０６：ＹＥＳ）、領域分離処理部１３は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を成長線検出部１４ｂへ出力する。

成長線検出部１４ｂは、領域分離処理部１３から出力される画像を用いて成長線の検出を行い、検出した成長線と既に検出されている畝線とを利用して農作物の高さを算出する（ステップＳ１０８）。農作物の高さ算出手順は、図８に示すフローチャートに従うものとする。次いで、成長線検出部１４ｂは、領域分離された画像及び畝線の情報を面積算出部２２へ出力し、面積算出部２２にて農作物の面積を算出する（Ｓ１０９）。
農作物の面積を算出した後、処理をステップＳ１１０へ移行させ、収穫量予測部２５が生育期又は収穫期での予測収穫量を算出し（Ｓ１１０）、出力部１６が予測結果を出力する（Ｓ１１１）。なお、収穫量予測部２５は、ステップＳ１０６において、生育期又は収穫期に撮像された画像でないと判断した場合にも（Ｓ１０６：ＮＯ）、予測収穫量の算出を実行する構成としてもよい。

以上のようにして、本実施の形態では、農作物の生育段階に応じた収穫量の予測が可能となる。特に、生育期及び収穫期では、農作物の面積及び高さの双方を反映させた収穫量の予測が可能となるため、農作物の実際の大きさや単位面積当たりの密度を反映した予測値を取得することができ、正確かつ客観的な収穫量の予測が可能となる。

なお、画像の撮像タイミングによっては、風や降雨による農作物の葉や茎の向きが変化するため、見かけ上の農作物面積や高さが変化する。図１４は、農作物面積の実測値の一例を示す図である。農作物面積の実測値は、図１４に示すように撮像タイミングに応じて変動が生じるものであるが、例えば、直近の観測値を基に実測値を補正し、補正した値（補正値）を用いて収穫量を予測する構成としてもよい。補正値を用いることにより、撮像タイミングに伴う実測値の変動の影響を小さくすることができ、より正確な収穫量予測が可能となる。なお、上記の補正には、例えば、最小二乗法等の回帰分析を用いることができる。

本実施の形態において、収穫量予測の対象とする農作物は以下の特徴を備えていることが望ましい。実施の形態２においても、収穫量を予測するために農作物の高さを算出しているため、実施の形態１と同様に、ある程度の高さまで垂直に成長する農作物であり、収穫後は農作物全体を圃場から除去するものであることが好ましい。例えば、メロン等の地面に這う野菜は予測に適していない。また、果樹類は収穫後も樹木が残るため予測に適していない。
また、食用とする部分が地上に出ている農作物が好適である。例えば、ジャガイモ、サツマイモ、人参等の根菜類は予測に適していない。
更に、食用とする部分が作物の大分を占める農作物が好適である。例えば、果実や種子が食用となる農作物は、作物の高さ及び面積が収穫量と相関しない場合があるため、本実施の形態に係る収穫量の予測には適していない。

１ 撮像装置
１０ 算出装置
１１ 画像取得部
１２ 画像記憶部
１３ 領域分離処理部
１４ 直線検出部
１４ａ 畝線検出部
１４ｂ 成長線検出部
１５ 算出部
１６ 出力部

Claims (10)

1. コンピュータに、
   圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第１生育段階において撮像された第１画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
   前記第１画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第１の直線を検出して前記記憶手段に記憶し、
   前記記憶手段を参照して、前記第１画像と実質的に同一の位置から、前記農作物の第１生育段階より遅い第２生育段階において撮像された第２画像から前記色相の範囲の情報と前記第１の直線とを基に前記第１の直線上の農作物を表す領域の画像を分離し、
   前記第２画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第２の直線を検出し、
   前記第１の直線と前記第２の直線との間の距離に基づいて、前記農作物の高さを算出する
   処理を実行させることを特徴とする農作物画像処理プログラム。
2. 前記コンピュータに、
   前記農作物を表す領域の画像に基づいて複数の直線を検出し、該複数の直線のうち、該直線の一方の端が前記画像上の同一の点に収束するか、または、前記複数の直線を前記画像外に延長した場合に同一の点を通過する、複数の直線を選択することにより、前記第１の直線を検出する
   処理を実行させることを特徴とする請求項１に記載の農作物画像処理プログラム。
3. 前記コンピュータに、
   前記複数の第１の直線のうち、前記同一の点から遠い方の端が前記画像上に存在する直線を前記第１の直線として検出する
   処理を実行させることを特徴とする請求項２に記載の農作物画像処理プログラム。
4. 前記コンピュータに、
   前記第１の直線の前記画像内の撮像装置側の端点と前記第２の直線とを垂直に結ぶ線分を求め、前記線分の長さを基に前記農作物の高さを算出する
   処理を実行させることを特徴とする請求項１から３のいずれか１つに記載の農作物画像処理プログラム。
5. 前記コンピュータに、
   前記農作物の高さと予め記憶してある基準高さとを比較して、前記農作物の収穫量を予測する
   処理を実行させることを特徴とする請求項１から請求項４の何れか１つに記載の農作物画像処理プログラム。
6. 前記コンピュータに、
   前記農作物を表す領域の画像から、前記農作物の作物面積を算出し、
   前記農作物の高さ及び前記作物面積を、予め記憶してある基準高さ及び基準面積と比較して、前記農作物の収穫量を予測する
   処理を実行させることを特徴とする請求項１から請求項４の何れか１つに記載の農作物画像処理プログラム。
7. 前記コンピュータに、
   予測する収穫量に対し、農作物の種類又は農作物の生育段階に応じた重み付けを行う処理
   を実行させることを特徴とする請求項５又は請求項６に記載の農作物画像処理プログラム。
8. 前記コンピュータに、
   予測すべき収穫量を、過去に予測した収穫量を用いて補正する処理
   を実行させることを特徴とする請求項５から請求項７の何れか１つに記載のコンピュータプログラム。
9. コンピュータが、
   圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第１生育段階において撮像された第１画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
   前記第１画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第１の直線を検出して前記記憶手段に記憶し、
   前記記憶手段を参照して、前記第１画像と実質的に同一の位置から、前記農作物の第１生育段階より遅い第２生育段階において撮像された第２画像から前記色相の範囲の情報と前記第１の直線とを基に前記第１の直線上の農作物を表す領域の画像を分離し、
   前記第２画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第２の直線を検出し、
   前記第１の直線と前記第２の直線との間の距離に基づいて、前記農作物の高さを算出する
   ことを特徴とする農作物画像処理方法。
10. 圃場にて線状に複数植立する農作物の画像を記憶する記憶部と、
    該記憶部を参照して、前記農作物の第１生育段階において撮像された第１画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離する第１の領域分離処理部と、
    前記第１画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第１の直線を検出して前記記憶部に記憶する第１の直線検出部と、
    前記記憶部を参照して、前記第１画像と実質的に同一の位置から、前記農作物の第１生育段階より遅い第２生育段階において撮像された第２画像から前記色相の範囲の情報と前記第１の直線とを基に前記第１の直線上の農作物を表す領域の画像を分離する第２の領域分離処理部と、
    前記第２画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第２の直線を検出する第２の直線検出部と、
    前記第１の直線と前記第２の直線との間の距離に基づいて、前記農作物の高さを算出する算出部と
    を備えることを特徴とする農作物画像処理装置。