JP2024033962A - 分析装置、分析方法、およびプログラム - Google Patents

Abstract

【課題】正確な生育情報を得ることのできる技術を提供する。【解決手段】分析装置が、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有する。【選択図】図１

Description

本発明は、植物の生育状態に関する情報を取得する技術に関する。

農業に関する様々な技術が提案されており、例えば、特許文献１には、処理前の作物の撮影画像、処理後の農作物の撮影画像、および処理内容を互いに紐づけて、農業従事者の教育に利用する技術が開示されている。

植物を育てるうえで、当該植物の生育状態に関する情報（生育情報）を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。

特開２０２１－２１８２２号公報

しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることがでなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。

本発明は、上記実情に鑑みなされたものであって、正確な生育情報を容易に得ることのできる技術を提供することを目的とする。

上記目的を達成するために、本発明は、以下の方法を採用する。

本発明の第一側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段とを有することを特徴とする分析装置を提供する。

上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。

前記植物は、多層で葉（または蕾、花、実など）が作られる植物であるとしてもよい。そのような植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。１／３の葉序で葉が展開する場合は、１２０度ずつ回るように葉が展開し、３枚の葉が展開すると一回りするため、当該３枚の葉の部分を１つの層と定義してもよい。このとき、１２０度の角度は、展葉角度などと呼ばれる。苺の葉は、通常、３枚の小葉と葉柄からなり、２／５の葉序（展葉角度１４４度）で冠部に着生し、上から見たときに１番目の葉と６番目の葉が重なる。そのため、１番目の葉から５番目の葉までを１層目の葉と定義し、６番目の葉から２層目の葉と定義してもよい。

前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、前記分析手段は、前記第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、前記第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、前記層の数に基づいて、前記葉面積を調整するとしてもよい。第１の画像は、植物を略真上から撮影した画像と捉えてもよい。第２の画像は、植物を斜めから撮影した画像と捉えてもよい。第１の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第１の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第２の画像からは層の数を高精度に判断することができる。第２の画像から高精度に判断された層の数を活用して、第１の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。

前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、前記第１の画像の参照領域から、花、実、または蕾である対象物を検出し、前記第２の画像の参照領域から、前記第１の画像に写っていない前記対象物を検出し、前記第１の画像から検出された前記対象物の数に、前記第２の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断するとしてもよい。第１の画像からは、葉などに（一部または全体が）隠れている対象物を検出できないが、そのような対象物は第２の画像から検出することができる。第１の画像から検出された対象物だけでなく、第２の画像から検出された対象物（第１の画像からは検出できない対象物）を加味することで、対象物の数として、正確性の高い値を得ることができる。

前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第１の画像と、前記畝の所定の側から撮影した第２の画像とを含み、前記設定手段は、前記第２の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定するとしてもよい。このような第２の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側（第２の画像を撮影する際のカメラの位置から見て手前側）の領域の方が、葉が形成する層がよく（明りょう）に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。

前記マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、前記複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉（緑）が多く存在する場合などおいても、マーカーを目立たせることができる。

前記複数のマーカーは、第１の態様のマーカーと、前記第１の態様とは異なる第２の態様のマーカーとを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。

前記マーカーは、前記植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。

前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。

撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。

植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側（脇）にできる。そのため、前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、前記分析手段は、前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。

前記生育状態に関する情報は、栄養成長に関する情報を含むとしてもよい。前記生育状態に関する情報は、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。

前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像、前記角度が９０度よりも小さい方向から撮影した第３の画像、および前記角度が９０度よりも大きい方向から撮影した第４の画像を含むとしてもよい。前記第３の画像は、前記角度が略４５度の方向から撮影した画像であり、前記第４の画像は、前記角度が略１３５度の方向から撮影した画像であるとしてもよい。前記第４の画像は、前記植物が植えられた畝の第１の側から撮影した画像であり、前記第４の画像は、前記畝の、前記第１の側とは反対の第２の側から撮影した画像であるとしてもよい。第１の画像からは、上側の葉や蕾、花、実（隠れていない葉や蕾、花、実）を高精度に検出することができる。また、第１の画像からは、葉などのサイズを高精度に算出することができる。第３の画像と第４の画像とからは、下側の葉や蕾、花、実（第１の画像で葉などに隠れている別の葉や蕾、花、実）を高精度に検出することができる。また、第３の画像と第４の画像とからは、葉などが形成している層の数を高精度に判断することができる。第３の画像と第４の画像のそれぞれは、上述した第２の画像の一例である。

前記設定手段は、前記第１の画像に対して、前記複数のマーカーに囲まれた第１の参照領域、前記複数のマーカーから前記第１の側の第２の参照領域、および前記複数のマーカーから前記第２の側の第３の参照領域を設定し、前記第３の画像に対して、前記第１の参
照領域および前記第２の参照領域を設定し、前記第４の画像に対して、前記第１の参照領域および前記第３の参照領域を設定するとしてもよい。第３の画像において、第３の参照領域（対象の植物の奥側）は、対象の植物の部位が大きく写らなかったり、他の植物が写ったりする。つまり、第３の画像において、第３の参照領域内の情報は信頼度が低い。同様に、第４の画像において、第２の参照領域内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。

本発明の第二側面は、植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップとを有することを特徴とする分析方法を提供する。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する分析装置または分析システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む分析方法または分析システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、正確な生育情報を得ることができる。

図１は、本発明が適用された分析装置の構成例を示すブロック図である。 図２は、葉が形成する層の一例を示す模式図である。 図３は、本発明の実施形態に係る分析システムの構成例を示すブロック図である。 図４は、本発明の実施形態に係る撮影の様子とマーカーの一例を示す模式図である。 図５は、本発明の実施形態に係る撮影画像の一例を示す模式図である。 図６は、本発明の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

＜適用例＞
本発明の適用例について説明する。

植物を育てるうえで、当該植物の生育状態に関する情報（生育情報）を得ることは非常に重要である。例えば、生育情報を得ることで、植物の生育が遅れているか否かや、進み過ぎているか否かなどを容易に判断して、追肥や摘葉などの作業を好適に行うことができるようになる。しかしながら、従来は、物差しで葉の長さを測定するなど、手作業や目視で生育情報を得ていたため、生育情報を容易に得ることができなかった。また、生育情報の正確性が不十分であり、次に行うべき適切な作業が判断できないことがあった。

図１は、本発明が適用された分析装置１００の構成例を示すブロック図である。分析装置１００は、取得部１０１、設定部１０２、および分析部１０３を有する。取得部１０１は、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する。設定部１０２は、取得部１０１によって取得
された複数の画像それぞれに対し、複数のマーカーに基づく参照領域を設定する。分析部１０３は、取得部１０１によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報（生育情報）を取得する。取得部１０１は取得手段の一例であり、設定部１０２は設定手段の一例であり、分析部１０３は分析手段の一例である。

上述した構成によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。

ここで、植物は、多層で葉（または蕾、花、実など）が作られる植物であるとしてもよく、例えば広葉多段葉序型植物であってもよい。広葉多段葉序型植物は、幅の広い葉（広葉）が作られる植物であり、茎が地面から上に伸び、茎に複数の節が作られ、各節で葉（または蕾、花、実など）が作られる植物である。「広葉」は、幅の広い葉を意味し、「多段葉序」は、上に伸びる茎の各節で作られる葉などの並びを意味する。多層で葉などが作られる植物の場合は、撮影画像において、葉や蕾、花、実などが、別の葉などに隠れやすい。上述した図１の構成によれば、そのような植物の場合にも、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。層は、例えば、葉が展開して一回りする部分である。１／３の葉序で葉が展開する場合は、１２０度ずつ回るように葉が展開し、３枚の葉が展開すると一回りするため、当該３枚の葉の部分を１つの層と定義してもよい。このとき、１２０度の角度は、展葉角度などと呼ばれる。図２に示すように、苺の葉は、通常、３枚の小葉と葉柄からなり、２／５の葉序（展葉角度１４４度）で冠部に着生し、上から見たときに１番目の葉と６番目の葉が重なる。そのため、１番目の葉から５番目の葉までを１層目の葉と定義し、６番目の葉から２層目の葉と定義してもよい。

取得部１０１が取得する複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、第１の画像とは異なる角度で撮影した第２の画像とを含むとしてもよい。そして、分析部１０３は、第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、層の数に基づいて、葉面積を調整するとしてもよい。第１の画像は、植物を略真上から撮影した画像と捉えてもよい。第２の画像は、植物を斜めから撮影した画像と捉えてもよい。第１の画像からは、葉などに隠れている別の葉の面積を得ることができないため、正確性の高い葉面積が得られないことがある。また、第１の画像からは、葉が形成する層の数を高精度に判断することはできない。一方で、第２の画像からは層の数を高精度に判断することができる。第２の画像から高精度に判断された層の数を活用して、第１の画像から判断された葉面積を調整することで、正確性の高い葉面積を得ることができる。

分析部１０３は、第１の画像の参照領域から、花、実、または蕾である対象物を検出し、第２の画像の参照領域から、第１の画像に写っていない対象物を検出してもよい。そして、分析部１０３は、第１の画像から検出された対象物の数に、第２の画像から検出され
た対象物の数を加算して、参照領域内の対象物の数を判断するとしてもよい。第１の画像からは、葉などに（一部または全体が）隠れている対象物を検出できないが、そのような対象物は第２の画像から検出することができる。第１の画像から検出された対象物だけでなく、第２の画像から検出された対象物（第１の画像からは検出できない対象物）を加味することで、対象物の数として、正確性の高い値を得ることができる。

第１の画像は、複数のマーカーで指定された畝の略真上から撮影した画像と捉えてもよい。第２の画像は、畝の所定の側から撮影した画像と捉えてもよい。設定部１０２は、第２の画像の参照領域として、複数のマーカーから所定の側の参照領域を設定するとしてもよい。このような第２の画像では、複数のマーカーで囲まれた領域よりも、複数のマーカーから所定の側（第２の画像を撮影する際のカメラの位置から見て手前側）の領域の方が、葉が形成する層がよく（明りょう）に写る。そのため、複数のマーカーから所定の側の参照領域を設定することにより、当該参照領域内を分析して、層の数を高精度に判断することができるようになる。

＜実施形態＞
本発明の実施形態について説明する。

図３は、本実施形態に係る分析システムの構成例を示すブロック図である。分析システムは、カメラ３０（撮像装置）とＰＣ３００（パーソナルコンピュータ；分析装置）を有する。カメラ３０とＰＣ３００は有線または無線で互いに接続される。カメラ３０は、植物を撮影するために使用される。ＰＣ３００は、カメラ３０の撮影画像を分析し、分析結果を出力する。分析結果は、例えば表示部に表示されたり、記憶部に格納されたりする。

なお、カメラ３０は固定されていなくてもよく、持ち運び可能なカメラであってもよい。本実施形態ではＰＣ３００がカメラ３０とは別体の装置であるものとするが、ＰＣ３００はカメラ３０に内蔵されてもよい。上述した表示部や記憶部は、ＰＣ３００の一部であってもよいし、そうでなくてもよい。また、ＰＣ３００の設置場所は特に限定されない。例えば、ＰＣ３００はカメラ３０と同じ部屋に設置されてもよいし、そうでなくてもよい。ＰＣ３００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。ＰＣ３００は、スマートフォンやタブレットなどであってもよい。

ＰＣ３００は、入力部３１０、制御部３２０、記憶部３３０、および出力部３４０を有する。入力部３１０は、カメラ３０の撮影画像を取得し、制御部３２０へ出力する。制御部３２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。本実施形態では、制御部３２０は、カメラ３０の撮影画像を分析し、分析結果を出力部３４０へ出力する。記憶部３３０は、制御部３２０で実行されるプログラムや、制御部３２０で使用される各種データなどを記憶する。例えば、記憶部３３０は、ハードディスクドライブやソリッドステートドライブなどの補助記憶装置である。出力部３４０は、撮影画像の分析結果を制御部３２０から取得し、表示部や記憶部などへ出力する。

制御部３２０について、より詳細に説明する。制御部３２０は、取得部３２１、設定部３２２、および分析部３２３を有する。

取得部３２１は、カメラ３０の撮影画像を入力部３１０から取得し、設定部３２２へ出力する。本実施形態では、植物と当該植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像が取得される。取得部３２１は取得手段の一例である。

マーカーは、複数の色を有するとしてもよい。こうすることで、マーカーを目立たせることができる。マーカーが目立つことで、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。例えば、複数の色は、黒と赤を含むとしてもよい。こうすることで、地面の土が明るかったり、地面の上に白色などの明るいビニールが敷かれていたりし、マーカーの周辺に植物の葉（緑）が多く存在する場合などおいても、マーカーを目立たせることができる。

複数のマーカーは、第１の態様のマーカー、および第１の態様とは異なる第２の態様のマーカーを含むとしてもよい。こうすることで、撮影画像における複数のマーカーの並びから、当該撮影画像の撮影方向を判断することができる。

マーカーは、植物が到達しない高さに設置されるとしてもよい。こうすることで、撮影画像においてマーカーが植物に隠れることがなくなるため、撮影画像からマーカーを精度良く検出することができ、ひいては参照領域を精度良く設定することができる。

マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数の円環の組み合わせであるとしてもよい。こうすることで、マーカーの向きを考慮しないシンプルなアルゴリズムで、撮影画像からマーカーを検出することができる。

マーカーの数は特に限定されないが、本実施形態では、図４に示すように２行２列の４つのマーカー４１～４４が予め設置されているとする。マーカー４１，４２は、黒い円を赤い円環と黒い円環で囲んだ態様を有し、マーカー４３，４４は、赤い円を黒い円環で囲んだ態様を有する。

撮影画像の数や、撮影方向などは特に限定されないが、本実施形態では、取得部３２１は、以下の３つの撮影画像を取得するとする。なお、第３の画像と第４の画像の両方を取得してもよいが、第３の画像と第４の画像の一方のみを取得してもよい。つまり、第１の画像と第３の画像との２枚の画像を取得してもよいし、第１の画像と第４の画像との２枚の画像を取得してもよい。第３の画像と第４の画像のそれぞれは、上述した第２の画像の一例である。
・地面に対する角度（撮影角度）が略９０度の方向から撮影した第１の画像
・撮影角度が９０度よりも小さい方向から撮影した第３の画像
・撮影角度が９０度よりも大きい方向から撮影した第４の画像

本実施形態では、第３の画像は、撮影角度が略４５度の方向から撮影した画像であり、第４の画像は、撮影角度が略１３５度の方向から撮影した画像であるとする。換言すれば、第３の画像は、植物が植えられた畝の第１の側（手前側）から撮影した画像であり、第４の画像は、畝の、第１の側とは反対の第２の側（奥側）から撮影した画像である。図４には、撮影の様子も示されている。図５に、第１の画像の一例である撮影画像５１、第３の画像の一例である撮影画像５２、および第４の画像の一例である撮影画像５３を示す。

第１の画像からは、上側の葉や蕾、花、実（隠れていない葉や蕾、花、実）を高精度に検出することができる。また、第１の画像からは、葉などのサイズを高精度に算出することができる。第３の画像と第４の画像とからは、下側の葉や蕾、花、実（第１の画像で葉などに隠れている別の葉や蕾、花、実）を高精度に検出することができる。また、第３の画像と第４の画像とからは、葉などが形成している層の数を高精度に判断することができる。

設定部３２２は、取得部３２１によって取得された複数の撮影画像それぞれに対し、複
数のマーカーに基づく参照領域を設定し、複数の撮影画像と、各撮影画像に設定した参照領域の情報とを、分析部３２３へ出力する。例えば、設定部３２２は、撮影画像から複数のマーカーを検出し、複数のマーカーで囲まれた領域を参照領域として設定する。設定部３２２は設定手段の一例である。

分析部３２３は、取得部３２１によって取得された複数の撮影画像それぞれの参照領域内を分析することで、植物の生育状態に関する情報（生育情報）を取得する。そして、分析部３２３は、生育情報を出力部３４０へ出力する。生育情報は、栄養成長に関する情報を含むとしてもよいし、生殖成長に関する情報を含むとしてもよい。栄養成長は、茎や葉などを作る成長であり、生殖成長は蕾や花、実などを作る成長である。分析部３２３は、参照領域から、葉、蕾、花、および実の少なくともいずれかを検出するとしてもよい。生育情報は、葉の数や、蕾の数、花の数、実の数、葉の状態（サイズなど）、蕾の状態、花の状態、実の状態、それらの時間変化（時間変化率）などであってもよいし、植物の生育が遅れているか否かや、進み過ぎているか否かなどを示す指標（レベル）であってもよいし、他の情報であってもよい。制御部３２０（例えば分析部３２３）は、生育情報から、次に行うべき作業などを判断してもよい。

撮影画像における複数のマーカーの間隔と、複数のマーカーの実際の間隔との比は、撮影画像における植物の各部（葉や蕾、花、実など）のサイズと、植物の各部の実際のサイズとの比に対応する。そのため、分析部３２３は、撮影画像における複数のマーカーの間隔に基づいて、撮影画像における植物の各部のサイズから、植物の各部の実際のサイズを判断するとしてもよい。こうすることで、植物の各部の実際のサイズの情報として、正確性の高い情報を得ることができる。

植物の部位の特徴がよく現れる範囲は、部位に依存する。例えば、苺の場合には、花は畝全体に咲き、実は畝の下側（脇）にできる。そのため、設定部３２２は、複数の撮影画像それぞれに対し、複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定してもよい。そして、分析部３２３は、上記の位置関係ごとに、複数の撮影画像それぞれの参照領域内を分析し、位置関係ごとの分析結果を総合して、生育情報を取得するとしてもよい。こうすることで、植物の部位の特徴の現れ方を想定して、正確性の高い生育情報を得ることができる。例えば、実の分布が適切か否かに関する情報として、正確性の高い情報を得ることができる。

設定部３２２は、図５に示すように参照領域を設定してもよい。図５では、撮影画像５１（撮影角度が略９０度である第１の画像）に対して、第１の参照領域５４、第２の参照領域５５、および第３の参照領域５６が設定されている。撮影画像５２（撮影角度が９０度よりも小さい（略４５度である）第３の画像）に対しては、第３の参照領域５６は設定されておらず、第１の参照領域５４および第２の参照領域５５が設定されている。そして、撮影画像５３（撮影角度が９０度よりも大きい（略１３５度である）第４の画像）に対しては、第２の参照領域５５は設定されておらず、第１の参照領域５４および第３の参照領域５６が設定されている。

第１の参照領域５４は、複数のマーカーに囲まれた領域、具体的には４つのマーカー４１～４４を頂点とする四角形の領域である。第２の参照領域５５は、複数のマーカーから第１の側（畝の手前側）の領域、具体的にはマーカー４１とマーカー４４を通る直線、マーカー４２とマーカー４３を通る直線、マーカー４１とマーカー４２を通る直線、および撮影画像の下辺に囲まれた領域である。第３の参照領域５６は、複数のマーカーから第２の側（畝の奥側）の領域、具体的にはマーカー４１とマーカー４４を通る直線、マーカー４２とマーカー４３を通る直線、マーカー４３とマーカー４４を通る直線、および撮影画像の上端に囲まれた領域である。

撮影画像５２（第３の画像）において、第３の参照領域５６（対象の植物の奥側）は、対象の植物の部位が大きく写らなかったり、他の植物（隣の畝に植えられた植物など）が写ったりする。つまり、撮影画像５２において、第３の参照領域５６内の情報は信頼度が低い。同様に、撮影画像５３（第４の画像）において、第２の参照領域５５内の情報は信頼度が低い。得られる情報の信頼度が低い参照領域を設定しないようにすることで、正確性の高い生育情報を得ることができる。

図６は、ＰＣ３００の処理フロー例を示すフローチャートである。

まず、取得部３２１は、カメラ３０の撮影画像を入力部３１０から取得する（ステップＳ６０１）。例えば、図５の撮影画像５１～５３が取得される。

次に、設定部３２２は、ステップＳ６０１で取得された撮影画像から、複数のマーカーを検出する（ステップＳ６０２）。例えば、図５の撮影画像５１～５３それぞれから、マーカー４１～４４が検出される。

次に、設定部３２２は、ステップＳ６０２で検出したマーカーに基づいて、撮影画像に対して参照領域を設定する（ステップＳ６０３）。例えば、図５の撮影画像５１に対して第１の参照領域５４、第２の参照領域５５、および第３の参照領域５６が設定される。そして、撮影画像５２に対して第１の参照領域５４と第２の参照領域５５が設定され、撮影画像５３に対して第１の参照領域５４と第３の参照領域５６が設定される。

次に、分析部３２３は、ステップＳ６０３で設定された参照領域内を分析することで、生育情報を取得する（ステップＳ６０４）。

ステップＳ６０４の処理について、図５を参照して具体的に説明する。なお、以下の処理はあくまで一例であり、得たい情報などに依って適宜変更され得る。

まず、葉面積（葉の面積の合計値）の判断方法について説明する。

例えば、分析部３２３は、撮影画像５１の第１の参照領域５４内を解析して、第１の参照領域５４の葉面積を算出（判断）する。例えば、緑の領域を画像処理で特定し、特定した領域の総面積（総画素数など）を葉面積として算出してもよい。画像処理では、例えば、ＲＧＢ信号のうちのＧ信号の強度が所定値以上の領域が、緑の領域として特定される。葉面積の算出方法はこれに限られず、提案されている様々な方法で葉面積を算出してよい。

しかし、撮影画像５１の第１の参照領域５４内を解析して判断される葉面積は、撮影画像５１の第１の参照領域５４に写っている葉の面積であり、当該葉面積では、撮影画像５１で葉などに隠れている別の葉の面積は考慮されていない。分析部３２３は、隠れている葉の面積を考慮するために、撮影画像５２，５３の少なくとも一方を用いる。ここでは、撮影画像５２，５３の両方を用いるとする。

分析部３２３は、撮影画像５２の第１の参照領域５４内を解析して、葉が形成している層の数を判断する。例えば、葉が層を形成している様子を表す所定のテンプレートを用いたマッチングにより層を検出して、層の数を判断してもよい。上述したように、１層あたりの葉の枚数は展葉角度によって決まり、展葉角度は植物の品目ごとに予め決まっている。そのため、マッチングでは、展葉角度ごと（品目ごと）に異なるテンプレートが使用される。同様に、分析部３２３は、撮影画像５３の第１の参照領域５４内を解析して、葉が
形成している層の数を判断する。そして、分析部３２３は、判断した層数（２つの層数の少なくともいずれか）に基づいて、撮影画像５１の第１の参照領域５４内を解析して判断した葉面積を調整することにより、第１の参照領域５４の最終的な葉面積を取得する。例えば、分析部３２３は、判断した２つの層数の平均値（平均層数）を、撮影画像５１の第１の参照領域５４内を解析して判断した葉面積（真上葉面積）に乗算し、第１の参照領域５４の最終的な葉面積を算出してもよい。分析部３２３は、真上葉面積に、平均層数と、植物種に応じた計数（１未満）とを乗算することにより、第１の参照領域５４の最終的な葉面積を算出してもよい。

次に、分析部３２３は、撮影画像５１の第２の参照領域５５内を解析して、第２の参照領域５５の葉面積を算出（判断）する。また、分析部３２３は、撮影画像５２の第２の参照領域５５内を解析して、葉が形成している層の数を判断する。そして、分析部３２３は、判断した層数を、撮影画像５１の第２の参照領域５５内を解析して判断した葉面積に乗算し、第２の参照領域５５の最終的な葉面積を算出する。

同様に、分析部３２３は、撮影画像５１の第３の参照領域５６内を解析して、第３の参照領域５６の葉面積を算出（判断）する。また、分析部３２３は、撮影画像５３の第３の参照領域５６内を解析して、葉が形成している層の数を判断する。そして、分析部３２３は、判断した層数を、撮影画像５１の第３の参照領域５６内を解析して判断した葉面積に乗算し、第３の参照領域５６の最終的な葉面積を算出する。

なお、撮影画像５２の第２の参照領域５５には、植物の横側の端部が写るため、撮影画像５２や撮影画像５３の第１の参照領域５４よりも、葉が形成する層がよく（明りょうに）写る。したがって、撮影画像５２の第２の参照領域５５内を解析して判断した層数（第２の層数）の信頼度は、撮影画像５２や撮影画像５３の第１の参照領域５４内を解析して判断した層数（第１の層数）の信頼度よりも高い。そこで、第２の層数が第１の層数と異なる場合には、それらに基づいて第１の参照領域５４を調整してもよい。例えば、第１の参照領域５４の葉面積（上述した最終的な葉面積）に、第１の層数に対する第２の層数の割合（第２の層数／第１の層数）を乗算してもよい。

同様に、撮影画像５３の第３の参照領域５６には、植物の横側の端部が写るため、撮影画像５２や撮影画像５３の第１の参照領域５４よりも、葉が形成する層がよく（明りょうに）写る。したがって、撮影画像５３の第３の参照領域５６内を解析して判断した層数（第３の層数）の信頼度は、撮影画像５２や撮影画像５３の第１の参照領域５４内を解析して判断した層数（第１の層数）の信頼度よりも高い。そこで、第３の層数が第１の層数と異なる場合には、それらに基づいて第１の参照領域５４を調整してもよい。例えば、第１の参照領域５４の葉面積（上述した最終的な葉面積）に、第１の層数に対する第３の層数の割合（第３の層数／第１の層数）を乗算してもよい。

また、分析部３２３は、第１の参照領域５４の葉面積、第２の参照領域５５の葉面積、および第３の参照領域５６の葉面積の合計値を算出してもよい。

次に、蕾の数の判断方法について説明する。花や実などの数も、同様の方法で判断できる。

例えば、分析部３２３は、撮影画像５１の第１の参照領域５４、撮影画像５２の第１の参照領域５４、および撮影画像５３の第１の参照領域５４から、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１～５３の全てから検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した
蕾の数が、第１の参照領域５４の蕾の数である。

同様に、分析部３２３は、撮影画像５１の第２の参照領域５５と、撮影画像５２の第２の参照領域５５とから、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１と撮影画像５２の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第２の参照領域５５の蕾の数である。

同様に、分析部３２３は、撮影画像５１の第３の参照領域５６と、撮影画像５３の第３の参照領域５６とから、蕾の候補を検出する。そして、分析部３２３は、マッチングを行い、撮影画像５１と撮影画像５３の両方から検出された蕾の候補を、蕾として判断する。さらに、分析部３２３は、マッチングで蕾と判断されなかった候補のうち、信頼度（蕾らしさ）が閾値以上の候補を、蕾として判断する。判断した蕾の数が、第３の参照領域５６の蕾の数である。

なお、分析部３２３は、第１の参照領域５４の蕾の数、第２の参照領域５５の蕾の数、および第３の参照領域５６の蕾の数の合計値を算出してもよい。

図６の説明に戻る。ステップＳ６０４の次に、出力部３４０は、ステップＳ６０４の分析の結果（例えば生育情報）を、表示部や記憶部などへ出力する（ステップＳ６０５）。

以上述べたように、本実施形態によれば、手作業や目視などを行わずに、植物の生育状態に関する情報（生育情報）として、正確な情報を容易に得ることができる。例えば、複数の撮影画像を入力するという簡易な作業で、生育情報を容易に得ることできる。また、予め設置された複数のマーカーに基づいて参照領域を設定し、参照領域内を分析することで、生育情報が得られる。こうすることで、撮影範囲が変わっても、植物が植えられた畝などの同じ部分に着目して、正確性の高い生育情報を得ることができる。さらに、複数の方向からそれぞれ撮影した複数の画像を用いることで、或る撮影画像で葉などに隠れている別の葉や蕾、花、実などを、別の撮影画像から見つけ出して、正確性の高い生育情報を得ることができる。例えば、植物を略真上から撮影した画像には葉などで隠れて見えない部分があるが、その部分を、植物を斜めから撮影した画像で確認して、正確性の高い生育情報を得ることができる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

＜付記１＞
植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段（１０１，３２１）と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段（１０２，３２２）と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段（１０３，３２３）と
を有することを特徴とする分析装置（１００，３００）。

植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップ（Ｓ６０１）と、
前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップ（Ｓ６０３）と、
前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップ（Ｓ６０４）と
を有することを特徴とする分析方法。

１００：分析装置 １０１：取得部 １０２：設定部 １０３：分析部
３００：ＰＣ（分析装置）
３１０：入力部 ３２０：制御部 ３３０：記憶部 ３４０：出力部
３２１：取得部 ３２２：設定部 ３２３：分析部
３０：カメラ ４１～４４：マーカー ５１～５３：撮影画像
５４：第１の参照領域 ５５：第２の参照領域 ５６：第３の参照領域

Claims (21)

1. 植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得する取得手段と、
   前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定する設定手段と、
   前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得する分析手段と
   を有することを特徴とする分析装置。
2. 前記植物は、多層で葉が作られる植物である
   ことを特徴とする請求項１に記載の分析装置。
3. 前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
   前記分析手段は、
   前記第１の画像の参照領域内を分析することで、葉の面積の合計値である葉面積を判断し、
   前記第２の画像の参照領域内を分析することで、葉が形成する層の数を判断し、
   前記層の数に基づいて、前記葉面積を調整する
   ことを特徴とする請求項１または２に記載の分析装置。
4. 前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像と、前記第１の画像とは異なる角度で撮影した第２の画像とを含み、
   前記第１の画像の参照領域から、花、実、または蕾である対象物を検出し、
   前記第２の画像の参照領域から、前記第１の画像に写っていない前記対象物を検出し、
   前記第１の画像から検出された前記対象物の数に、前記第２の画像から検出された前記対象物の数を加算して、前記参照領域内の対象物の数を判断する
   ことを特徴とする請求項１または２に記載の分析装置。
5. 前記複数の画像は、前記複数のマーカーで指定された畝の略真上から撮影した第１の画像と、前記畝の所定の側から撮影した第２の画像とを含み、
   前記設定手段は、前記第２の画像の参照領域として、前記複数のマーカーから前記所定の側の参照領域を設定する
   ことを特徴とする請求項１または２に記載の分析装置。
6. 前記マーカーは、複数の色を有する
   ことを特徴とする請求項１または２に記載の分析装置。
7. 前記複数の色は、黒と赤を含む
   ことを特徴とする請求項６に記載の分析装置。
8. 前記複数のマーカーは、第１の態様のマーカーと、前記第１の態様とは異なる第２の態様のマーカーとを含む
   ことを特徴とする請求項１または２に記載の分析装置。
9. 前記マーカーは、前記植物が到達しない高さに設置される
   ことを特徴とする請求項１または２に記載の分析装置。
10. 前記マーカーは、円、円環、中心が同じ円と円環の組み合わせ、または中心が同じ複数
    の円環の組み合わせである
    ことを特徴とする請求項１または２に記載の分析装置。
11. 前記分析手段は、前記画像における前記複数のマーカーの間隔に基づいて、前記画像における前記植物の各部のサイズから、前記植物の各部の実際のサイズを判断する
    ことを特徴とする請求項１または２に記載の分析装置。
12. 前記設定手段は、前記複数の画像それぞれに対し、前記複数のマーカーとの位置関係が互いに異なる複数の参照領域を設定し、
    前記分析手段は、
    前記位置関係ごとに、前記複数の画像それぞれの参照領域内を分析し、
    前記位置関係ごとの分析結果を総合して、前記生育状態に関する情報を取得する
    ことを特徴とする請求項１または２に記載の分析装置。
13. 前記生育状態に関する情報は、栄養成長に関する情報を含む
    ことを特徴とする請求項１または２に記載の分析装置。
14. 前記生育状態に関する情報は、生殖成長に関する情報を含む
    ことを特徴とする請求項１または２に記載の分析装置。
15. 前記分析手段は、前記参照領域から、葉、蕾、花、および実の少なくともいずれかを検出する
    ことを特徴とする請求項１または２に記載の分析装置。
16. 前記複数の画像は、地面に対する角度が略９０度の方向から撮影した第１の画像、前記角度が９０度よりも小さい方向から撮影した第３の画像、および前記角度が９０度よりも大きい方向から撮影した第４の画像とを含む
    ことを特徴とする請求項１または２に記載の分析装置。
17. 前記第３の画像は、前記角度が略４５度の方向から撮影した画像であり、
    前記第４の画像は、前記角度が略１３５度の方向から撮影した画像である
    ことを特徴とする請求項１６に記載の分析装置。
18. 前記第３の画像は、前記植物が植えられた畝の第１の側から撮影した画像であり、
    前記第４の画像は、前記畝の、前記第１の側とは反対の第２の側から撮影した画像である
    ことを特徴とする請求項１６に記載の分析装置。
19. 前記設定手段は、
    前記第１の画像に対して、前記複数のマーカーに囲まれた第１の参照領域、前記複数のマーカーから前記第１の側の第２の参照領域、および前記複数のマーカーから前記第２の側の第３の参照領域を設定し、
    前記第３の画像に対して、前記第１の参照領域および前記第２の参照領域を設定し、
    前記第４の画像に対して、前記第１の参照領域および前記第３の参照領域を設定することを特徴とする請求項１８に記載の分析装置。
20. 植物と前記植物の周囲に予め設置された複数のマーカーとを含む範囲を複数の方向からそれぞれ撮影した複数の画像を取得するステップと、
    前記複数の画像それぞれに対し、前記複数のマーカーに基づく参照領域を設定するステップと、
    前記複数の画像それぞれの参照領域内を分析することで、前記植物の生育状態に関する情報を取得するステップと
    を有することを特徴とする分析方法。
21. 請求項２０に記載の分析方法の各ステップをコンピュータに実行させるためのプログラム。

Images