JP6981408B2 - 植物生育指標測定装置、該方法および該プログラム - Google Patents

植物生育指標測定装置、該方法および該プログラム Download PDF

Info

Publication number
JP6981408B2
JP6981408B2 JP2018523632A JP2018523632A JP6981408B2 JP 6981408 B2 JP6981408 B2 JP 6981408B2 JP 2018523632 A JP2018523632 A JP 2018523632A JP 2018523632 A JP2018523632 A JP 2018523632A JP 6981408 B2 JP6981408 B2 JP 6981408B2
Authority
JP
Japan
Prior art keywords
image
unit
growth index
storage unit
plant growth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523632A
Other languages
English (en)
Other versions
JPWO2017221641A1 (ja
Inventor
哲也 片桐
禎人 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2017221641A1 publication Critical patent/JPWO2017221641A1/ja
Application granted granted Critical
Publication of JP6981408B2 publication Critical patent/JP6981408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Botany (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、植物における生育の度合いを表す生育指標を求める植物生育指標測定装置、植物生育指標測定方法および植物生育指標測定プログラムに関する。
農業では、高品質および安定多収穫な農作物の植物を育てるために、例えば追肥時期や追肥量等の施肥管理を適切に実施する必要がある。そのために、現状の植物の状態が判定される。この判定には、例えばNDVI(Normalized Difference Vegetation Index、正規化植生指標)、DVI(Difference Vegetation Index、差植生指標)およびRVI(Ratio Vegetation Index、比植生指標)等の、植物における生育の度合いを表す生育指標が用いられる。このような生育指標は、圃場を、互いに異なる波長帯域で撮像した複数の画像に基づいて求められる。ここで、圃場は、通常、前記画像を生成するカメラの画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しい。このため、例えば、特許文献1では、互いに隣り合う圃場をオーバーラップして複数の画像を取得し、同一位置の圃場で色を補正し、この補正した複数の画像を1枚に合成し、これによって圃場全体の1枚の画像を得て、圃場の画像のRGB値から窒素相対分布を求める作物の生育診断方法が提案されている(例えば特許文献1の図11)。
ところで、作物の生育状況を適切に把握するためには、適度な画像解像度の画像で、生育指標を求める必要がある。例えば、640ドット×480ドットであるVGAクラスの画像解像度を持つ撮像装置で高さ20mから圃場を撮像することが好ましい。この場合、1回の撮像による1枚の画像には、16.6m×12.4mの範囲で圃場が写り込み、複数の画像を1枚の画像に合成する際に、互いに隣接する画像間で、圃場の同じ領域を写し込んだ重複部分が存在していることが好ましいため、例えば、30m×100mの圃場全体の生育指標を求めるために、約40枚の画像が必要となり、したがって、その画像の記録(保存、記憶)に比較的大容量の記憶装置が必要となる。
一方、圃場の個々の領域それぞれを写した複数の画像を得るために、前記撮像装置を搭載した、例えばヘリコプター等の航空機を圃場上空で例えば九十九折りで往復移動させる必要がある。前記撮像装置が所定の時間間隔で自動的に撮像および記録する場合、折り返し場所の画像は、圃場の画像ではないため、生育指標の演算には、不必要な画像となり、したがって、無駄な記録が生じてしまう。また、前記航空機を無線で遠隔操縦する場合、その未熟な操縦技術によっても、無駄な記録が生じてしまう虞がある。
そして、このような生育指標の演算には不必要な画像が複数の画像に含まれると、これら複数の画像を合成する際に、無駄な合成の処理が生じ、あるいは、不必要な画像を除去する処理が必要となり、したがって、合成の処理の効率が低下してしまう。
特開2003−339238号公報
本発明は、上述の事情に鑑みて為された発明であり、その目的は、記憶装置の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる植物生育指標測定装置および植物生育指標測定方法、植物生育指標測定プログラムを提供することである。
本発明は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像を生成する植物生育指標測定装置、該方法および該プログラムである。本発明は、所定の時間間隔で画像を生成し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記生成された画像を画像記憶部に記憶するか否かを判定し、その結果、前記画像記憶部に記憶すると判定された場合のみ、前記生成された画像を画像記憶部に記憶する。
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
第1ないし第3実施形態にかかる植物生育指標測定装置の構成を示す図である。 圃場に生育する作物の条または条間に応じた周波数に基づく画像記憶の判定処理を説明するための図である。 圃場の生育指標に基づく画像記憶の判定処理を説明するための図である。 太陽の写り込みの検出に基づく画像記憶の判定処理を説明するための図である。 第1実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第1実施形態における植物生育指標測定装置において、その飛行軌跡と画像記憶位置との関係を説明するための図である。 図6Aに示す飛行軌跡において、植物生育指標測定装置によって撮像され生成された画像を説明するための図である。 第2実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第3実施形態における植物生育指標測定装置の動作を示すフローチャートである。 第4実施形態における植物生育指標測定システムの構成を示す図である。 前記植物生育指標測定システムに用いられる画像生成装置の動作を示すフローチャートである。 前記植物生育指標測定システムに用いられる植物生育指標測定装置の動作を示すフローチャートである。 図12に示すフローチャートにおける対応点探索の処理を説明するための図である。 図12に示すフローチャートにおける画像変換の処理を説明するための図である。 NDVI合成画像の一例を示す図である。 低コントラストによる合成精度の低下を説明するための図である。 露出のばらつきによる合成精度の低下を説明するための図である。 第1変形形態におけるパノラマ合成処理を説明するための図である。 第2変形形態におけるパノラマ合成処理を説明するための図である。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、所定の時間間隔で画像を生成する画像生成部と、前記画像を記憶する画像記憶部と、前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備えるものである。以下、このような植物生育指標測定装置について、第1ないし第3実施形態で、より具体的に説明する。
(第1実施形態)
図1は、第1ないし第3実施形態にかかる植物生育指標測定装置の構成を示す図である。なお、図1は、第1ないし第3実施形態における各植物生育指標測定装置Ma、Mb、Mcの各構成を示し、図1において、添え字aは、その構成が第1実施形態における植物生育指標測定装置Maに関する構成であることを示し、添え字bは、その構成が第2実施形態における植物生育指標測定装置Mbに関する構成であることを示し、そして、添え字cは、その構成が第3実施形態における植物生育指標測定装置Mcに関する構成であることを示す。図2は、圃場に生育する作物の条または条間に応じた周波数に基づく画像記憶の判定処理を説明するための図である。図2Aは、一例として、植物生育指標測定装置Maが比較的低い高度で圃場を撮像した画像を示し、図2Bは、一例として、植物生育指標測定装置Maが比較的高い高度で圃場を撮像した画像を示す。図3は、圃場の生育指標に基づく画像記憶の判定処理を説明するための図である。図3Aは、一例として、圃場の可視画像を示し、図3Bは、そのNDVI画像を示す。図3Cは、一例として、畦等の圃場外の可視画像を示し、図3Dは、そのNDVI画像を示す。図4は、太陽の写り込みの検出に基づく画像記憶の判定処理を説明するための図である。
第1実施形態における植物生育指標測定装置Maは、例えば、図1に示すように、航空機1と、自機状態測定部2aと、制御処理部3aと、記憶部4aと、画像生成部5と、インターフェース部(IF部)6とを備える。
航空機1は、大気中を飛行する装置であり、例えば、気球、飛行船、飛行機、ヘリコプタおよびマルチコプタ等である。航空機1は、有人機であって良いが、好ましくは、無線操縦飛行(誘導飛行)または自律飛行による無人機(ドローン)である。航空機1は、本実施形態では、制御処理部3aに接続され、誘導飛行または自律飛行による制御処理部3aの制御に従って飛行する。
自機状態測定部2aは、制御処理部3aに接続され、制御処理部3aの制御に従って自機の飛行状態を測定する装置である。第1実施形態では、自機状態測定部2aは、自機の位置(緯度X、経度Y)および高度Zを測定する。このために、自機状態測定部2aは、地球上における現在の自機の位置(緯度X、経度Y)および高度Zを測定する位置高度測定部21を備える。位置高度測定部21は、例えば、衛星測位システムのGPS(Global Positioning System)を備えて構成される。なお、GPSは、DGSP(Differential GSP)等の誤差を補正する補正機能を持ったGPSであっても良い。位置高度測定部21は、その測定結果(自機の測定位置および測定高度(緯度X、経度Y、高度Z)を制御処理部3aへ出力する。前記自機の測定位置および測定高度は、後述のように生成される複数の画像、に基づいて求められる複数の生育指標画像、を合成して1枚の生育指標合成画像を生成する際に用いられ、前記複数の生育指標画像それぞれの位置およびその撮影高度を示す。生育指標画像は、生育指標を表す画素値を持つ画素で構成された画像である。
画像生成部5は、制御処理部3aに接続され、制御処理部3aの制御に従って、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像を、所定の時間間隔で生成する装置である。画像生成部5は、その生成した画像を制御処理部3aへ出力する。前記生育指標は、例えば、NDVI(Normalized Difference Vegetation Index、正規化植生指標、NDVI=(I−R)/(I+R))、RVI(Ratio Vegetation Index、比植生指標、RVI=Ri’/Rv)、DVI(Difference Vegetation Index、差植生指標、DVI=Ri’−Rv)、TVI(Transformed Vegetation Index、TVI=NDVI+0.5)0.5)、および、IPVI(Infrared Percentage Vegetation Index、IPVI=Ri’/(Ri’+Rv)=(NDVI+1)/2)等である。画像生成部5は、これら各種の生育指標のうち、採用された生育指標に応じた適宜な波長帯域の画像を生成する。本実施形態では、一例として、前記生育指標は、NDVIである。このため、画像生成部5は、前記画像として、可視画像および近赤外画像を生成する。より具体的には、画像生成部5は、可視撮像部51と、赤外撮像部52とを備える。
可視撮像部51は、可視光の画像(可視画像)を生成する装置である。より具体的には、本実施形態では、NDVIを求めるために、可視撮像部51は、例えば、波長650nmを中心波長とする比較的狭帯域で光を透過する第1バンドパスフィルタ、前記第1バンドパスフィルタを透過した測定対象の可視光の光学像を所定の第1結像面上に結像する第1結像光学系、前記第1結像面に受光面を一致させて配置され、前記測定対象の可視光の光学像を電気的な信号に変換する第1イメージセンサ、前記第1イメージセンサの出力に対し公知の画像処理を施して可視画像を生成する第1デジタルシグナルプロセッサ(DSP)等を備えて構成される、いわゆるカメラ等である。可視撮像部51は、この撮像して生成した可視画像を制御処理部3aへ出力する。
赤外撮像部52は、赤外光(例えば近赤外光)の画像(赤外画像(近赤外画像))を生成する装置である。より具体的には、本実施形態では、NDVIを求めるために、赤外撮像部52は、例えば、波長800nmを中心波長とする比較的狭帯域で光を透過する第2バンドパスフィルタ、前記第2バンドパスフィルタを透過した測定対象の赤外光の光学像を所定の第2結像面上に結像する第2結像光学系、前記第2結像面に受光面を一致させて配置され、前記測定対象の赤外光の光学像を電気的な信号に変換する第2イメージセンサ、前記第2イメージセンサの出力に対し公知の画像処理を施して近赤外画像を生成する第2DSP等を備えて構成される、いわゆる赤外カメラ等である。赤外撮像部52は、この撮像して生成した近赤外画像を制御処理部3aへ出力する。
IF部6は、制御処理部3aに接続され、制御処理部3aの制御に従って、例えば外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部6は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば外部機器との間で通信しても良い(イーサネットは登録商標)。
記憶部4aは、制御処理部3aに接続され、制御処理部3aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Maの各部を当該各部の機能に応じて制御する制御プログラムや、画像生成部5で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理プログラムや、画像生成部5で生成された画像に基づいて、生育指標(本実施形態ではNDVI)を求める生育指標処理プログラムや、画像生成部5で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出プログラムや、生育指標を求めるために有意な画像のみを後述の画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、前記判定処理で用いる予め設定された各閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
記憶部4aは、画像生成部5で生成され、後述の画像判定部35aで記憶すると判定された画像(本実施形態では可視画像および近赤外画像)を記憶する画像記憶部41を機能的に備える。画像記憶部41は、例えば、画像生成部5で画像を生成した回数を表すシリアル番号、画像生成部5で生成され、画像判定部35aで記憶すると判定された画像、および、当該画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて記憶する。そして、画像生成部5で生成された画像が、画像判定部35aで記憶しないと判定された場合、画像記憶部41は、前記シリアル番号、および、画像生成部5で生成され、画像判定部35aで記憶しないと判定された画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて記憶する。この場合、前記自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、非記憶画像情報の一例である。前記非記憶画像情報は、画像判定部35aで画像記憶部41に記憶しないと判定された場合に、画像生成部5で生成された画像であって画像判定部35aで画像記憶部41に記憶しないと判定された前記画像を指し示す所定の情報である。なお、非記憶画像情報としての測定高度Zは、省略されても良い。
制御処理部3aは、植物生育指標測定装置Maの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3aは、機能的に、制御部31と、画像周波数処理部32と、生育指標処理部33と、太陽写込検出部34と、画像判定部35aと、画像記憶制御部36とを備える。
制御部31は、当該植物生育指標測定装置Maの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Maの全体制御を司るものである。
画像周波数処理部32は、画像生成部5で生成された画像に基づいて、圃場に生育する作物の条または条間に応じた周波数を求めるものである。より具体的には、画像周波数処理部32は、エッジを検出するための画像フィルタを用いることによって、画像生成部5で生成された画像からエッジを検出し、このエッジを検出した画像から直線のハフ変換によって複数の直線を前記条または前記条間として求め、この求めた複数の直線の間隔から前記周波数を求める。この周波数を求める際に用いる画像は、可視画像であって良く、近赤外画像であって良く、これら可視画像および近赤外画像に基づいて、生育指標処理部33によって求められた生育指標画像であって良い。画像周波数処理部32は、この求めた周波数を画像判定部35aに通知する。
例えば、前記圃場が水田である場合、前記作物は、稲であり、前記条は、稲の条である。植物生育指標測定装置Maが比較的低い高度を飛行している場合、圃場の画像は、例えば、図2Aに示す画像となり、その画像に基づいて求められた、作物の条または条間に応じた周波数は、比較的低い周波数となる。一方、植物生育指標測定装置Maが比較的高い高度を飛行している場合、圃場の画像は、例えば、図2Bに示す画像となり、その画像に基づいて求められた、作物の条または条間に応じた周波数は、比較的高い周波数となる。このように、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数は、植物生育指標測定装置Maの高度(飛行高度)と相関する。上述したように、作物の生育状況を適切に把握するためには、適度な画像解像度の画像で、生育指標を求める必要があり、このため、画像生成部5における可視撮像部51および赤外撮像部52の各画像解像度に応じた適度な高度(例えば15mや20mや25m等)で撮像して生成した画像である必要がある。このため、本実施形態では、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数から、植物生育指標測定装置Maの高度(飛行高度)が推定され、その高度で生成された画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
生育指標処理部33は、画像生成部5で生成された画像に基づいて、生育指標を求めるものである。より具体的には、本実施形態では、生育指標処理部33は、画像生成部5における可視撮像部51および赤外撮像部52それぞれで生成された可視画像および近赤外画像から、NDVIを表した画素値を持つNDVI画像を求める。NDVI画像の各画素値は、可視画像の画素値をIとし、近赤外画像の画素値をRとする場合に、NDVI画像の当該画素位置に対応する可視画像および近赤外画像の画素位置同士において、NDVI=(I−R)/(I+R)によって求められる。例えば、NDVI画像の画素位置(0、0)における画素値は、可視画像の画素位置(0、0)における画素値および近赤外画像の画素位置(0、0)における画素値から求められ、また例えば、NDVI画像の画素位置(10、15)における画素値は、可視画像の画素位置(10、15)における画素値および近赤外画像の画素位置(10、15)における画素値から求められる。なお、可視撮像部51と、赤外撮像部52との視差が考慮され、可視画像の画素位置および近赤外画像の画素位置の中の少なくともいずれか一方の画素位置が前記視差を修正するようにシフトされた上で、NDVIが求められても良い。また、可視撮像部51の前記第1結像光学系と赤外撮像部52の前記第2結像光学系は、例えば画角や歪曲収差等の光学特性が互いに同等であるものとする。
植物生育指標測定装置Maは、生育指標を求めるための画像が必要であるため、上述したように、圃場ではない画像を記録(記憶)しても無駄になる。圃場ではない領域は、例えば畦等であり、圃場ではない前記領域には、畦道があったり、水路があったり、雑草が生育していたりする。これらの反射率は、圃場に生育する作物の反射率と異なり、通常、比較的低い。このため、例えば図3Aに示すように、圃場を写した画像に基づくNDVI画像は、圃場のNDVIが高いので、例えば図3Bに示すように、全面的に高い画素値の画像となる。一方、例えば図3Cに示すように、圃場ではない領域を多く含む画像に基づくNDVI画像は、圃場ではない領域のNDVIが低いので、例えば図3Dに示すように、NDVIが低い領域を多く含む画像となる。このため、本実施形態では、画像生成部5で生成された画像に基づいて求められた生育指標画像(ここではNDVI画像)から、前記画像に圃場ではない領域が多く含まれるか否かが推定され、前記画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
太陽写込検出部34は、画像生成部5で生成された画像に基づいて、太陽の写り込みを検出するものである。より具体的には、太陽写込検出部34は、例えば、画像生成部5で生成された可視画像から、画素値が飽和した画素の総数を求めることによって、画素値が飽和した画素領域のサイズ(広さ、画素数)を求め、この求めたサイズが、予め設定された所定の閾値(第3閾値)以上である画素領域を前記太陽の写り込みとして検出する。前記第3閾値は、太陽の写り込んだ複数のサンプルの画像から、適宜に設定される。
植物生育指標測定装置Maは、生育指標を求めるための画像が必要であるため、例えば、図4に示すように、太陽が写り込んだ画像を記録(記憶)しても、太陽が写り込んだ領域の画像では正しい生育指標(本実施形態ではNDVI)が求められないから、無駄になる。このため、本実施形態では、画像生成部5で生成された画像に基づいて太陽の写り込みが検出され、その検出結果に基づいて前記画像に対するその記憶の許否が、画像判定部35aによって後述のように判定されている。
画像判定部35aは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35aは、画像周波数処理部32で求めた周波数に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、前記判定処理として、画像周波数処理部32で求めた周波数が、予め設定された所定の撮像高度(飛行高度)で撮像した画像に写る前記条または前記条間に応じた周波数(撮像高度対応周波数)に、予め設定された所定の第1マージンの範囲内で一致するか否かを判定し、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。前記第1マージンは、前記撮像高度の許容範囲(撮像高度の下限値および上限値)に応じて設定される。そして、本実施形態では、画像判定部35aは、生育指標処理部33で求めた生育指標に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、前記判定処理として、生育指標処理部33で求めたNDVI画像において、予め設定された所定の閾値(第1閾値)以下の画素値を持つ画素の総数が予め設定された所定の閾値(第2閾値)以上であるか否かを判定し、前記第2閾値以上ではない場合を画像記憶部41に記憶する場合と判定し、前記第2閾値以上である場合を画像記憶部41に記憶しない場合と判定する。前記第1閾値は、圃場のNDVIと圃場ではない領域のNDVIとを区別できるように、これらの複数のサンプルから適宜に設定される。前記第2閾値は、全画素数に対する、例えば50%(画像全体に対し圃場ではない領域が50%)や、60%(画像全体に対し圃場ではない領域が60%)や、75%(画像全体に対し圃場ではない領域が75%)等の画素数に設定される。さらに、本実施形態では、画像判定部35aは、太陽写込検出部34の検出結果に基づいて、前記判定処理を行う。より具体的には、画像判定部35aは、太陽写込検出部34が太陽の写り込みを検出しない場合を、画像記憶部41に記憶する場合と判定し、太陽写込検出部34が太陽の写り込みを検出した場合を、画像記憶部41に記憶しない場合と判定する。より詳しくは、画像判定部35aは、画像周波数処理部32で求められた周波数に基づく前記判定処理による第1判定結果、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果、および、太陽写込検出部34の検出結果に基づく前記判定処理による第3判定結果のANDが演算され、第1ないし第3判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第1ないし第3判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶するものである。そして、画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶しないと判定された場合に、画像生成部5で生成された画像であって画像判定部35aで画像記憶部41に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として画像記憶部41に記憶する。より具体的には、画像記憶制御部36は、画像判定部35aで画像記憶部41に記憶すると判定された場合、画像生成部5で画像を生成した回数を表すシリアル番号、画像生成部5で生成され、画像判定部35aで記憶すると判定された画像、および、当該画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて画像記憶部41に記憶し、画像判定部35aで画像記憶部41に記憶しないと判定された場合、前記シリアル番号、および、画像生成部5で生成され、画像判定部35aで記憶しないと判定された画像を撮像する際に位置高度測定部21で測定された自機の測定位置および測定高度(緯度X、経度Y、高度Z)を互いに対応付けて画像記憶部41に記憶する。
次に、本実施形態の動作について説明する。図5は、第1実施形態における植物生育指標測定装置の動作を示すフローチャートである。図6は、第1実施形態における植物生育指標測定装置において、その飛行軌跡と画像記憶位置との関係を説明するための図である。図6Aは、飛行軌跡を示し、画像生成部5で画像を生成した画像生成位置を符号●で示している。図6Bは、図6Aに示す飛行軌跡において、画像生成部5で生成した画像を記憶した位置を符号●で示している。図7は、図6Aに示す飛行軌跡において、植物生育指標測定装置によって撮像され生成された画像を説明するための図である。図7Aは、一例として、図6Aに符号T1で示す各画像生成位置で生成された各画像のうちの1つの画像を示し、図7Dは、一例として、図6Aに符号T2で示す各画像生成位置で生成された各画像のうちの1つの画像を示し、図7Bおよび図7Cは、一例として、図6Aに符号T3で示す各画像生成位置で生成された各画像のうちの2つの画像を示す。
このような構成の植物生育指標測定装置Maは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3aには、制御部31、画像周波数処理部32、生育指標処理部33、太陽写込検出部34、画像判定部35aおよび画像記憶制御部36が機能的に構成される。
植物生育指標測定装置Maは、誘導飛行または自律飛行による制御処理部3aの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向かう。そして、植物生育指標測定装置Maは、前記圃場の上空を、略一定の所定の高度で、圃場の一方端から他方端へ飛行し、前記他方端に到達すると、前方に所定距離だけ進むように折り返して前記他方端から前記一方端へ飛行し、前記一方端に到達すると、前方に所定距離だけ進むように折り返して前記一方端から前記他方端へ飛行する。植物生育指標測定装置Maは、以下同様に、飛行することによって、測定対象の圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Maは、所定の時間間隔(サンプリング間隔)で、以下の各処理S11〜S18を繰り返し実行する。
すなわち、図5において、まず、植物生育指標測定装置Maは、制御処理部3aの制御部31によって、互いに同期するように、画像生成部5で画像を生成して取得し、自機状態測定部2aで位置および高度を取得する(S11)。画像生成部5では、前記画像として、可視撮像部51で可視画像が生成され、赤外撮像部52で近赤外画像が生成される。自機状態測定部2aでは、位置高度測定部21で自機の位置および測定高度(緯度X、経度Y、高度Z)が測定される。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4aのワーキングメモリに一旦記憶される。
次に、植物生育指標測定装置Maは、制御処理部3aの画像周波数処理部32によって、処理S11で取得された画像に基づいて、前記条または条間に応じた周波数を求め、この求めた周波数を記憶部4aのワーキングメモリに一旦記憶する(S12)。
次に、植物生育指標測定装置Maは、制御処理部3aの生育指標処理部33によって、処理S11で取得された画像に基づいて、生育指標、本実施形態ではNDVI画像を求め、この求めたNDVI画像を記憶部4aのワーキングメモリに一旦記憶する(S13)。
次に、植物生育指標測定装置Maは、制御処理部3aの太陽写込検出部34によって、処理S11で取得された画像に基づいて、太陽の写り込みを検出し、この検出結果を記憶部4aのワーキングメモリに一旦記憶する(S14)。
次に、植物生育指標測定装置Maは、制御処理部3aの画像判定部35aによって、処理S11で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S15)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Maは、次に、処理S16を実行した後に、処理S18を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Maは、次に、処理S17を実行した後に、処理S18を実行する。
より具体的には、まず、画像判定部35aは、前記判定処理として、処理S12で画像周波数処理部32によって求めた周波数が、前記撮像高度対応周波数に、前記第1マージンの範囲内で一致するか否かを判定し、第1判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35aは、前記判定処理として、処理S13で生育指標処理部33によって求めたNDVI画像において、前記第1閾値以下の画素値を持つ画素の総数が前記第2閾値以上であるか否かを判定し、第2判定結果として、前記第2閾値以上ではない場合を画像記憶部41に記憶する場合と判定し、前記第2閾値以上である場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35aは、第3判定結果として、太陽写込検出部34の検出結果に応じて、太陽写込検出部34が太陽の写り込みを検出しない場合を、画像記憶部41に記憶する場合と判定し、太陽写込検出部34が太陽の写り込みを検出した場合を、画像記憶部41に記憶しない場合と判定する。そして、画像判定部35aは、これら第1判定結果、第2判定結果および第3判定結果のANDが演算され、第1ないし第3判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第1ないし第3判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Maは、次に、処理S16を実行した後に、処理S18を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Maは、次に、処理S17を実行した後に、処理S18を実行する。
この処理S16では、植物生育指標測定装置Maは、制御処理部3aの画像記憶制御部36によって、処理S11で取得した画像、すなわち、記憶部4aのワーキングメモリに記憶されている画像を破棄(削除、消去)し、シリアル番号に、処理S11で取得した自機の測定位置および測定高度(緯度X、経度Y、高度Z)、すなわち、記憶部4aのワーキングメモリに記憶されている自機の測定位置および測定高度(緯度X、経度Y、高度Z)を対応付けて画像記憶部41に記憶する。
前記処理S17では、植物生育指標測定装置Maは、制御処理部3aの画像記憶制御部36によって、シリアル番号に、処理S11で取得した画像および自機の測定位置および測定高度(緯度X、経度Y、高度Z)、すなわち、記憶部4aのワーキングメモリに記憶されている画像および自機の測定位置および測定高度(緯度X、経度Y、高度Z)を対応付けて画像記憶部41に記憶する。
そして、前記処理S18では、植物生育指標測定装置Maは、制御処理部3aによって、終了か否かを判定し、終了である場合には(Yes)、本処理を終了し、終了でない場合には(No)、処理を処理S11に戻す。
一例では、例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが離陸および上昇中である符号T1では、例えば、図7Aに示す画像が画像生成部5によって生成され、この生成された画像には、圃場ではない領域が多く写り込んでいるため、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果が、画像記憶部41に記憶しない場合となる。したがって、符号T1では、処理S11ないし処理S15の各処理が実行された結果、処理S16が実行され、前記画像が破棄され、画像記憶部41には、非記憶画像情報が記憶される。なお、図示しないが、植物生育指標測定装置Maが降下中および着陸である場合も同様である。
また例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが圃場の上空を適度な高度で飛行中である符号T3では、例えば、図7Bや図7Cに示す画像が画像生成部5によって生成され、この生成された画像には、圃場が種に写り込んでいるため、前記第1ないし第3判定結果の全てが、画像記憶部41に記憶する場合となる。したがって、符号T3では、処理S11ないし処理S15の各処理が実行された結果、処理S17が実行され、前記画像が画像記憶部41に記憶される。
また例えば、図6Aに示す飛行軌跡において、植物生育指標測定装置Maが折り返しの飛行中である符号T2では、例えば、図7Dに示す画像が画像生成部5によって生成され、この生成された画像には、圃場ではない領域が多く写り込んでいるため、生育指標処理部33で求められたNDVI画像に基づく前記判定処理による第2判定結果が、画像記憶部41に記憶しない場合となる。したがって、符号T2では、処理S11ないし処理S15の各処理が実行された結果、処理S16が実行され、前記画像が破棄され、画像記憶部41には、非記憶画像情報が記憶される。
したがって、図6Aに示す飛行軌跡において、画像生成部5は、図6Aに示す各符号●の各画像生成位置それぞれで画像を生成するが、各画像生成位置それぞれで図5に示すフローチャートの各処理が実行される結果、画像記憶部41に記憶される画像は、図6Bに示す各符号●の位置で画像生成部5によって生成された画像のみとなる。図6Aと図6Bとを比較すると分かるように、植物生育指標測定装置Maが、離陸中、上昇中および折り返しの飛行中である場合に、画像生成部5によって生成された画像は、破棄され、画像記憶部41には、非記憶画像情報が記憶され、一方、植物生育指標測定装置Maが、圃場の上空を適度な高度で飛行中である場合に、画像生成部5によって生成された画像は、画像記憶部41に記憶される。この結果、画像記憶部41には、生育指標を求めるために有意な画像のみが記憶され、生育指標を求めるために有意ではない画像は、破棄される。
そして、このように画像記憶部41に記憶された複数の可視画像および複数の近赤外画像に基づいて複数の生育指標画像が求められ、これら求められた複数の生育指標画像が、測定位置および測定高度(緯度X、経度Y、高度Z)を用いた公知の手法によって1枚の生育指標合成画像に合成され、圃場全体の生育指標が得られる。この際に、前記複数の生育指標画像に、不必要な画像が含まれると、無駄な合成の処理が生じる、あるいは、不必要な画像を除去する処理が必要となるが、本実施形態では、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、植物生育指標測定装置Maが構成されているので、合成の処理における効率の低下をより抑制できる。なお、このような生育指標画像の演算やその画像合成は、当該植物生育指標測定装置Maで実行されて良く、また、外部装置によって実行されて良い。
以上説明したように、本実施形態における植物生育指標測定装置Maおよびこれに実装された植物生育指標測定方法は、画像生成部5で生成された画像のうち、画像判定部35aで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づいて求められた、圃場に生育する作物の条または条間に応じた周波数に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づいて求められた、前記生育指標に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像生成部5で生成された画像に基づく太陽写込検出部34の検出結果に基づいて、前記判定処理を行うので、画像生成部5で生成された画像で前記判定処理を実施できる。
上記植物生育指標測定装置Maおよび植物生育指標測定方法は、画像記憶部41に記憶しないと判定された画像の非記憶画像情報を記憶するので、画像記憶部41に記憶しないと判定された画像のみを、後に取り直すことができる。
次に、別の実施形態について説明する。
(第2実施形態)
上述の第1実施形態における植物生育指標測定装置Maでは、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、複数の生育指標画像を合成して1枚の生育指標合成画像を生成する際に、これら各複数の生育指標画像における相互の位置関係や実際の撮像高度を表すために、取得され、画像生成部5で生成した画像の記録(記憶)の許否は、前記自機の測定位置や測定高度を必要とせずに、画像生成部5で生成した前記画像を、圃場の特徴の観点から分析することで、決定されたが、第2実施形態における植物生育指標測定装置Mbは、前記自機の測定位置および測定高度(緯度X、経度Y、高度Z)に基づいて、画像生成部5で生成した画像の記録(記憶)の許否を決定するものである。
このような第2実施形態における植物生育指標測定装置Mbは、例えば、図1に示すように、航空機1と、自機状態測定部2bと、制御処理部3bと、記憶部4bと、画像生成部5と、IF部6とを備える。これら第2実施形態の植物生育指標測定装置Mbにおける航空機1、位置高度測定部21を備える自機状態測定部2b、画像生成部5およびIF部6は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける航空機1、位置高度測定部21を備える自機状態測定部2a、画像生成部5およびIF部6と同様であるからその説明を省略する。
記憶部4bは、制御処理部3bに接続され、制御処理部3bの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Mbの各部を当該各部の機能に応じて制御する制御プログラムや、位置高度測定部21で測定された自機の位置および後述の圃場領域情報記憶部42に記憶された圃場領域情報に基づいて、前記判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、測定対象である圃場の所在領域を表す圃場領域情報や、前記判定処理で用いる予め設定された閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4bは、記憶部4aと同様に、例えばROM、EEPROMおよびRAM等を備える。
そして、第2実施形態では、記憶部4bは、画像記憶部41に加えてさらに、図1に破線で示すように、前記圃場領域情報を記憶する圃場領域情報記憶部42を機能的に備える。記憶部4bの画像記憶部41は、記憶部4aの画像記憶部41と同様であるので、その説明を省略する。圃場領域情報記憶部42は、測定対象である圃場の所在領域を表す圃場領域情報を記憶するものである。例えば、本実施形態では、位置高度測定部21が測定位置として緯度Xおよび経度Yを出力するので、これに応じて、圃場領域情報記憶部42は、圃場の輪郭形状を表す複数の点の各位置の緯度Xおよび経度Yを前記圃場領域情報として記憶する。圃場が例えば矩形である場合には、前記矩形における4個の各頂点の各位置の緯度Xおよび経度Yが前記圃場領域情報として圃場領域情報記憶部42に記憶される。
制御処理部3bは、植物生育指標測定装置Mbの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3bは、制御処理部3aと同様に、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部3bは、第2実施形態では、機能的に、制御部31と、画像判定部35bと、画像記憶制御部36とを備える。
制御部31は、第1実施形態と同様に、当該植物生育指標測定装置Mbの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Mbの全体制御を司るものである。
画像判定部35bは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35bは、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)および圃場領域情報記憶部42に記憶された圃場領域情報に基づいて、前記判定処理を行う。より具体的には、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)が、圃場領域情報記憶部42に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、前記圃場の所在領域内である場合を画像記憶部41に記憶する場合と判定し、前記圃場の所在領域内ではない場合(前記圃場の所在領域外である場合)を画像記憶部41に記憶しない場合と判定する。本実施形態では、画像判定部35bは、さらに、位置高度測定部21で測定された自機の測定高度Zに基づいて、前記判定処理を行う。より具体的には、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定高度Zが、予め設定された所定の閾値(第4閾値)以上であるか否かを判定し、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。前記第4閾値は、例えば15mや20mや25m等の、予め設定された所定の撮像高度(飛行高度)に設定される。より詳しくは、画像判定部35bは、自機の測定位置(緯度X、経度Y)および圃場領域情報に基づく前記判定処理による第11判定結果、および、自機の測定高度Zに基づく前記判定処理による第12判定結果のANDが演算され、第11および第12判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第11および第12判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
画像記憶制御部36は、上述した第1実施形態の植物生育指標測定装置Maにおける画像記憶制御部36と同様であるので、その説明を省略する。
次に、本実施形態の動作について説明する。図8は、第2実施形態における植物生育指標測定装置の動作を示すフローチャートである。
このような構成の植物生育指標測定装置Mbは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3bには、制御部31、画像判定部35bおよび画像記憶制御部36が機能的に構成される。そして、第2実施形態における植物生育指標測定装置Mbも、第1実施形態における植物生育指標測定装置Maと同様に、誘導飛行または自律飛行による制御処理部3bの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向い、圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Mbは、所定の時間間隔(サンプリング間隔)で、以下の各処理S21〜S26を繰り返し実行する。
すなわち、図8において、まず、植物生育指標測定装置Mbは、制御処理部3bの制御部31によって、画像生成部5で画像を生成して取得し(S21)、これに同期して自機状態測定部2bで位置(緯度X、経度Y)および高度Zを取得する(S22)。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4bのワーキングメモリに一旦記憶される。
次に、植物生育指標測定装置Mbは、制御処理部3bの画像判定部35bによって、処理S21で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S23)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Mbは、次に、処理S24を実行した後に、処理S26を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Mbは、次に、処理S25を実行した後に、処理S26を実行する。
より具体的には、まず、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定位置(緯度X、経度Y)が、圃場領域情報記憶部42に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、第11判定結果として、前記圃場の所在領域内である場合を画像記憶部41に記憶する場合と判定し、前記圃場の所在領域内ではない場合(前記圃場の所在領域外である場合)を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35bは、前記判定処理として、位置高度測定部21で測定された自機の測定高度Zが、予め設定された所定の第4閾値以上であるか否かを判定し、第12判定結果として、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。そして、画像判定部35bは、これら第11判定結果および第12判定結果のANDが演算され、第11および第12判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第11および第12判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Mbは、次に、処理S24を実行した後に、処理S26を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Mbは、次に、処理S25を実行した後に、処理S26を実行する。
これら第2実施形態の植物生育指標測定装置Mbにおける処理S24、処理S25および処理S26は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける処理S16、処理S17および処理S18と同様であるので、その説明を省略する。
以上説明したように、第2実施形態における植物生育指標測定装置Mbおよびこれに実装された植物生育指標測定方法は、第1実施形態と同様に、画像生成部5で生成された画像のうち、画像判定部35bで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
また、上記植物生育指標測定装置Mbおよび植物生育指標測定方法は、位置高度測定部21で測定した自機の測定位置(緯度X、経度Y)を用いるので、圃場の上空で撮像して生成した画像のみを確実に画像記憶部41に記憶できる。
次に、別の実施形態について説明する。
(第3実施形態)
上述の第1実施形態における植物生育指標測定装置Maでは、画像生成部5で生成した画像の記録(記憶)の許否は、前記自機の測定位置や測定高度を必要とせずに、画像生成部5で生成した前記画像を、圃場の特徴の観点から分析することで、決定されたが、第3実施形態における植物生育指標測定装置Mcは、自機の高度Z、方位φ、速度Sおよび加速度Kのうちの少なくとも1つに基づいて、画像生成部5で生成した画像の記録(記憶)の許否を決定するものである。
このような第3実施形態における植物生育指標測定装置Mcは、例えば、図1に示すように、航空機1と、自機状態測定部2cと、制御処理部3cと、記憶部4cと、画像生成部5と、IF部6とを備える。これら第3実施形態の植物生育指標測定装置Mcにおける航空機1、位置高度測定部21を備える自機状態測定部2c、画像生成部5およびIF部6は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける航空機1、位置高度測定部21を備える自機状態測定部2a、画像生成部5およびIF部6と同様であるからその説明を省略する。
記憶部4cは、制御処理部3cに接続され、制御処理部3cの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Mcの各部を当該各部の機能に応じて制御する制御プログラムや、自機の高度、方位、速度および加速度のうちの少なくとも1つに基づいて、前記判定処理を行う画像判定プログラムや、前記画像判定プログラムで画像記憶部41に記憶すると判定された場合のみ、画像生成部5で生成された画像を画像記憶部41に記憶する画像記憶制御プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像生成部5で生成された画像(本実施形態では可視画像および近赤外画像)や、前記判定処理で用いる予め設定された各閾値等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部4bは、記憶部4aと同様に、例えばROM、EEPROMおよびRAM等を備える。そして、第3実施形態では、記憶部4cは、記憶部4aと同様に、画像記憶部41を機能的に備える。
制御処理部3cは、植物生育指標測定装置Mcの各部を当該各部の機能に応じてそれぞれ制御し、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成するための回路である。制御処理部3cは、制御処理部3aと同様に、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部3cは、第3実施形態では、機能的に、制御部31と、画像判定部35cと、画像記憶制御部36とを備える。
制御部31は、第1実施形態と同様に、当該植物生育指標測定装置Mcの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Mbの全体制御を司るものである。
画像判定部35cは、前記生育指標を求めるために有意な画像のみを画像記憶部41に記憶するように、画像生成部5で生成された画像を画像記憶部41に記憶するか否かを判定する判定処理を行うものである。本実施形態では、画像判定部35cは、自機の高度、方位、速度および加速度のうちの少なくとも1つに基づいて、前記判定処理を行う。
より具体的には、自機の高度Zに基づいて前記判定処理を行う場合では、画像判定部35cは、第2実施形態の画像判定部35bと同様に、前記判定処理として、位置高度測定部21で測定された高度Zが、前記第4閾値以上であるか否かを判定し、第21判定結果として、前記第4閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第4閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。
自機の方位φに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の方位φを求める方位処理部37を機能的にさらに備え、画像判定部35cは、方位処理部37によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X−1、経度Y−1)に基づいて公知の演算手法によって方位φ(=f(X、X−1、Y、Y−1))を求め、この求めた方位φが、予め設定された所定の方位(例えば圃場の輪郭における長辺に沿った方向で九十九折りに往復しながら前記画像を生成する場合に前記長辺の方位等)Yrefに、予め設定された所定の第2マージンの範囲内で一致するか否かを判定し、第22判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。
なお、上述では、方位φは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された2組の緯度X、X−1および経度Y、Y−1から方位処理部37によって求められたが、図1に破線で示すように、自機状態測定部2cが、地球上における現在の方位φを測定する方位測定部22をさらに備え、この方位測定部22で測定された方位φが上述で用いられても良い。方位測定部22は、例えば3軸方位計(3軸地磁気センサ)を備えて構成される。
自機の速度Sに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の速度Sを求める速度処理部38を機能的にさらに備え、画像判定部35cは、前記速度処理部38によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X−1、経度Y−1)ならびにこれの測定時間間隔に基づいて公知の演算手法によって速度S(=√((X−1−X)+(Y−1−Y))/(前回の測定から今回の測定までの時間t))を求め、前記判定処理として、この求めた速度Sが、予め設定された所定の第5閾値以上であるか否かを判定し、第23判定結果として、前記第5閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第5閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。植物生育指標測定装置Mcは、圃場の上空では、所定の速度(例えば1m/フレームや、2m/フレームや、3m/フレーム等)で飛行するが、必要に応じてホバリング等を行うことがあり、ホバリング中の画像は、略同じであるので、1枚あれば充分である。このため、前記第5閾値は、前記圃場の上空における前記所定の速度と、ホバリングの飛行速度と区別できる値に適宜に設定される。
なお、上述では、速度Sは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された2組の緯度X、X−1および経度Y、Y−1ならびにそれらの測定時間間隔から速度処理部38によって求められたが、図1に破線で示すように、自機状態測定部2cが、自機の速度Sを測定する、例えば速度計等の速度測定部23をさらに備え、この速度測定部23で測定された速度Sが上述で用いられても良い。
自機の加速度Kに基づいて前記判定処理を行う場合では、制御処理部3cは、図1に破線で示すように、位置高度測定部21で測定された測定位置(緯度X、経度Y)に基づいて自機の加速度Kを求める加速度処理部39を機能的にさらに備え、画像判定部35cは、前記加速度処理部39によって、位置高度測定部21で測定された今回の測定位置(緯度X、経度Y)、前回の測定位置(緯度X−1、経度Y−1)および前々回の測定位置(緯度X−1、経度Y−1)ならびにこれらの各測定時間間隔に基づいて公知の演算手法によって加速度Kを求め、前記判定処理として、この求めた加速度Kが、予め設定された所定の第6閾値以上であるか否かを判定し、第24判定結果として、前記第6閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第6閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。ホバリングでは、振動が生じることが多く、前記第6閾値は、複数のサンプルから、ホバリングによって生じる振動の加速度を識別できる適宜な値に設定される。
なお、上述では、加速度Kは、位置高度測定部21によって、互いに異なる各画像生成位置(互いに異なる各タイミング)で測定された3組の緯度X、X−1、X−2および経度Y、Y−1、Y−2ならびにそれらの各測定時間間隔から加速度処理部39によって求められたが、図1に破線で示すように、自機状態測定部2cが、自機の加速度Sを測定する、例えば加速度計等の加速度測定部24をさらに備え、この加速度測定部24で測定された加速度Sが上述で用いられても良い。
そして、自機の高度Z、方位φ、速度Sおよび加速度Kのうちの複数に基づいて、前記判定処理を行う場合では、画像判定部35cは、これら複数それぞれの各判定結果のANDが演算され、前記複数それぞれの各判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、前記複数それぞれの各判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
ここでは、一例として、画像判定部35cは、自機の方位φおよび速度Sに基づいて、前記判定処理を行う。
画像記憶制御部36は、上述した第1実施形態の植物生育指標測定装置Maにおける画像記憶制御部36と同様であるので、その説明を省略する。
次に、本実施形態の動作について説明する。図9は、第3実施形態における植物生育指標測定装置の動作を示すフローチャートである。
このような構成の植物生育指標測定装置Mbは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部3cには、制御部31、画像判定部35b、画像記憶制御部36、方位処理部37および速度処理部38が機能的に構成される。そして、第3実施形態における植物生育指標測定装置Mcも、第1実施形態における植物生育指標測定装置Maと同様に、誘導飛行または自律飛行による制御処理部3cの制御に従って、測定対象の圃場の周辺領域から飛び立ち、前記圃場の上空に向い、圃場の上空を九十九折りに飛行する。このような離陸から測定対象の圃場の上空を飛行している間に、植物生育指標測定装置Mcは、所定の時間間隔(サンプリング間隔)で、以下の各処理S31〜S39を繰り返し実行する。
すなわち、図9において、まず、植物生育指標測定装置Mcは、制御処理部3cの制御部31によって、画像生成部5で画像を生成して取得し(S31)、これに同期して自機状態測定部2cで位置(緯度X、経度Y)および高度Zを取得する(S32)。これら可視画像、近赤外画像、ならびに、自機の測定位置および測定高度(緯度X、経度Y、高度Z)は、記憶部4cのワーキングメモリに一旦記憶される。
次に、植物生育指標測定装置Mcは、制御処理部3cの速度処理部38によって、処理S32で取得された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X−1、経度Y−1)ならびにこれの測定時間間隔に基づいて、自機の速度Sを求める(S33)。この求められた自機の速度Sは、記憶部4cのワーキングメモリに一旦記憶される。
次に、植物生育指標測定装置Mcは、制御処理部3cの方位処理部37によって、処理S32で取得された今回の測定位置(緯度X、経度Y)および前回の測定位置(緯度X−1、経度Y−1)に基づいて、自機の方位φを求める(S34)。この求められた自機の方位φは、記憶部4cのワーキングメモリに一旦記憶される。
次に、植物生育指標測定装置Mcは、制御処理部3cによって、今回の測定位置(緯度X、経度Y)を、前回の測定位置(緯度X−1、経度Y−1)とし、前回の測定位緯度(緯度X−1、経度Y−1)を更新する(X−1←X、Y−1←Y)(S35)。
次に、植物生育指標測定装置Mcは、制御処理部3cの画像判定部35cによって、処理S31で取得された画像を画像記憶部41に記憶するか否かを判定する判定処理を行う(S36)。この判定の結果、前記画像を画像記憶部41に記憶しないと判定した場合(No)には、植物生育指標測定装置Mcは、次に、処理S37を実行した後に、処理S39を実行し、前記画像を画像記憶部41に記憶すると判定した場合(Yes)には、植物生育指標測定装置Mcは、次に、処理S38を実行した後に、処理S39を実行する。
より具体的には、まず、画像判定部35cは、処理S34で求めた方位φが、前記所定の方位Yrefに、前記所定の第2マージンの範囲内で一致するか否かを判定し、第22判定結果として、前記一致する場合を画像記憶部41に記憶する場合と判定し、前記一致しない場合を画像記憶部41に記憶しない場合と判定する。次に、画像判定部35cは、前記判定処理として、処理S33で求めた速度Sが、前記第5閾値以上であるか否かを判定し、第23判定結果として、前記第5閾値以上である場合を画像記憶部41に記憶する場合と判定し、前記第5閾値以上ではない場合を画像記憶部41に記憶しない場合と判定する。そして、画像判定部35cは、これら第22判定結果および第23判定結果のANDが演算され、第22および第23判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、第22および第23判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。この最終的な判定において、画像記憶部41に記憶しない場合と判定した場合(No)には、植物生育指標測定装置Mcは、次に、処理S37を実行した後に、処理S39を実行し、画像記憶部41に記憶する場合と判定した場合(Yes)には、植物生育指標測定装置Mcは、次に、処理S38を実行した後に、処理S39を実行する。
これら第3実施形態の植物生育指標測定装置Mcにおける処理S37、処理S38および処理S39は、それぞれ、第1実施形態の植物生育指標測定装置Maにおける処理S16、処理S17および処理S18と同様であるので、その説明を省略する。
以上説明したように、第3実施形態における植物生育指標測定装置Mcおよびこれに実装された植物生育指標測定方法は、第1実施形態と同様に、画像生成部5で生成された画像のうち、画像判定部35cで、前記生育指標を求めるために有意な画像として、画像記憶部41に記憶すると判定された画像のみ、画像記憶部41に記憶するので、画像記憶部41の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
また、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機の方位φに基づいて前記判定処理を行うので、自機の折り返し中に生成された画像の記憶が低減でき、自機の速度Sに基づいて前記判定処理を行うので、自機のホバリング中に生成された画像の記憶が低減できる。
なお、自機の高度Zに基づいて前記判定処理を行う場合では、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機の上昇中または降下中に生成された画像の記憶が低減できる。自機の加速度に基づいて前記判定処理を行う場合では、上記植物生育指標測定装置Mcおよび植物生育指標測定方法は、自機のホバリング中の振動による加速度で前記ホバリングを検出できるから、前記ホバリング中に生成された画像の記憶が低減できる。
なお、上述の実施形態において、第1ないし第3実施形態における植物生育指標測定装置Ma、Mb、Mcは、適宜に組み合わされても良い。例えば、第1および第2実施形態における植物生育指標測定装置Ma、Mbが組み合わされる。また例えば、第1および第3実施形態における植物生育指標測定装置Ma、Mcが組み合わされる。また例えば、第2および第3実施形態における植物生育指標測定装置Mb、Mcが組み合わされる。第1ないし第3実施形態における植物生育指標測定装置Ma、Mb、Mc全てが組み合わされる。これら各組合せにおいて、植物生育指標測定装置Mは、各判定結果のANDを演算し、各判定結果の全てが画像記憶部41に記憶する場合と判定した場合(前記ANDの演算結果が1である場合)に、最終的に、画像記憶部41に記憶する場合と判定し、各判定結果のうちの少なくともいずれか1つが画像記憶部41に記憶しない場合と判定した場合(前記ANDの演算結果が0である場合)に、最終的に、画像記憶部41に記憶しない場合と判定する。
また、上述の実施形態では、画像生成部5は、可視撮像部51と赤外撮像部52とを備えて構成されたが、例えば特許第5168353号公報に開示されているように、可視画像および赤外画像を生成する1個の撮像部を備えて構成されても良い。このような可視画像および赤外画像を生成する1個の撮像部は、測定対象の光学像を所定の第3結像面上に結像する単一の第3結像光学系と、前記第3結像面に受光面を一致させて配置され、前記測定対象の光学像を電気的な信号に変換する第3イメージセンサ単一の光学系と、前記第3イメージセンサ上に配置されたR/G/B/Ir、あるいは、W/Y/R/Irとを備えて構成される。前記Rは、主に赤色光を透過させるフィルタであり、前記Gは、主に緑色光を透過させるフィルタであり、前記Bは、主に青色光を透過させるフィルタであり、そして、前記Irフィルタは、主に赤外光を透過させるフィルタである。前記Wは、主に白色光を透過させるフィルタであり、前記Yは、主に黄色光を透過させるフィルタである。
(第4実施形態)
上述のように、圃場は、通常、前記画像を生成するカメラの画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しい。このため、例えば、特開2003−339238号公報(特許文献1)では、互いに隣り合う圃場をオーバーラップして複数の画像を取得し、同一位置の圃場で色を補正し、この補正した複数の画像を1枚に合成し、これによって圃場全体の1枚の画像を得て、圃場の画像のRGB値から窒素相対分布を求める作物の生育診断方法が提案されている(例えば特許文献1の図11)。
ところで、前記特許文献1のように、複数の画像を繋ぎ合わせて1枚に合成する、いわゆるパノラマ合成処理を実施する場合、互いに隣接する画像間で連続的に繋ぎ合わせるために、繋ぎ合わせの基準となる繋ぎ合わせ基準点を抽出する必要がある。しかしながら、圃場は、土壌や作物が一面に広がっており、土や葉の反射率が近いため、圃場を写した可視画像は、そのコントラストが低くなる傾向にあることから、前記繋ぎ合わせ基準点の抽出が難しく、合成の精度(繋ぎ合わせの精度)が低下してしまう。また、圃場を写した近赤外画像も、作物が一面に広がっている場合、そのコントラストが低くなる傾向にあり、同様に、合成の精度が低下してしまう。さらに、可視画像や近赤外画像の撮像の際に、太陽が写り込んだり、圃場ではない被写体が写り込んだりすると、露出が大きく変化してしまうため、露出オーバーや露出アンダーが生じてしまうことから、繋ぎ合わせ基準点の抽出にばらつきが生じて合成の精度が低下してしまう。
そこで、第4実施形態では、より精度良く合成した生育指標の画像を生成できる植物生育指標測定装置、植物生育指標測定方法、植物生育指標測定プログラムおよび植物生育指標測定システムについて開示する。
この第4実施形態における植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求める装置であり、特に、生育指標を求めるための画像を生成する撮像部(カメラ)によって1回で撮像される1枚の画像に写り込む圃場の領域よりも広い領域での圃場の生育指標画像を生成する。前記生育指標画像は、生育指標を表した画像値の画素で構成された画像である。すなわち、本実施形態では、圃場が、通常、前記撮像部(カメラ)の画角に対して広いため、圃場全体を1回の撮像による1枚の画像で写すことが難しいため、複数の画像が、いわゆるパノラマ合成処理によって、連続的に繋ぎ合わされて1枚の画像(合成画像)に合成される。このために、本実施形態における植物生育指標測定装置は、前記生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得部と、前記画像取得部で所得された複数の生育指標画像を、パノラマ合成処理することによって1枚の生育指標合成画像を生成する画像合成部を備える。
前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成するように構成されて良いが、ここでは、前記画像取得部は、外部機器から、前記複数の生育指標画像を取得するインターフェース部を備えて構成される場合について以下に説明する。すなわち、前記複数の生育指標画像を生成する画像生成装置と、前記画像生成装置で生成された前記複数の生育指標画像を取得してこれら複数の生育指標画像を合成して1枚の画像(生育指標合成画像)を生成する植物生育指標測定装置とを備える植物生育指標測定システムについて以下に説明する。
図10は、第4実施形態における植物生育指標測定システムの構成を示す図である。このような実施形態の植物生育指標測定システムSは、例えば、図10に示すように、画像生成装置Mと、植物生育指標測定装置Pとを備える。
画像生成装置Mは、測定対象の圃場における所定の画像を生成する装置である。前記所定の画像は、生育指標画像を求めるための元画像(例えば生育指標がNDVIである場合、NDVIを求めるための可視画像および近赤外画像)であって良いが、本実施形態では、前記元画像に基づいて生成した生育指標画像である。画像生成装置Mは、例えば竿等の長尺なロッドの先端に取り付けられ、上方から圃場を俯瞰した前記圃場の生育指標画像を生成したり、前記圃場に隣接して比較的高い建物があれば、前記建物から前記圃場の生育指標画像を生成したり等しても良いが、本実施形態では、航空機を備え、上空から前記圃場の生育指標画像を生成するように構成されている。
なお、本実施形態では、生育指標がNDVIである場合について以下に説明するが、生育指標は、これに限定されるものではなく、他の指標であって良い。例えば、生育指標は、RVIであって良い(RVI=Ri’/Rv、RVI(x、y)=ri’(x、y)/rv(x、y))。また例えば、生育指標は、DVIであって良い(DVI=Ri’−Rv、DVI(x、y)=ri’(x、y)−rv(x、y))。また例えば、生育指標は、TVI(Transformed Vegetation Index)であって良い(TVI=NDVI+0.5)0.5)。また例えば、生育指標は、IPVI(Infrared Percentage Vegetation Index)であって良い(IPVI=Ri’/(Ri’+Rv)=(NDVI+1)/2)。生育指標がこれら他の指標である場合も以下と同様に、互いに異なる圃場の領域を含む複数の生育指標画像を合成した生育指標画像(合成生育指標画像、結合生育指標画像、パノラマ生育指標画像)を生成できる。
より詳しくは、画像生成装置Mは、例えば、図10に示すように、航空機61と、位置高度測定部62と、方位測定部63と、制御処理部64と、可視撮像部65と、赤外撮像部66と、記憶部67と、インターフェース部(IF部)68とを備える。
航空機61は、大気中を飛行する装置であり、例えば、気球、飛行船、飛行機、ヘリコプタおよびマルチコプタ等である。航空機61は、有人機であって良いが、好ましくは、無線操縦飛行(誘導飛行)または自律飛行による無人機(ドローン)である。航空機61は、本実施形態では、制御処理部64に接続され、誘導飛行または自律飛行による制御処理部64の制御に従って飛行する。
位置高度測定部62は、制御処理部64に接続され、制御処理部64の制御に従って、地球上における現在の位置および高度を測定する装置であり、例えば、衛星測位システムのGPS(Global Positioning System)を備えて構成される。位置高度測定部62は、その測定結果(測定位置(緯度X、経度Y、高度Z))を制御処理部64へ出力する。なお、GPSは、DGSP(Differential GSP)等の誤差を補正する補正機能を持ったGPSであっても良い。
方位測定部63は、制御処理部64に接続され、制御処理部64の制御に従って、地球上における現在の方位を測定する装置であり、例えば3軸方位計(3軸地磁気センサ)を備えて構成される。方位測定部63は、その測定結果(測定方位(方位角Y))を制御処理部64へ出力する。
可視撮像部65は、制御処理部64に接続され、制御処理部64の制御に従って可視光の画像(可視画像)を生成する装置である。可視撮像部65は、第1波長帯域(ここでは可視波長帯域)での第1光学像を撮像することによって第1画像(ここでは可視画像)を生成する第1撮像部の一例に相当する。より具体的には、本実施形態では、NDVIを求めるために、可視撮像部65は、例えば、波長650nmを中心波長とする比較的狭帯域で光を透過する第1バンドパスフィルタ、前記第1バンドパスフィルタを透過した測定対象の可視光の光学像を所定の結像面上に結像する第1結像光学系、前記第1結像面に受光面を一致させて配置され、前記測定対象の可視光の光学像を電気的な信号に変換する第1イメージセンサ、前記第1イメージセンサの出力に対し公知の画像処理を施して可視画像を生成する第1デジタルシグナルプロセッサ(DSP)等を備えて構成される、いわゆるカメラ等である。可視撮像部65は、この撮像して生成した可視画像を制御処理部64へ出力する。
赤外撮像部66は、制御処理部64に接続され、制御処理部64の制御に従って赤外光(例えば近赤外光)の画像(赤外画像)を生成する装置である。赤外撮像部66は、前記第1波長帯域と異なる第2波長帯域(ここでは赤外波長帯域)での第2光学像を撮像することによって第2画像(ここでは赤外画像)を生成する第2撮像部の一例に相当する。より具体的には、本実施形態では、NDVIを求めるために、赤外撮像部66は、例えば、波長800nmを中心波長とする比較的狭帯域で光を透過する第2バンドパスフィルタ、前記第2バンドパスフィルタを透過した測定対象の赤外光の光学像を所定の結像面上に結像する第2結像光学系、前記第2結像面に受光面を一致させて配置され、前記測定対象の赤外光の光学像を電気的な信号に変換する第2イメージセンサ、前記第2イメージセンサの出力に対し公知の画像処理を施して赤外画像を生成する第2DSP等を備えて構成される、いわゆる赤外カメラ等である。赤外撮像部66は、この撮像して生成した赤外画像を制御処理部64へ出力する。
IF部68は、制御処理部64に接続され、制御処理部64の制御に従って、例えば植物生育指標測定装置P等の外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部68は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば植物生育指標測定装置Pや生育指標画像を管理するサーバ装置等の外部装置との間で通信しても良い(イーサネットは登録商標)。
記憶部67は、制御処理部64に接続され、制御処理部64の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該画像生成装置Mの各部を当該各部の機能に応じて制御する制御プログラムや、測定対象の生育指標画像(本実施形態ではNDVIの画像(NDVI画像))を生成する生育指標画像生成プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、可視撮像部65で生成された可視画像や、赤外撮像部66で生成された赤外画像や、これら可視画像および赤外画像に基づいて生成された生育指標画像(本実施形態ではNDVI画像)等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部67は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部67は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部6のワーキングメモリとなるRAM(Random Access Memory)等を含む。
そして、記憶部67は、これら可視画像、赤外画像および生育指標画像(NDVI画像)を記憶する画像記憶部671を機能的に備える。画像記憶部671は、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれに、位置高度測定部62で測定した測定位置および方位測定部63で測定した測定方位を、対応付けて、これらを記憶する。例えば、測定位置および測定方位は、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれのヘッダに収容されることで、可視画像、赤外画像および生育指標画像(NDVI画像)それぞれに対応付けられる。
なお、上述では、画像記憶部671は、これら可視画像、赤外画像および生育指標画像(NDVI画像)を記憶したが、記憶部67は、可視画像および赤外画像を一時的に記憶し、これら可視画像および赤外画像に基づいて制御処理部64によって生育指標画像(NDVI画像)を生成した後に、これら一時的に記憶した可視画像および赤外画像を消去(削除)し、画像記憶部671は、測定位置および測定方位を対応付けた生育指標画像(NDVI画像)のみを記憶しても良い。
制御処理部64は、画像生成装置Mの各部を当該各部の機能に応じてそれぞれ制御し、測定対象の生育指標画像(本実施形態ではNDVI画像)を生成するための回路である。制御処理部64は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。より詳しくは、制御処理部64は、航空機61の飛行を制御し、可視撮像部65および赤外撮像部66によって、互いに同期するように撮像して可視画像および赤外画像を生成し、これら生成した可視画像および赤外画像に基づいてNDVI画像を求め、位置高度測定部62および方位測定部63によって、測定位置および測定方位を取得し、これら取得した測定位置および測定方位を可視画像、赤外画像およびNDVI画像に対応付けて、これらを画像記憶部671に記憶する。なお、上述したように、画像記憶部671は、測定位置および測定方位を対応付けた生育指標画像(NDVI画像)のみを記憶しても良い。
そして、これら位置高度測定部62、方位測定部63、制御処理部13、可視撮像部65、赤外撮像部66、記憶部67およびIF部68は、航空機61に搭載され、適宜な位置に配置される。可視撮像部65および赤外撮像部66は、航空機61によって当該画像生成装置Mが飛行している場合に、各光軸が互いに平行で、かつ、下方、好ましくは鉛直下方を向くように、航空機61に配置される。
一方、植物生育指標測定装置Pは、複数の生育指標画像を、いわゆるパノラマ合成処理によって、連続的に繋ぎ合わせて1枚の生育指標合成画像を生成する装置である。このような植物生育指標測定装置Pは、例えば、図10に示すように、IF部71と、制御処理部72と、記憶部73と、入力部74と、出力部75とを備える。
入力部74は、制御処理部72に接続され、例えば、生育指標合成画像の生成開始を指示するコマンド等の各種コマンド、および、例えば測定対象の圃場の名称の入力等の生育指標を測定する上で必要な各種データを植物生育指標測定装置Pに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。出力部75は、制御処理部72に接続され、制御処理部72の制御に従って、入力部74から入力されたコマンドやデータ、および、植物生育指標測定装置Pによって測定された生育指標合成画像を出力する機器であり、例えばCRTディスプレイ、LCD(液晶ディスプレイ)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
なお、入力部74および出力部75からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部74は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部75は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として植物生育指標測定装置Pに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い植物生育指標測定装置Pが提供される。
IF部71は、IF部68と同様に、制御処理部72に接続され、制御処理部72の制御に従って、例えば画像生成装置M等の外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(規格等の赤外線通信を行うインターフェース回路、および、USB規格を用いたインターフェース回路等である。また、IF部71は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して例えば画像生成装置Mや生育指標画像を管理するサーバ装置等の外部装置との間で通信しても良い(イーサネットは登録商標)。
記憶部73は、制御処理部72に接続され、制御処理部72の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Pの各部を当該各部の機能に応じて制御する制御プログラムや、複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成プログラム等の制御処理プログラムが含まれる。前記画像合成プログラムには、画像の歪曲を補正する歪曲補正処理を行う歪曲補正プログラムや、前記複数の生育指標画像それぞれに対応付けられている各測定位置に基づいて前記複数の生育指標画像それぞれの配置位置を求める位置合せ処理を行う位置合せプログラムや、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行う対応点探索プログラムや、前記対応点探索プログラムで抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算プログラムや、前記変換行列演算プログラムで求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行う画像変換プログラムや、前記第A画像と前記画像変換プログラムで画像変換した前記第B画像とを合成する合成処理を行う合成プログラムが含まれる。前記各種の所定のデータには、前記複数の生育指標画像(本実施形態ではNDVI画像)やこれらを1枚に合成した生育指標合成画像(本実施形態ではNDVI合成画像)等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部73は、例えば不揮発性の記憶素子であるROMや書き換え可能な不揮発性の記憶素子であるEEPROM等を備える。そして、記憶部73は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部6のワーキングメモリとなるRAM等を含む。なお、記憶部73は、比較的大容量のデータを記憶できるハードディスク等を備えても良い。
そして、記憶部73は、これら複数の生育指標画像(NDVI画像)を記憶する画像記憶部731を機能的に備える。より具体的には、測定位置および測定方位を対応付けた複数の生育指標画像(NDVI画像)を記憶する。より詳しくは、画像記憶部731は、測定位置および測定方位をヘッダに収容した複数の生育指標画像(NDVI画像)を記憶する。
なお、上述では、画像記憶部731は、測定位置および測定方位を対応付けた複数の生育指標画像(NDVI画像)のみを記憶したが、画像記憶部731は、その元画像である、測定位置および測定方位を対応付けた複数の可視画像および複数の赤外画像を記憶しても良い。
制御処理部72は、植物生育指標測定装置Pの各部を当該各部の機能に応じてそれぞれ制御し、複数の生育指標画像に基づいて1枚の生育指標合成画像を生成するための回路である。制御処理部72は、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部72は、機能的に、制御部721と画像合成部722とを備える。
制御部721は、当該植物生育指標測定装置Pの各部を当該各部の機能に応じて制御し、当該植物生育指標測定装置Pの全体制御を司るものである。制御部721は、IF部71によって、画像生成装置Mから、画像生成装置Mで圃場の互いに異なる領域を含むように生成された、互いに異なる複数の生育指標画像を取得する。
画像合成部722は、IF部71で取得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成するものである。画像合成部722は、機能的に、歪曲補正部7221と、位置合せ部7222と、対応点探索部7223と、変換行列演算部7224、画像変換部7225と、合成部7226とを備える。
歪曲補正部7221は、生育指標画像の歪曲を補正する歪曲補正処理を行うものである。
位置合せ部7222は、複数の生育指標画像それぞれに対応付けられている各測定位置および各測定方位に基づいて、複数の生育指標画像それぞれの配置位置を求める位置合せ処理を行うものである。これによって複数の生育指標画像の中で、互いに隣接する育指標画像が求められる。
対応点探索部7223は、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行うものである。後述の、図12に示すフローチャートの説明では、前記第A画像は、N番目の生育指標画像(NDVI画像)Iであり、前記第B画像は、N+1番目の生育指標画像(NDVI画像)IN+1である。
変換行列演算部7224は、対応点探索部7223で抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行うものである。
画像変換部7225は、変換行列演算部7224で求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行うものである。
合成部7226は、前記第A画像と画像変換部7225で画像変換した前記第B画像とを合成する合成処理を行うものである。
次に、本実施形態の動作について説明する。図11は、前記植物生育指標測定システムに用いられる画像生成装置の動作を示すフローチャートである。図12は、前記植物生育指標測定システムに用いられる植物生育指標測定装置の動作を示すフローチャートである。図13は、図12に示すフローチャートにおける対応点探索の処理を説明するための図である。図13Aは、互いに隣接するNDVI画像のうちの一方を示し、図13Bは、その他方を示す。図14は、図12に示すフローチャートにおける画像変換の処理を説明するための図である。図14は、図13Aに示すNDVI画像を画像変換したNDVI画像である。図15は、NDVI合成画像の一例を示す図である。図15は、図13Aおよび図13Bに示す各NDVI画像を、一方を画像変換後に合成したNDVI合成画像である。
まず、画像生成装置Mの動作について説明する。このような植物生育指標測定システムSの画像生成装置Mは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。
画像生成装置Mは、誘導飛行または自律飛行による制御処理部64の制御に従って、測定対象の圃場を上空を、略一定の所定の高度で、圃場の一方端から他方端へ飛行し、前記他方端に到達すると、前方に所定距離だけ進むように折り返して前記他方端から前記一方端へ飛行し、前記一方端に到達すると、前方に所定距離だけ進むように折り返して前記一方端から前記他方端へ飛行する。画像生成装置Mは、以下同様に、飛行することによって、測定対象の圃場の上空を九十九折りに飛行する。このような測定対象の圃場の上空を飛行している間に、画像生成装置Mは、所定の時間間隔(サンプリング間隔)で、以下の各処理を繰り返し実行し、この繰り返しの各回で、可視撮像部65および赤外撮像部66の各画角の範囲に相当する前記圃場の一部の領域を可視および近赤外で撮像することで可視画像および近赤外画像を生成し、これらに基づいて生育指標画像を生成している。前記所定の時間間隔は、例えば飛行速度や、飛行高度や、可視撮像部65および赤外撮像部66の各画角等を考慮することによって、各可視画像および各近赤外画像が同種の互いに隣接する画像同士において一部で重複するように、設定される。
より具体的には、図11において、画像生成装置Mは、制御処理部64の制御に従った可視撮像部65および赤外撮像部66によって、圃場を上空から撮像して可視画像および近赤外画像を生成し、取得する(S111)。
次に、画像生成装置Mは、制御処理部64によって、これら取得した可視画像および近赤外画像に基づいて生育指標画像、本実施形態では、NDVI画像を求める(S112)。NDVI画像の各画素値は、可視画像の画素値をIとし、近赤外画像の画素値をRとする場合に、NDVI画像の当該画素位置に対応する可視画像および近赤外画像の画素位置同士において、NDVI=(I−R)/(I+R)によって求められる。例えば、NDVI画像の画素位置(0、0)における画素値は、可視画像の画素位置(0、0)における画素値および近赤外画像の画素位置(0、0)における画素値から求められ、また例えば、NDVI画像の画素位置(10、15)における画素値は、可視画像の画素位置(10、15)における画素値および近赤外画像の画素位置(10、15)における画素値から求められる。なお、可視撮像部65と、赤外撮像部66との視差が考慮され、可視画像の画素位置および近赤外画像の画素位置の中の少なくともいずれか一方の画素位置が前記視差を修正するようにシフトされた上で、NDVIが求められても良い。また、可視撮像部65の前記第1結像光学系と赤外撮像部66の前記第2結像光学系は、例えば画角や歪曲収差等の光学特性が互いに同等であるものとする。
次に、画像生成装置Mは、制御処理部64の制御に従った位置高度測定部62および方位測定部63によって、画像生成装置Mにおける位置(緯度X、経度Y、高度X)および方位(方位角Y)を測定し、取得する(S113)。
次に、画像生成装置Mは、制御処理部64によって、処理S112で求めた生育指標画像のヘッダに、処理S113で取得した測定位置(緯度X、経度Y、高度X)および測定方位(方位角Y)を収容し(S114)、処理S112で求めた生育指標画像を画像記憶部671に記憶して保存する(S115)。
そして、画像生成装置Mは、制御処理部64によって、終了か否かを判定し、終了である場合には(Yes)、本処理を終了し、終了でない場合には(No)、処理を処理S111に戻す(S116)。
このように動作することで、画像生成装置Mは、前記圃場の一部の各領域それぞれに対応する複数の生育指標画像(NDVI画像)を生成し、これらを画像記憶部671に記憶する。
次に、植物生育指標測定装置Pの動作について説明する。上記植物生育指標測定システムSの植物生育指標測定装置Pは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部72には、制御部721および画像合成部722が機能的に構成され、画像合成部722には、歪曲補正部7221、位置合せ部7222、対応点探索部7223、変換行列演算部7224、画像変換部7225および合成部7226が機能的に構成される。そして、画像生成装置Mによって生成された圃場の各領域それぞれに対応する複数の生育指標画像(本実施形態ではNDVI画像)がIF部71から取得され、記憶部73の画像記憶部731に記憶される。例えば、画像生成装置MのIF部68と植物生育指標測定装置PのIF部71とが互いに有線または無線によって接続され、IF部68およびIF部71を介して画像生成装置Mから植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。また例えば、ネットワーク上に、前記複数の生育指標画像(NDVI画像)を管理するサーバ装置が設けられ、IF部68および前記ネットワークを介して画像生成装置Mから前記サーバ装置へ前記複数の生育指標画像(NDVI画像)が転送され、その後、植物生育指標測定装置Pの要求に応じて、前記ネットワークおよびIF部71を介して前記サーバ装置から植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。また例えば、USBメモリ等のメモリカードが用意され、画像生成装置Mから、IF部68に接続された前記メモリカードへ前記複数の生育指標画像(NDVI画像)が転送され、その後、前記メモリカードをIF部71に接続して前記メモリカードから植物生育指標測定装置Pへ前記複数の生育指標画像(NDVI画像)が転送される。なお、前記メモリカードは、IF部68に接続された場合には上述の画像記憶部671として使用され、IF部71に接続された場合には、上述の画像記憶部731として使用されても良い。
このように前記複数の生育指標画像(NDVI画像)が記憶部73の画像記憶部731に記憶されると、図12において、まず、植物生育指標測定装置Pは、画像合成部722の歪曲補正部7221によって、前記複数の生育指標画像(NDVI画像)の中の、N番目の生育指標画像(NDVI画像)Iと、N+1番目の生育指標画像(NDVI画像)IN+1を、公知の常套手法によって、例えば可視撮像部65の前記第1結像光学系や赤外撮像部66の前記第2結像光学系等に起因する歪曲を補正する歪曲補正処理を行う(S121)。歪曲補正のためのデータは、例えば生育指標画像(NDVI画像)のヘッダに収容されて良く、また例えば入力部74からユーザ(オペレータ)によって入力されて良い。なお、前記Nは、前記複数の生育指標画像(NDVI画像)それぞれに割り付けられたシリアル番号であり、前記複数の生育指標画像(NDVI画像)の総数がKである場合に、1からKまでの整数である。前記Nは、図12に示すフローチャートが開始される際に、N=1に初期化される。また、図12に示すフローチャートの以下の説明では、生育指標画像は、その一例としてのNDVI画像を指すものとし、特に、括弧書きで注釈しない。
次に、植物生育指標測定装置Pは、画像合成部722の位置合せ部7222によって、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1とを、それらヘッダに収容された測定位置(緯度X、経度Y、高度X)および測定方位(方位角Y)に基づいて、前記複数の生育指標画像を1枚の画像に合成した生育指標合成画像Is上での、N番目の生育指標画像IおよびN+1番目の生育指標画像IN+1それぞれの配置位置を求める位置合せ処理を行う(S122)。より具体的には、例えば、生育指標合成画像Isには、基準として基準高度および基準方向が設定され、生育指標画像Iは、これら基準高度および基準方向で生成された画像となるように、拡大、縮小および回転等によって修正され、その緯度Xおよび経度Yが生育指標画像Iの中央位置(対角線の交点位置)とみなされ、前記緯度Xおよび経度Yに応じて生育指標合成画像Is上の座標が生育指標画像Iに与えられる。これによって生育指標画像Iの生育指標合成画像Isにおける配置位置が決定される。なお、画像生成装置Mは、本実施形態では、上述のように、前記複数の可視画像および近赤外画像を生成するので、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1とは、生育指標合成画像Is上において、左右方向(水平方向)および上下方向(垂直方向)のうちのいずれかで隣り合う。
次に、植物生育指標測定装置Pは、画像合成部722の対応点探索部7223によって、N番目の生育指標画像Iと、N+1番目の生育指標画像IN+1との間で、複数の対応点を抽出する対応点探索処理を行う(S123)。より具体的には、まず、対応点探索部7223は、N番目の生育指標画像IおよびN+1番目の生育指標画像IN+1のうちの一方を、例えばN+1番目の生育指標画像IN+1を基準画像とし、その他方を、例えばN番目の生育指標画像Iを参照画像とする。次に、対応点探索部7223は、基準画像から複数の特徴点を抽出する。より詳しくは、対応点探索部7223は、基準画像において、画素値が周辺画素の画素値より有意に異なる画素を特徴点として抽出する。例えばその画素値が周辺画素の画素値より予め設定された閾値以上で異なる画素が、特徴点として抽出される。互いに隣接する所定の画素数(例えば4画素や9画素等)以上の領域が特徴点として抽出されても良い。そして、対応点探索部7223は、基準画像から抽出した各特徴点に対応する各対応点を参照画像から、公知の常套手法によって、探索する。その一例が図13に示されている。図13Aは、基準画像を示し、その●で示す各点は、特徴点PN+1であり、図13Bは、参照画像を示し、その●で示す各点は、図13Aに示す各特徴点PN+1に対応する対応点Pである。
次に、植物生育指標測定装置Pは、画像合成部722の変換行列演算部7224によって、対応点探索部7223で抽出された複数の対応点に基づいて、N番目の生育指標画像IにN+1番目の生育指標画像IN+1が連続するようにN+1番目の生育指標画像IN+1を回転および並進する画像変換行列Mを求める変換行列演算処理を行う(S124)。より具体的には、画像変換行列Mは、例えばアフィン変換を表す行列であり、変換式は、次式1によって表される。ここで、式1における右辺の列ベクトル(x、y、1)は、N+1番目の生育指標画像IN+1から抽出された特徴点の座標(画素位置)であり、式1における左辺の列ベクトル(x’、y’、1)は、N番目の生育指標画像Iから探索された前記特徴点に対応する対応点の座標(画素位置)である。列ベクトル(x、y、1)に作用する画像変換行列Mにおける1行1列、1行2列、2行1列および2行2列の各成分a、b、c、dは、回転の変換行列を表し、1行3列および2行3列の各成分t、tは、並進(平行移動)の変換行列を表す。処理S123で求めた特徴点およびその対応点の各座標(画素位置)が式1に代入され、例えば最小二乗法によって、これら各成分a、b、c、d、t、tが求められ、これによって画像変換行列Mが求められる。
Figure 0006981408
次に、植物生育指標測定装置Pは、画像合成部722の画像変換部7225によって、変換行列演算部7224で求めた画像変換行列Mを用いてN+1番目の生育指標画像IN+1を画像変換する画像変換処理を行う(S125)。例えば、図13Aに示すN+1番目の生育指標画像IN+1は、画像変換行列Mによって図14に示す画像CIN+1に変換される。
次に、植物生育指標測定装置Pは、画像合成部722の合成部7226によって、N番目の生育指標画像Iと画像変換部7225で画像変換した変換後のN+1番目の生育指標画像CIN+1とを合成する合成処理を行う(S126)。より具体的には、合成部7226は、生育指標合成画像Is上の座標系において、処理S122で求めた配置位置で、N番目の生育指標画像Iと画像変換部7225で画像変換した変換後のN+1番目の生育指標画像CIN+1と画像加算する(Is=I+CIN+1)。例えば、図13および図14に示す例では、図15に示すように、図13Bに示すN番目の生育指標画像Iと、図14に示す変換後のN+1番目の生育指標画像CIN+1とが1枚に重ね合わされる。なお、図15では、図13Bに示すN番目の生育指標画像Iと、図14に示す変換後のN+1番目の生育指標画像CIN+1とが、視覚的に区別できるように、便宜上、それらの境界を白線で明示しているが、実際の生育指標合成画像Isでは、前記白線は、不要である。
次に、植物生育指標測定装置Pは、画像合成部722によって、次の生育指標画像Iを処理するために、Nを1だけインクリメントする(N←N+1、S127)。
次に、植物生育指標測定装置Pは、画像合成部722によって、全ての生育指標画像Iについて処理を終了したか否かを、すなわち、Nが最大値MAX以上か否かを判定する(S128)。この判定の結果、全ての生育指標画像Iについて処理を終了していない場合、すなわち、Nが最大値MAX以上ではない場合(No)、画像合成部722は、処理を処理S121に戻し、一方、前記判定の結果、全ての生育指標画像Iについて処理を終了している場合、すなわち、Nが最大値MAX以上である場合(Yes)、画像合成部722は、本処理を終了し、生育指標合成画像Isを出力部75に出力する。なお、必要に応じて、IF部21から外部機器へ生育指標合成画像Isが出力されても良い。
以上説明したように、本実施形態における植物生育指標測定システムS、植物生育指標測定装置Pならびにこれに実装された植物生育指標測定方法および植物生育指標測定プログラムは、可視画像や近赤外画像では無く、複数の生育指標画像Iをパノラマ合成処理するので、より精度良く合成した生育指標合成画像Isを生成できる。
図16は、低コントラストによる合成精度の低下を説明するための図である。図16Aは、NDVI画像の一例を示し、図16Bは、可視画像の一例を示し、図16Cは、近赤外画像の一例を示す。図16Aに示すNDVI画像は、図16Bに示す可視画像と図16Cに示す近赤外画像に基づいて求められた画像である。図17は、露出のばらつきによる合成精度の低下を説明するための図である。図17Aおよび図17Bは、NDVI画像の一例を示し、図17Cは、太陽が水田に写り込んだ場合の画像の一例を示し、図17Dは、露出アンダーの場合の画像の一例を示し、図17Eは、適正露出の場合の画像の一例を示し、図17Fは、図17Dに示す画像と図17Eに示す画像とを合成した場合の画像を示す。
圃場は、土壌や作物が一面に広がっており、土や葉の反射率が近いため、圃場を写した可視画像は、例えば、図16Bに示すように、そのコントラストが低くなる傾向にある。このため、可視画像では、繋ぎ合わせの基準となる繋ぎ合わせ基準点の抽出が難しく、合成の精度(繋ぎ合わせの精度)が低下してしまう。また、圃場を写した近赤外画像も、作物が一面に広がっている場合、例えば図16Cに示すように、そのコントラストが低くなる傾向にあり、同様に、合成の精度が低下してしまう。しかしながら、圃場における個々の作物が均一に生育することは少ないため、生育指標画像Iは、例えば図16Aに示すように、可視画像や近赤外画像と比較すると、コントラストが高く、繋ぎ合わせ基準点が抽出し易い。したがって、対応点探索する場合に、基準画像の特徴点が抽出し易く、その参照画像の対応点も探索し易い。
また、可視画像や近赤外画像の撮像の際に、例えば図17Cに示すように、太陽が写り込んだり、例えば図17Dに示すように、圃場ではない被写体が写り込んだりすると、露出が大きく変化してしまうため、露出オーバーや露出アンダーが生じてしまう。このため、このような画像を合成すると、繋ぎ合わせ基準点の抽出にばらつきが生じて合成の精度が低下してしまう。例えば図17Dに示す露出アンダーの画像と、図17Eに示す、圃場のみが被写体で適正露出の画像とが合成されると、図17Fに示すように、繋ぎ合わせを境界に、その前後(左右)で明暗や色調等に段差が生じ、合成の精度が低下してしまう。しかしながら、生育指標画像Iが波長帯域の異なる複数の画像に基づいて生成するので、生育指標画像Iは、例えば図17Aおよび図17Bに示すように、可視画像や近赤外画像と比較すると、露出差が少ない。
したがって、上記植物生育指標測定システムS、植物生育指標測定装置P、植物生育指標測定方法および植物生育指標測定プログラムは、パノラマ合成処理で複数の生育指標画像Iに基づくことで、より精度良く合成した生育指標合成画像Isを生成できる。
なお、上述の第4実施形態では、特徴点と対応点とに基づいて画像変換行列Mが求められたが、前記複数の生育指標画像Iそれぞれにおける緯度X、経度Y、高度Zおよび方位θに基づいて、アフィン変換を行う画像変換行列Mが求められても良い。すなわち、前記生育指標画像Iは、第1波長帯域での圃場の第1光学像を前記圃場の上方(例えば上空)から撮像する第1撮像部(例えば生育指標画像がNDVI画像である場合では可視撮像部)によって生成された第1画像、および、前記第1波長帯域と異なる第2波長帯域での前記圃場の第2光学像を前記圃場の上方(前記上空)から撮像する第2撮像部(例えば生育指標画像がNDVI画像である前記場合では赤外撮像部)によって生成された第2画像に基づいて生成され、前記複数の生育指標画像Iそれぞれは、当該生育指標画像Iを生成する際に用いられた第1および第2画像それぞれの撮像時における第1および第2撮像部の緯度X、経度Y、高度Zおよび方位θを備え、前記画像合成部は、前記複数の生育指標画像Iそれぞれについて、当該生育指標画像Iの画素位置を、当該生育指標画像Iの備える緯度X、経度Y、高度Zおよび方位θに基づくアフィン変換を行うことによって、前記生育指標合成画像Isにおける画素位置へ変換することによって前記パノラマ合成処理しても良い。
図18は、第1変形形態におけるパノラマ合成処理を説明するための図である。図18の上段は、各生育指標画像Iを示し、図18の下図は、生育指標合成画像Isの座標系を示す。
アフィン変換は、公知のように、線形変換と平行移動(並進)とを組み合わせた変換であり、上述の式1もしくは次式2で表される(例えば、「アフィン変換とは」、[online]、[2016年5月19日検索]、インターネット(URL:http//d.hatena.ne.jp/Zellij/20120523/p1))。
Figure 0006981408
ここで、式2の右辺の列ベクトル(x、y)は、図18の上段に示すように、生育指標画像Iでの画素位置であり(N番目の生育指標画像Iではx=x、y=y)、列ベクトル(x’、y’)は、図18の下段に示すように、生育指標合成画像Isの座標系での画素位置を示す。式2の右辺第1項における、1行1列、1行2列、2行1列および2行2列の各成分a、b、c、dから成る2行2列の行列は、回転の変換行列R(θ)を表し、式2の右辺第2項の列ベクトル(t、t)は、並進(平行移動)の変換行列を表す。
回転の変換行列R(θ)における各成分a、b、c、dは、方位測定部(3軸方位計)13の値θから、次式3によって与えられる(N番目の生育指標画像Iではθ=θ)。なお、撮像時の高度が基準高度と異なる場合には、回転行列R(θ)に、撮像時の高度が基準高度と同等となるように、撮像時の高度に応じたスケーリング係数が乗算される。例えば、成分aは、cosθに前記スケーリング係数を乗算した値である。
Figure 0006981408
そして、並進(平行移動)の変換行列における各成分t、tは、生育指標合成画像Isの座標系における原点(0、0)からの距離d[m]と、水平方向(x’軸)との角度φ[rad]を、緯度Xおよび経度Yから、求め、画素数に変換することで、次式4(4−1、4−2)で与えられる。
Figure 0006981408
ここで、pix1mは、メートル単位を画素数の単位に変換するための係数であり、例えば、実測することによって求められる。また、前記距離d[m]および角度φ[rad]の算出方法は、公知であり、次式5(5−1、5−2)によって与えられる(例えば「2地点間の距離と方位角」、[online]、[2016年5月22日検索]、インターネット(URL:http//keisan.casio.jp/exec/system/1257670779))。なお、X1およびY1は、それぞれ、A地点の緯度および経度であり、X2およびY2は、それぞれ、B地点の緯度および経度であり、rは、地球を球体とみなした赤道半径(=6378.137km)である。ここでは、A地点またはB地点が、生育指標合成画像Isの座標系における原点(0、0)となる。
d=r×arccos[sin(Y1)sin(Y2)+cos(Y1)cos(Y2)cos(X2−X1)] ・・・(5−1)
φ=90−arctan[sin(X2−X1),cos(Y1)tan(Y2)−sin(Y1)cos(X2−X1)] ・・・(5−2)
また、前記画像合成部は、耕作地または前記耕作地に生育する作物に由来する幾何的な所定の目印に基づいて前記パノラマ合成処理しても良い。すなわち、前記画像合成部は、前記生育指標画像Iから前記所定の目印を抽出する目印抽出処理を行う目印抽出部と、前記抽出した所定の目印に基づいて、予め設定された所定の基準に対して前記生育指標画像Iを回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記生育指標画像Iを画像変換する画像変換処理を行う画像変換部と、前記画像変換部で画像変換した前記生育指標画像Iを合成する合成処理を行う合成部とを備え、前記複数の生育指標画像I全てを合成するまで、前記目印抽出部によって前記目印抽出処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理しても良い。前記所定の基準は、前記複数の生育指標画像I全てに共通していれば良く、任意に適宜な値に設定される。前記所定の目印は、例えば、前記耕作地における畦である。畦は、水田と水田との間の土地であり、畦には、道や水路が含まれる。また例えば、前記所定の目印は、前記耕作地に生育する稲の条、また、前記稲の条間である。前記所定の目印に対応する生育指標の値は、例えば土壌や雑草等で反射率が作物の反射率と異なるため、作物に対応する生育指標の値と異なり、一般に小さい値(低い値)となる。このため、前記所定の目印は、生育指標画像Iの中で比較的目立ち、抽出し易い。したがって、このような植物生育指標測定装置Pは、前記所定の目印に基づいてパノラマ合成処理するので、パノラマ合成処理がし易くなる。
図19は、第2変形形態におけるパノラマ合成処理を説明するための図である。図19Aは、生育指標画像Iの一例を示し、図19Bは、図19Aにおける中央に位置する領域の画像から、エッジを検出したエッジ検出結果を示し、図19Cは、図19Bに示す画像から、直線のハフ変換によって検出された直線を示す。
より具体的には、例えば、図17Aや図17Bに示すような、前記生育指標画像Iから、画素値が予め設定された閾値以下の画素値を持つ画素を抽出することによって、前記所定の目印として畦RPが検出される。この畦RPに基づいて、予め設定された所定の基準に対して前記生育指標画像Iを並進する並進の変換行列が求められる。
また、直線のハフ変換によって、水田に生育する稲の条、また、前記稲の条間が検出され、これらの傾きの角度から、回転の変換行列が求められる。より詳しくは、前記生育指標画像Iに対し、エッジを検出するためのいわゆるエッジフィルタが作用され、エッジが検出される。例えば、図19Aに示す生育指標画像Iに対し、エッジを検出すると、図19Bに示すエッジが検出される。次に、このエッジの各画像から直線のハフ変換によって直線が、稲の条または前記稲の条間として検出される。例えば、図19Bに示すエッジの画像から、図19Cに示すように、複数の直線が検出される。通常、複数の直線が検出されるので、各直線の傾き角度が平均され、平均値の傾き角度と、予め設定された所定の基準角度との差が回転量とされ、回転の変換行列が求められる。
これら求められた生育指標画像Iに対する並進の変換行列および回転の変換行列から、前記生育指標画像Iを回転および並進する画像変換行列Mが求められる。
そして、この求めた画像変換行列Mで前記生育指標画像Iが画像変換され、この画像変換後の前記生育指標画像Iが、生育指標合成画像Is上の座標系における配置位置に配置され、これに隣接する他の前記生育指標画像Iと画像加算され、合成される。
このような各処理が前記複数の生育指標画像I全てにつて実施され、生育指標合成画像Isが生成される。
また、上述の第4実施形態では、植物生育指標測定装置Pは、複数の生育指標画像を画像生成装置Mから、IF部71を介して取得したが、植物生育指標測定装置Pと画像生成装置Mとは、一体に構成されても良い。すなわち、上述の第4実施形態では、前記画像取得部は、その一例としてのIF部71であったが、前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部(例えば生育指標画像がNDVI画像である場合では可視撮像部)と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部(例えば生育指標画像がNDVI画像である前記場合では赤外撮像部)と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成しても良い。
あるいは、生育指標画像Iは、植物生育指標測定装置Pで生成されても良い。すなわち、前記画像取得部は、外部機器から、圃場の互いに異なる領域を含むように生成され、互いに異なる第1および第2波長帯域での複数の第1および第2画像を取得するインターフェース部と、前記インターフェース部で取得した複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する生育指標画像生成部とを備えても良い。
また、上述の第4実施形態では、画像生成装置Mは、可視画像を生成する可視撮像部65、および、赤外画像を生成する赤外撮像部66を備えたが、例えば特許第5168353号公報に開示されているように、可視画像および赤外画像を生成する1個の撮像部を備えても良い。このような可視画像および赤外画像を生成する1個の撮像部は、測定対象の光学像を所定の第3結像面上に結像する単一の第3結像光学系と、前記第3結像面に受光面を一致させて配置され、前記測定対象の光学像を電気的な信号に変換する第3イメージセンサ単一の光学系と、前記第3イメージセンサ上に配置されたR/G/B/Ir、あるいは、W/Y/R/Irとを備えて構成される。前記Rは、主に赤色光を透過させるフィルタであり、前記Gは、主に緑色光を透過させるフィルタであり、前記Bは、主に青色光を透過させるフィルタであり、そして、前記Irは、主に赤外光を透過させるフィルタである。前記Wは、主に白色光を透過させるフィルタであり、前記Yは、主に黄色光を透過させるフィルタである。
また、上述の第4実施形態において、画像生成装置Mが等速直線運動している場合には、並進量の変動は、少ないので、並進量は、予め設定された所定の固定値とされ、画像から求めなくても良い。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる植物生育指標測定装置は、植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、所定の時間間隔で画像を生成する画像生成部と、前記画像を記憶する画像記憶部と、前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備える。
このような植物生育指標測定装置は、前記画像生成部で生成された画像のうち、画像判定部で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理部をさらに備え、前記画像判定部は、前記画像周波数処理部で求めた周波数に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像判定部は、前記判定処理として、前記画像周波数処理部で求めた周波数が、所定の撮像高度で撮像した画像に写る前記条または前記条間に応じた周波数(撮像高度対応周波数)に、所定の第1マージンの範囲内で一致するか否かを判定し、前記一致する場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記画像周波数処理部は、前記画像生成部で生成された画像からエッジを検出し、前記エッジを検出した画像から直線のハフ変換によって複数の直線を前記条または前記条間として求め、前記求めた複数の直線の間隔から前記周波数を求める。
このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づいて求められた、前記圃場に生育する作物の条または条間に応じた周波数に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、前記生育指標を求める生育指標処理部をさらに備え、前記画像判定部は、前記生育指標処理部で求めた生育指標に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像生成部は、可視画像を生成する可視撮像部と、近赤外画像を生成する赤外撮像部とを備え、前記生育指標処理部は、前記画像生成部の可視撮像部および赤外撮像部それぞれで生成された可視画像および近赤外画像に基づいて、前記生育指標の一例に相当するNDVIを表した画素値を持つNDVI画像を求め、前記画像判定部は、前記判定処理として、前記生育指標処理部で求めたNDVI画像において、所定の第1閾値以下の画素値を持つ画素の総数が所定の第2閾値以上であるか否かを判定し、前記第2閾値以上ではない場合を前記画像記憶部に記憶する場合と判定する。
このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づいて求められた、前記生育指標に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
他の一態様では、上述の植物生育指標測定装置において、前記画像生成部で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出部をさらに備え、前記画像判定部は、前記太陽写込検出部の検出結果に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記太陽写込検出部は、前記画像生成部で生成された画像から、画素値が飽和した画素領域のサイズ(広さ、画素数)を求め、前記求めたサイズが所定の第3閾値以上である画素領域を前記太陽の写り込みとして検出し、前記画像判定部は、前記太陽写込検出部が前記太陽の写り込みを検出しない場合を前記画像記憶部に記憶する場合と判定する。
このような植物生育指標測定装置は、前記画像生成部で生成された画像に基づく前記太陽写込検出部の検出結果に基づいて、前記判定処理を行うので、前記画像生成部で生成された画像で前記判定処理を実施できる。
他の一態様では、上述の植物生育指標測定装置において、自機の高度、方位、速度および加速度のうちの少なくとも1つを測定する自機状態測定部と、前記画像生成部、前記画像記憶部、前記画像判定部、前記画像記憶制御部および前記自機状態測定部を搭載し、大気中を飛行する航空機とをさらに備え、前記画像判定部は、前記自機状態測定部の測定結果に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、高度を測定する高度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された高度が、所定の第4閾値以上であるか否かを判定し、前記第4閾値以上である場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、方位を測定する方位測定部を備え、前記画像判定部は、前記自機状態測定部で測定された方位が、所定の方位(例えば圃場の輪郭における長辺に沿った方向で九十九折りに往復しながら前記画像を生成する場合に前記長辺の方位等)に、所定の第2マージンの範囲内で一致するか否かを判定し、前記一致する場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、速度を測定する速度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された速度が、所定の第5閾値以上であるか否かを判定し、前記第5閾値以上である場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、加速度を測定する加速度測定部を備え、前記画像判定部は、前記判定処理として、前記自機状態測定部で測定された加速度が、所定の第6閾値以上であるか否かを判定し、前記第6閾値以上ではない場合を前記画像記憶部に記憶する場合と判定する。好ましくは、上述の植物生育指標測定装置において、前記自機状態測定部は、自機の高度、方位、速度および加速度のうちの複数を測定し、前記画像判定部は、前記自機状態測定部における複数の測定結果それぞれついて、当該測定結果に基づいて前記判定処理を行い、前記複数の測定結果それぞれについての各判定処理の各判定処理結果のANDによって、前記画像記憶部に記憶するか否かを判定する。
自機の高度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機の上昇中または降下中に生成された画像の記憶が低減できる。自機の方位に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機の折り返し中に生成された画像の記憶が低減できる。自機の速度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機のホバリング中に生成された画像の記憶が低減できる。自機の加速度に基づいて前記判定処理を行う場合、上記植物生育指標測定装置は、自機のホバリング中の振動による加速度で前記ホバリングを検出できるから、前記ホバリング中に生成された画像の記憶が低減できる。
他の一態様では、上述の植物生育指標測定装置において、自機の位置を測定する位置測定部と、前記圃場の所在領域を表す圃場領域情報を記憶する圃場領域情報記憶部とをさらに備え、前記画像判定部は、前記位置測定部で測定された自機の位置および前記圃場領域情報記憶部に記憶された圃場領域情報に基づいて、前記判定処理を行う。好ましくは、上述の植物生育指標測定装置において、前記画像判定部は、前記判定処理として、前記位置測定部で測定された自機の位置が、前記圃場領域情報記憶部に記憶された圃場領域情報で表される前記圃場の所在領域内であるか否かを判定し、前記圃場の所在領域内である場合を前記画像記憶部に記憶する場合と判定する。
このような植物生育指標測定装置は、圃場の上空で撮像して生成した画像のみを確実に画像記憶部に記憶できる。
他の一態様では、上述の植物生育指標測定装置において、前記画像記憶制御部は、さらに、前記画像判定部で前記画像記憶部に記憶しないと判定された場合に、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として前記画像記憶部に記憶する。好ましくは、上述の植物生育指標測定装置において、自機の位置を測定する位置測定部をさらに備え、前記画像記憶制御部は、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を前記画像生成部で生成した際の前記位置測定部で測定された自機の位置を、前記非記憶画像情報として前記画像記憶部に記憶する。
このような植物生育指標測定装置は、前記画像記憶部に記憶しないと判定された画像の非記憶画像情報を記憶するので、前記画像記憶部に記憶しないと判定された画像のみを、後に取り直すことができる。
他の一態様にかかる植物生育指標測定方法は、測定対象の圃場を上方から撮像した画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定方法であって、所定の時間間隔で画像を生成する画像生成工程と、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを備える。
このような植物生育指標測定方法は、前記画像生成工程で生成された画像のうち、画像判定工程で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
他の一態様にかかる植物生育指標測定プログラムは、測定対象の圃場を上方から所定の時間間隔で撮像した複数の画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定プログラムであって、コンピュータに、前記所定の時間間隔で撮像した複数の画像に対し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを実行させるための植物生育指標測定プログラムである。
このような植物生育指標測定プログラムは、前記所定の時間間隔で撮像した複数の画像のうち、画像判定工程で、前記生育指標を求めるために有意な画像として、前記画像記憶部に記憶すると判定された画像のみ、前記画像記憶部に記憶するので、前記画像記憶部の記憶容量をより低減でき、合成の処理における効率の低下をより抑制できる。
一態様にかかる植物生育指標測定装置は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得部と、前記画像取得部で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成部とを備える。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、第1波長帯域での第1光学像を撮像することによって第1画像を生成する第1撮像部と、前記第1波長帯域と異なる第2波長帯域での第2光学像を撮像することによって第2画像を生成する第2撮像部と、前記第1および第2撮像部それぞれによって生成された、圃場の同一領域における第1および第2画像に基づいて前記生育指標画像を生成する生育指標画像生成部とを備え、前記第1および第2撮像部それぞれは、圃場の互いに異なる領域を含むように、複数の第1および第2画像を生成し、前記生育指標画像生成部は、前記複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、外部機器から、前記複数の生育指標画像を取得するインターフェース部である。好ましくは、上述の植物生育指標測定装置において、前記画像取得部は、外部機器から、圃場の互いに異なる領域を含むように生成され、互いに異なる第1および第2波長帯域での複数の第1および第2画像を取得するインターフェース部と、前記インターフェース部で取得した複数の第1および第2画像に基づいて前記複数の生育指標画像を生成する生育指標画像生成部とを備える。好ましくは、上述の植物生育指標測定装置において、前記画像合成部は、前記複数の生育指標画像における互いに隣接する2個の第Aおよび第B画像を選定し、前記選定した第Aおよび第B画像間で複数の対応点を抽出する対応点探索処理を行う対応点探索部と、前記対応点探索部で抽出された複数の対応点に基づいて、前記第A画像に前記第B画像が連続するように前記第B画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記第B画像を画像変換する画像変換処理を行う画像変換部と、前記第A画像と前記画像変換部で画像変換した前記第B画像とを合成する合成処理を行う合成部とを備え、前記複数の生育指標画像全てを合成するまで、前記対応点探索部によって前記対応点探索処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理する。好ましくは、上述の植物生育指標測定装置において、前記生育指標画像は、第1波長帯域での圃場の第1光学像を前記圃場の上方(例えば上空)から撮像する第1撮像部によって生成された第1画像、および、前記第1波長帯域と異なる第2波長帯域での前記圃場の第2光学像を前記圃場の上方(前記上空)から撮像する第2撮像部によって生成された第2画像に基づいて生成され、前記複数の生育指標画像それぞれは、当該生育指標画像を生成する際に用いられた第1および第2画像それぞれの撮像時における第1および第2撮像部の緯度、経度、高度および方位を備え、前記画像合成部は、前記複数の生育指標画像それぞれについて、当該生育指標画像の画素位置を、当該生育指標画像の備える緯度、経度、高度および方位に基づくアフィン変換を行うことによって、前記生育指標合成画像における画素位置へ変換することによって前記パノラマ合成処理する。
本発明者は、圃場における個々の作物が均一に生育することは少ないため、生育指標画像は、可視画像や近赤外画像と比較すると、コントラストが高く、繋ぎ合わせ基準点の抽出がし易いことを見出した。そして、本発明者は、生育指標画像が波長帯域の異なる複数の画像に基づいて生成するので、生育指標画像は、可視画像や近赤外画像と比較すると、露出差が少ないことを見出した。したがって、上記植物生育指標測定装置は、可視画像や近赤外画像では無く、複数の生育指標画像をパノラマ合成処理するので、より精度良く合成した生育指標合成画像を生成できる。
他の一態様では、上述の植物生育指標測定装置において、前記画像合成部は、耕作地または前記耕作地に生育する作物に由来する幾何的な所定の目印に基づいて前記パノラマ合成処理する。好ましくは、上述の植物生育指標測定装置において、前記所定の目印は、前記耕作地における畦である。畦は、水田と水田との間の土地であり、畦には、道や水路が含まれる。好ましくは、上述の植物生育指標測定装置において、前記所定の目印は、前記耕作地に生育する稲の条、また、前記稲の条間である。好ましくは、上述の植物生育指標測定装置において、前記画像合成部は、前記生育指標画像から前記所定の目印を抽出する目印抽出処理を行う目印抽出部と、前記抽出した所定の目印に基づいて、予め設定された所定の基準に対して前記生育指標画像を回転および並進する画像変換行列を求める変換行列演算処理を行う変換行列演算部と、前記変換行列演算部で求めた画像変換行列を用いて前記生育指標画像を画像変換する画像変換処理を行う画像変換部と、前記画像変換部で画像変換した前記生育指標画像を合成する合成処理を行う合成部とを備え、前記複数の生育指標画像全てを合成するまで、前記目印抽出部によって前記目印抽出処理を行い、前記変換行列演算部によって前記変換行列演算処理を行い、前記画像変換部によって前記画像変換処理を行い、前記合成部によって前記合成処理を行うことによって前記パノラマ合成処理する。
前記所定の目印に対応する生育指標の値は、作物に対応する生育指標の値と異なり、一般に小さい値(低い値)となるため、前記所定の目印は、生育指標画像の中で比較的目立ち、抽出し易い。このため、上記植物生育指標測定装置は、前記所定の目印に基づいてパノラマ合成処理するので、パノラマ合成処理がし易くなる。
他の一態様にかかる植物生育指標測定方法は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程を備える。
他の一態様にかかる植物生育指標測定プログラムは、コンピュータに、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように生成された、互いに異なる前記複数の生育指標画像を取得する画像取得工程と、前記画像取得工程で所得された複数の生育指標画像を、パノラマ合成処理することによって1個の生育指標合成画像を生成する画像合成工程とを実行させるためのプログラムである。
このような植物生育指標測定方法および植物生育指標測定プログラムは、可視画像や近赤外画像では無く、複数の生育指標画像をパノラマ合成処理するので、より精度良く合成した生育指標合成画像を生成できる。
他の一態様にかかる植物生育指標測定システムは、画像生成装置と、植物生育指標測定装置とを備える植物生育指標測定システムであって、前記画像生成装置は、植物における生育の度合いを表す生育指標を表した画像値の画素で構成された複数の生育指標画像であって、圃場の互いに異なる領域を含むように、互いに異なる前記複数の生育指標画像を生成し、前記植物生育指標測定装置は、これら上述のいずれかの植物生育指標測定装置である。
このような植物生育指標測定システムは、これら上述のいずれかの植物生育指標測定装置を用いるので、より精度良く合成した生育指標合成画像を生成できる。
この出願は、2016年6月22日に出願された日本国特許出願特願2016−123432と2016年6月22日に出願された日本国特許出願特願2016−123433とを基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、植物における生育の度合いを表す生育指標を求める植物生育指標測定装置、植物生育指標測定方法および植物生育指標測定プログラムが提供できる。

Claims (9)

  1. 植物における生育の度合いを表す生育指標を求めるための、測定対象の圃場を上方から撮像した画像、を生成する植物生育指標測定装置であって、
    所定の時間間隔で画像を生成する画像生成部と、
    前記画像を記憶する画像記憶部と、
    前記生育指標を求めるために有意な画像のみを前記画像記憶部に記憶するように、前記画像生成部で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定部と、
    前記画像判定部で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成部で生成された画像を前記画像記憶部に記憶する画像記憶制御部とを備える、
    植物生育指標測定装置。
  2. 前記画像生成部で生成された画像に基づいて、前記圃場に生育する作物の条または条間に応じた周波数を求める画像周波数処理部をさらに備え、
    前記画像判定部は、前記画像周波数処理部で求めた周波数に基づいて、前記判定処理を行う、
    請求項1に記載の植物生育指標測定装置。
  3. 前記画像生成部で生成された画像に基づいて、前記生育指標を求める生育指標処理部をさらに備え、
    前記画像判定部は、前記生育指標処理部で求めた生育指標に基づいて、前記判定処理を行う、
    請求項1に記載の植物生育指標測定装置。
  4. 前記画像生成部で生成された画像に基づいて、太陽の写り込みを検出する太陽写込検出部をさらに備え、
    前記画像判定部は、前記太陽写込検出部の検出結果に基づいて、前記判定処理を行う、
    請求項1に記載の植物生育指標測定装置。
  5. 自機の高度、方位、速度および加速度のうちの少なくとも1つを測定する自機状態測定部と、
    前記画像生成部、前記画像記憶部、前記画像判定部、前記画像記憶制御部および前記自機状態測定部を搭載し、大気中を飛行する航空機とをさらに備え、
    前記画像判定部は、前記自機状態測定部の測定結果に基づいて、前記判定処理を行う、
    請求項1に記載の植物生育指標測定装置。
  6. 自機の位置を測定する位置測定部と、
    前記圃場の所在領域を表す圃場領域情報を記憶する圃場領域情報記憶部とをさらに備え、
    前記画像判定部は、前記位置測定部で測定された自機の位置および前記圃場領域情報記憶部に記憶された圃場領域情報に基づいて、前記判定処理を行う、
    請求項1に記載の植物生育指標測定装置。
  7. 前記画像記憶制御部は、さらに、前記画像判定部で前記画像記憶部に記憶しないと判定された場合に、前記画像生成部で生成された画像であって前記画像判定部で前記画像記憶部に記憶しないと判定された前記画像を指し示す所定の情報を非記憶画像情報として前記画像記憶部に記憶する、
    請求項1ないし請求項6のいずれか1項に記載の植物生育指標測定装置。
  8. 測定対象の圃場を上方から撮像した画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定方法であって、
    所定の時間間隔で画像を生成する画像生成工程と、
    前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、
    前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程とを備える、
    植物生育指標測定方法。
  9. 測定対象の圃場を上方から所定の時間間隔で撮像した複数の画像に基づいて、植物における生育の度合いを表す生育指標を求める植物生育指標測定プログラムであって、
    コンピュータに、
    前記所定の時間間隔で撮像した複数の画像に対し、前記生育指標を求めるために有意な画像のみを画像記憶部に記憶するように、前記画像生成工程で生成された画像を前記画像記憶部に記憶するか否かを判定する判定処理を行う画像判定工程と、
    前記画像判定工程で前記画像記憶部に記憶すると判定された場合のみ、前記画像生成工程で生成された画像を前記画像記憶部に記憶する画像記憶制御工程と
    を実行させるための植物生育指標測定プログラム。
JP2018523632A 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム Active JP6981408B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016123433 2016-06-22
JP2016123432 2016-06-22
JP2016123432 2016-06-22
JP2016123433 2016-06-22
PCT/JP2017/020022 WO2017221641A1 (ja) 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム

Publications (2)

Publication Number Publication Date
JPWO2017221641A1 JPWO2017221641A1 (ja) 2019-04-11
JP6981408B2 true JP6981408B2 (ja) 2021-12-15

Family

ID=60784449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523632A Active JP6981408B2 (ja) 2016-06-22 2017-05-30 植物生育指標測定装置、該方法および該プログラム

Country Status (2)

Country Link
JP (1) JP6981408B2 (ja)
WO (1) WO2017221641A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885331B2 (en) * 2018-01-23 2021-01-05 X Development Llc Crop boundary detection in images
US11763441B2 (en) 2018-04-25 2023-09-19 Ntt Docomo, Inc. Information processing apparatus
WO2020044628A1 (ja) * 2018-08-29 2020-03-05 コニカミノルタ株式会社 圃場撮影システムおよび圃場撮影方法
US20220167555A1 (en) 2019-04-09 2022-06-02 Fj Dynamics Technology Co., Ltd Image acquisition device and processing method for agricultural harvesting operation machine
CN111024710B (zh) * 2019-12-17 2022-04-08 江苏恒宝智能系统技术有限公司 一种农作物异常检测系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4140052B2 (ja) * 2002-05-28 2008-08-27 株式会社サタケ 作物の生育診断方法における画像の補正方法
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
JP2009176163A (ja) * 2008-01-25 2009-08-06 Hitachi Software Eng Co Ltd 区画データ作成システム
JP5580091B2 (ja) * 2010-03-26 2014-08-27 株式会社パスコ 単画像の生成方法
US9489576B2 (en) * 2014-03-26 2016-11-08 F12 Solutions, LLC. Crop stand analysis

Also Published As

Publication number Publication date
WO2017221641A1 (ja) 2017-12-28
JPWO2017221641A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP6981408B2 (ja) 植物生育指標測定装置、該方法および該プログラム
US10902566B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
US9928659B2 (en) Method and system for generating augmented reality agricultural presentations
Xiang et al. Method for automatic georeferencing aerial remote sensing (RS) images from an unmanned aerial vehicle (UAV) platform
US9336568B2 (en) Unmanned aerial vehicle image processing system and method
CN106774431A (zh) 一种测绘无人机航线规划方法及装置
Ghazal et al. UAV-based remote sensing for vegetation cover estimation using NDVI imagery and level sets method
JP2014006148A (ja) 航空写真撮像方法及び航空写真撮像システム
JP6996560B2 (ja) 作物栽培支援装置
JP6507927B2 (ja) 植物生育指標測定装置、該方法および該プログラム
JP7153306B2 (ja) 検出対象位置特定システム
JP7081536B2 (ja) 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
JPWO2019017095A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
US20240166349A1 (en) Methods and Systems for Cloud-Based Management of Images Captured by Aerial Vehicles
JP7069609B2 (ja) 作物栽培支援装置
CN108007437A (zh) 一种基于多旋翼飞行器测量农田边界与内部障碍的方法
Ladd et al. Rectification, georeferencing, and mosaicking of images acquired with remotely operated aerial platforms
JP7318768B2 (ja) 作物栽培支援装置
WO2023233832A1 (ja) 方法、プログラム及び情報処理装置
JP7152212B2 (ja) 生育情報表示システム
CA2957081C (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
Ivošević et al. A drone view for agriculture
Colunga et al. CONSTRUCTION AND CONTROL OF AN AERIAL VEHICLE FOR CROP MONITORING
Turley Suitability of low cost commercial off-the-shelf aerial platforms and consumer grade digital cameras for small format aerial photography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150