以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
まず、本実施形態における植物生育指標測定装置の構成について説明する。図1は、実施形態における植物生育指標測定装置の構成を示すブロック図である。図2は、実施形態における航空機の構成を示すブロック図である。図3は、入射率を説明するための図である。図3(A)は、第1の態様の入射率の場合を示し、図3(B)は、第2の態様の入射率の場合を示す。図3の横軸は、波長であり、その縦軸は、強度である。
実施形態における植物生育指標測定装置は、互いに異なる複数の波長それぞれに対応した複数の衛星画像に基づいて求められた生育指標(相対生育指標)を、所定の校正値(キャリブレーション値)を用いて校正(キャリブレーション)することで、絶対生育指標を求める装置である。このような実施形態における植物生育指標測定装置Dは、例えば、図1に示すように、インターフェース部(IF部)1と、制御処理部2と、記憶部3とを備え、図1に示す例では、さらに入力部4と、出力部5とを備える。
IF部1は、制御処理部2に接続され、制御処理部2の制御に従って外部機器との間でデータを入出力するためのインターフェース回路であり、例えば、Bluetooth(登録商標)規格を用いてデータを入出力するBluetoothインターフェース回路、IrDA(Infrared Data Asscoiation)規格を用いてデータを入出力するIrDAインターフェース回路およびUSB(Universal Serial Bus)規格を用いてデータを入出力するUSBインターフェース回路等である。また、IF部1は、制御処理部2に接続され、制御処理部2の制御に従って有線または無線で通信するための通信回路(通信カード)であって良い。このようなIF部1は、制御処理部2から入力された転送すべきデータを収容した通信信号を、通信ネットワークで用いられる通信プロトコルに従って生成し、この生成した通信信号を前記通信ネットワークを介して外部機器へ送信する。IF部1は、前記通信ネットワークを介して前記外部機器から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部2が処理可能な形式のデータに変換して制御処理部2へ出力する。IF部1は、複数の衛星画像、複数の航空機画像およびその航空機画像に対応する環境光データ等を記憶する外部機器(例えばサーバ装置やUSBメモリ等)から前記複数の衛星画像、前記複数の航空機画像およびその航空機画像に対応する環境光データを取得することで、衛星画像取得部、航空機画像取得部および環境光取得部それぞれの一例に相当する。
前記複数の衛星画像は、互いに異なる複数の波長それぞれで衛星から地上を撮像対象として撮像(撮影)した、前記複数の波長それぞれに対応した複数の画像である。
前記複数の航空機画像は、IF部1で取得した前記衛星画像における地上が写っている一部の領域である一部領域を航空機から前記複数の波長それぞれで撮像した、前記複数の波長それぞれに対応した複数の画像である。
前記航空機画像に対応する環境光データは、前記航空機画像における一部領域を照らしている環境光における光量または入射率である。前記入射率は、図3(A)に示すように、環境光を測定した波長範囲全体に亘る全エネルギーEallに対する目的波長λaimのエネルギーEaimの比(Eaim/Eall)、または、図3(B)に示すように、所定の対比波長λrefのエネルギーErefに対する目的波長λaimのエネルギーEaimの比(Eaim/Eref)である。
このような前記複数の波長それぞれに対応した複数の航空機画像は、例えば、前記複数の波長それぞれで画像を生成できるカメラを搭載した、無線操縦飛行(誘導飛行)または自律飛行による飛行機、ヘリコプター、マルチコプターおよび気球等の無人航空機(ドローン)によって得られる。また、環境光は、このような航空機に搭載された、環境光を測定する環境光測定部によって測定されて良く、また、環境光測定部を前記一部領域の近傍に配置して当該環境光測定部によって測定されて良い。
このような航空機UAVは、例えば、図2に示すように、GPS(Global Positioning System、全地球測位網)61と、飛行機構部62と、UAV制御処理部63と、撮像部64と、UAV記憶部65と、UAVインターフェース部(UAVIF部)66と、環境光測定部67とを備える。この例では、環境光は、航空機に搭載された環境光測定部67によって測定される。
GPS61は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って、地球上における現在位置を測定するための衛星測位システムによって、当該航空機UAVの位置を測定する装置であり、その測位結果(緯度X、経度Y、高度Z)をUAV制御処理部63へ出力する。なお、GPS61は、DGSP(Differential GSP)等の誤差を補正する補正機能を持ったGPSであっても良い。
飛行機構部62は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って当該航空機UAVを飛行させるための機構である。飛行機構部62は、例えば、放射状に配置された複数のロータ(回転翼)、UAV制御処理部63に接続されUAV制御処理部63の制御に従って前記複数のロータをバランス良く回転させる動力部、および、当該航空機UAVの傾きを検出するジャイロセンサ等を備えて構成される。
撮像部64は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って、互いに異なる複数の波長それぞれで地上を撮像対象として撮像した、前記複数の波長それぞれに対応した複数の画像を生成する装置である。より具体的には、撮像部64は、可視光の画像(可視画像)を生成する可視撮像部と、赤外光の画像(赤外画像)を生成する赤外撮像部とを備える。前記可視撮像部は、例えば、波長550nmを中心波長とする比較的狭帯域で光を透過する第1バンドパスフィルタ、前記第1バンドパスフィルタを透過した撮像対象の可視光の光学像を所定の結像面上に結像する第1結像光学系、前記第1結像面に受光面を一致させて配置され、前記撮像対象の可視光の光学像を電気的な信号に変換する第1イメージセンサ、前記第1イメージセンサの出力に対し公知の画像処理を施して可視光での画像(可視航空機画像)のデータを生成する第1デジタルシグナルプロセッサ(DSP)等を備えて構成される、いわゆるカメラ(可視カメラ)等である。前記赤外撮像部は、例えば、波長850nmを中心波長とする比較的狭帯域で光を透過する第2バンドパスフィルタ、前記第2バンドパスフィルタを透過した撮像対象の赤外光の光学像を所定の結像面上に結像する第2結像光学系、前記第2結像面に受光面を一致させて配置され、前記撮像対象の赤外光の光学像を電気的な信号に変換する第2イメージセンサ、前記第2イメージセンサの出力に対し公知の画像処理を施して赤外光での画像(赤外航空機画像)のデータを生成する第2DSP等を備えて構成される、いわゆる赤外カメラ等である。前記可視撮像部は、可視光での前記可視航空機画像のデータをUAV制御処理部63へ出力し、前記赤外撮像部は、赤外光での前記赤外航空機画像のデータをUAV制御処理部63へ出力する。UAV制御処理部63は、これら前記可視航空機画像のデータと前記赤外航空機画像のデータとを対応付けてUAV記憶部65に記憶する。前記可視撮像部と前記赤外撮像部とは、互いの同一の撮像対象を撮像できるように、配設される。
なお、上述では、撮像部64は、前記可視撮像部および前記赤外撮像部を備えて構成されたが、撮像部64は、赤色を受光するR画素、緑色を受光するG画素、青色を受光するB画素および赤外を受光するIr画素を2行2列に配列した単位配列を持つイメージセンサ(RGBIrイメージセンサ)や、白色を受光するW画素、黄色を受光するY画素、赤色を受光するR画素および赤外を受光するIr画素を2行2列に配列した単位配列を持つイメージセンサ(WYRIrイメージセンサ)等を用いることで、1つのカメラを備えて構成されても良い。この場合、例えば、R画素の出力およびIr画素の出力が生育指標の演算に用いられる。また例えば、G画素の出力およびIr画素の出力が生育指標の演算に用いられる。また例えば、B画素の出力およびIr画素の出力が生育指標の演算に用いられる。また例えば、W画素の出力およびIr画素の出力が生育指標の演算に用いられる。また例えば、Y画素の出力およびIr画素の出力が生育指標の演算に用いられる。
環境光測定部67は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って、撮像部64で撮像される前記一部領域を照らしている環境光を測定する装置である。このため、好ましくは、環境光測定部67は、環境光と取り込む入射開口が撮像部64の撮像方向と略反対方向に向くように配設される。例えば、撮像部64は、下方向を向くように配設され、環境光測定部67は、上方向を向くように配設される。このような環境光測定部67は、例えば、撮像部64と同様の可視カメラを備えて構成され、この場合、光量が求められる。また例えば、環境光測定部67は、分光計を備えて構成され、この場合、入射率が求められる。環境光測定部67は、その測定結果(可視画像または波長スペクトル)をUAV制御処理部63へ出力し、UAV制御処理部63は、前記測定結果から環境光データを求め、この求めた環境光データを前記可視航空機画像のデータおよび前記赤外航空機画像のデータに対応付けてUAV記憶部65に記憶する。
UAVIF部66は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って、上述のIF部1と同様に、外部機器との間でデータを入出力するためのインターフェース回路である。
UAV記憶部65は、UAV制御処理部63に接続され、UAV制御処理部63の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該航空機UAVの各部を当該各部の機能に応じて制御する制御プログラムや、自律飛行するための自立飛行プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、出発地点および目的地点の各位置情報等の、前記一部領域を航空機UAVから前記複数の波長それぞれで撮像して前記複数の航空機画像(この例では可視航空機画像および赤外航空機画像)を得、前記一部領域に対する環境光データを得るために必要なデータが含まれる。UAV記憶部65は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、UAV記憶部65は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるUAV制御処理部63のワーキングメモリとなるRAM(Random Access Memory)等を含む。
UAV制御処理部63は、当該航空機UAVの各部を当該各部の機能に応じてそれぞれ制御し、前記一部領域を前記複数の波長それぞれで撮像して前記複数の航空機画像を得、前記一部領域に対する環境光データを得るための回路である。UAV制御処理部63は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。
このような航空機UAVでは、まず、GPS61で検出した出発地点の位置情報(例えば緯度、経度および高度)あるいはUAVIF部66を介して入力された前記出発地点の位置情報が、UAV記憶部65に記憶され、UAVIF部66を介して入力された目的地点の位置情報(例えば緯度、経度および高度)が、UAV記憶部65に記憶される。航空機UAVは、UAV制御処理部63によって飛行機構部62を制御することで、このUAV記憶部65に記憶された位置情報に対応した目的地点へ出発地点から自律飛行する。目的地点に到達すると、航空機UAVは、UAV制御処理部63によって撮像部64を制御することで、複数の航空機画像(この例では可視航空機画像および赤外航空機画像)を生成し、これらのデータをUAV記憶部65に記憶する。これによって前記一部領域を見下ろして俯瞰した、前記複数の波長それぞれに対応した複数の航空機画像が得られる。この際に、航空機UAVは、UAV制御処理部63によって環境光測定部67を制御することで、前記一部領域を照らしている環境光を測定し、その測定結果から求められる環境光データをUAV記憶部65に記憶する。これら複数の航空機画像や環境光データを得ると、航空機UAVは、UAV制御処理部63によって飛行機構部62を制御することで、このUAV記憶部65に記憶された位置情報に対応した出発地点へ目的地点から自律飛行し、帰投する。そして、航空機UAVが出発地点に帰投すると、UAV記憶部65に記憶された可視航空機画像および赤外航空機画像の各データならびに環境光データがUAVIF部66を介して外部機器(例えばサーバ装置やUSBメモリ等)へ出力される。なお、この例では、帰投地点は、出発地点と同一であるが、異なっても良い。また、自律飛行に代え、オペレータの操作(操縦)による無線操縦飛行が用いられても良い。
図1に戻って、入力部4は、制御処理部2に接続され、例えば、生育指標の演算開始を指示するコマンド等の各種コマンド、および、例えば測定対象の圃場名等の生育指標を求める上で必要な各種データを植物生育指標測定装置Dに入力する機器であり、例えば、キーボードやマウス等である。出力部5は、制御処理部2に接続され、制御処理部2の制御に従って、入力部4から入力されたコマンドやデータ、および、当該植物生育指標測定装置Dによって求められた相対生育指標や絶対生育指標等の測定結果等を出力する機器であり、例えばCRTディスプレイ、LCDおよび有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
なお、入力部4および出力部5からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部4は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部5は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として植物生育指標測定装置Dに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い植物生育指標測定装置Dが提供される。
記憶部3は、制御処理部2に接続され、制御処理部2の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該植物生育指標測定装置Dの各部を当該各部の機能に応じて制御する制御プログラムや、複数の衛星画像に基づいて、植物における生育の度合いを相対的に表す相対生育指標を求める相対生育指標演算プログラムや、一部領域に対する、複数の航空機画像および環境光における光量または入射率(環境光データ)に基づいて、植物における生育の度合いを絶対的に表す一部領域絶対生育指標を求める一部領域絶対生育指標演算プログラムや、前記相対生育指標演算プログラムで求めた前記相対生育指標のうちの前記一部領域に当たる相対生育指標を一部領域相対生育指標として求め、この求めた一部領域相対生育指標および前記一部領域絶対生育指標演算プログラムで求めた一部領域絶対生育指標に基づいて、前記一部領域相対生育指標を絶対化するための校正値を求める校正値演算プログラムや、前記相対生育指標演算プログラムで求めた前記相対生育指標を、前記校正値演算プログラムで求めた前記校正値で校正することで絶対生育指標を求める絶対生育指標演算プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、測定対象の圃場を特定し識別するための識別子(例えば圃場名等)や、前記複数の波長それぞれに対応した複数の衛星画像や、前記複数の波長それぞれに対応した複数の航空機画像や、環境光データや、前記相対生育指標演算プログラムによって求められた相対生育指標や、前記一部領域絶対生育指標演算プログラムによって求められた一部領域絶対生育指標や、前記校正値演算プログラムによって求められた校正値や、絶対生育指標演算プログラムによって求められ絶対生育指標や、前記一部領域を示す情報である選定場所情報等の絶対生育指標を求める上で必要なデータが含まれる。記憶部3は、UAV記憶部65と同様に、例えばROMやEEPROM等を備え、そして、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2のワーキングメモリとなるRAM等を含む。なお、記憶部3は、比較的大容量のハードディスクを備えても良い。
そして、記憶部3は、上記各種の所定のデータの一部を記憶するために、機能的に、前記複数の衛星画像を記憶する衛星画像記憶部31、前記複数の航空機画像を記憶する航空機画像記憶部32、前記環境光データ記憶する環境光情報記憶部33、前記相対生育指標を記憶する相対生育指標記憶部34、前記一部領域絶対生育指標や絶対生育指標を記憶する絶対生育指標記憶部35、前記校正値を記憶する校正値記憶部36、および、前記選定場所情報を記憶する選定場所情報記憶部37を備える。
制御処理部2は、植物生育指標測定装置Dの各部を当該各部の機能に応じてそれぞれ制御し、絶対生育指標を求めるための回路である。制御処理部2は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2には、制御処理プログラムが実行されることによって、制御部21、相対生育指標演算部22、一部領域絶対生育指標演算部23、校正値演算部24および絶対生育指標演算部25が機能的に構成される。
制御部21は、植物生育指標測定装置Dの各部を当該各部の機能に応じてそれぞれ制御するものである。
相対生育指標演算部22は、衛星画像取得部の一例としてのIF部1で取得した複数の衛星画像に基づいて、植物における生育の度合いを相対的に表す相対生育指標を求めるものである。生育指標は、植物における生育の度合いを表す指標であり、例えば、NDVI(Normalized Difference Vegetation Index、正規化植生指標)、RVI(Ratio Vegetation Index、比植生指標)、DVI(Difference Vegetation Index、差植生指標)、TVI(Transformed Vegetation Index)およびIPVI(Infrared Percentage Vegetation Index)等である。なお、NDVI値は、公知の換算式によってSPAD(Soil & Plant Analyzer Development)値に変換されても良い。本実施形態では、例えば、衛星画像における波長550nmの輝度値Gpと波長850nmの輝度値Ipとから相対NDVI値Vrelが相対生育指標の一例として求められる(Vrel=(Ip−Gp)/(Ip+Gp))。
一部領域絶対生育指標演算部23は、航空機画像取得部の一例としてのIF部1で取得した複数の航空機画像および環境光取得部の一例としてのIF部1で取得した環境光データ基づいて、植物における生育の度合いを絶対的に表す一部領域絶対生育指標を求めるものである。例えば、航空機画像における波長550nmの輝度値Gaおよび波長850nmの輝度値Iaと、波長550nmの環境光データGcおよび波長850nmの環境光データIcとから、一部領域での絶対NDVI値Vabsが一部領域絶対生育指標の一例として求められる(光量の場合 Vabs=((Ia/Ic)−(Ga/Gc))/((Ia/Ic)+(Ga/Gc))、入射率の場合 Vabs=((Ia/1)−(Ga/(Gc/Ic)))/((Ia/1)+(Ga/(Gc/Ic))。なお、環境光データが光量である場合には、環境光データと航空機画像データは、互いに等しい露光時間相当に変換した光量とする。環境光データが入射率である場合には、航空機画像データのそれぞれの波長の輝度値は、互いに等しい露光時間相当に変換した光量とする。
校正値演算部24は、相対生育指標演算部22で求めた相対生育指標のうちの前記一部領域に当たる相対生育指標を一部領域相対生育指標として求め、この求めた一部領域相対生育指標および一部領域絶対生育指標演算部23で求めた一部領域絶対生育指標に基づいて、前記一部領域相対生育指標を絶対化するための校正値(第1の校正値)C1を求めるものである。
絶対生育指標演算部25は、相対生育指標演算部22で求めた相対生育指標を、校正値演算部24で求めた第1の校正値C1で校正することで絶対生育指標を求めるものである。
次に、本実施形態における植物生育指標測定装置の動作について説明する。図4は、実施形態における植物生育指標測定装置の動作を示すフローチャートである。図5は、図4に示す校正処理における第1態様の動作を説明するための図である。図6は、図4に示す校正処理における第1態様の動作を示すフローチャートである。図7は、衛星画像および前記衛星画像に基づく相対NDVI画像の一例を示す図である。図7(A)は、参考として、測定対象の圃場AR1を含む所定地域の画像を示し、図7(B)は、参考として、可視波長帯で撮像された測定対象の圃場AR1の画像を示し、図7(C)は、一例として、図7(A)および(B)に示す測定対象の圃場AR1を衛星から波長550nmで撮像した衛星画像(可視衛星画像)を示し、図7(D)は、一例として、図7(A)および(B)に示す測定対象の圃場AR1を衛星から波長850nmで撮像した衛星画像(赤外衛星画像)を示し、そして、図7(E)は、互いに同じ位置の画素における各画素値(輝度値)からNDVI値を求めることで図7(C)に示す可視衛星画像および図7(D)に示す赤外衛星画像から生成された、測定対象の圃場AR1の相対NDVI画像を示す。図8は、航空機画像および前記航空機画像に基づく絶対NDVI画像の一例を示す図である。図8(A)は、参考として、測定対象の圃場AR1を含む所定地域の画像を示し、図8(B)は、参考として、可視波長帯で撮像された測定対象の圃場AR1における一部領域AR2の画像を示し、図8(C)は、一例として、図8(A)および(B)に示す測定対象の圃場AR1における一部領域AR2を航空機UAVから波長550nmで撮像した航空機画像(可視航空機画像)を示し、図8(D)は、一例として、図8(A)および(B)に示す測定対象の圃場AR1における一部領域AR2を航空機から波長850nmで撮像した航空機画像(赤外航空機画像)を示し、そして、図8(E)は、互いに同じ位置の画素における各画素値(輝度値)からNDVI値を求めることで図8(C)に示す可視航空機画像および図8(D)に示す赤外航空機画像から生成された、測定対象の圃場AR1における一部領域AR2の絶対NDVI画像を示す。
このような植物生育指標測定装置Dでは、ユーザ(オペレータ)によって図略の電源スイッチがオンされると、制御処理部2は、必要な各部の初期化を実行し、制御処理プログラムの実行によって、制御処理部2には、制御部21、相対生育指標演算部22、一部領域絶対生育指標演算部23、校正値演算部24および絶対生育指標演算部25が機能的に構成される。
図4において、前記複数の波長それぞれに対応した複数の衛星画像が、制御処理部2によってIF部1から取得され、これら取得された前記複数の衛星画像が制御処理部2によって記憶部3の衛星画像記憶部31に記憶される(S1)。例えば、図7(A)および(B)に示す圃場AR1が測定対象とされている場合では、図7(C)に示す波長550nmで撮像された、圃場AR1の可視衛星画像のデータおよび図7(D)に示す波長850nmで撮像された、圃場AR1の赤外衛星画像のデータが、制御処理部2によって、例えばこれら可視衛星画像および赤外衛星画像の各データを管理および提供するサーバ装置からIF部1を介して取得され、衛星画像記憶部31に記憶される。このような衛星画像を管理および提供するサーバ装置として、例えば、Landsat(http://Landsat.usgs.gov/landsat8.php)等がある。
次に、これら取得した前記複数の衛星画像に基づいて相対生育指標が制御処理部2の相対生育指標演算部22によって求められ、この求められた相対生育指標が相対生育指標演算部22によって記憶部3の相対生育指標記憶部34に記憶される(S2)。より具体的には、例えば、相対生育指標演算部22は、衛星画像記憶部31に記憶された可視衛星画像および赤外衛星画像の各データを取り出し、全画素それぞれについて、互いに同じ位置の画素における各画素値(輝度値)から前記相対生育指標の一例として相対NDVI値Vrelを求め、相対NDVI値Vrelを画素値に持つ相対NDVI画像(相対NDVIマップ)を生成する。例えば、画素位置(i、j)における可視衛星画像および赤外衛星画像の各画素値(輝度値)をGp(i、j)およびIp(i、j)とした場合、画素位置(i、j)の画素における相対NDVI値Vrel(i、j)は、画素位置(i、j)の画素における画素値として、Vrel(i、j)=(Ip(i、j)−Gp(i、j))/(Ip(i、j)+Gp(i、j))で求められる。一例では、図7(C)に示す可視衛星画像および図7(D)に示す赤外衛星画像から、全画素それぞれについてVrel(i、j)を求めることで、図7(E)に示す相対NDVI画像が生成される。なお、図7(E)では、数値として取り得る相対NDVI値が予め複数の区間で区切られ、各区間に互いに異なる階調が予め付与され、上述のように求められた相対NDVI値Vrel(i、j)に対応した階調で各画素が表示されている。
次に、校正処理が制御処理部2によって実行され、第1の校正値C1が求められ、この求められた第1の校正値C1が校正値演算部24によって記憶部3の校正値記憶部36に記憶される(S3)。本実施形態では、第1態様の校正処理が次のように実行される。
校正処理では、地上を写した衛星画像と、環境光を測定できる地上を写した画像(本実施形態では航空機画像)および前記環境光の環境光データとのセット(組)が必要である。前記特許文献1のように定点実測値が用いられる場合、衛星から、例えば雲や霧や航空機等の遮蔽物によって前記定点実測値の定点が見えない場合、前記地上を写した衛星画像が無いため、校正処理が難しくなる。そこで、この第1態様の校正処理では、例えば、図5に示すように、例えば雲等の遮蔽物が衛星と地上との間に存在するために、衛星画像に地上が写っていない領域がある場合でも、この地上が写っていない領域を避けて、前記衛星画像における地上が写っている一部の領域である一部領域が選定され、この一部領域が、航空機から前記複数の波長それぞれで撮像され、前記複数の波長それぞれに対応した複数の航空機画像が生成され、そして、前記一部領域を照らしている環境光が測定されて前記環境光における光量または入射率(環境光データ)が求められる。これによって前記地上を写した衛星画像と環境光を測定できる地上を写した画像(本実施形態では航空機画像)および前記環境光の環境光データとのセット(組)が得られるので、校正処理が可能となる。
より具体的には、第1態様の校正処理では、図6において、まず、ユーザ(オペレータ)によって、処理S1で取得した衛星画像における地上が写っている前記一部領域が、第1選定場所として選定され、この第1選定場所が、入力部4あるいはIF部1を介して植物生育指標測定装置Dに入力され、記憶部3の選定場所情報記憶部37に記憶される。そして、この第1選定場所が前記目的地点としてUAVIF部66を介して航空機UAVに入力され、UAV記憶部65に記憶される(S11)。例えば、図7(A)および図8(A)に示すように、測定対象の圃場AR1において、例えば雲等の遮蔽物によって隠されておらず、そのため地上が写っている、平面視にて前記圃場AR1における左上の一部領域AR2が第1選定場所AR2として選定され、この第1選定場所AR2が植物生育指標測定装置Dに入力、記憶され、そして、航空機UAVに入力、記憶される。より詳しくは、植物生育指標測定装置Dでは、例えば、出力部5に衛星画像が表示され、一部領域AR2の外周がカーソルで例えばポインティングデバイス等の入力部4の入力操作によってトレースされることで、あるいは、前記一部領域AR2の4個の頂点がカーソルで入力部4の入力操作によって指定されることで、前記一部領域AR2が植物生育指標測定装置Dに入力、記憶される。また、航空機UAVでは、例えば、前記一部領域AR2の中央位置における緯度および経度、そして、所定の高度が航空機UAVに入力、記憶される。
前記目的地点の位置情報が入力されると、航空機UAVは、上述したように、出発地点から前記目的地点へ自律飛行(または無線操縦飛行)し、前記目的地点に到達すると、前記一部領域AR2を撮像し、前記複数の波長それぞれに対応した複数の航空機画像(本実施形態では可視航空機画像および赤外航空機画像)を生成し、UAV記憶部65に記憶し、その際に、環境光測定部67で環境光を測定し、その測定結果に基づいて環境光データを求め、UAV記憶部65に記憶する。撮像および測定を終了すると、航空機UAVは、前記目的地点から前記出発地点へ自律飛行(または無線操縦飛行)して帰投する。
次に、このように航空機UAVによって得られた、前記複数の波長それぞれに対応する複数の航空機画像および環境光データが、制御処理部2によってIF部1から取得され、これら取得された前記複数の航空機画像および環境光データが制御処理部2によって記憶部3における航空機画像記憶部32および環境光情報記憶部33それぞれに記憶される(S12)。より具体的には、航空機UAVが帰投すると、例えば、航空機UAVのUAVIF部66と植物生育指標測定装置DのIF部1とを通信可能に接続することで、あるいは、例えばUSBメモリ等の記憶媒体を介することで、航空機UAVのUAVIF部66から、植物生育指標測定装置DのIF部1へ、UAV記憶部65に記憶された前記複数の航空機画像および環境光データが、出力され、IF部1から取得される。
次に、制御処理部2は、一部領域絶対生育指標演算部23によって、一部領域絶対生育指標を求め、この求めた一部領域絶対生育指標を絶対生育指標記憶部35に記憶する(S13)。より具体的には、一部領域絶対生育指標演算部23は、航空機画像記憶部32に記憶された可視航空機画像および赤外航空機画像の各データを取り出し、全画素それぞれについて、互いに同じ位置の画素における各画素値(輝度値)から、環境光情報記憶部33に記憶された環境光データをさらに用いて、一部領域絶対生育指標の一例として一部領域での絶対NDVI値Vabsを求め、絶対NDVI値Vabsを画素値に持つ一部領域絶対NDVI画像(一部領域絶対NDVIマップ)を生成する。例えば、画素位置(i、j)における可視航空機画像および赤外航空機画像の各画素値(輝度値)をGa(i、j)およびIa(i、j)とし、可視航空機画像の波長と同波長の環境光データをGcとし、赤外航空機画像の波長と同波長の環境光データをIcとした場合、画素位置(i、j)の画素における一部領域の絶対NDVI値Vabs(i、j)は、画素位置(i、j)の画素における画素値として、Vabs(i、j)=(Vabs=((Ia/Ic)−(Ga/Gc))/((Ia/Ic)+(Ga/Gc))で求められる。一例では、図8(C)に示す可視航空機画像および図8(D)に示す赤外航空機画像から、環境光データを用いて全画素それぞれについてVabs(i、j)を求めることで、図8(E)に示す一部領域での絶対NDVI画像が生成される。
次に、制御処理部2は、校正値演算部24によって、処理S2で求めた相対生育指標のうちの一部領域AR2に当たる相対生育指標を一部領域相対生育指標として求め、この求めた一部領域相対生育指標を相対生育指標記憶部34に記憶する(S14)。本実施形態では、相対生育指標として相対NDVI値Vrelが求められるので、一部領域相対生育指標として一部領域AR2での相対NDVI値Vrelが求められる。
なお、この一部領域相対生育指標を求める際に、処理S2で求めた相対生育指標の航空機UAVで撮像された航空機画像のうちの前記一部領域AR2に対応する部分が指定されても良い。例えば、出力部5に処理S2で求めた相対生育指標が表示され、一部領域AR2の外周がカーソルで例えばポインティングデバイス等の入力部4の入力操作によってトレースされることで、あるいは、前記一部領域AR2の4個の頂点がカーソルで入力部4の入力操作によって指定されることで、処理S2で求めた相対生育指標における前記一部領域AR2が植物生育指標測定装置Dに入力、記憶される。
次に、制御処理部2は、校正値演算部24によって、この求めた一部領域相対生育指標(本実施形態では一部領域AR2での相対NDVI値Vrel)および処理S13で求めた一部領域絶対生育指標(本実施形態では一部領域AR2での絶対NDVI値Vabs)に基づいて、前記一部領域相対生育指標を絶対化するための校正値(第1の校正値)C1を求め、この求めた第1の校正値C1を校正値記憶部36に記憶する(S15)。
より具体的には、本実施形態では、一部領域絶対生育指標および一部領域相対生育指標それぞれは、上述のように、複数の画素それぞれについて求められているので、校正値演算部24は、例えば、処理S13で求めた一部領域絶対生育指標の平均値A1を求め、処理S14で求めた一部領域相対生育指標の平均値B1を求め、一部領域相対生育指標の平均値B1に対する一部領域絶対生育指標の平均値A1の割合を第1の校正値C1として求める(C1=A1/B1)。本実施形態では、校正値演算部24は、処理S13で求めた一部領域AR2での絶対NDVI値Vabs(i、j)の平均値A1を求め、処理S14で求めた一部領域AR2での相対NDVI値Vrel(i、j)の平均値B1を求め、第1の校正値C1=A1/B1を求める。
なお、一部領域絶対生育指標の平均値A1は、単純平均であって良いが、前記一部領域AR2が複数の部分領域に分割され、各部分領域ごとに各平均値が求められ、これら複数の部分領域それぞれについて求められた複数の平均値の中央値であっても良い。
第1態様の校正処理では、このような各処理によって第1の校正値C1が求められる。
図4に戻って、上述の処理S3の次に、処理S2で求めた相対生育指標を処理S3で求めた第1の校正値C1で校正することで絶対生育指標が制御処理部2の絶対生育指標演算部25によって求められ、この求められた絶対生育指標が絶対生育指標演算部25によって記憶部3の絶対生育指標記憶部35に記憶される(S4)。より具体的には、例えば、絶対生育指標演算部25は、相対生育指標記憶部34に記憶された相対生育指標および校正値記憶部36に記憶された第1校正値C1を取り出し、例えば前記相対生育指標に前記第1校正値C1を乗算することで前記相対生育指標を前記第1の校正値C1で校正し、絶対生育指標を求める。本実施形態では、絶対生育指標演算部25は、相対生育指標記憶部34に記憶された相対NDVI値Vrel(i、j)および校正値記憶部36に記憶された第1校正値C1を取り出し、各画素ごとに、相対NDVI値Vrel(i、j)に第1校正値C1を乗算することで絶対NDVI値(i、j)を求める。一例では、図7(E)に示す相対NDVI画像を第1校正値C1で校正する場合、全画素それぞれについて、相対NDVI画像の画素値(すなわち相対NDVI値Vrel(i、j))に前記第1の校正値C1を乗算することで絶対NDVI値Vabs(=C1×Vrel(i、j))を画素値に持つ絶対NDVI画像(絶対NDVIマップ)が生成される。
そして、処理S4で求められた絶対生育指標(この例では絶対NDVI画像)が制御処理部2によって出力部5に出力される(S5)。なお、処理S2で求められた相対生育指標(この例では相対NDVI画像)が出力部5に出力されて良く、また処理S1で取得された複数の衛星画像が出力部5に出力されて良い。あるいは、必要に応じて、処理S4で求められた絶対生育指標(この例では絶対NDVI画像)や処理S2で求められた相対生育指標(この例では相対NDVI画像)等がIF部1を介して外部機器へ出力されて良い。
以上説明したように、本実施形態における植物生育指標測定装置Dならびにこれに実装された植物生育指標測定方法および植物生育指標測定プログラムは、上述の処理S1によって、衛星から地上を撮像対象として撮像した、複数の波長それぞれに対応した複数の衛星画像を取得し、上述の処理S12によって、前記衛星画像における地上が写っている一部の領域である一部領域AR2を航空機UAVから撮像した、前記複数の波長それぞれに対応した複数の航空機画像を取得し、前記一部領域AR2を照らしている環境光における光量または入射率(環境光データ)を取得する。このように、衛星による前記複数の衛星画像に例えば雲や霧等の遮蔽物によって地上が見えない部分があった場合でも、前記衛星画像において、前記地上が写っていない部分を避けて地上が写っている前記一部領域AR2に対応した複数の航空機画像と前記一部領域ARを照らしている環境光の環境光データとが取得できる。すなわち、地上が写っている1組の前記一部領域AR2での複数の衛星画像と複数の航空機画像および前記環境光データとが取得できる。このため、上記植物生育指標測定装置D、植物生育指標測定方法および植物生育指標測定プログラムは、上述の校正処理S3によって、これらに基づいて第1の校正値C1を求めることができ、上述の処理S4によって、前記複数の衛星画像に基づく相対生育指標を第1の校正値C1で校正できる。したがって、上記植物生育指標測定装置D、植物生育指標測定方法および植物生育指標測定プログラムは、前記相対生育指標を第1の校正値C1に校正した絶対生育指標を求めることができる。
なお、上述の実施形態において、絶対生育指標を求めたい対象時刻より過去の過去時刻での絶対生育指標が上述の第1態様の校正処理等によって求められ、絶対生育指標記憶部35に記憶されている場合には、次の第2および第3態様の校正処理のうちのいずれかによって前記対象時刻での絶対生育指標が求められても良い。
まず、第2態様の校正処理について説明する。図9は、図4に示す校正処理における第2態様の動作を説明するための図である。図10は、図4に示す校正処理における第2態様の動作を示すフローチャートである。
上述の第1態様の校正処理では、衛星画像における地上が写っている前記一部領域を航空機UAVで撮像することで前記複数の航空機画像が生成されたが、衛星画像における地上が写っている前記一部領域が、例えば送電線等の障害物の存在や飛行禁止区域等のために、航空機UAVで撮像することができないことも有り得る。このため、第2態様の校正処理では、図9に示すように、処理S1で取得された前記複数の衛星画像を生成した対象時刻(図9に示す例では対象月日6月15日(6/15))よりも過去に求められた絶対生育指標(図9に示す例では過去月日6月10日(6/10))を利用することで、前記対象時刻での前記複数の衛星画像に基づく相対生育指標を校正するための校正値(第2の校正値)C2が求められ、前記対象時刻での前記複数の衛星画像に基づく前記相対生育指標がこの第2の校正値C2で校正される。
このような第2態様の校正処理では、相対生育指標演算部22は、前記対象時刻での複数の衛星画像に基づいて、前記相対生育指標を対象時刻相対生育指標として求め、校正値演算部24は、相対生育指標演算部22で求めた対象時刻相対生育指標のうちの、前記対象時刻での複数の衛星画像それぞれにおける地上が写っている一部の領域である第2の一部領域に当たる第2の一部領域相対生育指標、および、前記絶対生育指標記憶部35に記憶された前記過去時刻での絶対生育指標のうちの前記第2の一部領域に当たる第2の一部領域絶対生育指標に基づいて、前記第2の一部領域相対生育指標を絶対化するための第2の校正値C2を求め、前記絶対生育指標演算部25は、前記相対生育指標演算部22で求めた前記対象時刻相対生育指標を、前記校正値演算部24で求めた前記第2の校正値C2で校正することで前記対象時刻での絶対生育指標を求めるものである。
より具体的には、この第2態様の校正処理では、まず、処理S1では、互いに異なる複数の波長それぞれで衛星から地上を撮像対象として所定の対象時刻(図9に示す例では6月15日)に撮像した、前記複数の波長それぞれに対応した前記対象時刻での複数の衛星画像が取得され、処理S2では、相対生育指標演算部22によって、対象時刻相対生育指標(例えば対象時刻での相対NDVI値Vrel(i、j))が求められる。
なお、絶対生育指標記憶部35には、上述した動作によって過去時刻(図9に示す例では6月10日)での絶対生育指標(例えば過去時刻での絶対NDVI値Vabs(i、j))が記憶されているものとする。
そして、図4に示す処理S3では、図10に示す第2態様の校正処理が実行される。この第2態様の校正処理では、図10において、まず、ユーザ(オペレータ)によって、上記処理S1で取得した前記対象時刻での衛星画像における地上が写っている一部の領域である一部領域が、第2選定場所として選定され、この第2選定場所が、入力部4あるいはIF部1を介して植物生育指標測定装置Dに入力され、記憶部3の選定場所情報記憶部37に記憶される(S21)。例えば、植物生育指標測定装置Dでは、出力部5に前記対象時刻での衛星画像が表示され、第2選定場所としての一部領域の外周がカーソルで例えばポインティングデバイス等の入力部4の入力操作によってトレースされることで、あるいは、前記一部領域の4個の頂点がカーソルで入力部4の入力操作によって指定されることで、前記一部領域が植物生育指標測定装置Dに入力、記憶される。そして、制御処理部2は、校正値演算部24によって、処理S2で求めた対象時刻相対生育指標のうちの、処理S21で入力された第2選定場所に当たる第2の一部領域相対生育指標を抽出し、絶対生育指標記憶部35に記憶された過去時刻での絶対生育指標のうちの前記第2選定場所に当たる第2の一部領域絶対生育指標を抽出する。
そして、制御処理部2は、校正値演算部24によって、これら抽出した第2の一部領域相対生育指標および第2の一部領域絶対生育指標に基づいて第2の校正値C2を求め、この求めた第2の校正値C2を校正値記憶部36に記憶する(S22)。より具体的には、本実施形態では、第2の一部領域相対生育指標および第2の一部領域絶対生育指標それぞれは、複数の画素それぞれについて求められているので、第1態様の校正処理と同様に、校正値演算部24は、例えば、第2の一部領域相対生育指標の平均値B2を求め、一部領域絶対生育指標の平均値A2を求め、一部領域相対生育指標の平均値B2に対する一部領域絶対生育指標の平均値A2の割合を第2校正値C2として求める(C2=A2/B2)。
このような第2態様の校正処理によって第2の校正値C2が求められると、図4に示す処理S4で、前記対象時刻での複数の衛星画像に基づく相対生育指標が第2の校正値C2を用いて校正され、図4に示す処理S5で、この校正によって求められた前記対象時刻での複数の衛星画像に基づく絶対生育指標が出力される。
このような第2態様の校正処理では、上記植物生育指標測定装置D、植物生育指標測定方法および植物生育指標測定プログラムは、上記複数の航空機画像に代え、過去時刻での絶対生育指標を用いることで、上述の処理S3によって、第2の校正値C2を求めることができ、上述の処理S4によって、対象時刻での複数の衛星画像に基づく対象時刻相対生育指標を第2の校正値C2で校正できる。したがって、上記植物生育指標測定装置D、植物生育指標測定方法および植物生育指標測定プログラムは、上記複数の航空機画像を取得できない場合でも、前記対象時刻相対生育指標を第2の校正値C2に校正した前記対象時刻での絶対生育指標を求めることができる。
次に、第3態様の校正処理について説明する。図11は、図4に示す校正処理における第3態様の動作を説明するための図である。
上述の第1および第2態様の校正処理では、衛星画像に地上が写っている一部領域があったが、例えば天候が曇りや霧等のために、衛星画像に前記一部領域として使用可能な地上が写っていないことも有り得る。このため、第3態様の校正処理では、図10に示すように、処理S1で取得された前記複数の衛星画像を生成した対象時刻(図10に示す例では対象月日6月15日(6/15))よりも過去に求められた絶対生育指標(図10に示す例では10日前の過去月日6月5日(6/5))および月日と生育指標との対応関係を利用することで、前記過去に求められた絶対生育指標から前記対象時刻での絶対生育指標が推定され、求められる。
このような第3態様の校正処理では、記憶部3には、図1に破線で示すように、月日と生育指標との対応関係αを記憶する対応関係情報記憶部38が機能的に構成される。月日と生育指標との前記対応関係αは、測定対象の圃場で生育している植物に関する過去の実績データを統計処理等することによって適宜に作成され、入力部4を介して、あるいは、IF部1を介して、予め、対応関係情報記憶部38に記憶される。本実施形態では、月日とNDVI値との対応関係αが例えば関数式であるいはルックアップテーブル等で対応関係情報記憶部38に記憶される。NDVIは、周知の通り、窒素含有量と相関するので、図11には、一例として、過去データに基づく、月日と窒素含有量との対応関係αがグラフ(理想曲線)で示されている。
そして、この第3態様の校正処理では、制御処理部2には、図1に破線で示すように、前記衛星画像取得部の一例としてのIF部1で取得した対象時刻での複数の衛星画像それぞれに地上が写っていない場合に、前記対象時刻、絶対生育指標記憶部35に記憶された過去時刻での絶対生育指標および対応関係情報記憶部38に記憶された前記対応関係αに基づいて、前記対象時刻での絶対生育指標を推定する絶対生育指標推定部26が機能的に構成される。
より具体的には、この第3態様の校正処理では、まず、処理S1では、互いに異なる複数の波長それぞれで衛星から地上を撮像対象として所定の対象時刻(図11に示す例では6月15日)に撮像した、前記複数の波長それぞれに対応した前記対象時刻での複数の衛星画像が取得され、処理S2では、相対生育指標演算部22によって、対象時刻相対生育指標(例えば対象時刻での相対NDVI値Vrel(i、j))が求められる。
なお、絶対生育指標記憶部35には、上述した動作によって過去時刻(図11に示す例では10日前の6月5日)での絶対生育指標(例えば過去時刻での絶対NDVI値Vabs(i、j))が記憶されているものとする。
そして、図4に示す処理S3および処理S4では、図11に示す第3態様の校正処理および絶対生育指標の演算が実行される。この第3態様の校正処理では、図11において、絶対生育指標推定部26は、処理S1で取得した前記対象時刻での複数の衛星画像それぞれに地上が写っているか否かをオペレータ(ユーザ)より入力部4を介して受け付け、処理S1で取得した前記対象時刻での複数の衛星画像それぞれに地上が写っていない場合には、処理S2で求めた対象時刻相対生育指標が不正確であるので、前記対象時刻、絶対生育指標記憶部35に記憶された前記過去時刻での絶対生育指標および対応関係情報記憶部38に記憶された前記対応関係αに基づいて、前記対象時刻での絶対生育指標を推定する。より具体的には、絶対生育指標推定部26は、図11において、過去時刻(この例では10日前の6月5日)での絶対生育指標Vpと対応関係αとのずれ量δを求め、この求めたずれ量δだけ対応関係αをずらす(シフトする)ことで推定対応関係βを求め、この推定対応関係βから対象時刻(この例では6月15日)での生育指標Veを求めることで前記対象時刻での絶対生育指標Vabsを推定する。本実施形態では、絶対生育指標推定部26は、このような処理を全画素それぞれについて実行する。なお、この場合において、ずれ量δおよび推定対応関係βは、全画素のうちの適宜に選択された1画素について求め、それを全画素それぞれに用いられて良く、また、全画素のうちの適宜に選択された複数の画素について求めて平均し、それを全画素それぞれに用いられて良く、全画素のうちの適宜に選択された1つの一部領域について求め、それを全画素それぞれに用いられて良く、全画素のうちの適宜に選択された複数の一部領域について求めて平均し、それを全画素それぞれに用いられて良い。
そして、図4に示す処理S5で、このように求められた前記対象時刻での絶対生育指標が出力される。
このような第3態様の校正処理では、上記植物生育指標測定装置D、植物生育指標測定方法および植物生育指標測定プログラムは、前記対応関係αおよび絶対生育指標推定部26によって、前記対象時刻での複数の衛星画像に地上が写っていない場合でも、前記対象時刻での絶対生育指標を求めることができる。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。