JP7074126B2

JP7074126B2 - 画像処理装置、生育調査画像作成システム及びプログラム

Info

Publication number: JP7074126B2
Application number: JP2019509694A
Authority: JP
Inventors: 義朗平原
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2017-03-28
Filing date: 2018-03-23
Publication date: 2022-05-24
Anticipated expiration: 2038-03-23
Also published as: CN110537197A; JPWO2018180954A1; WO2018180954A1

Description

本発明は、画像処理装置、生育調査画像作成システム及びプログラムに関する。

従来、リモートセンシングによって上空から撮影された圃場の空撮画像を取得し、当該空撮画像を用いた画像解析処理を行い、圃場内の作物の生育調査を行う技術が知られている。
例えば、特許文献１には、衛星によって圃場の空撮画像を取得し、これに基づいて作物の生育の度合いを表す正規化植生指数（Normalized Difference Vegetation Index：NDVI）を算出する技術が開示されている。また、近年では、ドローンに可視光撮影用及び近赤外光撮影用の２種類のデジタルカメラを搭載して圃場の空撮画像を取得し、同様のモニタリングを行う場合もある。

ここで、正規化植生指数の算出には植物体による光の反射量が利用されるため、圃場内の作物の生育状態を正確に把握するためには、撮影領域内の植物体による光の反射量のデータを高精度で取得する必要がある。

特開２０１７－３５０５５号公報

ところで、水稲のように高さのある植物体を上空から撮影すると、撮像装置との位置関係によって空撮画像内の画素ごとに輝度ムラが生じる。
これについて、図５を用いて水稲モニタリングの場合を説明する。図５に示すように、太陽光は平行光と近似できるため、圃場内の全ての植物体（ここでは、稲体）に対して同じ入射角で照射されるとみなすことができる。対して撮像装置と被写体とを結ぶ線分方向（視線方向）は、撮像装置との位置関係に応じて稲体ごとに異なる。即ち、撮像装置の視線方向に対して太陽光が順光となる角度で入射する稲体Ｒ１や、逆光となる角度で入射する稲体Ｒ３など、稲体ごとに太陽光の反射量が異なることとなるため、空撮画像内で明るさにばらつきが生じてしまう。

特許文献１のように、衛星による空撮画像は撮影範囲が広域にわたるため、空撮画像内の明るさのバラつきが、画像解析にあまり大きな影響を与えない。また、そもそも撮像装置の高度が高いため、上記したような稲体ごとの反射量にあまり大きな差が生じない。

しかしながら、例えばドローンによって近距離から空撮する場合には、上記したような明るさのバラつきの影響が大きくなる。このような輝度ムラによって、撮影データを用いた演算を行う際の精度が低下してしまう。

本発明は上記課題に鑑みてなされたものであって、空撮画像内の画素ごとの明るさを補正し、精度よく植物の生育状態を解析可能な画像処理装置、生育調査画像作成システム及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の画像処理装置は、
撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段と、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段と、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段と、を備え、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第１基準点として、前記空撮画像内の各画素の、前記第１基準点からの距離に応じて前記補正値を算出する。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記撮像情報は、天候情報を含む。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
撮影時の月日及び時刻並びに前記緯度経度情報に基づいて、前記太陽位置情報を算出する太陽位置算出手段を備える。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、
前記撮像情報は、前記空撮画像内の第２基準点に対する各画素の方角情報である画像方角情報を含み、
地表面に対する前記撮像装置による撮影方向に基づいて、前記画像方角情報を算出する画像方角算出手段を備える。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置において、
前記撮像位置情報は、前記撮像装置が存在する撮像高度情報を含む。

請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置において、
前記補正値は、前記空撮画像の各画素の輝度値に対して乗算又は除算を行うための係数を用いて算出される。

請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像処理装置において、
前記補正値は、前記空撮画像の各画素の輝度値に対して加算又は減算を行うためのオフセット値を用いて算出される。

請求項８に記載の生育調査画像作成システムは、
圃場内の植物の空撮画像を取得する撮像装置と、
請求項１から７のいずれか一項に記載の画像処理装置と、を備える。

請求項９に記載のプログラムは、
画像処理装置のコンピューターを、
撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段、
として機能させるためのプログラムであって、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第１基準点として、前記空撮画像内の各画素の、前記第１基準点からの距離に応じて前記補正値を算出する。

本発明によれば、空撮画像内の画素ごとの明るさを補正し、精度よく植物の生育状態を解析可能な画像処理装置、生育調査画像作成システム及びプログラムを提供することができる。

生育調査画像作成システムのシステム構成を示す図である。図１の空撮画像取得装置の機能的構成を示す図である。図１の画像処理装置の機能的構成を示す図である。空撮画像の撮像方法説明する図である。空撮画像の一例を示す図である。輝度ムラの発生原因を説明する図である。画像方角情報を説明する図である。補正データの算出方法の一例を示す図である。補正データの算出方法の一例を示す図である。補正データの算出方法の一例を示す図である。太陽高度に応じた輝度ムラ補正を説明する図である。太陽高度に応じた輝度ムラ補正を説明する図である。太陽高度に応じた輝度ムラ補正を説明する図である。天候に応じた輝度ムラ補正を説明する図である。天候に応じた輝度ムラ補正を説明する図である。生育調査画像作成処理を示すフローチャートである。図１０のステップＳ２の詳細を示すフローチャートである。図１１のステップＳ２２の詳細を示すフローチャートである。図１１のステップＳ２３の詳細を示すフローチャートである。図１１のステップＳ２５の詳細を示すフローチャートである。本発明の効果を示す図である。

[実施形態]
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。

＜生育調査画像作成システム１００の構成＞
図１に、生育調査画像作成システム１００の全体構成例を示す。
生育調査画像作成システム１００は、圃場の空撮画像をリモートセンシングにより取得し、取得された空撮画像内の輝度値を適正な値に補正し、作物の生育状況の定量的評価可能な生育調査画像を生成するシステムである。

なお、生育調査としては、ここでは水稲モニタリングを例に挙げて説明するが、これに限定されるものではない。例えば、陸稲や麦類等のモニタリングにも本発明を適用することは可能である。

図１に示すように、生育調査画像作成システム１００は、空撮画像取得装置１Ａと、画像処理装置２Ａと、がデータ送受信可能に接続されて構成されている。
空撮画像取得装置１Ａと画像処理装置２Ａとは、それぞれが利用可能な無線通信を用いてペアリングが可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ－Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）などを使用している。

空撮画像取得装置１Ａは撮像装置としての機能を実現する。空撮画像取得装置１Ａは、リモートセンシングによって、圃場の上空を飛行しながら圃場全体を網羅するように撮影された複数枚の空撮画像を取得し、画像処理装置２Ａに送信するものである。
なお、リモートセンシングは、例えば飛行機やヘリコプター、気球等の有人航空機やドローン等の無人航空機からなるプラットフォームと、デジタルカメラ等の観測装置と、を備え、上空から地上を観測する技術を指す。ここでは、プラットフォームとしてドローンを用いるものとして説明する。

図２に、空撮画像取得装置１Ａの機能構成例を示す。
図２に示すように、空撮画像取得装置１Ａは、制御部１１、撮像部１２、飛行部１３、測位部１４、通信Ｉ／Ｆ１５、記憶部１６などを備えて構成され、各部はバス１７を介して接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory
）などを備えて構成され、記憶部１６に記憶されている各種プログラムとの協働により各種処理を実行し、空撮画像取得装置１Ａの動作を統括的に制御する。
例えば、制御部１１は、通信Ｉ／Ｆ１５を介して受信した、送信機による撮影指示にとって撮像部１２を制御し、空撮画像を撮影させる。制御部１１は、また、通信Ｉ／Ｆ１５を介して受信した、送信機による飛行指示に従って飛行部１３を制御し、空撮画像取得装置１Ａを飛行させる。

撮像部１２は、ＣＣＤ(Charge Coupled Device)センサーなどを備えたデジタルカメラであり、制御部１１の指示に従って空撮画像を取得する。撮像部１２は、レンズを介して稲体によって反射された太陽光の反射光を受光し、レンズにより結像面に結像される像を撮像して空撮画像のデジタル画像データを生成する。なお、撮像部１２は、空撮画像取得装置１Ａの直下の地点を撮影するものとする。

飛行部１３は、回転翼、モーター、バッテリー、ＥＳＣ（Electronic Speed Control）等を備え、制御部１１の指示に従って空撮画像取得装置１Ａを飛行させる。
回転翼は空撮画像取得装置１Ａの本体に複数設けられ、各回転翼はモーターによって回転駆動され、空撮画像取得装置１Ａに揚力を与える。モーターはバッテリーによって付与された電圧によって回転し、回転数はＥＳＣによる電圧制御によって変更される。回転翼の回転速度はモーターの出力に応じて変化し、各回転翼の回転速度差によって空撮画像取得装置１Ａの飛行方向が転換される。

測位部１４は、ＧＰＳなどの３次元測位器を備え、空撮画像取得装置１Ａの緯度、経度、高度に係る情報を取得する。また、測位部１４は、ジャイロセンサーを備え、空撮画像取得装置１Ａの傾きや回転を検出し、制御部１１はこれをもとに空撮画像取得装置１Ａの空中姿勢の制御や、後述するように、ＧＰＳによる３次元測位情報と併せた空撮画像取得装置１Ａの地表面に対する撮影方向の算出を行う。

通信Ｉ／Ｆ１５は、外部機器との間でデータ送受信を行なうためのインターフェースである。
通信Ｉ／Ｆ１５は、空撮画像取得装置１Ａの飛行及び空撮画像撮影を制御可能なリモートコントローラー等の送信機と通信可能に接続されており、当該リモートコントローラーを介して受信した飛行指示及び撮影指示を、制御部１１に伝達する。
また、画像処理装置２Ａとデータ送受信可能に接続され、制御部１１の制御下で画像処理装置２Ａにデジタルデータ化された空撮画像を送信する。

記憶部１６は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部１６には、前述のように各種プログラムや各種データなどが記憶されている。
その他、空撮画像取得装置１Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。

画像処理装置２Ａは、空撮画像取得装置１Ａから送信された空撮画像における輝度ムラを補正し、圃場内の作物の生育状況を定量解析可能な画像を生成する。
図３に、画像処理装置２Ａの機能構成例を示す。
図３に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory
）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、補正値算出手段、補正手段、太陽位置算出手段及び画像方角算出手段としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示し、表示手段としての機能を実現する。

通信Ｉ／Ｆ２４は、空撮画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、空撮画像の入力手段としての機能を実現する。

記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。

＜空撮画像内の輝度ムラ＞
以下、生育調査画像作成システム１００において、空撮画像内に発生する輝度ムラについて説明する。

図４Ａに、空撮画像の撮影方法の一例を示す。
圃場全体の空撮画像Ｉは、複数の空撮画像ｉが連続して張り合わされて合成される。空撮画像ｉは、空撮画像取得装置１Ａが一度に撮影する１枚の画像である。図４Ａの場合、空撮画像取得装置１Ａは、図の右下端から右上端まで、図中Ｘの方向に飛行しながら空撮画像ｉを連続して撮影する。続いて空撮画像取得装置１Ａは、図中Ｙの方向に移動し、上端から下端まで図中Ｘの方向に飛行しながら空撮画像ｉを連続して撮影する。以上を繰り返し、図の左端まで撮影すると、圃場全体の撮影が完了する。

ここで、図４Ｂに晴天時に撮影された空撮画像ｉｓの一例を示す。図に示すように、空撮画像ｉｓは、図の左側の上空に太陽が存在し矢印の方向から太陽光Ｓが照射されるとすると、稲体による反射光量の違いに起因して空撮画像ｉｓ内の画素ごとに輝度がばらつく、所謂輝度ムラが発生する。
図５を用いて、この現象の考え得る原因について説明する。

空撮画像取得装置１Ａの撮像部１２は、立体物を上空から撮影する場合、空撮画像内の画素ごとに、撮像部と被写体とを結ぶ線分方向（以降、視線方向と表記）が異なる。これに対し、太陽光は平行光と近似できるため、空撮画像内の全ての画素に対して同方向から入射する。
したがって、図５に示すように、撮影領域の右端に対しては、太陽光Ｓの入射方向が撮像部１２の視線方向Ｄ１と同一、即ち被写体である稲体Ｒ１に対して順光となる角度となる。被写体が稲体のように高さのある立体物である場合、順光となる角度で太陽光Ｓが照射されると、稲体Ｒ１の左側面で太陽光Ｓを反射するため、撮像部１２の受光量が大きくなる。
これに対し、撮影領域の中央においては、撮像部１２の視線方向Ｄ２が直下であるため、太陽光の入射角度が撮像部１２の視線方向Ｄ２と異なることとなる。稲体Ｒ２は空撮画像取得装置１Ａの直下に位置するため、撮像部１２は稲体Ｒ２の上面で反射された太陽光Ｓを受光するが、受光量は稲体Ｒ１の場合に比べて減少する。
さらに、撮影領域の左端に対しては、太陽光Ｓの入射方向が撮像部１２の視線方向Ｄ３と異なり、被写体である稲体Ｒ３の背後から入射する逆光となる角度から入射する。したがって、撮像部１２の受光量は撮像領域内で最も少なくなる。
このように撮像領域内で、被写体への視線方向が異なるため、空撮画像内で明るさの分布が変化する、即ち輝度ムラが発生すると考えられる。空撮画像内の各画素の明るさは、最も明るくなる点（図５における稲体Ｒ１）に近い程明るく、遠い程暗くなる。

ここで、空撮画像内の各画素の輝度値は、撮像情報、即ち（１）撮像位置情報、（２）太陽位置情報、（３）画像方角情報、（４）天候情報を用いて補正することができる。

（１）撮像位置情報
空撮画像内の各画素の輝度値は、撮像位置情報の影響を受ける。撮像位置情報とは、空撮画像取得装置１Ａが存在する位置の緯度経度情報及び撮像高度情報と、を含む。
緯度経度情報は、後述するように太陽位置情報の算出に、撮像高度情報は補正データの算出にそれぞれ用いられる情報である。

（２）太陽位置情報
空撮画像内の各画素の輝度値は、太陽位置情報の影響を受ける。太陽位置情報とは、太陽方位情報及び太陽高度情報と、を含む。
太陽方位が異なることによって、空撮画像取得装置１Ａに対して最も明るくなる点の存在する方角が異なる。したがって、画像内の明るさの分布は、太陽方位に依存して変動することとなる。
また、詳しくは後述するが、太陽高度が低い程、空撮画像取得装置１Ａからみて最も明るくなる点は、空撮画像取得装置１Ａの直下の点から遠くなる。空撮画像内の各画素の輝度は、最も明るい点からの距離に依存するため、空撮画像内の輝度値が太陽高度によって変動することとなる。
なお、太陽位置情報は、月日、時刻、上記した緯度経度情報によって特定することができる。

（３）画像方角情報
画像方角情報とは、空撮画像内の各画素が画像中心から見てどの方角に位置するかを表す情報である。
図６を参照して説明する。太陽は画像中心Ｏに対して南西の方角に位置するものとする。したがって、最も輝度が高くなる点（第１基準点；以降、明基準点Ｐと表記）は画像中心Ｏに対して北東の方角に存在する。

同じ空撮画像取得装置１Ａによって撮影された２枚の空撮画像、空撮画像ｉ１及び空撮画像ｉ２について検討する。空撮画像ｉ２は、空撮画像取得装置１Ａが、空撮画像ｉ１の撮影時から地表面に対して９０度回転した向き（撮像部１２のカメラが地表面に対して９０度回転した向き）で撮影している。
上記したように、空撮画像内の各画素の輝度値は、明基準点Ｐに近い程明るいため、図６の場合は空撮画像内の北東側の画素ほど輝度値が高いこととなる。したがって、空撮画像ｉ１内の画素は、頂点４付近が最も明るくなるのに対し、空撮画像ｉ２内の画素は、頂点３付近が最も明るくなる。したがって、空撮画像内の各画素の輝度値は明基準点Ｐからの相対的な位置関係によって決まるため、同一座標上の画素であっても、空撮画像取得装置１Ａの地表面に対する向き（撮影方向）によって輝度値は異なり、これに伴って空撮画像全体の明るさの分布（輝度ムラ）も変動することがわかる。

したがって、空撮画像内の輝度ムラの値を算出するためには、太陽方位情報に加えて、空撮画像内の各画素が、特定の座標（第２基準点；ここでは画像中心Ｏ）に対して、どの方角に位置するかを表す画像方角情報を得る必要がある。
例えば、図６の例では、空撮画像ｉ１上の注目画素ｎは画像中心Ｏに対して東の方角に位置するため、注目画素ｎの画像方角情報は「東」である。これに対し、空撮画像ｉ２上の注目画素ｎは画像中心Ｏに対して北の方角に位置するため、注目画素ｎの画像方角情報は「北」である。
このように各画素が保持する画像方角情報と、上記した太陽方位情報との合算によって、空撮画像内の輝度ムラを決定することができる。なお、各画素の画像方角情報は、空撮画像取得装置１Ａの撮影方向が明らかであれば、一義的に求まる。

（４）天候情報
空撮画像内の各画素の輝度値は、天候情報の影響を受ける。天候情報とは、晴天又は曇天のいずれであるかを指す情報である。
詳しくは後述するが、曇天時（上空全体に雲が均一に分布する状況）は晴天時に比べて、地上に到達する太陽光が全体に減少する。図４Ｂに、曇天時に撮影された空撮画像ｉｃの一例を示す。空撮画像ｉｃは、図４Ｂにおける晴天時に撮影された空撮画像ｉｓと同じ圃場を撮影したものであっても、空撮画像内の各画素の輝度値は晴天時よりも曇天時の方が小さくなる。即ち、空撮画像全体における輝度の絶対値は天候によって変動する。

以上説明したように、本実施形態においては、上記（１）～（４）の４つの要素を考慮して空撮画像内の輝度ムラ及び輝度の絶対値の補正を行う。

＜空撮画像の輝度ムラの補正方法＞
以下、生育調査画像作成システム１００において、上記説明した空撮画像内の輝度ムラを補正する方法について説明する。

上記したように、太陽光の入射角度と撮像部１２の視線方向が一致する場合に、最も輝度が高くなる。したがって、本実施形態における生育調査画像作成システム１００においては、空撮画像内の各画素の輝度値を、明基準点Ｐからの距離に基づいて補正する。

図７に、輝度値の補正値の算出方法を示す。
以下に示すように、補正値の算出方法には、（１）明基準点の座標の算出、（２）各画素の座標の算出、（３）補正データの導出、（４）補正値の演算、の４工程が含まれる。

（１）明基準点の座標の算出
図７Ａ及び図７Ｂは、明基準点Ｐの座標の算出方法の説明図である。
まず、明基準点Ｐの、画像中心Ｏからの距離Ｄ［ｐｉｘ］を算出する。図７Ａに示すように、太陽光Ｓの入射角がθ_ｓｕｎであり、撮像部１２の画角がθ_ｆｏｖ、水平画素数がｗ［ｐｉｘ］であるとする。なお、水平画素数は図から明らかなように、撮像高度情報に応じて変動する値である。
明基準点Ｐは、撮像部１２の視線方向が太陽光Ｓの入射角θ_ｓｕｎと同じ角度になる、地表面上の一点に定められる。したがって、明基準点Ｐの画像中心Ｏ（空撮画像取得装置１Ａの直下）からの距離Ｄは、下記の式（１）によって求められる。
Ｄ＝（ｔａｎθ_ｓｕｎ／ｔａｎθ_{ｆｏｖ／２}）＊ｗ／２・・・（１）

続いて、明基準点Ｐの座標を算出する。図７Ｂは、地表面を上空から見た図である。図に示すように画像中心Ｏを原点としてＸ軸方向、Ｙ軸方向を定め、明基準点Ｐの座標を（ｘｐ，ｙｐ）とおく。
明基準点ＰのＸ軸方向、Ｙ軸方向からの距離Ｄｘ［ｐｉｘ］、Ｄｙ［ｐｉｘ］は、それぞれ下記の式（２）によって求められる。
Ｄｘ＝Ｄｃｏｓθ_ｐ・・・（２－１）
Ｄｙ＝Ｄｓｉｎθ_ｐ・・・（２－２）
距離Ｄｘ、Ｄｙをそれぞれ座標に換算すると、明基準点Ｐの座標（ｘｐ，ｙｐ）が求まる。

（２）各画素の明基準点からの距離の算出
各画素の輝度値は、明基準点Ｐからの距離に応じて変動する。したがって、輝度値の補正値の算出のために、各画素の明基準点Ｐからの距離を求める必要がある。
図７Ｃは、各画素の明基準点Ｐからの距離の算出方法の説明図である。図７Ｂと同様に、画像中心Ｏを原点としてＸ軸方向、Ｙ軸方向を定め、注目画素Ｃの座標を（ｘｃ，ｙｃ）とおく。
注目画素Ｃの明基準点Ｐからの距離ｄｃ［ｐｉｘ］は、下記の式（３）によって求められる。
ｄｃ＝√｛（ｘｃ－ｘｐ）^２＋（ｙｃ－ｙｐ）^２｝・・・（３）

（３）補正データの導出
上記説明した各画素の明基準点Ｐからの距離ｄを用いて、下記の式（４）によって、各画素の輝度値の補正データｖ（ｘ，ｙ）が求められる。
ｖ（ｘ，ｙ）＝Ｋｅｘｐ（－αｄ）＊Ｗ＋β ・・・（４）
即ち、上記の式（４）は、補正データｖ（ｘ，ｙ）が各画素の明基準点Ｐからの距離ｄに依存することを示している。
ここで、Ｗは天候に応じて補正データｖ（ｘ，ｙ）に乗算又は除算を行うための天候パラメーター（係数）、βは太陽高度情報に応じて補正データｖ（ｘ，ｙ）に加算又は減算を行うためのオフセット値である。
なお、αは太陽高度に応じたパラメーター、Ｋは実データから算出された定数である。

ここで、太陽高度情報に応じた補正について説明する。
図８Ａに示すように、太陽光Ｓａが照射されている場合に、明基準点Ｐ１の座標は稲体Ｒ１の位置と重なるとする。太陽方位が同一で、太陽高度がこれより低く太陽光Ｓ２が照射されている場合には、太陽光Ｓｂの入射角と平行となる撮像部１２の視線方向は、図中の右側にずれ、明基準点Ｐ２は稲体Ｒ４の位置と重なる。即ち、太陽高度が低い程、明基準点は空撮画像取得装置１Ａの直下から遠い位置になる。

図８Ｂは、地表面を上空から見た図である。図に示すように画像中心Ｏを原点としてＸ軸方向、Ｙ軸方向を定め、明基準点Ｐ１の座標を（ｘｐ，ｙｐ）とおく。空撮画像ｉ内の注目画素ａ及びｂの画像中心Ｏからの距離をそれぞれｄａ及びｄｂとする。
図８Ｃのグラフは、横軸に画像中心Ｏからの距離Ｄ、縦軸に輝度値Ｌを示す。太陽光Ｓａが照射されている場合と太陽光Ｓｂが照射されている場合とで、注目画素ａ及びｂの明基準点からの距離は異なるため、輝度値も異なる。したがって、太陽光Ｓａが照射されている場合の輝度値Ｌに所定の値（β）だけ減算を行うことで、太陽光Ｓｂが照射されている場合の輝度値Ｌとすることができる。
この時行った減算に該当する値が、上記したオフセット値βである。

次に、天候に応じた補正について説明する。
図９は、同じ太陽位置の場合の、晴天時及び曇天時（上空全体に雲が均一に分布する状況）における輝度値の比較を表す。
図９Ａは、地表面を上空から見た図である。図に示すように画像中心Ｏを原点としてＸ軸方向、Ｙ軸方向を定め、明基準点Ｐの座標を（ｘｐ，ｙｐ）とおく。空撮画像ｉ内の注目画素ａ及びｂの画像中心Ｏからの距離をそれぞれｄａ及びｄｂとする。
図９Ｂは、のグラフは、横軸に画像中心Ｏからの距離Ｄ、縦軸に輝度値Ｌを示す。太陽の方位及び高度が同じであっても、晴天時の方が曇天時よりも輝度値Ｌが高いことから、明るさは同一画素間で異なる。したがって、晴天時の輝度値Ｌに所定の値（Ｗ）だけ除算を行うことで、曇天時の輝度値Ｌとすることができる。
この時行った除算に該当する値が、上記した係数Ｗである。

（４）補正値の演算
上記説明したように求められた補正データｖ（ｘ，ｙ）を用いて演算を行い、各画素について輝度値Ｌの補正値を演算する。
上記したように、図７Ｃにおいて画像中心Ｏの座標を（０，０）、注目画素Ｃの座標を（ｘｃ，ｙｃ）とおくと、画像中心Ｏ及び注目画素Ｃにおける補正式は、それぞれｖ（０，０）、ｖ（ｘｃ，ｙｃ）で表される。
これをもとに、注目画素Ｃにおける輝度値Ｌの補正値Ｌｎｅｗを演算する。輝度値Ｌｎｅｗは、下記の式（５）によって求められる。
Ｌｎｅｗ＝Ｌ＊ｖ（ｘｃ，ｙｃ）／ｖ（０，０）・・・（５）
即ち、画像中心Ｏの補正データと注目画素Ｃの補正データの差分を、注目画素Ｃの輝度値Ｌに係数として反映させることで、補正値Ｌｎｅｗを得る。
上記の演算を、空撮画像内の全ての画素に対して行うことで、輝度ムラを解消した空撮画像が得られる。

＜生育調査画像作成システム１００の動作＞
以下、生育調査画像作成システム１００において、上記説明した空撮画像内に発生する輝度ムラを補正し、圃場全体を映した生育調査画像を生成する動作について説明する。
図１０に、画像処理装置２Ａにおける生育調査画像作成処理のフローチャートを示す。図１０に示す生育調査画像作成処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

まず、通信Ｉ／Ｆ２４により、空撮画像取得装置１Ａから圃場全体を網羅するように撮影された複数枚の空撮画像が入力されると（ステップＳ１）、空撮画像の補正処理が実行される（ステップＳ２）。なお、空撮画像の補正処理は、画像処理装置２Ａに入力された複数枚の空撮画像の１枚ずつに対して実行される。
図１１に、ステップＳ２における処理の詳細フローを示す。ステップＳ２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

空撮画像の補正処理は、撮像位置情報の取得（ステップＳ２１）、太陽位置情報の取得（ステップＳ２２）、画像方角情報の取得（ステップＳ２３）、天候情報の取得（ステップＳ２４）の工程を有し、これらの情報をもとに補正値の算出（ステップＳ２５）が実行される。

ステップＳ２１では、制御部２１は、撮像位置情報として、空撮画像取得装置１Ａが存在する地点の緯度経度情報及び撮像高度情報を取得する。
詳細には、制御部２１は、通信Ｉ／Ｆ２４により、空撮画像取得装置１Ａから、空撮画像撮影時に測位部１４によって計測された３次元測位情報を取得する。空撮画像取得装置１Ａは直下の領域を撮影することから、ここで得られた緯度及び経度は、空撮画像の画像中心（空撮画像取得装置１Ａの直下の地点）の緯度及び経度とみなすことができる。また、撮像高度情報は、空撮画像取得装置１Ａの直下の地点からの高さである。

ステップＳ２２では、太陽位置情報の取得が行われる。
図１２に、ステップＳ２２における処理の詳細フローを示す。ステップＳ２２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ２２では、まず、制御部２１は、月日及び時刻情報を取得する（ステップＳ２２１）。月日及び時刻情報は、画像処理装置２Ａが管理するシステム時刻を参照するものとしてもよいし、ユーザーに操作部２２を介して月日及び時刻を入力させるものとしてもよい。

次いで、制御部２１は、ステップＳ２２１で取得された情報及び緯度経度情報をもとに、太陽高度及び太陽方位を算出する（ステップＳ２２２）。ここで得られた太陽高度及び太陽方位は、空撮画像の画像中心からみた高度である。
以上のようにして、太陽位置情報（太陽高度情報及び太陽方位情報）が得られる。

ステップＳ２３では、画像方角情報の取得が行われる。
図１３に、ステップＳ２３における処理の詳細フローを示す。ステップＳ２３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ２３では、まず、制御部２１は、撮影方向情報を取得する（ステップＳ２３１）。撮影方向情報とは、上記した空撮画像撮影時における空撮画像取得装置１Ａの地表面に対する向き（撮影方向）である。制御部２１は、通信Ｉ／Ｆ２４により、測位部１４が計測したＧＰＳによる三次元測位情報や、ジャイロセンサーによる傾き情報などを取得し、これをもとに撮影方向情報が得られる。

次いで、制御部２１は、各画素の方角の演算を行う（ステップＳ２３２）。上記したように、撮影方向情報が特定されると、ステップＳ２２によって取得された太陽方位情報との合算によって、画像中心に対する各画素の方角が一義的に定まる。
以上のようにして、画像方角情報が得られる。

ステップＳ２４では、天候情報の取得が行われる。天候情報は、操作部２２を介してユーザーに晴天又は曇天のどちらに該当するかを入力させることで、取得される。

ステップＳ２５では、補正値の算出が行われる。
図１４に、ステップＳ２５における処理の詳細フローを示す。ステップＳ２５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ２５では、制御部２１は、明基準点の座標の算出を行い（ステップＳ２５１）、次いで各画素の明基準点からの距離の算出を行う（ステップＳ２５２）。ここで、座標とは、上記したように画像中心を基準として算出するものとしてもよいし、空撮画像内の任意の点を基準として算出するものとしてもよい。本実施形態においては、画像中心を基準とする。

続いて、制御部２１は、補正データを導出する（ステップＳ２５３）。ここでは、制御部２１は、ステップＳ２２で求められた太陽位置情報に基づいてオフセット値を算出し、またステップＳ２４で求められた天候情報に基づいて天候パラメーターＷを算出し、これらをもとに補正データを導出する。
次いで、制御部２１は、補正データをもとに、各画素の補正値を演算する（ステップＳ２５４）。
以上のようにして、補正値が算出される。

以上のようにすべての空撮画像について空撮画像の補正処理が完了すると、図１０のステップＳ３に移行し、制御部２１は、全空撮画像を張り合わせる。ここでは、各空撮画像の撮影時における空撮画像取得装置１Ａの３次元測位情報等をもとに、連続した画像となるように張り合わせる作業を行う。
以上で、生育調査画像作成処理が完了し、輝度のバラつきを解消した圃場全体の生育調査画像が完成する。

＜生育調査画像作成システム１００の効果＞
図１５を参照して本発明の効果を説明する。
図１５のグラフは、横軸に画像中心を基準とした座標を、縦軸に画素値を表し、明基準点と画像中心とを結んだ直線状の画像領域内画素値を示している。
グラフに示すように、画像中心から遠く、明基準点に近い座標ほど補正データを大きくしている。
その結果、補正によって明基準点に近い画素の輝度が下がり、空撮画像全体として均一な輝度を有するものとなったことがわかる。

［他の実施形態］
以上、本発明に係る実施形態に基づいて具体的に説明したが、上記の実施形態は本発明の好適な一例であり、これに限定されない。

例えば、上記実施形態においては、天候パラメーターを補正データに乗算又は除算を行うための係数としたが、これに限らず、加算又は減算を行うためのオフセット値とすることも可能である。同様に、太陽高度に関するパラメーターを、補正データに加算又は減算を行うためのオフセット値としたが、乗算又は除算を行うための係数とすることも可能である。その他、補正データの算出に適するように、上記実施形態において使用した式に適宜変更を加えてもよい。

また、補正データを天候パラメーター及び太陽高度に関するオフセット値等を有する式を用いて算出するものとしたが、これに限定されず、太陽位置や天候と輝度ムラとの関係を予めテーブル化したデータを用いて算出するものとしてもよい。

また、上記実施形態においては、撮像部として単一のデジタルカメラを搭載したものについて説明を行ったが、可視光撮影用及び近赤外光撮影用の２種類のデジタルカメラを搭載することにより、ＮＤＶＩを算出し、生育調査に利用することができる。

また、上記実施形態においては、空撮画像取得装置１Ａの高度が撮影中に変化することを前提として、撮像高度情報を補正データの算出に用いるものとして説明したが、撮影時に空撮画像取得装置１Ａの高度を固定した場合には、撮像高度情報は補正データの算出に影響を与えない。即ち、上記した式（１）におけるｗの値が全ての空撮画像において共通であるため、空撮画像毎に上記した式（１）を算出する必要がなく、処理を簡略化することができる。

また、上記実施形態においては、空撮画像取得装置１Ａによる撮影方向が、空撮画像毎に異なることを前提として、補正値の算出の際に画像方角情報を取得する例について説明したが、撮影方向を固定する場合には、画像方角情報を得る必要はない。即ち、この場合には明基準点に対する各画素の相対的な位置関係は、全ての空撮画像において共通であるため、処理を簡略することができる。

その他、生育調査画像作成システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明は、画像処理装置、生育調査画像作成システム及びプログラムに利用できる。

１Ａ空撮画像取得装置（撮像装置）
１１制御部
１２撮像部
１３飛行部
１４測位部
１５通信Ｉ／Ｆ
１６記憶部
１７バス
２Ａ画像処理装置
２１制御部（補正値算出手段、補正手段、太陽位置算出手段、画像方角算出手段）
２２操作部
２３表示部
２４通信Ｉ／Ｆ（入力手段）
２５記憶部
２６バス
１００生育調査画像作成システム
Ｐ明基準点（第１基準点）
Ｏ画像中心（第２基準点）

Claims

撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段と、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段と、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段と、を備え、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第１基準点として、前記空撮画像内の各画素の、前記第１基準点からの距離に応じて前記補正値を算出する画像処理装置。
前記撮像情報は、天候情報を含む請求項１に記載の画像処理装置。
撮影時の月日及び時刻並びに前記緯度経度情報に基づいて、前記太陽位置情報を算出する太陽位置算出手段を備える請求項１又は２に記載の画像処理装置。
前記撮像情報は、前記空撮画像内の第２基準点に対する各画素の方角情報である画像方角情報を含み、
地表面に対する前記撮像装置による撮影方向に基づいて、前記画像方角情報を算出する画像方角算出手段を備える請求項１から３のいずれか一項に記載の画像処理装置。
前記撮像位置情報は、前記撮像装置が存在する撮像高度情報を含む請求項１から４のいずれか一項に記載の画像処理装置。
前記補正値は、前記空撮画像の各画素の輝度値に対して乗算又は除算を行うための係数を用いて算出される請求項１から５のいずれか一項に記載の画像処理装置。
前記補正値は、前記空撮画像の各画素の輝度値に対して加算又は減算を行うためのオフセット値を用いて算出される請求項１から６のいずれか一項に記載の画像処理装置。
圃場内の植物の空撮画像を取得する撮像装置と、
請求項１から７のいずれか一項に記載の画像処理装置と、を備える生育調査画像作成システム。
画像処理装置のコンピューターを、
撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段、
として機能させるためのプログラムであって、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第１基準点として、前記空撮画像内の各画素の、前記第１基準点からの距離に応じて前記補正値を算出するプログラム。