JP7074126B2 - 画像処理装置、生育調査画像作成システム及びプログラム - Google Patents

画像処理装置、生育調査画像作成システム及びプログラム Download PDF

Info

Publication number
JP7074126B2
JP7074126B2 JP2019509694A JP2019509694A JP7074126B2 JP 7074126 B2 JP7074126 B2 JP 7074126B2 JP 2019509694 A JP2019509694 A JP 2019509694A JP 2019509694 A JP2019509694 A JP 2019509694A JP 7074126 B2 JP7074126 B2 JP 7074126B2
Authority
JP
Japan
Prior art keywords
image
information
aerial
pixel
aerial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509694A
Other languages
English (en)
Other versions
JPWO2018180954A1 (ja
Inventor
義朗 平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2018180954A1 publication Critical patent/JPWO2018180954A1/ja
Application granted granted Critical
Publication of JP7074126B2 publication Critical patent/JP7074126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、生育調査画像作成システム及びプログラムに関する。
従来、リモートセンシングによって上空から撮影された圃場の空撮画像を取得し、当該空撮画像を用いた画像解析処理を行い、圃場内の作物の生育調査を行う技術が知られている。
例えば、特許文献1には、衛星によって圃場の空撮画像を取得し、これに基づいて作物の生育の度合いを表す正規化植生指数(Normalized Difference Vegetation Index:NDVI)を算出する技術が開示されている。また、近年では、ドローンに可視光撮影用及び近赤外光撮影用の2種類のデジタルカメラを搭載して圃場の空撮画像を取得し、同様のモニタリングを行う場合もある。
ここで、正規化植生指数の算出には植物体による光の反射量が利用されるため、圃場内の作物の生育状態を正確に把握するためには、撮影領域内の植物体による光の反射量のデータを高精度で取得する必要がある。
特開2017-35055号公報
ところで、水稲のように高さのある植物体を上空から撮影すると、撮像装置との位置関係によって空撮画像内の画素ごとに輝度ムラが生じる。
これについて、図5を用いて水稲モニタリングの場合を説明する。図5に示すように、太陽光は平行光と近似できるため、圃場内の全ての植物体(ここでは、稲体)に対して同じ入射角で照射されるとみなすことができる。対して撮像装置と被写体とを結ぶ線分方向(視線方向)は、撮像装置との位置関係に応じて稲体ごとに異なる。即ち、撮像装置の視線方向に対して太陽光が順光となる角度で入射する稲体R1や、逆光となる角度で入射する稲体R3など、稲体ごとに太陽光の反射量が異なることとなるため、空撮画像内で明るさにばらつきが生じてしまう。
特許文献1のように、衛星による空撮画像は撮影範囲が広域にわたるため、空撮画像内の明るさのバラつきが、画像解析にあまり大きな影響を与えない。また、そもそも撮像装置の高度が高いため、上記したような稲体ごとの反射量にあまり大きな差が生じない。
しかしながら、例えばドローンによって近距離から空撮する場合には、上記したような明るさのバラつきの影響が大きくなる。このような輝度ムラによって、撮影データを用いた演算を行う際の精度が低下してしまう。
本発明は上記課題に鑑みてなされたものであって、空撮画像内の画素ごとの明るさを補正し、精度よく植物の生育状態を解析可能な画像処理装置、生育調査画像作成システム及びプログラムを提供することを目的とする。
上記課題を解決するため、請求項1に記載の画像処理装置は、
撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段と、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段と、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段と、を備え、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第1基準点として、前記空撮画像内の各画素の、前記第1基準点からの距離に応じて前記補正値を算出する
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記撮像情報は、天候情報を含む。
請求項に記載の発明は、請求項1又は2に記載の画像処理装置において、
撮影時の月日及び時刻並びに前記緯度経度情報に基づいて、前記太陽位置情報を算出する太陽位置算出手段を備える。
請求項に記載の発明は、請求項1からのいずれか一項に記載の画像処理装置において、
前記撮像情報は、前記空撮画像内の第2基準点に対する各画素の方角情報である画像方角情報を含み、
地表面に対する前記撮像装置による撮影方向に基づいて、前記画像方角情報を算出する画像方角算出手段を備える。
請求項に記載の発明は、請求項1からのいずれか一項に記載の画像処理装置において、
前記撮像位置情報は、前記撮像装置が存在する撮像高度情報を含む。
請求項に記載の発明は、請求項1からのいずれか一項に記載の画像処理装置において、
前記補正値は、前記空撮画像の各画素の輝度値に対して乗算又は除算を行うための係数を用いて算出される。
請求項に記載の発明は、請求項1からのいずれか一項に記載の画像処理装置において、
前記補正値は、前記空撮画像の各画素の輝度値に対して加算又は減算を行うためのオフセット値を用いて算出される。
請求項に記載の生育調査画像作成システムは、
圃場内の植物の空撮画像を取得する撮像装置と、
請求項1からのいずれか一項に記載の画像処理装置と、を備える。
請求項に記載のプログラムは、
画像処理装置のコンピューターを、
撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段、
前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段、
前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段、
として機能させるためのプログラムであって、
前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第1基準点として、前記空撮画像内の各画素の、前記第1基準点からの距離に応じて前記補正値を算出する
本発明によれば、空撮画像内の画素ごとの明るさを補正し、精度よく植物の生育状態を解析可能な画像処理装置、生育調査画像作成システム及びプログラムを提供することができる。
生育調査画像作成システムのシステム構成を示す図である。 図1の空撮画像取得装置の機能的構成を示す図である。 図1の画像処理装置の機能的構成を示す図である。 空撮画像の撮像方法説明する図である。 空撮画像の一例を示す図である。 輝度ムラの発生原因を説明する図である。 画像方角情報を説明する図である。 補正データの算出方法の一例を示す図である。 補正データの算出方法の一例を示す図である。 補正データの算出方法の一例を示す図である。 太陽高度に応じた輝度ムラ補正を説明する図である。 太陽高度に応じた輝度ムラ補正を説明する図である。 太陽高度に応じた輝度ムラ補正を説明する図である。 天候に応じた輝度ムラ補正を説明する図である。 天候に応じた輝度ムラ補正を説明する図である。 生育調査画像作成処理を示すフローチャートである。 図10のステップS2の詳細を示すフローチャートである。 図11のステップS22の詳細を示すフローチャートである。 図11のステップS23の詳細を示すフローチャートである。 図11のステップS25の詳細を示すフローチャートである。 本発明の効果を示す図である。
[実施形態]
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
<生育調査画像作成システム100の構成>
図1に、生育調査画像作成システム100の全体構成例を示す。
生育調査画像作成システム100は、圃場の空撮画像をリモートセンシングにより取得し、取得された空撮画像内の輝度値を適正な値に補正し、作物の生育状況の定量的評価可能な生育調査画像を生成するシステムである。
なお、生育調査としては、ここでは水稲モニタリングを例に挙げて説明するが、これに限定されるものではない。例えば、陸稲や麦類等のモニタリングにも本発明を適用することは可能である。
図1に示すように、生育調査画像作成システム100は、空撮画像取得装置1Aと、画像処理装置2Aと、がデータ送受信可能に接続されて構成されている。
空撮画像取得装置1Aと画像処理装置2Aとは、それぞれが利用可能な無線通信を用いてペアリングが可能なもので、無線通信としては、無線LAN(Wi-Fi)又はBluetooth(登録商標)などを使用している。
空撮画像取得装置1Aは撮像装置としての機能を実現する。空撮画像取得装置1Aは、リモートセンシングによって、圃場の上空を飛行しながら圃場全体を網羅するように撮影された複数枚の空撮画像を取得し、画像処理装置2Aに送信するものである。
なお、リモートセンシングは、例えば飛行機やヘリコプター、気球等の有人航空機やドローン等の無人航空機からなるプラットフォームと、デジタルカメラ等の観測装置と、を備え、上空から地上を観測する技術を指す。ここでは、プラットフォームとしてドローンを用いるものとして説明する。
図2に、空撮画像取得装置1Aの機能構成例を示す。
図2に示すように、空撮画像取得装置1Aは、制御部11、撮像部12、飛行部13、測位部14、通信I/F15、記憶部16などを備えて構成され、各部はバス17を介して接続されている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory
)などを備えて構成され、記憶部16に記憶されている各種プログラムとの協働により各種処理を実行し、空撮画像取得装置1Aの動作を統括的に制御する。
例えば、制御部11は、通信I/F15を介して受信した、送信機による撮影指示にとって撮像部12を制御し、空撮画像を撮影させる。制御部11は、また、通信I/F15を介して受信した、送信機による飛行指示に従って飛行部13を制御し、空撮画像取得装置1Aを飛行させる。
撮像部12は、CCD(Charge Coupled Device)センサーなどを備えたデジタルカメラであり、制御部11の指示に従って空撮画像を取得する。撮像部12は、レンズを介して稲体によって反射された太陽光の反射光を受光し、レンズにより結像面に結像される像を撮像して空撮画像のデジタル画像データを生成する。なお、撮像部12は、空撮画像取得装置1Aの直下の地点を撮影するものとする。
飛行部13は、回転翼、モーター、バッテリー、ESC(Electronic Speed Control)等を備え、制御部11の指示に従って空撮画像取得装置1Aを飛行させる。
回転翼は空撮画像取得装置1Aの本体に複数設けられ、各回転翼はモーターによって回転駆動され、空撮画像取得装置1Aに揚力を与える。モーターはバッテリーによって付与された電圧によって回転し、回転数はESCによる電圧制御によって変更される。回転翼の回転速度はモーターの出力に応じて変化し、各回転翼の回転速度差によって空撮画像取得装置1Aの飛行方向が転換される。
測位部14は、GPSなどの3次元測位器を備え、空撮画像取得装置1Aの緯度、経度、高度に係る情報を取得する。また、測位部14は、ジャイロセンサーを備え、空撮画像取得装置1Aの傾きや回転を検出し、制御部11はこれをもとに空撮画像取得装置1Aの空中姿勢の制御や、後述するように、GPSによる3次元測位情報と併せた空撮画像取得装置1Aの地表面に対する撮影方向の算出を行う。
通信I/F15は、外部機器との間でデータ送受信を行なうためのインターフェースである。
通信I/F15は、空撮画像取得装置1Aの飛行及び空撮画像撮影を制御可能なリモートコントローラー等の送信機と通信可能に接続されており、当該リモートコントローラーを介して受信した飛行指示及び撮影指示を、制御部11に伝達する。
また、画像処理装置2Aとデータ送受信可能に接続され、制御部11の制御下で画像処理装置2Aにデジタルデータ化された空撮画像を送信する。
記憶部16は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部16には、前述のように各種プログラムや各種データなどが記憶されている。
その他、空撮画像取得装置1Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
画像処理装置2Aは、空撮画像取得装置1Aから送信された空撮画像における輝度ムラを補正し、圃場内の作物の生育状況を定量解析可能な画像を生成する。
図3に、画像処理装置2Aの機能構成例を示す。
図3に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)などを備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、補正値算出手段、補正手段、太陽位置算出手段及び画像方角算出手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、たとえばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示し、表示手段としての機能を実現する。
通信I/F24は、空撮画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、空撮画像の入力手段としての機能を実現する。
記憶部25は、たとえばHDD(Hard Disk Drive)や半導体の不揮発性メモリーなどで構成されている。記憶部25には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
<空撮画像内の輝度ムラ>
以下、生育調査画像作成システム100において、空撮画像内に発生する輝度ムラについて説明する。
図4Aに、空撮画像の撮影方法の一例を示す。
圃場全体の空撮画像Iは、複数の空撮画像iが連続して張り合わされて合成される。空撮画像iは、空撮画像取得装置1Aが一度に撮影する1枚の画像である。図4Aの場合、空撮画像取得装置1Aは、図の右下端から右上端まで、図中Xの方向に飛行しながら空撮画像iを連続して撮影する。続いて空撮画像取得装置1Aは、図中Yの方向に移動し、上端から下端まで図中Xの方向に飛行しながら空撮画像iを連続して撮影する。以上を繰り返し、図の左端まで撮影すると、圃場全体の撮影が完了する。
ここで、図4Bに晴天時に撮影された空撮画像isの一例を示す。図に示すように、空撮画像isは、図の左側の上空に太陽が存在し矢印の方向から太陽光Sが照射されるとすると、稲体による反射光量の違いに起因して空撮画像is内の画素ごとに輝度がばらつく、所謂輝度ムラが発生する。
図5を用いて、この現象の考え得る原因について説明する。
空撮画像取得装置1Aの撮像部12は、立体物を上空から撮影する場合、空撮画像内の画素ごとに、撮像部と被写体とを結ぶ線分方向(以降、視線方向と表記)が異なる。これに対し、太陽光は平行光と近似できるため、空撮画像内の全ての画素に対して同方向から入射する。
したがって、図5に示すように、撮影領域の右端に対しては、太陽光Sの入射方向が撮像部12の視線方向D1と同一、即ち被写体である稲体R1に対して順光となる角度となる。被写体が稲体のように高さのある立体物である場合、順光となる角度で太陽光Sが照射されると、稲体R1の左側面で太陽光Sを反射するため、撮像部12の受光量が大きくなる。
これに対し、撮影領域の中央においては、撮像部12の視線方向D2が直下であるため、太陽光の入射角度が撮像部12の視線方向D2と異なることとなる。稲体R2は空撮画像取得装置1Aの直下に位置するため、撮像部12は稲体R2の上面で反射された太陽光Sを受光するが、受光量は稲体R1の場合に比べて減少する。
さらに、撮影領域の左端に対しては、太陽光Sの入射方向が撮像部12の視線方向D3と異なり、被写体である稲体R3の背後から入射する逆光となる角度から入射する。したがって、撮像部12の受光量は撮像領域内で最も少なくなる。
このように撮像領域内で、被写体への視線方向が異なるため、空撮画像内で明るさの分布が変化する、即ち輝度ムラが発生すると考えられる。空撮画像内の各画素の明るさは、最も明るくなる点(図5における稲体R1)に近い程明るく、遠い程暗くなる。
ここで、空撮画像内の各画素の輝度値は、撮像情報、即ち(1)撮像位置情報、(2)太陽位置情報、(3)画像方角情報、(4)天候情報を用いて補正することができる。
(1)撮像位置情報
空撮画像内の各画素の輝度値は、撮像位置情報の影響を受ける。撮像位置情報とは、空撮画像取得装置1Aが存在する位置の緯度経度情報及び撮像高度情報と、を含む。
緯度経度情報は、後述するように太陽位置情報の算出に、撮像高度情報は補正データの算出にそれぞれ用いられる情報である。
(2)太陽位置情報
空撮画像内の各画素の輝度値は、太陽位置情報の影響を受ける。太陽位置情報とは、太陽方位情報及び太陽高度情報と、を含む。
太陽方位が異なることによって、空撮画像取得装置1Aに対して最も明るくなる点の存在する方角が異なる。したがって、画像内の明るさの分布は、太陽方位に依存して変動することとなる。
また、詳しくは後述するが、太陽高度が低い程、空撮画像取得装置1Aからみて最も明るくなる点は、空撮画像取得装置1Aの直下の点から遠くなる。空撮画像内の各画素の輝度は、最も明るい点からの距離に依存するため、空撮画像内の輝度値が太陽高度によって変動することとなる。
なお、太陽位置情報は、月日、時刻、上記した緯度経度情報によって特定することができる。
(3)画像方角情報
画像方角情報とは、空撮画像内の各画素が画像中心から見てどの方角に位置するかを表す情報である。
図6を参照して説明する。太陽は画像中心Oに対して南西の方角に位置するものとする。したがって、最も輝度が高くなる点(第1基準点;以降、明基準点Pと表記)は画像中心Oに対して北東の方角に存在する。
同じ空撮画像取得装置1Aによって撮影された2枚の空撮画像、空撮画像i1及び空撮画像i2について検討する。空撮画像i2は、空撮画像取得装置1Aが、空撮画像i1の撮影時から地表面に対して90度回転した向き(撮像部12のカメラが地表面に対して90度回転した向き)で撮影している。
上記したように、空撮画像内の各画素の輝度値は、明基準点Pに近い程明るいため、図6の場合は空撮画像内の北東側の画素ほど輝度値が高いこととなる。したがって、空撮画像i1内の画素は、頂点4付近が最も明るくなるのに対し、空撮画像i2内の画素は、頂点3付近が最も明るくなる。したがって、空撮画像内の各画素の輝度値は明基準点Pからの相対的な位置関係によって決まるため、同一座標上の画素であっても、空撮画像取得装置1Aの地表面に対する向き(撮影方向)によって輝度値は異なり、これに伴って空撮画像全体の明るさの分布(輝度ムラ)も変動することがわかる。
したがって、空撮画像内の輝度ムラの値を算出するためには、太陽方位情報に加えて、空撮画像内の各画素が、特定の座標(第2基準点;ここでは画像中心O)に対して、どの方角に位置するかを表す画像方角情報を得る必要がある。
例えば、図6の例では、空撮画像i1上の注目画素nは画像中心Oに対して東の方角に位置するため、注目画素nの画像方角情報は「東」である。これに対し、空撮画像i2上の注目画素nは画像中心Oに対して北の方角に位置するため、注目画素nの画像方角情報は「北」である。
このように各画素が保持する画像方角情報と、上記した太陽方位情報との合算によって、空撮画像内の輝度ムラを決定することができる。なお、各画素の画像方角情報は、空撮画像取得装置1Aの撮影方向が明らかであれば、一義的に求まる。
(4)天候情報
空撮画像内の各画素の輝度値は、天候情報の影響を受ける。天候情報とは、晴天又は曇天のいずれであるかを指す情報である。
詳しくは後述するが、曇天時(上空全体に雲が均一に分布する状況)は晴天時に比べて、地上に到達する太陽光が全体に減少する。図4Bに、曇天時に撮影された空撮画像icの一例を示す。空撮画像icは、図4Bにおける晴天時に撮影された空撮画像isと同じ圃場を撮影したものであっても、空撮画像内の各画素の輝度値は晴天時よりも曇天時の方が小さくなる。即ち、空撮画像全体における輝度の絶対値は天候によって変動する。
以上説明したように、本実施形態においては、上記(1)~(4)の4つの要素を考慮して空撮画像内の輝度ムラ及び輝度の絶対値の補正を行う。
<空撮画像の輝度ムラの補正方法>
以下、生育調査画像作成システム100において、上記説明した空撮画像内の輝度ムラを補正する方法について説明する。
上記したように、太陽光の入射角度と撮像部12の視線方向が一致する場合に、最も輝度が高くなる。したがって、本実施形態における生育調査画像作成システム100においては、空撮画像内の各画素の輝度値を、明基準点Pからの距離に基づいて補正する。
図7に、輝度値の補正値の算出方法を示す。
以下に示すように、補正値の算出方法には、(1)明基準点の座標の算出、(2)各画素の座標の算出、(3)補正データの導出、(4)補正値の演算、の4工程が含まれる。
(1)明基準点の座標の算出
図7A及び図7Bは、明基準点Pの座標の算出方法の説明図である。
まず、明基準点Pの、画像中心Oからの距離D[pix]を算出する。図7Aに示すように、太陽光Sの入射角がθsunであり、撮像部12の画角がθfov、水平画素数がw[pix]であるとする。なお、水平画素数は図から明らかなように、撮像高度情報に応じて変動する値である。
明基準点Pは、撮像部12の視線方向が太陽光Sの入射角θsunと同じ角度になる、地表面上の一点に定められる。したがって、明基準点Pの画像中心O(空撮画像取得装置1Aの直下)からの距離Dは、下記の式(1)によって求められる。
D=(tanθsun/tanθfov/2)*w/2 ・・・(1)
続いて、明基準点Pの座標を算出する。図7Bは、地表面を上空から見た図である。図に示すように画像中心Oを原点としてX軸方向、Y軸方向を定め、明基準点Pの座標を(xp,yp)とおく。
明基準点PのX軸方向、Y軸方向からの距離Dx[pix]、Dy[pix]は、それぞれ下記の式(2)によって求められる。
Dx=Dcosθ ・・・(2-1)
Dy=Dsinθ ・・・(2-2)
距離Dx、Dyをそれぞれ座標に換算すると、明基準点Pの座標(xp,yp)が求まる。
(2)各画素の明基準点からの距離の算出
各画素の輝度値は、明基準点Pからの距離に応じて変動する。したがって、輝度値の補正値の算出のために、各画素の明基準点Pからの距離を求める必要がある。
図7Cは、各画素の明基準点Pからの距離の算出方法の説明図である。図7Bと同様に、画像中心Oを原点としてX軸方向、Y軸方向を定め、注目画素Cの座標を(xc,yc)とおく。
注目画素Cの明基準点Pからの距離dc[pix]は、下記の式(3)によって求められる。
dc=√{(xc-xp)+(yc-yp)} ・・・(3)
(3)補正データの導出
上記説明した各画素の明基準点Pからの距離dを用いて、下記の式(4)によって、各画素の輝度値の補正データv(x,y)が求められる。
v(x,y)=Kexp(-αd)*W+β ・・・(4)
即ち、上記の式(4)は、補正データv(x,y)が各画素の明基準点Pからの距離dに依存することを示している。
ここで、Wは天候に応じて補正データv(x,y)に乗算又は除算を行うための天候パラメーター(係数)、βは太陽高度情報に応じて補正データv(x,y)に加算又は減算を行うためのオフセット値である。
なお、αは太陽高度に応じたパラメーター、Kは実データから算出された定数である。
ここで、太陽高度情報に応じた補正について説明する。
図8Aに示すように、太陽光Saが照射されている場合に、明基準点P1の座標は稲体R1の位置と重なるとする。太陽方位が同一で、太陽高度がこれより低く太陽光S2が照射されている場合には、太陽光Sbの入射角と平行となる撮像部12の視線方向は、図中の右側にずれ、明基準点P2は稲体R4の位置と重なる。即ち、太陽高度が低い程、明基準点は空撮画像取得装置1Aの直下から遠い位置になる。
図8Bは、地表面を上空から見た図である。図に示すように画像中心Oを原点としてX軸方向、Y軸方向を定め、明基準点P1の座標を(xp,yp)とおく。空撮画像i内の注目画素a及びbの画像中心Oからの距離をそれぞれda及びdbとする。
図8Cのグラフは、横軸に画像中心Oからの距離D、縦軸に輝度値Lを示す。太陽光Saが照射されている場合と太陽光Sbが照射されている場合とで、注目画素a及びbの明基準点からの距離は異なるため、輝度値も異なる。したがって、太陽光Saが照射されている場合の輝度値Lに所定の値(β)だけ減算を行うことで、太陽光Sbが照射されている場合の輝度値Lとすることができる。
この時行った減算に該当する値が、上記したオフセット値βである。
次に、天候に応じた補正について説明する。
図9は、同じ太陽位置の場合の、晴天時及び曇天時(上空全体に雲が均一に分布する状況)における輝度値の比較を表す。
図9Aは、地表面を上空から見た図である。図に示すように画像中心Oを原点としてX軸方向、Y軸方向を定め、明基準点Pの座標を(xp,yp)とおく。空撮画像i内の注目画素a及びbの画像中心Oからの距離をそれぞれda及びdbとする。
図9Bは、のグラフは、横軸に画像中心Oからの距離D、縦軸に輝度値Lを示す。太陽の方位及び高度が同じであっても、晴天時の方が曇天時よりも輝度値Lが高いことから、明るさは同一画素間で異なる。したがって、晴天時の輝度値Lに所定の値(W)だけ除算を行うことで、曇天時の輝度値Lとすることができる。
この時行った除算に該当する値が、上記した係数Wである。
(4)補正値の演算
上記説明したように求められた補正データv(x,y)を用いて演算を行い、各画素について輝度値Lの補正値を演算する。
上記したように、図7Cにおいて画像中心Oの座標を(0,0)、注目画素Cの座標を(xc,yc)とおくと、画像中心O及び注目画素Cにおける補正式は、それぞれv(0,0)、v(xc,yc)で表される。
これをもとに、注目画素Cにおける輝度値Lの補正値Lnewを演算する。輝度値Lnewは、下記の式(5)によって求められる。
Lnew=L*v(xc,yc)/v(0,0) ・・・(5)
即ち、画像中心Oの補正データと注目画素Cの補正データの差分を、注目画素Cの輝度値Lに係数として反映させることで、補正値Lnewを得る。
上記の演算を、空撮画像内の全ての画素に対して行うことで、輝度ムラを解消した空撮画像が得られる。
<生育調査画像作成システム100の動作>
以下、生育調査画像作成システム100において、上記説明した空撮画像内に発生する輝度ムラを補正し、圃場全体を映した生育調査画像を生成する動作について説明する。
図10に、画像処理装置2Aにおける生育調査画像作成処理のフローチャートを示す。図10に示す生育調査画像作成処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
まず、通信I/F24により、空撮画像取得装置1Aから圃場全体を網羅するように撮影された複数枚の空撮画像が入力されると(ステップS1)、空撮画像の補正処理が実行される(ステップS2)。なお、空撮画像の補正処理は、画像処理装置2Aに入力された複数枚の空撮画像の1枚ずつに対して実行される。
図11に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
空撮画像の補正処理は、撮像位置情報の取得(ステップS21)、太陽位置情報の取得(ステップS22)、画像方角情報の取得(ステップS23)、天候情報の取得(ステップS24)の工程を有し、これらの情報をもとに補正値の算出(ステップS25)が実行される。
ステップS21では、制御部21は、撮像位置情報として、空撮画像取得装置1Aが存在する地点の緯度経度情報及び撮像高度情報を取得する。
詳細には、制御部21は、通信I/F24により、空撮画像取得装置1Aから、空撮画像撮影時に測位部14によって計測された3次元測位情報を取得する。空撮画像取得装置1Aは直下の領域を撮影することから、ここで得られた緯度及び経度は、空撮画像の画像中心(空撮画像取得装置1Aの直下の地点)の緯度及び経度とみなすことができる。また、撮像高度情報は、空撮画像取得装置1Aの直下の地点からの高さである。
ステップS22では、太陽位置情報の取得が行われる。
図12に、ステップS22における処理の詳細フローを示す。ステップS22の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS22では、まず、制御部21は、月日及び時刻情報を取得する(ステップS221)。月日及び時刻情報は、画像処理装置2Aが管理するシステム時刻を参照するものとしてもよいし、ユーザーに操作部22を介して月日及び時刻を入力させるものとしてもよい。
次いで、制御部21は、ステップS221で取得された情報及び緯度経度情報をもとに、太陽高度及び太陽方位を算出する(ステップS222)。ここで得られた太陽高度及び太陽方位は、空撮画像の画像中心からみた高度である。
以上のようにして、太陽位置情報(太陽高度情報及び太陽方位情報)が得られる。
ステップS23では、画像方角情報の取得が行われる。
図13に、ステップS23における処理の詳細フローを示す。ステップS23の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS23では、まず、制御部21は、撮影方向情報を取得する(ステップS231)。撮影方向情報とは、上記した空撮画像撮影時における空撮画像取得装置1Aの地表面に対する向き(撮影方向)である。制御部21は、通信I/F24により、測位部14が計測したGPSによる三次元測位情報や、ジャイロセンサーによる傾き情報などを取得し、これをもとに撮影方向情報が得られる。
次いで、制御部21は、各画素の方角の演算を行う(ステップS232)。上記したように、撮影方向情報が特定されると、ステップS22によって取得された太陽方位情報との合算によって、画像中心に対する各画素の方角が一義的に定まる。
以上のようにして、画像方角情報が得られる。
ステップS24では、天候情報の取得が行われる。天候情報は、操作部22を介してユーザーに晴天又は曇天のどちらに該当するかを入力させることで、取得される。
ステップS25では、補正値の算出が行われる。
図14に、ステップS25における処理の詳細フローを示す。ステップS25の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS25では、制御部21は、明基準点の座標の算出を行い(ステップS251)、次いで各画素の明基準点からの距離の算出を行う(ステップS252)。ここで、座標とは、上記したように画像中心を基準として算出するものとしてもよいし、空撮画像内の任意の点を基準として算出するものとしてもよい。本実施形態においては、画像中心を基準とする。
続いて、制御部21は、補正データを導出する(ステップS253)。ここでは、制御部21は、ステップS22で求められた太陽位置情報に基づいてオフセット値を算出し、またステップS24で求められた天候情報に基づいて天候パラメーターWを算出し、これらをもとに補正データを導出する。
次いで、制御部21は、補正データをもとに、各画素の補正値を演算する(ステップS254)。
以上のようにして、補正値が算出される。
以上のようにすべての空撮画像について空撮画像の補正処理が完了すると、図10のステップS3に移行し、制御部21は、全空撮画像を張り合わせる。ここでは、各空撮画像の撮影時における空撮画像取得装置1Aの3次元測位情報等をもとに、連続した画像となるように張り合わせる作業を行う。
以上で、生育調査画像作成処理が完了し、輝度のバラつきを解消した圃場全体の生育調査画像が完成する。
<生育調査画像作成システム100の効果>
図15を参照して本発明の効果を説明する。
図15のグラフは、横軸に画像中心を基準とした座標を、縦軸に画素値を表し、明基準点と画像中心とを結んだ直線状の画像領域内画素値を示している。
グラフに示すように、画像中心から遠く、明基準点に近い座標ほど補正データを大きくしている。
その結果、補正によって明基準点に近い画素の輝度が下がり、空撮画像全体として均一な輝度を有するものとなったことがわかる。
[他の実施形態]
以上、本発明に係る実施形態に基づいて具体的に説明したが、上記の実施形態は本発明の好適な一例であり、これに限定されない。
例えば、上記実施形態においては、天候パラメーターを補正データに乗算又は除算を行うための係数としたが、これに限らず、加算又は減算を行うためのオフセット値とすることも可能である。同様に、太陽高度に関するパラメーターを、補正データに加算又は減算を行うためのオフセット値としたが、乗算又は除算を行うための係数とすることも可能である。その他、補正データの算出に適するように、上記実施形態において使用した式に適宜変更を加えてもよい。
また、補正データを天候パラメーター及び太陽高度に関するオフセット値等を有する式を用いて算出するものとしたが、これに限定されず、太陽位置や天候と輝度ムラとの関係を予めテーブル化したデータを用いて算出するものとしてもよい。
また、上記実施形態においては、撮像部として単一のデジタルカメラを搭載したものについて説明を行ったが、可視光撮影用及び近赤外光撮影用の2種類のデジタルカメラを搭載することにより、NDVIを算出し、生育調査に利用することができる。
また、上記実施形態においては、空撮画像取得装置1Aの高度が撮影中に変化することを前提として、撮像高度情報を補正データの算出に用いるものとして説明したが、撮影時に空撮画像取得装置1Aの高度を固定した場合には、撮像高度情報は補正データの算出に影響を与えない。即ち、上記した式(1)におけるwの値が全ての空撮画像において共通であるため、空撮画像毎に上記した式(1)を算出する必要がなく、処理を簡略化することができる。
また、上記実施形態においては、空撮画像取得装置1Aによる撮影方向が、空撮画像毎に異なることを前提として、補正値の算出の際に画像方角情報を取得する例について説明したが、撮影方向を固定する場合には、画像方角情報を得る必要はない。即ち、この場合には明基準点に対する各画素の相対的な位置関係は、全ての空撮画像において共通であるため、処理を簡略することができる。
その他、生育調査画像作成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は、画像処理装置、生育調査画像作成システム及びプログラムに利用できる。
1A 空撮画像取得装置(撮像装置)
11 制御部
12 撮像部
13 飛行部
14 測位部
15 通信I/F
16 記憶部
17 バス
2A 画像処理装置
21 制御部(補正値算出手段、補正手段、太陽位置算出手段、画像方角算出手段)
22 操作部
23 表示部
24 通信I/F(入力手段)
25 記憶部
26 バス
100 生育調査画像作成システム
P 明基準点(第1基準点)
O 画像中心(第2基準点)

Claims (9)

  1. 撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段と、
    前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段と、
    前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段と、を備え、
    前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
    前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
    前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
    前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第1基準点として、前記空撮画像内の各画素の、前記第1基準点からの距離に応じて前記補正値を算出する画像処理装置。
  2. 前記撮像情報は、天候情報を含む請求項1に記載の画像処理装置。
  3. 撮影時の月日及び時刻並びに前記緯度経度情報に基づいて、前記太陽位置情報を算出する太陽位置算出手段を備える請求項1又は2に記載の画像処理装置。
  4. 前記撮像情報は、前記空撮画像内の第2基準点に対する各画素の方角情報である画像方角情報を含み、
    地表面に対する前記撮像装置による撮影方向に基づいて、前記画像方角情報を算出する画像方角算出手段を備える請求項1からのいずれか一項に記載の画像処理装置。
  5. 前記撮像位置情報は、前記撮像装置が存在する撮像高度情報を含む請求項1からのいずれか一項に記載の画像処理装置。
  6. 前記補正値は、前記空撮画像の各画素の輝度値に対して乗算又は除算を行うための係数を用いて算出される請求項1からのいずれか一項に記載の画像処理装置。
  7. 前記補正値は、前記空撮画像の各画素の輝度値に対して加算又は減算を行うためのオフセット値を用いて算出される請求項1からのいずれか一項に記載の画像処理装置。
  8. 圃場内の植物の空撮画像を取得する撮像装置と、
    請求項1からのいずれか一項に記載の画像処理装置と、を備える生育調査画像作成システム。
  9. 画像処理装置のコンピューターを、
    撮像装置を用いて撮像された、圃場内の植物の空撮画像を入力する入力手段、
    前記空撮画像の撮影時における撮像情報を用いて、前記空撮画像内の各画素の輝度値の補正値を算出する補正値算出手段、
    前記補正値を用いて前記空撮画像内の各画素の輝度値を補正する補正手段、
    として機能させるためのプログラムであって、
    前記撮像情報は、撮像位置情報及び太陽位置情報を含み、
    前記撮像位置情報は、前記撮像装置が存在する緯度経度情報を含み、
    前記太陽位置情報は、太陽方位情報及び太陽高度情報を含み、
    前記補正値算出手段は、前記撮像位置情報に対して最も輝度が高くなる点を第1基準点として、前記空撮画像内の各画素の、前記第1基準点からの距離に応じて前記補正値を算出するプログラム
JP2019509694A 2017-03-28 2018-03-23 画像処理装置、生育調査画像作成システム及びプログラム Active JP7074126B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017062952 2017-03-28
JP2017062952 2017-03-28
PCT/JP2018/011602 WO2018180954A1 (ja) 2017-03-28 2018-03-23 画像処理装置、生育調査画像作成システム及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018180954A1 JPWO2018180954A1 (ja) 2020-02-06
JP7074126B2 true JP7074126B2 (ja) 2022-05-24

Family

ID=63677030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509694A Active JP7074126B2 (ja) 2017-03-28 2018-03-23 画像処理装置、生育調査画像作成システム及びプログラム

Country Status (3)

Country Link
JP (1) JP7074126B2 (ja)
CN (1) CN110537197A (ja)
WO (1) WO2018180954A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887142B2 (ja) * 2018-10-12 2021-06-16 株式会社ナイルワークス 圃場画像分析方法
JP7075127B2 (ja) * 2019-02-22 2022-05-25 株式会社ナイルワークス 圃場分析方法、圃場分析プログラム、圃場分析装置、ドローンシステムおよびドローン
US20220139082A1 (en) * 2019-03-01 2022-05-05 Sony Group Corporation Image processing device, image processing method, and program
JP7313906B2 (ja) * 2019-05-28 2023-07-25 キヤノン株式会社 画像処理方法、画像処理装置、撮像システム、および、プログラム
KR102383631B1 (ko) * 2020-03-12 2022-04-07 한국도로공사 차량 영상 촬영장치
KR102138019B1 (ko) * 2020-04-01 2020-07-27 건아정보기술 주식회사 반사광 제거를 위한 전자편광필터 제어기술이 적용된 차량검지기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266162A (ja) 2000-03-22 2001-09-28 Toshiba Corp 衛星画像処理装置
JP2003009664A (ja) 2001-06-29 2003-01-14 Minolta Co Ltd 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2003339238A (ja) 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2008258679A (ja) 2007-03-30 2008-10-23 Pasuko:Kk ラインセンサ観測画像の色補正方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4847633B2 (ja) * 2010-04-23 2011-12-28 パナソニック株式会社 撮像装置及び画像復元方法
CN104637370B (zh) * 2014-12-23 2015-11-25 河南城建学院 一种摄影测量与遥感综合教学的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266162A (ja) 2000-03-22 2001-09-28 Toshiba Corp 衛星画像処理装置
JP2003009664A (ja) 2001-06-29 2003-01-14 Minolta Co Ltd 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2003339238A (ja) 2002-05-28 2003-12-02 Satake Corp 作物の生育診断方法及びその装置
JP2008258679A (ja) 2007-03-30 2008-10-23 Pasuko:Kk ラインセンサ観測画像の色補正方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム,その方法,産業用ヘリコプタ,サーバ,可変施肥機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷崎 文啓、外2名,"多時期ランドサット画像の輝度値変換法による識別",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1994年10月21日,Vol.94, No.294,pp.7-14

Also Published As

Publication number Publication date
CN110537197A (zh) 2019-12-03
JPWO2018180954A1 (ja) 2020-02-06
WO2018180954A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
JP7074126B2 (ja) 画像処理装置、生育調査画像作成システム及びプログラム
US11649052B2 (en) System and method for providing autonomous photography and videography
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US10771699B2 (en) Systems and methods for rolling shutter correction
EP3183697B1 (en) Method for agronomic and agricultural monitoring using unmanned aerial system
CN108700470A (zh) 基于无人机系统的热成像和聚合系统和方法
WO2017041303A1 (en) Systems and methods for detecting and tracking movable objects
US11741571B2 (en) Voronoi cropping of images for post field generation
WO2019208537A1 (ja) 情報処理装置
Bachmann et al. Micro UAV based georeferenced orthophoto generation in VIS+ NIR for precision agriculture
US11181470B2 (en) Sensing system, sensing method, and sensing device
WO2021135854A1 (zh) 一种使用无人机进行测距测量的方法和装置
US20240166349A1 (en) Methods and Systems for Cloud-Based Management of Images Captured by Aerial Vehicles
JP7069609B2 (ja) 作物栽培支援装置
JP7218365B2 (ja) 情報処理装置
CN114185365B (zh) 一种支持异速像移补偿功能的航空相机控制器
JP7318768B2 (ja) 作物栽培支援装置
WO2020044628A1 (ja) 圃場撮影システムおよび圃場撮影方法
WO2018188086A1 (zh) 无人机及其控制方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7074126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150