JPWO2019082519A1 - 情報処理装置、情報処理方法、プログラム、情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、情報処理システム Download PDF

Info

Publication number
JPWO2019082519A1
JPWO2019082519A1 JP2019549907A JP2019549907A JPWO2019082519A1 JP WO2019082519 A1 JPWO2019082519 A1 JP WO2019082519A1 JP 2019549907 A JP2019549907 A JP 2019549907A JP 2019549907 A JP2019549907 A JP 2019549907A JP WO2019082519 A1 JPWO2019082519 A1 JP WO2019082519A1
Authority
JP
Japan
Prior art keywords
image
information processing
filtering
unit
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019549907A
Other languages
English (en)
Inventor
小川 哲
哲 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019082519A1 publication Critical patent/JPWO2019082519A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

圃場等の計測対象に対して短時間で精度の高い測定が可能となるようにする。このため複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラにより計測対象となる範囲のうちの一部を撮像したサンプリング画像を処理対象とする。そしてサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する。

Description

本技術は情報処理装置、情報処理方法、プログラム、情報処理システムに関し、特に植生状態等の計測対象の評価結果の生成に好適な技術に関する。
カメラによる撮像画像を用いて目的の情報を生成する技術として次のようなものが知られている。
下記特許文献1には、移動しながらのビデオ撮影により基礎データを収集し、その画像処理により高さデータを得る技術が開示されている。
下記特許文献2には、衛星データによる森林地域の植生分類方法で、各波長の測定値について樹種に応じた上下限または閾値を設定し、樹種数分の樹種対象抽出マップを作成し、調査対象地域の正規化植生指数を作成し、樹種対象抽出マップについて植生指数を用いてマスク処理を施すことにより山林部または樹種分布を抽出することが記載されている。
下記特許文献3には、半導体ウェハの欠陥検出方法として、配線の長軸方向と異なった方向に走査して欠陥の存在する要素を検出したのち、長軸方向に沿って走査することが記載されている。
特開平8−159762号公報 特開2006−85517号公報 特許第4903469号公報
例えば小型の飛行体に撮像装置を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
このようにカメラで撮像した画像を用いて植生状態などの評価結果を生成することで、広大な範囲について効率的な観察が可能となる。
ここで、高精度の観察を行いたい場合、より高解像度の撮像を行うことが考えられるが、例えば圃場等の広い範囲について高解像度の撮像を行うことは、測定効率の悪化を生じさせてしまう。
本技術では、計測対象を撮像して観察する場合に、高精度の測定を効率的に実行できるようにすることを目的とする。
本技術に係る情報処理装置は、計測対象の一部をマルチスペクトラムカメラ(Multi Spectrum Camera)で撮像したサンプリング画像を処理対象として演算処理を行い、前記計測対象に対する評価情報となる演算結果画像を生成する演算部を備える。
異なる波長帯の電磁波を記録したマルチスペクトル画像を撮像するマルチスペクトラムカメラによって、少なくとも計測対象の全範囲のうちの一部をサンプリング撮像する。例えば計測対象領域全体を複数の区域に分割し、各区域において区域内の一部の範囲の画像をマルチスペクトラムカメラで撮像する。情報処理装置はこのようなサンプリング撮像により得られたサンプリング画像を処理対象として必要な演算処理を行い、計測結果の1つとなる演算結果画像を生成する。
なお、本明細書でいうマルチスペクトラムカメラは、複数の波長帯の撮像ができるカメラを総称しており、一般にマルチスペクトラムカメラと言われるもののほか、ハイパースペクトラムカメラ(Hyper Spectrum Camera)と呼ばれるものなども含む。
上記した本技術に係る情報処理装置においては、前記演算部は、フィルタリング処理に用いることができるフィルタ画像を、前記サンプリング画像を用いて生成するフィルタリング生成部を有することが考えられる。
フィルタ画像は、特定の組成や状態となっている箇所を示す画像であり、フィルタリング実行の際にフィルタとなる情報に相当する画像である。換言すればフィルタリング条件に相当するとも言える。つまり演算部はサンプリング画像の1つ又は複数を処理対象として用いて、計測結果を示す演算結果画像の生成のためのフィルタ画像を生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部を有することが考えられる。
評価指数は、計測対象の評価の1つとしての求められるもので、例えば植生指数などである。評価指数画像は、植生指数等を画素毎に表した画像である。
上記した本技術に係る情報処理装置においては、前記評価指数画像は植生指数を表した植生指数画像であることが考えられる。
植生指数として例えばNDVI等を示す画像を生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、フィルタリング処理に用いることができるフィルタ画像を、前記評価指数画像を用いて生成するフィルタリング生成部とを有することが考えられる。
フィルタ画像(フィルタリング条件に相当する画像)を、評価指数(例えば植生指数)を表す画像(評価指数画像)を用いて生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、前記サンプリング画像を用いて生成したフィルタ画像と、前記評価指数画像を用いて生成したフィルタ画像とを用いて、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、を有することが考えられる。
即ち複数のフィルタ画像を用いてフィルタ画像を生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、前記フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部と、を有することが考えられる。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、フィルタリングを行って、フィルタリング結果画像を生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、を有することが考えられる。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、評価指数画像(例えば植生指数画像)についてフィルタリングを行って、フィルタリング結果画像を生成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、前記フィルタリング結果画像を用いて提示画像を生成する提示画像化部と、を有することが考えられる。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこで人への提示に適した状態に画像化する。
上記した本技術に係る情報処理装置においては、前記提示画像化部は、前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成することが考えられる。
フィルタリング結果画像を複数の領域に分割し、各領域に色当てした画像とする。
上記した本技術に係る情報処理装置においては、前記提示画像化部は、前記フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成することが考えられる。
代表値とは、その領域の平均値、最大値、最小値、重心値、最多数値などである。
上記した本技術に係る情報処理装置においては、前記提示画像化部は、前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成することが考えられる。
各領域に色当てした画像と他の画像を、例えばオーバーレイや上書きなどの形で合成する。
上記した本技術に係る情報処理装置においては、前記他の画像は、前記サンプリング画像、前記評価指数画像、前記フィルタ画像、又は前記フィルタリング結果画像のいずれかであることが考えられる。
各領域に色当てした画像とサンプリング画像等を、例えばオーバーレイや上書きなどの形で合成する。
上記した本技術に係る情報処理装置においては、前記演算部は、前記サンプリング画像よりも低解像度の画像として前記計測対象を撮像した低解像度画像と、前記提示画像を合成する画像合成部を有することが考えられる。
提示画像は、フィルタリング結果画像から生成したもので、フィルタリング結果画像はサンプリング画像に基づく。つまり計測対象の全域ではなく一部の画像に基づく。そこでサンプリング画像より広い範囲を撮像した低解像度の画像と合成する。
上記した本技術に係る情報処理装置においては、前記画像合成部は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行うことが考えられる。
合成処理では、或るサンプリング画像の撮像範囲についての提示画像と、そのサンプリング画像の撮像範囲を含むより広い範囲を撮像した低解像度画像を合成する。このため例えば撮像位置の情報や撮像時刻の情報など、対応関係を示す対応情報を用いて提示画像と低解像度画像を組み合わせるようにする。
上記した本技術に係る情報処理装置においては、前記画像合成部は、前記提示画像を、前記低解像度画像内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行うことが考えられる。
例えば合成処理では、或るサンプリング画像と、低解像度画像内にオーバーレイ又は上書きで配置する。この場合、低解像度画像内でサンプリング画像の撮像範囲に相当する位置に配置する。つまり位置合わせをして貼り合わせる。
上記した本技術に係る情報処理装置においては、前記画像合成部は、前記提示画像の代表値が前記低解像度画像に反映されるように合成を行うことが考えられる。
提示画像の代表値とは、その提示画像における平均値、最大値、最小値、重心値、最多数値などである。これが低解像度画像上に表現されるようにする。
本技術に係る情報処理方法は、情報処理装置が、計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を行う情報処理方法である。これにより情報処理装置において計測対象について効率的な評価情報生成ができる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これにより高精度な評価情報を効率よく生成するコンピュータ装置の実現が容易となる。
本技術に係る情報処理システムは複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、上述の情報処理装置とを有する。これにより計測対象全域に対する評価情報の生成に適したシステムを構築できる。
本技術によれば、高解像度情報を用いた精度や深度の高い分析が、計測時間の増加やデータ量の増加を伴わずに実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態で行うリモートセンシングの説明図である。 第1の実施の形態のシステム構成のブロック図である。 実施の形態のコンピュータ装置のブロック図である。 実施の形態の高解像度画像と低解像度画像の説明図である。 実施の形態の対応情報の説明図である。 実施の形態の情報処理装置の処理のフローチャートである。 実施の形態の情報処理装置の処理のフローチャートである。 実施の形態の植生指数演算の説明図である。 実施の形態のフィルタリング生成の説明図である。 実施の形態のフィルタリング実行の説明図である。 実施の形態の画像化処理例Iのフローチャートである。 実施の形態の画像化処理例Iの説明図である。 実施の形態の画像化処理例IIのフローチャートである。 実施の形態の画像化処理例IIの説明図である。 実施の形態の画像化処理例IIIのフローチャートである。 実施の形態の画像化処理例IIIの説明図である。 実施の形態の合成処理例Iのフローチャートである。 実施の形態の合成処理例Iの説明図である。 実施の形態の合成処理例IIのフローチャートである。 実施の形態の合成処理例IIの説明図である。 実施の形態の合成処理例IIの説明図である。 実施の形態の合成処理例IIIのフローチャートである。 実施の形態の合成処理例IIIの説明図である。 実施の形態の合成処理例IVのフローチャートである。 実施の形態の合成処理例IVの説明図である。 第2の実施の形態のシステム構成のブロック図である。 実施の形態の飛行体の制御構成のブロック図である。 実施の形態の高解像度画像の撮像間隔の説明図である。 実施の形態のスキャン間隔、網羅率設定のフローチャートである。 実施の形態の設定例の説明図である。 実施の形態の飛行制御のフローチャートである。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御のフローチャートである。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御の説明図である。 実施の形態の飛行制御のフローチャートである。 実施の形態の飛行計画処理部の配置の説明図である。 実施の形態の飛行計画処理部の配置の説明図である。
以下、実施の形態を次の順序で説明する。
<1.第1の実施の形態のシステム構成>
<2.サンプリング画像に基づく評価情報生成>
<3.提示画像の生成>
<4.低解像度画像との合成>
<5.第2の実施の形態のシステム構成>
<6.飛行計画制御>
<7.まとめ及び変形例>
<1.第1の実施の形態のシステム構成>
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
例えば図1に示すように飛行体200に搭載された撮像装置250を用いて圃場300を計測対象とし、その植生に関するリモートセンシングを行う場合を想定する。
小型の飛行体200は、例えば操作者の無線操縦、或いは自動操縦等により、圃場300の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が、例えば矢印で示すように設定された経路DRで圃場300の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行う。
ここで撮像装置250は、複数の波長帯の画像撮像を行うマルチスペクトラムカメラである。例えばNIR(Near Infra Red:近赤外域)画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
もちろんこれは一例であり、撮像装置250は、2以上の波長帯の画像撮像を行うものであればよい。G(緑)画像、B(青)画像、紫外線域の画像などを撮像するものでもよい。
なお撮像装置250は2以上の波長帯の画像を行うことができるものという意味で、複数のカメラが搭載されるものでもよい。例えばNIR画像撮像用のカメラとR画像撮像用のカメラの2台が搭載され、まとめてマルチスペクトラムカメラとして構成されてもよい。いずれにしても本実施の形態の場合、複数の波長帯の画像が得られるために必要な台数、種別のカメラが飛行体200に搭載されればよく、それらがどのような形態であっても「マルチスペクトラムカメラ」と総称している。
また撮像装置250は、高解像度サンプリング画像(以下「高解像度画像」ともいう)HRと、低解像度画像LRを撮像することができる。
高解像度画像HRとは、例えば破線の範囲A−HRの撮像画像で、低解像度画像LRとは破線の範囲A−LRの撮像画像である。
この高解像度画像HRは、低解像度画像LRが撮像する区域における一部を撮像した画像となっている。
撮像装置250として、例えば高解像度用と低解像度用の複数のカメラを飛行体200に搭載することで以上のような高解像度画像HRと、低解像度画像LRが撮像できる。
なお、高解像度画像HRと低解像度画像LRは、同時刻(ほぼ同時刻を含む)に撮像するものでもよいが、異なるタイミングで撮像されてもよい。例えば1回目の経路DRの飛行で高解像度画像HRの撮像を行い、2回目の経路DRの飛行で低解像度画像LRの撮像を行っていくなどである。また低解像度用のカメラと高解像度用のカメラを取り替えて2回飛行して撮像してもよい。
また撮像装置250で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
なお位置情報や撮像日時情報は低解像度画像LRと高解像度画像HRを対応づける対応情報ともなる。
以上のように飛行体200に搭載された撮像装置250によって得られる画像データ(高解像度画像HRや低解像度画像LR)やタグ情報は、情報処理装置1に送られる。情報処理装置1は画像データやタグ情報を用いて、圃場300を計測対象とした評価情報を生成する。また評価結果をユーザに対して、画像として提示する処理を行う。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
図2により情報処理装置1の構成を説明する。なお図2では情報処理装置1の構成として、例えばソフトウエアによる演算機能や記憶領域を用いたバッファリング機能をブロック化して示している。
情報処理装置1は、データ入力部21、入力バッファ22、植生指数演算部23、フィルタリング生成部24、演算結果バッファ25、フィルタリング実行部26、提示画像化部27、出力バッファ28、画像合成部29、画像出力部30、ユーザ入力部31を有する。
なお植生指数演算部23、フィルタリング生成部24、フィルタリング実行部26、提示画像化部27、画像合成部29を演算部2として示している。この演算部2は、請求項にいう演算部の具体例となる。但し本開示の演算部としては、演算部2として示す全ての機能を有している必要はない。少なくとも1つの機能を有していればよい。
演算部2に含まれる各部は、それぞれハードウエアにより構成されてもよいが、本実施の形態では、後述するコンピュータ装置100においてソフトウエアによって実現される機能として説明する。
データ入力部21は、例えば上述の飛行体200に搭載された撮像装置250によって撮像された画像データ(高解像度画像HR、低解像度画像LR)や、対応情報Pとなるタグ情報を取得する。
そしてデータ入力部21は、これら高解像度画像HR、低解像度画像LR、対応情報Pを入力バッファ22に記憶させる。
なお、データ入力部21が取得する画像データは、撮像装置250や中継装置から有線伝送又は無線伝送として送信され情報処理装置1で受信した画像データファイルや、撮像装置250側や他の記録装置によって記録媒体に記録され、情報処理装置1が記録媒体を再生することで取得する画像データファイルである。
またデータ入力部21による、撮像された画像データ(高解像度画像HR、低解像度画像LR)の取得は、リアルタイム(撮像時)でも良いし、後の時点でもよい。少なくとも情報処理装置1による計測結果の演算を行う時点で、入力バッファ22に保存されているようにすればよい。
また本実施の形態では、データ入力部21が取得する画像データファイルはマルチスペクトラムカメラとしての撮像装置250で得られた画像であり、例えば1つの範囲を撮像した高解像度画像HRとして、2以上の波長の測定画像を含む。
植生指数演算部23は、圃場300のサンプリング画像である高解像度画像HRを用いて評価指数画像(例えば植生指数画像)を生成する。具体的にはNDVI画像を生成することが考えられる。
フィルタリング生成部24は圃場300のサンプリング画像である高解像度画像HRを用いて、フィルタリング処理に用いることができるフィルタ画像を生成する。
フィルタ画像は、フィルタリング実行の際にフィルタとなる情報(フィルタリング条件)に相当する画像である。換言すればフィルタ画像とは、特定の組成や状態となっている箇所を示す画像であり、フィルタリング処理で抽出したい箇所を示す画像である。
つまりフィルタリング生成部24は高解像度画像HRの1つ又は複数を用いて、計測結果を示す演算結果画像の生成のためのフィルタリング条件を生成する。
なお後述するが、フィルタリング生成部24はフィルタ画像を、高解像度画像HRの特定波長域の画像から生成したり、NDVI画像のような植生指数画像から生成したりする。或いは生成したフィルタ画像を用いてさらなるフィルタ画像を生成する場合もある。
フィルタリング実行部26は、フィルタリング生成部24が生成したフィルタ画像を用いてフィルタリング結果画像を生成する。
例えばフィルタリング実行部26は、植生指数画像に対してフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成する。
またフィルタリング実行部26は、入力された高解像度画像HRの或る波長域の画像に対してフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成する。
さらにはフィルタリング実行部26は、フィルタ画像に対して他のフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成することもできる。
演算結果バッファ25は、植生指数演算部23で生成された植生指数画像の記憶に用いられる。
また演算結果バッファ25は、フィルタリング生成部24で生成されたフィルタ画像の記憶にも用いられる。
また演算結果バッファ25は、フィルタリング実行部26で生成されたフィルタリング結果画像の記憶にも用いられる。
提示画像化部27は、フィルタリング結果画像を用いて提示画像を生成する。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としてはわかりにくい場合がある。そこで提示画像化部27の処理により人への提示に適した状態に画像化する。後述するが提示画像の生成処理としては画面分割やカラーマッピングが行われる。
画像合成部29は、高解像度画像HRを元に提示画像化部27で生成された提示画像と、低解像度画像LRの合成処理を行う。画像合成部29は合成処理のためには対応情報Pを参照する。
出力バッファ28は、提示画像化部27で生成された提示画像の記憶に用いられる。
また出力バッファ28は、画像合成部29で生成された合成画像の記憶にも用いられる。
画像出力部30は、出力バッファ28から読み出した画像データを出力する(出力画像Pout)。例えば提示画像化部27で生成された提示画像や、画像合成部29で生成された合成画像が出力バッファ28から読み出され、画像出力部30によって出力画像Poutとして出力される。
出力された画像は、例えばモニタディスプレイに表示されたり、他の情報処理装置に送信されたり、記憶装置で記憶媒体に記憶されたりする。
この出力画像は、圃場300の計測(リモートセンシング)による評価結果を表す画像である。ユーザは提示画像や合成画像を見ることで、圃場300の様子や植物の生育状況などを知ることができる。
なお、図では示していないが、演算結果バッファ25に記憶された植生指数画像、フィルタ画像、フィルタリング結果画像が画像出力部30の処理により出力画像Poutとして出力され、表示、送信、又は記憶等がされるようにしてもよい。
ユーザ入力部31は、ユーザの各種操作入力、設定入力などを受け付ける。
例えば演算部2における各処理機能のオン/オフ、処理パラメータ、測定内容の選択、出力画像の選択などがユーザの操作によって指定される。
以上の図2のような機能構成を備える情報処理装置1は、例えば図3のようなハードウエア構成のコンピュータ装置100で実現される。
図3に示すようにコンピュータ装置100は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インターフェース55も接続されている。
入出力インターフェース55には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなるディスプレイ56、キーボード、マウスなどよりなる入力部57、スピーカ58、HDDなどより構成される記憶部59、通信部60などが接続可能である。
ディスプレイ56はコンピュータ装置100と一体でも良いし別体の機器でもよい。例えばディスプレイ56では出力画像Poutの表示が行われる。
入力部57は、コンピュータ装置100を使用するユーザが用いる入力デバイスを意味する。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。例えば撮像装置250との通信なども可能である。
入出力インターフェース55にはまた、必要に応じてドライブ61が接続され、メモリカード62が装着され、メモリカード62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
このようなハードウエア構成において、実施の形態の情報処理装置1の演算部2としての処理、即ち図2の植生指数演算部23、フィルタリング生成部24、フィルタリング実行部26、提示画像化部27、画像合成部29としての処理を行うことができる。さらにデータ入力部21、画像出力部30としての処理も行うことができる。即ちこれらの処理はCPU51で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図3のコンピュータ装置100にインストールされる。或いはそのプログラムが記憶部59としてのHDD等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また入力バッファ22、演算結果バッファ25、出力バッファ28は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
ユーザ入力部31は入力部57による操作入力を検知するCPU51の機能となる。
高解像度画像HRや低解像度画像LRとして画像データファイルや対応情報P等は通信部60によって受信されたり、ドライブ61によって記憶媒体から読み込まれて例えば記憶部59に格納される。データ入力部21としての機能を備えるCPU51は、そのように取り込まれた画像データファイル等のうちで、評価結果生成のために必要な画像データファイルを取得して処理対象とする。
画像出力部30による画像出力は、ディスプレイ56により表示出力されたり、記憶部59に記憶されたり、通信部60により外部機器に送信されたり、ドライブ61によりメモリカード62等の記憶媒体に記憶されたりするなど、各種形態で実行されることになる。
なお、実施の形態の情報処理装置1は、図3のようなハードウエア構成の情報処理装置(コンピュータ装置)100が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図3のコンピュータ装置100は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置100としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
<2.サンプリング画像に基づく評価情報生成>
情報処理装置1によるサンプリング画像に基づく評価情報生成処理の例を説明する。
まず図4で高解像度画像HRや低解像度画像LRの撮像範囲について説明する。
飛行体200で圃場300を撮像する場合、スティッチして1枚の大きな画像にするため、縦方向、横方向とも一定の糊代を持った形で、複数の撮像が行われる。
図4Aには、各低解像度画像LR#1〜LR#5によって撮像される区域#1〜#5を例示している。区域#1〜#5はそれぞれ計測対象である圃場300の一部であり、1枚の低解像度画像LRによって撮像される範囲を示している。各区域#1〜#5は一部重なる。これが低解像度画像LR#1〜LR#5における糊代部分として撮像される範囲となる。
ここでは区域#1〜#5のみを示しているが、図1の経路DRで飛行をしながら低解像度画像LR#5以降も続けて撮像していくことで、圃場300の全体を覆うように必要枚の低解像度画像LRが得られる。そしてそれらの低解像度画像LRをスティッチ処理することで、圃場300の全体の画像が生成できることになる。
なお、圃場300における各区域#1,#2・・・は、撮像装置250の画角や飛行体200の飛行高度によって決まるもので、固定的に区分されているものではない。
一方、高解像度画像HRは、縦方向、横方向の片方あるいは両方に歯抜けがある形で撮像される。図4Bに高解像度画像HR#1〜HR#5を示しているが、これらはそれぞれ離散的なサンプル区域#1C〜#5Cを撮像した画像となる。
ここでサンプル区域#1Cは、図4Aの区域#1の略中心の領域である。但し必ずしも中心でなくてもよく、少なくとも区域#1内の領域である。
同様に、サンプル区域#2C〜#5Cは、それぞれ区域#2〜#5に含まれる領域(例えば略中心の領域)である。
このように、1つの高解像度画像HRは、対応する低解像度画像LRの撮像区域内に含まれるサンプル区域を撮像したものとなるようにしている。
なお、高解像度画像HRも、圃場300上の経路DRの飛行において逐次撮像されていくが、圃場全体の撮像後の時点で高解像度画像HRを集めても、それぞれは離散的なサンプル区域の画像であるため、スティッチを行っても圃場300の全体の高解像度画像は生成できない。
本実施の形態では、高解像度画像HRについては、このように離散的なサンプル区域について撮像することで、広い圃場300に対して効率のよい撮像を実行できるように、なおかつ、各区域#1、#2・・・については、そのサンプル区域#1C、#2C・・・について高解像度画像HRを用いた精細な分析、評価結果算出ができるようにする。
次に図5により対応情報Pの例を示す。
対応情報Pは、上述のように高解像度画像HRと低解像度画像LRの撮像区域を対応づける情報である。
例えば撮像装置250として、低解像度画像LR用のカメラと高解像度画像HR用のカメラを搭載し、同時に撮像した場合を考える。この場合の対応情報Pは図5に示すように、撮像結果を紐づけるため、ファイル名及び低解像度画像LRにおける高解像度画像HRの画角の範囲を示す座標を記載したテーブルのファイルである。
例えば図示する対応情報Pとしてのテーブルでは、高解像度画像HR#1の画像データファイルFile1と、低解像度画像LR#1の画像データファイルFile2がセットとされ、さらに低解像度画像LRにおける高解像度画像HRの画角の範囲を示す開始座標Start#1(x1,y1)と終了座標End#1(x2,y2)が関連づけられている。
同様に、高解像度画像HR#2の画像データファイルFile3と、低解像度画像LR#2の画像データファイルFile4、及び低解像度画像LRにおける高解像度画像HRの画角の範囲を示す開始座標Start#2(x1,y1)と終了座標End#2(x2,y2)が関連づけられている。
なおGPSを用いて撮像された場所の情報を画像ファイルに記録する技術が存在するが、その場合はその位置情報を用いても、高解像度画像HRの撮像範囲(サンプル区域#1C等)と低解像度画像LRの撮像範囲(区域#1等)の対応情報として利用ができる。
また1回の飛行で低解像度画像LRと高解像度画像HRを同時に撮像する場合、撮像日時情報がそれぞれ画像データに付加されることで、これを対応情報Pとすることができる。つまり撮像日時情報が同時刻であることで、高解像度画像HRの撮像範囲(サンプル区域#1C等)と低解像度画像LRの撮像範囲(区域#1等)が対応づけられる。
以上のような高解像度画像HR、低解像度画像LR、対応情報Pを用いた情報処理装置1の処理例を説明していく。
図6,図7は、情報処理装置1(CPU51)において図2に示した各処理機能によって実行される処理例を示している。
図6,図7の処理においては、情報処理装置1は、ステップS100,S110,S120,S130,S140,S150,S160で各処理を実行するか否かを判定している。各処理は、それぞれ或る計測対象の撮像画像に対する処理が開始される場合に所定のシーケンスで順次実行されるものであったり、任意に各処理のシーケンスが設定されていたり、外部トリガや情報受信に応じて実行されたり、ユーザ操作に応じて個々実行されたりする。上記各ステップでは、プログラム、シーケンス設定、或いはユーザ操作等により各処理が実行されるべきタイミングであるか否かを判定する。
高解像度画像HR,低解像度画像LRの一方又は両方の画像データファイル、或いは対応情報Pがデータ入力部21に入力された場合、情報処理装置1はステップS100からS101に進み、入力されたデータを入力バッファ22に記憶させる。
情報処理装置1は、植生指数演算部23の機能による植生指数演算を実行するタイミングでは、ステップS110からS111に進む。
ステップS111で情報処理装置1(植生指数演算部23)は、入力バッファ22から処理対象とする必要な高解像度画像HRを読み出し、ステップS112で植生指数演算を行い、ステップS113で演算結果の植生指数画像を演算結果バッファ25に記憶する。
このステップS111〜S113の処理の具体例を図8に示す。
例えば植生指数演算部23は、入力バッファ22からは、波長660nmの画像(R画像)と波長800nmの画像(NIR画像)を読み出す。そしてこのR画像とNIR画像からNDVI画像を生成する。例えばNDVIは、
NDVI=(1−(R/NIR))/(1+(R/NIR))
と演算される。NDVI画像は、R画像とNIR画像の対応する各画素についてNDVIの値を算出し、その値に相当する画素値を持った画像である。図8では、NDVI画像を模式的に、斜線を付した画像として示している。このように求めたNDVI画像は、演算結果バッファ25に記憶される。
なお以下、植生指数としてNDVIを求める例で説明するが、これは一例であり、後述するように他の植生指数を求めることも考えられる。もちろん他の植生指数を求める場合は、入力バッファ22から読み出す画像(波長域等)も異なる場合がある。
情報処理装置1は、フィルタリング生成部24の機能によるフィルタ画像生成を実行するタイミングでは、図6のステップS120からS121に進む。
ステップS121で情報処理装置1(フィルタリング生成部24)は、入力バッファ22から処理対象とする必要な高解像度画像HRを読み出し、ステップS122でフィルタリングのためのフィルタ画像(特定の組成や状態となっている箇所を示す画像)を生成する。そして情報処理装置1はステップS123でフィルタ画像を演算結果バッファ25に記憶する。
このステップS121〜S123の処理の具体例を図9に示す。ここでは波長800nmの画像(NIR画像)やNDVI画像を用いて3つのフィルタ画像FP1,FP2,FP3を生成する例を示している。
フィルタ画像FP1は、高解像度画像HRのうちの日向となっている箇所を示す画像である。例えばNIR画像からNIR値(画素値)が一定値以上の画素を抽出して生成した画像である。例えば図示のように日向部分のみが高輝度画素として表現された画像となる。このフィルタ画像FP1は、演算結果バッファ25に記憶される。
フィルタ画像FP2は、高解像度画像HRのうちの植生部分である箇所を検出した画像である。これは高解像度画像HRのうちで、植物の部分を高輝度画素(例えば白画素)とし、他の部分(例えば土の部分)を低輝度画素(例えば黒画素)とする画像である。
まずNDVI画像を生成又は取得する。例えばフィルタリング生成部24は、入力バッファ22からNIR画像とR画像を読み出す。そしてこのR画像とNIR画像からNDVI画像を生成する。なお、NDVI画像が植生指数演算部23で生成されて演算結果バッファ25に記憶されている場合は、そのNDVI画像を読み出せばよい。
そしてNDVI画像のうちでNDVIの値が一定値以上の画素を抽出する。これにより図示のようにフィルタ画像FP2は植生部分のみが高輝度画素として表現された画像となる。このフィルタ画像FP2は、演算結果バッファ25に記憶される。
フィルタ画像FP3は、高解像度画像HRのうちの植生部分であり、かつ日向部分である箇所を検出した画像である。このフィルタ画像FP3は、フィルタ画像FP1,FP2を用いて生成するもので、植生部分であり且つ日向部分である特定箇所を高輝度画素(例えば白画素)とし、他の部分を低輝度画素(例えば黒画素)とする画像である。
この場合、フィルタ画素FP1、FP2について対応する画素同士(同じ位置の画素同士)で、アンド条件をとって高輝度画素とすればよい。即ちフィルタ画素FP1、FP2において高輝度画素を“1”、低輝度画素を“0”としたときに、画素位置毎にフィルタ画像FP1、FP2でのアンド条件で“1”“0”を判定し、フィルタ画像FP3の該当画素とする。これにより図示のように植生部分でかつ日向部分が高輝度画素として表現された画像となる。このフィルタ画像FP3は、演算結果バッファ25に記憶される。
ここでは3つのフィルタ画像FP1,FP2,FP3について例示したが、色々な目的のフィルタリングに応じて、後述するように更に多様なフィルタ画像を生成することが考えられる。
即ちフィルタ画像とは、特定の組成や状態となっている箇所を示す画像であり、フィルタリング処理で抽出したい箇所を示す画像であるため、フィルタリングの条件に応じて多様に考えられる。
情報処理装置1は、フィルタリング実行部26の機能によるフィルタリングを実行するタイミングでは、図6のステップS130からS131に進む。
ステップS131で情報処理装置1(フィルタリング実行部26)は、演算結果バッファ25から処理対象とする植生指数画像やフィルタ画像を読み出す。そして情報処理装置1はステップS132でフィルタリング処理を実行する。これは特定の組成や状態となっている箇所を示すフィルタ画像を用いて、植生指数画像のうちから該当箇所(画素)を抽出する処理となる。
そして情報処理装置1はステップS133でフィルタリング結果としての画像(フィルタリング結果画像)を演算結果バッファ25に記憶する。
このステップS131〜S133の処理の具体例を図10に示す。ここでは植生指数画像としてのNDVI画像とフィルタ画像FP3を演算結果バッファ25から読み出してフィルタリングを行う例を示している。
上述したようにフィルタ画像FP3は、特定の組成又は状態の箇所を示す画像として、高解像度画像HRのうちの植生部分であり且つ日向部分である箇所を検出した画像である。
フィルタリング処理としては、NDVI画像のうちで、フィルタ画像FP3が示す箇所に相当する画素を抽出する処理となる。これにより、図示するようにフィルタリング結果の画像が得られる。このフィルタリング結果画像が演算結果バッファ25に記憶される。
結局、フィルタリング結果画像は、高解像度画像HRにおいて計測したい箇所や計測に適した箇所を抽出した画像となる。
例えば、植生指数(例えばNDVI)の測定の際、光源スペクトル(太陽光)の変動を抑えるため、カメラの測定と同時に光源スペクトルを測定し、カメラの測定結果を補正する技術があるが、影になっている部分(多くは植物同士の葉の影になっており、葉の独特な光の吸収や、反射に影響され、複雑な光源スペクトルを持つ影)を除去できれば、より精度の高い測定が可能となる。図示するフィルタリング結果画像は、このような精度の高い測定のための条件に合致した画素が抽出された画像となる。
もちろんフィルタリング処理は測定目的に合わせて多様に考えられる。例えば植生指数画像を上述のフィルタ画像FP1やFP2でフィルタリングするなどである。
また他のフィルタ画像を用いることも考えられる。例えば日陰部分を示すフィルタ画像を想定する。日陰の部分は、特に群落の下に位置する日蔭は一日を通して日蔭になりやすく、群落の光合成のポテンシャルを測定するという意味では、日陰より日なたの部分に限って測定することで、より正確な測定をすることができる。この点を考えれば、NDVI画像等の植生指数画像を日陰部分の箇所を示すフィルタ画像を用いてフィルタリングするというような例も考えられる。
以上のようにフィルタリング処理で求められたフィルタリング結果画像は、植生指数のうちで特定の組成や状態となっている箇所を示す画像であり、1つの計測結果を示す。
このようなフィルタリング結果画像は、計測結果として適切な記録媒体に保存されても良いし、演算結果バッファ25から読み出されて、画像出力部30から出力されてもよい。
もちろん元の高解像度画像HR等とフィルタリング結果画像がとともに保存されても良いし、フィルタリング結果画像のみが保存されても良い。さらには、高解像度画像HR等とフィルタリング結果画像の両方を保存するか、フィルタリング結果画像のみを保存するかをユーザが選択できるようにしてもよい。
但し、図10に示すようにフィルタリング結果画像は、ユーザにとっては計測対象の計測結果を示す画像としては、あまり適切でない場合がある。つまり人の目には、画像として意味がわかりにくいことがある。
そこで本実施の形態では、提示画像化部27の処理により、より人が見て測定結果がわかりやすい提示画像を生成し、その提示画像を出力できるようにしている。
<3.提示画像の生成>
図6、図7の処理において情報処理装置1は、提示画像化部27の機能による提示画像化を実行するタイミングでは、図7のステップS140からS141に進む。
ステップS141で情報処理装置1(提示画像化部27)は、演算結果バッファ25から処理対象とするフィルタリング結果画像等を読み出す。そして情報処理装置1はステップS142で提示画像化処理を実行し、生成した提示画像をステップS143で出力バッファ28に記憶する。
以下では、ステップS142の提示画像化処理として、提示画像化処理例I、II、IIIを例に挙げて説明する。
まず提示画像化処理例Iを図11,図12で説明する。
これはフィルタリング結果画像を一定の単位で分割し、その分割領域ごとに含まれる画素の代表値に対して色当て(カラーマッピング)した画像を生成する例である。
この場合、情報処理装置1は図11のステップS201で、フィルタリング結果画像を領域分割する。例えば図12では16個の領域に分割する例を示す。
そして情報処理装置1は、図11のステップS202で変数n=1とし、ステップS207で変数n=nmaxとなるまで、ステップS208で変数nをインクリメントしながらステップS203〜S206の処理を行う。
なお変数nの最大値nmaxはステップS201で設定した領域の数である。例えば16個の領域に分割したのであればnmax=16となる。
ステップS203では情報処理装置1は、分割した領域のうちの第n領域にフィルタリング処理で抽出された画素が存在するか否かを確認して処理を分岐する。
抽出された画素が存在する場合は、情報処理装置1はステップS204で第n領域の画素の代表値を算出する。
代表値とは、その領域に存在する画素における植生指数の平均値、最大値、最小値、重心値、又は最多数値などである。ここでは例えば平均値とする。
ステップS205で情報処理装置1は、算出した代表値(平均値)を用いて「色当て」をする。ここでいう「色当て」とは、予め数値範囲毎に対応する色を設定しておき、算出された平均値に応じて色を選択し、該当画素に割り当てることをいう。
例えばNDVI値として
・0.700未満:濃い緑
・0.700〜0.710:緑
・0.710〜0.720:黄緑
・0.720〜0.745:黄
・0.746〜0.760:橙
・0.761〜0.770:濃い橙
・0.771〜0.799:赤
・0.800以上:濃い赤
などというように設定しておく。そして平均値に応じて色を決める。
そして平均値に応じた色を、その第n領域に配置する。つまり第n領域の画素を該当の色の画素とする。
一方、ステップS203で第n領域にフィルタリング処理で抽出された画素が存在しないと確認された場合は、情報処理装置1はステップS206で第n領域に背景色を配置する。例えば白を背景色とした場合、第n領域の画素を白色の画素とする。
以上のステップS203〜S206の処理を領域毎に行うことで、カラーマッピングされた提示画像を生成する。
例えば図12に示すように、図10で説明したフィルタリング結果画像を演算結果バッファ25から読み出す。これは植生部分であり且つ日向部分である箇所における画素のNDVI値により構成された画像である。
このフィルタリング結果画像を16個の領域に分ける。そして各領域についてNDVIの平均値(代表値)を求める。なお、画素(NDVI値としての有効な画素)が存在しない領域は「NO DATA」として示している。
平均値が求められた領域については、色当てが行われる。「NO DATA」で示す領域については背景色(白)が割り当てられる。
これにより図示するようにカラーマッピング画像が生成される。なお図面では、斜線の種類や点描等により色の違いを示している。
このようなカラーマッピング画像が提示画像として生成される。この場合、16個の各領域の植生指数(平均値)が色により表現されるものとなり、ユーザが領域毎の植生状況を把握し易い画像となる。
なお、もちろん領域として16分割することは一例であり、2分割、3分割、4分割、8分割などでもよいし、より細かく24分割、30分割などでもよい。各領域が同一の面積や形状である必要も無い。
次に提示画像化処理例IIを図13,図14で説明する。
これは、植生の特定の組成・状態である箇所に対して、フィルタリング結果画像に色当てした画像を合成する例である。
図13において図11と同一の処理については同一のステップ番号を付し、重複説明を避ける。
この場合、情報処理装置1は、領域分割及び変数nのセットを行ったうえで(S201、S202)、ステップS207で変数n=nmaxとなるまで、ステップS208で変数nをインクリメントしながらステップS203、S206、S210〜S213の処理を行う。
なお、この処理例を実行する場合は、図7のステップS141において、フィルタリング結果画像に加えて、色当て画像を貼り付ける画像として、植生の特定の組成・状態である箇所を示す画像(例えばフィルタ画像FP2)を読み出す。そしてステップS201では、フィルタリング結果画像と例えばフィルタ画像FPについて、同じように複数の領域に分割することになる。
なおフィルタ画像FP2は、NDVI値が一定値以上である画素を抽出した画像(植生検出画像)である。
ステップS203では情報処理装置1は、フィルタリング結果画像において分割した領域のうちの第n領域にフィルタリング処理で抽出された画素が存在するか否かを確認して処理を分岐する。
抽出された画素が存在する場合は、情報処理装置1はステップS210で植生検出画像(フィルタ画像FP2)の第n領域に植生検出画素が存在するか否かを確認する。
第n領域に、フィルタリング抽出画素が存在し、かつ植生検出画像(例えばNDVI値が一定値以上である画素)が存在した場合は、情報処理装置1はステップS211でその領域の画素の代表値(例えば平均値)を算出する。
そしてステップS212で情報処理装置1は、算出した代表値(平均値)に対応する色を設定する。
さらにステップS213で情報処理装置1は、その第n領域内において植生検出画素(フィルタ画像FP2)に存在する画素に、色当てする。
一方、ステップS203で第n領域にフィルタリング処理で抽出された画素が存在しないと確認された場合、またはステップS210で第n領域に植生検出画像として抽出された画素が存在しないと確認された場合は、情報処理装置1はステップS206で第n領域に背景色(例えば白)を配置する。
以上の処理を領域毎に行うことで、カラーマッピングされた提示画像を生成する。
例えば図14に示すように、先に説明したフィルタリング結果画像とフィルタ画像FP2を用いる。
フィルタリング結果画像は、植生部分であり且つ日向部分である箇所における画素のNDVI値により構成された画像であり、これを16個の領域に分け、各領域についてNDVIの平均値(代表値)を求める。
そして平均値に応じた色を選択し、その色を、同じ領域におけるフィルタ画像FP2の画素に割り当てる。
平均値算出ができない「NO DATA」で示す領域、又はフィルタ画像FP2としてNDVI値が一定値の画素が存在していない領域の全画素については背景色(白)が割り当てられる。
これにより図示するようにカラーマッピング画像が生成される。これはフィルタ画像FP2において抽出されている画素に、平均値に応じた色当てが行われた画像となる。
そのため、NDVIが一定値以上である箇所において、平均値が色で示される画像となり、ユーザが領域毎の植生状況を把握し易い画像となる。
次に提示画像化処理例IIIを図15,図16で説明する。
これは、可視光画像にオーバーレイ表示する例である。
図15において図11と同一の処理については同一のステップ番号を付す。
この場合、情報処理装置1は、領域分割及び変数nのセットを行ったうえで(S201、S202)、ステップS222で変数n=nmaxとなるまで、ステップS223で変数nをインクリメントしながらステップS203、S220、S221の処理を行う。
なお、この処理例を実行する場合は、図7のステップS141において、フィルタリング結果画像に加えて、RGB画像(可視光画像)を読み出す。なお、例えばRGB画像は撮像装置250から供給され入力バッファ22に保存していたものを読み出すことが考えられる。
ステップS201では、フィルタリング結果画像とRGB画像について、同じように複数の領域に分割することになる。
ステップS203では情報処理装置1は、フィルタリング結果画像において分割した領域のうちの第n領域にフィルタリング処理で抽出された画素が存在するか否かを確認して処理を分岐する。
抽出された画素が存在する場合は、情報処理装置1はステップS220でその領域の画素の代表値(例えば平均値)を算出する。
そしてステップS221で情報処理装置1は、算出した代表値(平均値)に対応する色を設定する。これはフィルタリング結果画像の当該領域内で存在する各画素の色として設定するものである。
一方、ステップS203で第n領域にフィルタリング処理で抽出された画素が存在しないと確認された場合は、その第n領域についてステップS220,S221の処理を行わない。
以上の処理を領域毎に行うことで、フィルタリング処理で抽出された画素がある領域毎に色が設定されたことになる。
ステップS222で変数n=nmaxとなったら情報処理装置1はステップS224に進み、RGB画像に、フィルタリング結果画像の色設定された画素をオーバーレイする。
即ち図16に示すように、RGB画像において、フィルタリング結果画像に存在する画素については、領域毎に割り当てられた色がオーバーレイされることになる。図では該当画素部分に色が付けられている状態を示している。
つまり、RGB画像上で、フィルタリング結果を示す色が表現される画像となる。そのため、ユーザが通常視認する画像上でNDVIが一定値以上でかつ日向の部分のNDVIの代表値を色で示す画像となり、ユーザが植生状況を把握し易い画像となる。
なお、オーバーレイでなく、該当の画素を割り当てた色で上書きするようにしてもよい。
以上提示画像化処理例I、II、IIIを例示した。
提示画像化処理例Iは、フィルタリング結果画像を用い、撮像した範囲を一定の単位で分割し、その分割単位で代表値に対して色当てした画像を生成する例とした。
提示画像化処理例IIは、フィルタリング結果画像と植生の特定の組成・状態である箇所の画像(フィルタ画像FP2)を用い、フィルタリング結果画像に色当てし、これを植生の特定の組成・状態である箇所の画像(フィルタ画像FP2)に合成する例とした。
提示画像化処理例IIIは、フィルタリング結果画像に色当てし、可視光画像にオーバーレイ表示する例とした。
いずれの例も、フィルタリング結果画像に色当てをし、色により評価結果を表現できるようにしたものである。
特に領域毎に色当てすることで、高解像度画像HRで撮像した範囲内の状況を表現する画像としてわかりやすいものとなる。
これらの例で生成された提示画像は、図7のステップS143で出力バッファ28に記憶される。
この提示画像は、画像出力部30によって出力画像Poutとして出力され、ユーザに提示されるようにすることができる。
即ち情報処理装置1は、画像出力を実行するタイミングでは、図7のステップS160からS161に進む。
ステップS161で情報処理装置1(画像出力部30)は、出力バッファ28から出力する画像(例えば提示画像)を読み出し、出力画像Poutとして外部に出力する。これにより例えばカラーマッピング等によりサンプル区域の計測結果を明確に表現した提示画像の表示や記録が行われる。
なお、以上の提示画像は、高解像度画像HRの撮像範囲での画像である。
本実施の形態では、さらに、低解像度画像LRを利用して画像合成を行い、圃場300の計測対象の全体を表現する画像を出力画像Poutとすることもできる。
<4.低解像度画像との合成>
図6、図7の処理において情報処理装置1は、画像合成部29の機能による合成処理を実行するタイミングでは、図7のステップS150からS151に進む。
ステップS151で情報処理装置1(画像合成部29)は、必要な画像を読み出して合成処理を実行し、生成した合成画像をステップS152で出力バッファ28に記憶する。
以下では、ステップS151の合成処理として、合成処理例I、II、III、IVを例に挙げて説明する。
まず合成処理例Iを図17,図18で説明する。
これは提示画像を低解像度画像LRに位置合わせをして貼り合わせる例である。
図17のステップS301で情報処理装置1は、変数x=1にセットする。なお変数xは、計測対象の各区域を示すための変数である。
例えば図18の画像300Pは、図4Aのように圃場300の各区域#1、#2、#3・・・#LN(区域#LNは図示していないが“LN”は最後の区域の番号とする)を撮像した低解像度画像LR#1、LR#2、LR#3・・・LR#LNをスティッチして生成した、計測対象の全体の画像であるとする。
変数xは、このような画像300Pを形成するために低解像度画像LRで撮像される計測対象内の各区域#1〜#LNのうちの或る区域#xを表す変数とする。なお、ここでいう区域とは、1枚の低解像度画像LRで撮像される範囲であり、隣接する区域はスティッチの際の糊代となる部分が重複する。
情報処理装置1は、図17のステップS302〜S305の処理を、ステップS306で変数xが最大値xmaxに達するまで、ステップS307で変数xをインクリメントしながら繰り返す。最大値xmaxは、上記“LN”に相当する値となる。つまり1枚の低解像度画像LR毎に、ステップS302〜S305の処理を行う。
ステップS302で情報処理装置1は、入力バッファ22から区域#xの低解像度画像LR及び関連情報を読み出す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xの提示画像(例えば図12のカラーマッピング画像)を読み出す。区域#xの提示画像とは、関連情報から判別される区域#xの高解像度画像HRに基づいて生成された提示画像のことである。
ステップS304で情報処理装置1は、関連情報を参照して低解像度画像LR内における高解像度画像HRの位置を判別し、その高解像度画像HRの位置に提示画像をオーバーレイ(半透明の提示画像の合成)又は上書き(不透明の提示画像の合成)する。
そしてステップS305で情報処理装置1は、提示画像を低解像度画像LRにオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
このような処理を各区域について行っていく。図18では、例えば区域#10〜#18についての画像G#10〜G#18のみを例示している。
各画像G#xは、低解像度画像LR内に、提示画像CPを配置した画像である。
ステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、スティッチ処理で計測区域の全体の画像300Pを生成する。即ちステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して全体の画像300Pを生成する。図18では、説明上、画像G#10〜G#18の部分のみ、提示画像CPを合成した低解像度画像LRをスティッチした状態を例示しているが、このようなスティッチを全域に行って全体の画像300Pを生成する。図が煩雑となるため示していないが、画像300Pは、区域#10〜#18以外の区域も同様に低解像度画像LRに提示画像CPが合成され、その合成画像が各区域においてスティッチされたものとなる。
このように低解像度画像LRに位置合わせして提示画像CPを貼り合わせることで、低解像度画像LRで撮像される各区域について、提示画像CPによって計測結果が表現される。つまりユーザにとっては、圃場300内の各区域の位置を把握しながら、高解像度画像HRを元に得られた評価結果を確認することができる。
なお、図17ではステップS308でスティッチ処理を行う例を示したが、例えばステップS308の段階で、画像G#1〜G#(xmax)をスティッチせずに貼り付けていく処理により全体の画像300Pを生成してもよい。即ち例えば各低解像度画像LRに対応する位置情報に応じてマッピングを行う処理である。位置情報としては、例えば低解像度画像LR又は高解像度画像HRを撮像する時点のGPS情報などを用いることができる。
また、図17のようにスティッチ処理を行うようにすると、場合によっては画像品質上若干の不利な点が生ずることもあり得る。スティッチ処理のソフトウエアによっては、低解像度画像LRにカラフルな提示画像CPを合成した画像G#1〜G#(xmax)について処理させると、特徴点の検出に影響を与えてしまい、スティッチ処理性能に影響を与える場合がある。そのような懸念がある場合には、低解像度画像LRを先にスティッチ処理してしまい、その後、各低解像度画像LRに対応する高解像度画像HRから生成した提示画像CPを貼り付けるようにすることが考えられる。即ちその場合、図17のステップS301より前の処理として、各区域#1・・・#LNを撮像した低解像度画像LR#1・・・LR#LNの読み出し、関連情報の取得、及びスティッチ処理を行って全体の画像300Pを生成する。そしてステップS301、S303、S304、S306、S307を行う。この場合、ステップS304では関連情報(位置情報)を用いて、提示画像CPを対応する低解像度画像LRに貼り付けていけばよい。ステップS302,S305,S308は不要となる。
続いて合成処理例IIを図19,図20,図21で説明する。
これは各区域において高解像度画像HRで撮像できない部分も含めて、低解像度画像LRの範囲を、提示画像の代表値(平均値や最大値)でオーバーレイする例である。
図19において図17と同一の処理は同一のステップ番号を付す。
図19の処理においては、図17と同様のステップS301、S306、S307の処理により、情報処理装置1は各区域毎(低解像度画像LR毎)にステップS302〜S312の処理を行う。
ステップS302で情報処理装置1は、入力バッファ22から区域#xの低解像度画像LR及び関連情報を読み出す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像(例えば図12のカラーマッピング画像)を読み出す。なお、上述した提示画像生成の際に算出した各領域の平均値や最大値の情報が出力バッファ28に保存されていれば、それらを読み出してもよい。
ステップS310で情報処理装置1は、提示画像の平均値色又は最大値色を求める。
上述のように提示画像においてカラーマッピングを行った場合、領域毎の平均値や最大値を求めた。これに対してステップS310では、例えば高解像度画像HR(提示画像)の範囲の全体での平均値や最大値をもとめる。
例えばカラーマッピング画像としての提示画像における平均的な色を求める。これは、カラーマッピング画像における各領域の色を値に換算し、その換算値の平均値や最大値を求め、その値により再度色を選択することが考えられる。
或いは上述のように提示画像生成の際に算出した領域毎の平均値や最大値の情報が保存されていれば、それらの値を用いて再計算をし、提示画像の全体の平均値や最大値を求めることができる。その値により、提示画像の全体の色を選択してもよい。
いずれにしてもステップS310では、提示画像全体としての平均値又は最大値に相当する色(平均値色、又は最大値色)を求める。
ステップS311で情報処理装置1は、区域#xの低解像度画像LRの範囲に、平均値色又は最大値色をオーバーレイすることで合成を行う。
そしてステップS312で情報処理装置1は、提示画像の平均値色又は最大値色を低解像度画像LR全体にオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
このような処理を各区域について行っていく。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、スティッチ処理で計測区域の全体の画像300Pを生成する。即ちステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して全体の画像300Pを生成する。
図20は、提示画像の平均値色をオーバーレイした低解像度画像による画像をスティッチした様子を示している。図18と同様に画像G#10〜G#18のみ示しているが、図示していない各画像G#1〜G#(xmax)についてこのようなスティッチに行って全体の画像300Pを生成する。
また図21は、提示画像の最大値色をオーバーレイした低解像度画像による画像G#10〜G#18をスティッチした様子を示している。各画像G#1〜G#(xmax)についてこのようなスティッチに行って全体の画像300Pを生成する。
このように合成した画像300Pにより、低解像度画像LRで撮像される各区域について高解像度画像HRから得られた計測結果(評価結果)が表現される。つまりユーザにとっては、圃場300内の各区域について、計測結果の平均値や最大値を確認することができる。
特に図20のように平均値色によりオーバーレイした場合、各区域の状況が把握しやすい。この画像300Pによれば、サンプリング測定のカバー率が低い場合に、全体の傾向を俯瞰する上での視認性を向上することができる。
また図21のように最大値色によりオーバーレイした場合、使用する植生指数にもよるが、例えば生育が良い区域、或いは注意すべき区域などが、よりわかりやすいものとなる。例えば小さな異常個所を発見する上での視認性を向上することができる。
なお、平均値色、最大値色としたが、この場合、各区域の最小値、重心値、又は最多数値などに相当する色で低解像度画像LRにオーバーレイすることも考えられる。
また、合成処理例II、及び後述する合成処理例III、IVでも、合成処理例Iのように、先に低解像度画像LRのスティッチ処理を行うことも考えられる。但しこの合成処理例IIの場合、低解像度画像LRが先にスティッチ処理されてしまうと、元々の各低解像度画像LRの境界がわからなくなるため、提示画像のオーバーレイ範囲がわからなくなる。そのような場合は、図28で後述する高解像度画像HRの幅a、幅dを網羅率を用いて同図の間隔c、間隔fのサイズに拡大し、その範囲で提示画像の平均値色、最大値色をオーバーレイするようにすることが考えられる。次に説明する合成処理例III、IVも同様である。
なお、スティッチ処理の際に使われた元の低解像度画像LRの1枚1枚の境界情報が取得できるのであれば、以上のような問題はなく、先に低解像度画像LRのスティッチ処理がされた画像300Pに対し、境界情報を用いて平均値色、最大値色をオーバーレイしていけばよい。
合成処理例IIIを図22,図23で説明する。
これは各区域において高解像度画像HRで撮像できない部分も含めて、低解像度画像LRの範囲を、サンプリング計測結果が一定の値の範囲内かそうでないかで異なる色を割り当てる例である。
図22において図17と同一の処理は同一のステップ番号を付す。
図22の処理においては、図17と同様のステップS301、S306、S307の処理により、情報処理装置1は各区域毎(低解像度画像LR毎)にステップS302、S303、S320〜S325の処理を行う。
ステップS302で情報処理装置1は、入力バッファ22から区域#xの低解像度画像LR及び関連情報を読み出す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像(例えば図12のカラーマッピング画像)を読み出す。この場合も、提示画像生成の際に算出した各領域の平均値や最大値の情報が出力バッファ28に保存されていれば、それらを読み出してもよい。
ステップS320で情報処理装置1は、提示画像の平均値又は最大値を求める。
この場合、例えばカラーマッピング画像としての提示画像における平均的な色又は最大値としての色を求め、それを数値に換算する。或いは上述のように提示画像生成の際に算出した各領域毎の平均値や最大値の情報が保存されていれば、それらの値を用いて提示画像全体の平均値や最大値を求めてもよい。
ステップS321で情報処理装置1は、算出した平均値又は最大値が、上下の閾値としての所定範囲内であるか否かを判定する。
例えば平均値としての適切な範囲、又は最大値としての適切な範囲を予め設定しておく。
そして情報処理装置1は、算出した値が適切な範囲内であれば、ステップS322で区域#xに第1色を割り当てる。
また算出した値が適切な範囲内でなければ、ステップS323で区域#xに第2色を割り当てる。
ステップS324で情報処理装置1は、区域#xの低解像度画像LRの範囲に、ステップS322又はS323で割り当てた色(第1色又は第2色)をオーバーレイすることで合成を行う。
そしてステップS325で情報処理装置1は、第1色又は第2色を低解像度画像LR全体にオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
このような処理を各区域について行っていく。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、ステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して計測区域の全体の画像300Pを生成する。
図23は、第1色又は第2色をオーバーレイした低解像度画像による画像G#10〜G#18をスティッチした様子を示している。図示していない各画像G#1〜G#(xmax)についてこのようなスティッチを行って全体の画像300Pを生成する。
2色のいずれかであることで、各区域が、適切な状況か、不適切な状況(例えば何らかの生育異常が生じているなど)かを明確に認識できる画像となる。
なお、平均値、最大値を求めて適切な範囲内か否かを判定し、第1色、第2色を選択するものとしたが、各区域の最小値、重心値、又は最多数値などを閾値範囲と比較して適否判定し、色を選択して低解像度画像LRにオーバーレイすることも考えられる。
合成処理例IVを図24,図25で説明する。
これは各区域において上記合成処理例のように提示画像を低解像度画像LRに位置合わせをして貼り合わせ、さらに高解像度画像HRで撮像できない部分は、上記合成処理例II、IIIのいずれかの手法で選択した色でオーバーレイする例である。
図24において図17と同一の処理は同一のステップ番号を付す。
図24の処理においては、図17と同様のステップS301、S306、S307の処理により、情報処理装置1は各区域毎(低解像度画像LR毎)にステップS302、S303、S330〜S333の処理を行う。
ステップS302で情報処理装置1は、入力バッファ22から区域#xの低解像度画像LR及び関連情報を読み出す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像を読み出す。この場合も、提示画像生成の際に算出した領域毎の平均値や最大値の情報が出力バッファ28に保存していれば、それらを読み出してもよい。
ステップS330で情報処理装置1は、提示画像の平均値色又は最大値色を求める(図19のステップS310と同様)。
ステップS331で情報処理装置1は、区域#xの低解像度画像LRの範囲に、平均値色又は最大値色をオーバーレイする。
ステップS332で情報処理装置1は、関連情報を参照して低解像度画像LR内における高解像度画像HRの位置を判別し、その高解像度画像HRの位置に提示画像(カラーマッピング画像)をオーバーレイ(半透明の提示画像の合成)又は上書き(不透明の提示画像の合成)する。
そして情報処理装置1は、以上のように合成した画像を、ステップS333で区域#xの画像G#xとしてセット(一時的に保存)する。
このような処理を各区域について行っていく。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、ステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して計測区域の全体の画像300Pを生成する。
図25は、低解像度画像LRに提示画像CPをオーバーレイ又は上書きすると共に、低解像度画像LR内で提示画像CP外の範囲は、平均値色又は最大値色でオーバーレイした画像G#10〜G#18をスティッチした様子を示している。図示していない各画像G#1〜G#(xmax)についてこのようなスティッチを行って全体の画像300Pを生成する。
これにより、高解像度画像HRに基づいて得られた提示画像CPを確認できるとともに、各区域#xの全体の様子を認識できる画像300Pとすることができる。
なお、ステップS331では、平均値色又は最大値色でオーバーレイする例としたが、これは合成処理例I、IIを組み合わせた場合である。その場合、各区域の最小値、重心値、又は最多数値に応じた色を選択してオーバーレイすることも考えられる。
また合成処理例I、IIIを組み合わせた場合、各区域#xの全体の代表値が適切な範囲内か否かを判定して第1色、第2色を選択し、オーバーレイすることとなる。このようにすれば、高解像度画像HRに基づいて得られた提示画像CPを確認できるとともに、各区域#xが適切な状況か不適切な状況かを明確に認識できる画像300Pとすることができる。
以上、合成処理例I、II、III、IVを例示した。
これらの例で生成された低解像度画像LRと提示画像の合成画像は、図7のステップS152で出力バッファ28に記憶される。
この合成画像は、画像出力部30によって出力画像Poutとして出力され、ユーザに提示されるようにすることができる。
即ち情報処理装置1は、画像出力を実行するタイミングでは、図7のステップS160からS161に進む。
ステップS161で情報処理装置1(画像出力部30)は、出力バッファ28から出力する画像(例えば低解像度画像LRと提示画像の合成画像)を読み出し、出力画像Poutとして外部に出力する。これにより例えば圃場300の全体をカバーした合成画像の表示や記録が行われる。
<5.第2の実施の形態のシステム構成>
第2の実施の形態のシステム構成を図26に示す。第2の実施の形態は、図2で示した第1の実施の形態の構成に加えて、情報処理装置1において飛行制御部3及び通信部44が設けられているものである。その他の構成については図2と同様であるため、同一符号を付して説明を省略する。
情報処理装置1においては、飛行制御部3として、飛行計画生成部40、条件判定部41、飛行計画修正部42、2回目以降飛行計画生成部43を有する。これらは情報処理装置1においてソフトウエアによって実現される機能を示している。
また通信部44は、無線通信により飛行体200との間で通信を行う。
これらの構成により第2の実施の形態では、情報処理装置1が飛行体200の飛行経路や撮像動作(撮像タイミング等)を制御し、状況に応じた飛行や撮像ができるようにしている。
飛行制御部3における各機能を説明する。
飛行計画生成部40は、計測対象(圃場300)の上空における飛行体200の飛行経路を設定する機能である。
条件判定部41は、例えばNDVI等の植生指数の情報を演算結果バッファ25から取得し、その値(例えば代表値)が一定の条件にかなっているか否かを判定する。この判定結果は飛行計画の修正に用いられる。
飛行計画修正部42は、飛行体200の飛行中に、計測対象の組成や状態を算出した結果値が一定の条件内に収まる場合に自動で撮像範囲の網羅率を緩和して計測完了までの時間を短縮することや、計測対象の組成や状態を算出した結果値が一定の条件から逸脱する場合、自動で網羅率を高めるためなどの目的で飛行計画を動的に修正する機能である。
2回目以降飛行計画生成部43は、1回目の飛行でサンプリング検査した結果の計測対象の組成や状態を算出した値が所定の条件から逸脱する場合、サンプリング計測による抜けた部分の周辺を測定するための飛行計画を自動生成する機能である。
また2回目以降飛行計画生成部43は、1回目の飛行で1回目の飛行体200の飛行中に当初の飛行計画を終えることができなかった場合について、当初飛行計画から残った箇所のみ飛行させる飛行計画を自動で生成する処理も行う。
このような飛行制御部3及び通信部44を備えた情報処理装置1と通信を行う飛行体200の内部構成例を図27に示す。
飛行体200は例えば、制御部201、GPSモジュール202、IMU(inertial measurement unit)モジュール203、高度計204、方位系205、通信部206、バッテリ207、モータ208、及び上述した撮像装置250を備えている。
GPSモジュール202は位置情報を制御部201に供給する。
IMUモジュール203は3軸の角度または角速度情報や加速度情報を検出し制御部201に供給する。
高度計204は高度を検出し高度情報を制御部201に供給する。
方位計205は方位を検出し方位情報を制御部201に供給する。
制御部201はこれらの情報を用いて飛行体200の飛行動作制御を行う。
モータ208は、飛行体200の飛行用のプロペラのモータであり、例えばマルチコプター等の複数のプロペラを有する飛行体200の場合、モータ208は各プロペラに対応してそれぞれ設けられている。制御部201が各モータ208の駆動/停止、回転数等を制御することで、飛行体200は上昇/下降、前後左右への飛行を行うことができる。
バッテリ207は電源部を示し、各部に動作電源電圧Vccを供給する。
通信部206は無線通信部であり、例えば情報処理装置1の通信部44との間で各種データの送受信を行うことができるようにされている。例えば飛行体200からは通信部206により、撮像した高解像度画像HR、低解像度画像LR、対応情報Pを含むタグ情報、飛行動作情報等を情報処理装置1に送信できる。
制御部201は、例えばCPU、RAM、ROM、インターフェース部等を備えたマイクロコンピュータにより構成され、飛行計画データに従って飛行体200の飛行動作を制御する。
<6.飛行計画制御>
飛行体200の飛行計画制御の具体例を説明する。
まず情報処理装置1における飛行計画生成部40の機能を説明する。
飛行計画生成部40では、高解像度画像HRによるサンプリング計測(撮像)する網羅率をユーザが設定することに応じて、飛行体200の飛行計画を自動生成する。
マルチコプター等による飛行体200の飛行計画としては、基本的には低解像度画像LRとして圃場300をくまなく撮像できる条件で立てられる。
本実施の形態のシステムでは高解像度画像HRのサンプリング撮像を行うことを考慮し、サンプリング計測の網羅率を優先して飛行計画を生成する。即ち網羅率を上げるためにより細かく飛行させたり、網羅率が低くて良い場合は荒く飛行させたりするなど、状況に適した飛行計画を生成することができる。
この飛行計画生成のためにスキャン間隔がユーザ又はコンピュータにより指定される。
図28に、計測対象としての圃場300における高解像度画像HR(HR#1〜HR#5)の撮像位置となる離散的なサンプル区域#1C〜#5Cを、図4Bと同様に示している。
ここで図28の幅a、幅dは高解像度画像HRの撮像範囲(縦方向の範囲、横方向の範囲)の幅で、幅b、幅eは、高解像度画像HRと縦方向及び横方向の隣の高解像度画像HRとの間の間隔を示している。
ここで上述のスキャン間隔とは、間隔c(=a+b)、間隔f(=d+e)に相当するもので、これを例えばユーザが指定することができる。
この時、サンプリング撮像する高解像度画像HRの1画像の撮像範囲である幅a,幅dに対して、撮像できない(=計測できない)部分は幅b(=c−a)あるいは幅e(=f−d)となる。
従ってスキャン間隔を指定することで、観察したい事象(例えば灌水設備故障における水没や、病害虫の発生)の広がり等に応じて最適な値を設定することができる。
なお、網羅率とは、計測対象の全体に対して高解像度画像HRで撮像できる範囲の割合である。縦方向(圃場300の上空での飛行体200の進行方向DR)での網羅率M、横方向(隣のサンプリング撮像列の方向)での網羅率Nについては、M=a/c、N=d/fで示される。ユーザはスキャン間隔の代わりに網羅率を入力することもできる。
図29に情報処理装置1(飛行計画生成部40)の機能による処理例を示す。
情報処理装置1は、ステップS401でユーザ入力部31によるユーザの指定種別を判断する。ユーザは、飛行計画生成の際に、スキャン間隔をするか網羅率を指定するかを選択することができる。ユーザは情報処理装置1のユーザインターフェース(例えば表示画面及びユーザ入力部31)を用いて、スキャン間隔又は網羅率を入力する。
なお、ユーザが入力する以外に何らかのコンピュータ装置がスキャン間隔又は網羅率を自動設定し、その値をステップS401で入力することも想定される。
例えばユーザがスキャン間隔を指定する入力を行った場合、情報処理装置1はステップS402に進み、入力された飛行体進行方向のスキャン間隔c、及び横方向のスキャン間隔fを検知する。
そしてステップS405で、指定されたスキャン間隔c、fを満たす飛行計画を作成する。例えば飛行経路DRとしての開始地点、折り返し地点、直進再開地点、高解像度画像HRの撮像地点(又は撮像タイミング)等の位置座標、飛行速度等を設定する。
そしてこのように作成した飛行計画の情報をステップS406で通信部44から飛行体200に送信させる。飛行体200では通信部206で飛行計画の情報を受信し、制御部201が取り込んで保存する。制御部201は飛行計画の情報に基づいて各部を制御し、飛行計画で指定された飛行を行うことになる。
ユーザが網羅率を指定する入力を行った場合、情報処理装置1はステップS401からS403に進み、入力された飛行体進行方向の網羅率M、及び横方向の網羅率Nを検知する。そしてステップS404で入力された網羅率M、Nを用いて、スキャン間隔c、fを算出する。
その後は先と同様に、ステップS405で、スキャン間隔c、fを満たす飛行計画を作成し、ステップS406で飛行計画の情報を通信部44から飛行体200に送信させることになる。
次に飛行計画の修正について説明する。
飛行計画修正部42は、飛行体200の飛行中に、計測対象の組成や状態を算出した結果値が一定の条件内に収まる場合、自動で網羅率を緩和して計測完了までの時間を短縮することができる。また飛行計画修正部42は、計測対象の組成や状態を算出した結果値が一定の条件から逸脱する場合、自動で網羅率を高めるために、飛行計画を動的に修正することもできる。
これらの処理のため、条件判定部41が、測定結果を取得して条件判定を行う。
ところで本実施の形態では、条件判定に基づく飛行計画の修正を行うために、飛行体200の飛行中に情報処理装置1が高解像度画像HRをほぼリアルタイムで取得する例を挙げる。
このため例えば飛行体200側では、撮像装置250で高解像度画像HRを撮像する度に、通信部44から高解像度画像HRを情報処理装置1に送信する。
情報処理装置1は、通信部44で受信した高解像度画像HRをデータ入力部21で取得し、入力バッファ22に記憶させ、上述した高解像度画像HRに対する各種処理を行うことができるようにしている。
条件判定部1は例えばNDVIの値としての上限と下限を閾値として設定しておく。例えばNDVI上限を0.85、下限を0.7などとする。
そして飛行体200から高解像度画像HRが送られてくる度に、演算結果バッファ25から、その1枚の高解像度画像HRで得られるNDVIを示す画像を読み出し、NDVIの代表値が上記の上限と下限の範囲内であるか否かを確認する。
この範囲内に収まる場合は植物に異常がないとして「一定の条件に収まる」とする。
条件判定の処理は、フィルタリング結果画像に基づいて行ってもよいし、植生算出画像、或いはフィルタ画像に基づいて行ってもよい。これらの画像から平均値等の代表値を求め、それを上限、下限の閾値と比較することで条件判定を行う。
なお、植生指数によっては異常がある場合に上昇するものと、低下するものがあるため、例えば図30に示すような設定パターンが考えられる。
例えば条件にかなっているか否かを「一定値以下」「一定値以上」「一定範囲内」「一定範囲外」などのパターンがある。
植生指数としてPRI(photochemical reflectance index)を用いる場合、算出方式に応じて、を「一定値(0.3)以下」或いは「一定値(0.3)以上」などとする条件判定が有り得る。なお、PRIについては後述する。
植生指数としてNDVIを用いる場合、「一定範囲(0.85〜0.70)内」或いは「一定範囲(0.85〜0.70)外」などとする条件判定が有り得る。
飛行中の飛行計画修正を含む情報処理装置1の処理例を図31に示す。
ステップS501で情報処理装置1は、緩和及び強化条件を設定する。これは網羅率を緩和或いは強化するための、条件判定の手法をユーザの入力に応じて設定する処理である。即ち条件判定部41の処理方式の設定である。
例えばNDVIが「一定範囲(0.85〜0.70)内」であれば適正状態として網羅率を緩和し、そうでなければ網羅率を強化するというような設定を行う。
或いは、例えばNDVIが「第1の一定範囲(例えば0.85〜0.70)内」でなければ網羅率を強化し、「第2の一定範囲(第1の一定範囲より狭い範囲)内」であれば網羅率を緩和し、それ以外(第1の一定範囲内で第2の一定範囲外)の場合は網羅率を現状維持するような設定も考えられる。
ステップS502で情報処理装置1は飛行計画生成処理を行う。例えば図29で説明した処理を行う。
ステップS503で情報処理装置1は飛行体200の飛行開始を検知する。例えば飛行体200からの飛行開始の通知の受信、或いは飛行計画による飛行開始時刻などを監視して飛行開始を判断する。或いは飛行開始タイミングでユーザが所定の操作を行うことで飛行開始を検知してもよい。
飛行体200の飛行開始後は、情報処理装置1はステップS509で飛行完了と判定されるまで、ステップS504以下の処理を繰り返す。
ステップS504で情報処理装置1は、条件判定により網羅率の強化条件に該当する結果が得られたか否かを確認する。強化条件に該当しない場合は、ステップS505に進む。
強化条件に該当していた場合、情報処理装置1はステップS510に進み、網羅率を高めるように飛行計画の修正を行う。例えば上述のスキャン間隔c、fを短くして飛行計画を修正し、修正した飛行計画の情報を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
ステップS505で情報処理装置1は、上記ステップS510での修正による網羅率強化状態での飛行中であり、かつ条件判定により強化からの復帰条件に該当する結果が得られたか否かを確認する。なお網羅率強化からの復帰条件とは、例えば次のような例が考えられる。
・条件判定結果が適正状態に復帰する。
・条件判定結果が適正状態に復帰した状態が所定の判定回数、継続する。
・植生指数の値が強化条件の適正状態判定より厳しい基準で適正状態になった状態が得られる(いわゆるヒステリシス判定)。
網羅率強化飛行中ではない場合、又は網羅率強化飛行中であっても以上のような復帰条件に該当しない場合は、ステップS506に進む。
網羅率強化飛行中であって復帰条件に該当する場合、情報処理装置1はステップS511に進み、所定の飛行計画(例えば最初にステップS502で作成した飛行計画)に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
ステップS506で情報処理装置1は、条件判定により網羅率の緩和条件に該当する結果が得られたか否かを確認する。
緩和条件に該当しない場合は、ステップS507に進む。
緩和条件に該当していた場合、情報処理装置1はステップS512に進み、網羅率を緩和するように飛行計画の修正を行う。例えば上述のスキャン間隔c、fを長くして飛行計画を修正し、修正した飛行計画の情報を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
ステップS507で情報処理装置1は、上記ステップS512での修正による網羅率緩和状態での飛行中であり、かつ条件判定により緩和からの復帰条件に該当する結果が得られたか否かを確認する。なお網羅率緩和からの復帰条件とは、例えば次のような例が考えられる。
・条件判定結果が適正状態ではなくなる。
・条件判定結果が適正状態ではなくなった状態が所定の判定回数、継続する。
・植生指数の値が緩和条件の適正状態判定より厳しい基準で適正状態ではなくなった状態が得られる(いわゆるヒステリシス判定)。
網羅率緩和飛行中ではない場合、又は網羅率緩和飛行中であっても以上のような復帰条件に該当しない場合は、ステップS508に進む。
網羅率緩和飛行中であって復帰条件に該当する場合、情報処理装置1はステップS513に進み、所定の飛行計画(例えば最初にステップS502で作成した飛行計画)に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
ステップS508で情報処理装置1は網羅率強化飛行中であるか否かで処理を分岐する。網羅率強化飛行中でなければステップS509の判断を介してステップS504に戻る。
網羅率強化飛行中である場合、情報処理装置1はステップS508からS514に進み、飛行ポリシーとバッテリ残量予測確認を行い、その適・不適で処理を分岐する。
飛行ポリシーの確認とは、例えば測定のための飛行として何を重視して行うかの設定を確認するものである。例えば飛行ポリシーとしては、
(P1)全体の計測を優先し、バッテリ残量から推測される飛行時間が不足する場合、通常の網羅率の測定に復帰する。つまり計測対象の全体の測定(撮像)を優先する。
(P2)異常点の検出を優先し、バッテリ残量による通常網羅率の測定には復帰しない。つまり網羅率強化の場合、全体の測定よりも重点的な測定を優先する。
のいずれが設定可能とされる。
ステップS514の具体的な処理例としては、
・バッテリ残量が所定以上(十分あり)の場合、飛行ポリシーにかかわらず適判定
・バッテリ残量が所定未満の場合、飛行ポリシー(P2)であれば適判定
・バッテリ残量が所定未満の場合、飛行ポリシー(P1)であれば不適判定
とする。これは一例であるが、例えば適判定の場合は、そのままステップS509に進む。
一方、不適判定の場合は、情報処理装置1はステップS515に進み、所定の飛行計画に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
情報処理装置1は、飛行体200の飛行完了をステップS509で検知した場合、図31の処理を終える。
例えば情報処理装置1は、飛行体200からの飛行完了の通知を受信したり、所定時間(飛行完了に要する時間)の経過を検知したり、或いはユーザの終了操作を検知したりすることなどにより、飛行完了を認識して処理を終える。
以上の図31のような処理を行うことで、飛行中の状況に応じて網羅率を動的に変化させていくような飛行制御(計測制御)が実現される。従って例えば植物の生育状況により、重点的に監視すべき区域が発見されたら、その付近の網羅率を高めるというようなことができ、1回の飛行でより価値の高い測定が可能となる。逆に、植物の生育状況に大きな問題がない場合は網羅率を緩和することで、短時間で飛行を完了できるなどリモートセンシング作業の効率を向上させることができる。
また、以上説明した飛行計画作成を含む処理によれば、情報処理装置1は、サンプリング計測する際の網羅率をユーザが設定し、飛行体200の飛行計画を自動生成できる。
飛行計画の設定に関しては、横方向のスキャン間隔あるいは網羅率、及び縦方向のスキャン間隔あるいは網羅率を用いることができる。
なお、縦方向と横方向の一方のスキャン間隔或いは網羅率を固定とし、他方のスキャン間隔或いは網羅率をユーザ設定できるようにしてもよい。
また飛行体200の飛行中に、計測対象の組成や状態を算出した結果値が一定の条件内に収まる場合、自動で網羅率を緩和して計測完了までの時間を短縮することができる。
網羅率の緩和条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
網羅率を緩和する場合の緩和率については、
・横方向のスキャン間隔あるいは網羅率の緩和倍率
・縦方向のスキャン間隔あるいは網羅率の緩和倍率
がある。これらの一方又は両方を変更させてもよいし、緩和倍率を可変してもよい。
緩和からの復帰条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
また飛行体200の飛行中に、計測対象の組成や状態を算出した結果値が一定の条件から逸脱する場合、自動で網羅率を強化して計測を行うことができる。
網羅率の強化条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
網羅率を強化する場合の緩和率については、
・横方向のスキャン間隔あるいは網羅率の強化倍率
・縦方向のスキャン間隔あるいは網羅率の強化倍率
がある。これらの一方又は両方を変更させてもよいし、緩和倍率を可変してもよい。
強化からの復帰条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
また飛行ポリシーの設定に応じて、バッテリ残量を鑑みた飛行を行うことができる。
続いて2回目以降飛行計画生成部43の機能による処理を説明する。
2回目以降飛行計画生成部43は、1回目の飛行でサンプリング検査した結果の計測対象の組成や状態を算出した値が、望ましい値の範囲から逸脱する場合、サンプリング計測による抜けた部分の周辺を測定するための飛行計画を自動生成することができる。
また、1回目の飛行中に当初の飛行計画を終えることができなかった場合について、当初飛行計画から残った箇所のみ飛行する飛行計画を自動で生成することもできる。
図32、図33で1回目の結果により、測定値逸脱箇所の中心を重点測定する例を説明する。
図32Aにおいて、1回目の飛行において高解像度画像HR(HR#1〜HR#20)を撮像したサンプル区域#1C〜#20Cを示している。ここで、黒塗りのサンプル区域#11C、#15Cは、その区域の植生指数の値が、望ましい値の範囲から逸脱していたとする。
このような場合に、追加飛行として2回目の飛行計画を作成する。
即ち、サンプリング測定範囲であるサンプル区域の中心点を基準に、再計測すべき周辺の範囲を、サンプリング計測ではなく抜けが無いように2回目の飛行計画(計測範囲)を決定する。
例えば図32Bに示すように、サンプル区域#11Cの中心点を基準に縦方向の幅g、横方向の幅hにより規定される周囲の範囲を測定範囲700とし、またサンプル区域#15Cの中心点を基準に縦方向の幅g、横方向の幅hにより規定される周囲の範囲を飛行範囲701とする。そしてこの飛行範囲700,701を含むように高解像度画像HRの撮像が行われるような2回目の飛行計画を生成する。この場合、飛行範囲内は全て高解像度画像HRで撮像して計測するようにする。
幅g、幅hは固定値でもよいが、ユーザが指定できるようにすることが望ましい。
なお説明上、2回目の撮像範囲も「サンプル区域」という言葉を用いているが、2回目以降の飛行ではサンプル区域が離散的ではなく連続することになる。
図33に情報処理装置1の処理例を示す。
ステップS601で情報処理装置1は、サンプリング計測及びフィルタリング処理による結果を演算結果バッファ25から読み出す。これは高解像度画像HRに基づく上述のフィルタリング処理等を施した演算結果の情報を読み出すものである。
ステップS602で情報処理装置1は、1枚の高解像度画像HRに基づくフィルタリング結果画像等から条件判定を行う。例えばフィルタリング結果画像で抽出された植生指数の代表値が、所定の範囲内にあるか否か等の条件判定を行い、該当のサンプル区域が異常な状態(例えば生育状況が悪いなど)であるか否かを判定する。
もし条件判定結果として異常点が検出されれば、情報処理装置1はステップS603でその高解像度画像HRを撮像したサンプル区域の中心点の位置から周辺範囲を飛行範囲に加える。このとき、図32Bに示した幅g、幅hは、ユーザの入力に応じて可変設定して飛行範囲を決定するようにしても良い。
以上のステップS602,S603の処理を、例えば図32Aの全てのサンプル区域#1C〜#20C、つまりそれらのサンプル区域を撮像した高解像度画像HR(HR#1〜HR#20)に基づくフィルタリング結果画像を用いて行う。
例えば高解像度画像HR#1に基づくフィルタリング結果画像では、異常はみつからずステップS603は行われずに、サンプル区域#1Cの周囲は飛行範囲に加えられない。一方、高解像度画像HR#11C、HR#15Cに基づくフィルタリング結果画像では、異常が検出され、それぞれステップS603の処理で、サンプル区域#11C、#15Cの周囲は飛行範囲700,701とされることになる。
1回目の飛行によるサンプリング計測範囲の全て(サンプル区域#1C〜#20Cの全て)について以上の処理を行ったら、情報処理装置1はステップS604からS605に進み、新たに計測する範囲(即ちステップS603で設定した飛行範囲)があるか否かを確認する。なければ、2回目の飛行計画を作成せずに処理を終える。つまり2回目の重点的な計測のための飛行は不要と判定される場合となる。
一方、飛行範囲700,701等が設定された場合、情報処理装置1はステップS605からS606に進み、再飛行計画を生成する。
この場合、設定された飛行範囲700,701等を全て網羅して高解像度画像HRが撮像できるような飛行経路や撮像タイミングが設定されることになる。そしてその再飛行計画の情報を飛行体200に送信する。これに応じて飛行体200は2回目の飛行を行うことになる。
2回目以降の飛行計画生成としての他の例を図34〜図39で説明する。
この例は、値が逸脱したサンプル区域を中心として、判定結果が正常な地点との境界点までを追加測定する。さらに、再計測すべき範囲が検出されなくなるまで再飛行を繰り返すようにする。
図34Aは、1回目の飛行によるサンプリング計測の結果を示している。サンプル区域#11Cにおいて条件判定の結果、異常が検出されたとする。
2回目の飛行計画としては、異常が見つかったサンプル区域から隣接するサンプル区域の端に接する範囲で飛行範囲を設定する。例えば図34Bのように、異常が見つかったサンプル区域#11Cから隣接するサンプル区域#7C、#6C、#5C、#12C、#13C、#14C、#15C、#10Cの端に接する飛行範囲702を設定する。
そしてその飛行範囲702で高解像度画像HRの撮像が行われるように2回目の飛行計画を作成する。
なお図の見やすさのため、飛行範囲702の破線を隣接するサンプル区域から若干離して記載しているが、これは接しているものとする。以降の図の飛行範囲703〜705も同様である。
図35Aは2回目の飛行による計測の結果を示している。2回目の飛行では飛行範囲702内でくまなく高解像度画像HRが撮像される。高解像度画像HRが撮像された区域をサンプル区域#200C〜#208Cとして示している。なお、図の見やすさを考慮して各サンプル区域#200C〜#208Cはオーバーラップしないようにしているが、実際には飛行範囲702内をすべて撮像するために、それぞれが多少オーバーラップした区域となることが想定される。以降の図でも同様である。
なお、この場合のサンプル区域#204Cは、1回目で既に異常検出されていた図34Bのサンプル区域#11Cである。
2回目の飛行の結果として、サンプル区域#208Cで新たに異常とする判定結果が検出されたとする。
異常判定のサンプル区域が存在するため、さらに3回目の飛行計画を作成する。
3回目の飛行計画では、新たに異常が見つかったサンプル区域#208から隣接するサンプル区域の端に接する範囲で飛行範囲を設定する。例えば図35Bのように、サンプル区域#208Cから隣接するサンプル区域の端に接する飛行範囲703を設定する。
そしてその飛行範囲703で高解像度画像HRの撮像が行われるように3回目の飛行計画を作成する。
図36Aは3回目の飛行による計測の結果を示している。3回目の飛行では飛行範囲703内のサンプル区域#300C〜#308Cで高解像度画像HRが撮像される。その結果、サンプル区域#306C、#307Cで新たに異常とする判定結果が検出されたとする。
なお、サンプル区域#304Cは、2回目で異常検出されたサンプル区域#204Cで、サンプル区域#300Cは、1回目で異常検出されたサンプル区域#11Cである。
新たな異常判定のサンプル区域が存在するため、さらに4回目の飛行計画を作成する。
4回目の飛行計画では、例えば図36Bのように、新たに異常が見つかったサンプル区域#306C、#307Cから隣接するサンプル区域の端に接する範囲で飛行範囲704を設定する。そしてその飛行範囲704で高解像度画像HRの撮像が行われるように4回目の飛行計画を作成する。この場合、2つのサンプル区域#306C、#307Cを中心にするため、4回目の飛行範囲704は3回目の飛行範囲703より広くなっている。
図37Aは4回目の飛行による計測の結果を示している。4回目の飛行では飛行範囲704内のサンプル区域#400C〜#411Cで高解像度画像HRが撮像される。その結果、サンプル区域#408Cで新たに異常とする判定結果が検出されたとする。
なお、サンプル区域#405C、#406Cは3回目で異常検出されたサンプル区域#306C、#307C、サンプル区域#402Cは2回目で異常検出されたサンプル区域#208Cである。
新たな異常判定のサンプル区域が存在するため、さらに5回目の飛行計画を作成する。
5回目の飛行計画では、例えば図37Bのように、新たに異常が見つかったサンプル区域#408Cから隣接するサンプル区域の端に接する範囲で飛行範囲705を設定する。そしてその飛行範囲705で高解像度画像HRの撮像が行われるように5回目の飛行計画を作成する。
図38Aは5回目の飛行による計測の結果を示している。5回目の飛行では飛行範囲705内のサンプル区域#500C〜#508Cで高解像度画像HRが撮像される。その結果、新たに異常と判定されたサンプル区域は存在しなかったとする。なお、サンプル区域#504Cは4回目で異常検出されたサンプル区域#408C、サンプル区域#502Cは3回目で異常検出されたサンプル区域#306Cである。
新たに異常のサンプル区域が発見されなかったことで、計測のための飛行を完了とする。
以上のような2回目以降の飛行のため飛行計画作成を含む処理例を図39で説明する。
ステップS700で情報処理装置1は初回の飛行のための処理を行う。これは、例えば図29の処理と、飛行完了の待機処理となる。
初回の飛行が完了したら、ステップS701で情報処理装置1は、サンプリング計測及びフィルタリング処理による結果を演算結果バッファ25から読み出す。即ち高解像度画像HRに基づく上述のフィルタリング処理等を施した演算結果の情報を読み出す。
ステップS702で情報処理装置1は、1枚の高解像度画像HRに基づくフィルタリング結果画像等から条件判定を行う。例えばフィルタリング結果画像で抽出された植生指数の代表値が、所定の範囲内にあるか否か等の条件判定を行い、該当のサンプル区域が異常な状態(例えば生育状況が悪いなど)であるか否かを判定する。
もし条件判定結果として異常が検出されれば、情報処理装置1はステップS703でその高解像度画像HRを撮像したサンプル区域の中心点の位置から、隣接するサンプル区域の端までの範囲を飛行範囲に加える。
以上のステップS702,S703の処理を、今回の飛行の全てのサンプル区域、つまりそれらのサンプル区域を撮像した高解像度画像HRに基づくフィルタリング結果画像のそれぞれについて行う。
直前の飛行のサンプル区域の全てについてステップS702,S703の処理を行ったら、情報処理装置1はステップS705で新たに計測する範囲(即ちステップS703で設定した飛行範囲)があるか否かを確認する。
新たに計測する範囲(飛行範囲)が存在しなければ、ステップS705から飛行制御処理を終える。つまり次回の飛行は行わない。
直前の飛行のサンプル区域において異常判定のサンプル区域が存在すれば、情報処理装置1はステップS705からS706に進み、次の飛行計画を生成する。
この場合、設定された飛行範囲を網羅して高解像度画像HRが撮像できるような飛行経路や撮像タイミングが設定されることになる。そしてその再飛行計画の情報を飛行体200に送信する。これに応じて飛行体200は次の回の飛行を行うことになる。
情報処理装置1はステップS707で飛行開始を検知し、飛行終了後、その飛行による測定結果に基づいてステップS701以降の処理を行う。
これにより図34〜図38で例示したような2回目以降の飛行が行われる。
以上のような2回目以降の飛行を行う計測を行うようにすることで、高解像度画像HRを用いた、より精度や深度の高い分析が、計測時間の大幅増加やデータ量の大幅増加を伴わずに実現することができる。
なお、2回目の飛行は、以上のような異常判定されたサンプル区域を中心とする範囲だけで無く、1回目の飛行中に当初の飛行計画を終えることができなかった場合について、当初飛行計画から残った箇所のみ飛行する飛行計画を生成することもできる。その場合、圃場300における計測対象内で、高解像度画像HRが所定の網羅率で得られていない範囲を判定し、その範囲を飛行範囲として再飛行計画を生成すればよい。
或いはより簡易的には、最初の飛行計画から、飛行できた範囲を差し引いた飛行計画を生成するようにすればよい。
このようの飛行計画作成制御を行うことで、圃場300の計測対象の全体をもれなくサンプリング計測できるようにすることができる。
以上説明した2回目以降の飛行計画作成処理を行う実施の形態の情報処理装置1は、サンプリング検査した結果の計測対象の組成や状態を算出した値が逸脱する場合、サンプリング計測による抜けた部分の周辺を測定するための飛行計画を自動生成することができる。
この場合、値が逸脱した点を中心として、指定した範囲内を追加測定することができる。 また、値が逸脱した点を中心として、変化がない地点との境界点までを追加測定することができる。
また、1回目の飛行中に当初の飛行計画を終えることができなかった場合について、残った箇所の飛行計画を自動で生成することもできる。
なお、本実施の形態において2回目以降の飛行体200の飛行は、必ずしも物理的に同一の機体である必要はなく、他の機体を飛行させてもよい。
ところで図26,図27の構成として、飛行制御部3が情報処理装置1に設けられている例を説明したが、これには限られない。
例えば図40に飛行体200の構成例を示す。これは、飛行体200において図27の構成に加えて飛行計画処理部230としての構成を備えた例である。即ち上述の飛行計画生成部40、条件判定部41、飛行計画修正部42、2回目以降飛行計画生成部43を飛行体200内に備えるようにする。この飛行計画処理部230は制御部201内又は別体のマイクロコンピュータにおけるソフトウエア機能として実現されれば良い。
このように構成し、計測結果によって飛行体200(制御部201)が自律的に飛行計画を修正しながら飛行できるようにしてもよい。特に飛行計画修正部42の機能(図31の処理機能)は、飛行中に飛行計画を修正するため、飛行体200内で処理が行われるようにすることが好適である。
また図26の情報処理装置1とは別体の情報処理装置1において飛行計画作成等が行われても良い。例えば図41のように、情報処理装置1とは別体の情報処理装置400において飛行計画処理部230が備えられ、飛行計画生成、修正等を含む飛行体制御が行われるような例である。
またさらに飛行計画処理部230がネットワークサーバ、クラウドコンピューティングサーバ等としての情報処理装置600に設けられ、情報処理装置600で作成された飛行計画が情報処理装置400を介して飛行体200に送られるような例も考えられる。
<7.まとめ及び変形例>
以上、実施の形態について説明してきたが、実施の形態の情報処理装置1によれば次のような効果が得られる。
実施の形態の情報処理装置1は、計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象に対する評価情報となる演算結果画像を生成する演算部2を備えている。
これにより、計測対象全域の画像を網羅的に取得しなくとも、計測対象全域の測定結果を得ることができる。
特にサンプリング撮像を行うことで高解像度の画像を取得しても効率悪化は防止されるため、高解像度のサンプリング画像(高解像度画像HR)を用いることができ、より精度や深度の高い分析が、計測時間の増加やデータ量の増加を伴わずに実現できるようになる。
また、サンプリング画像を対象とすることで効率的な計測を行うことができるため、広い範囲から小さいものを発見したり、わずかな傷などを発見したいというような場合にも好適となる。
実施の形態の情報処理装置1は、演算部2として、フィルタリング処理に用いることができるフィルタ画像を、サンプリング画像(高解像度画像HR)を用いて生成するフィルタリング生成部24を有する。
上述のようにフィルタ画像は、フィルタリング実行の際にフィルタとなる情報に相当する画像(特定の組成や状態となっている箇所を示す画像)である。
マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。例えばその1つ又は複数を用いてフィルタ画像を生成することで、計測結果を提示するための適切なフィルタリングを行うことができるようになる。例えば実施の形態では、800nmのサンプリング画像を用いて日向部分を抽出するためのフィルタ画像FP1(図9参照)を生成している。
従ってサンプリング画像の画像内容のうちから特定のフィルタ条件に合致した画素を抽出するための、サンプリング画像に合致したフィルタリングを可能とするフィルタ条件を生成できる。
実施の形態の情報処理装置1は、演算部2として、サンプリング画像(高解像度画像HR)を用いて評価指数画像を生成する評価指数演算部(植生指数演算部23)を有する。
マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。例えば植生指数演算部23は、それらを用いて植生指数画像を生成する。このような植生指数は計測対象全域の評価に用いるものとして適切な情報となる。
特に実施の形態では、評価指数画像は植生指数を表した植生指数画像としている。
植生指数として例えばNDVI等を示す画像を生成する。マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。このようなサンプリング画像により、NDVI等の植生指数を求めることができる。そして植生指数画像を用いることで、植生の適切な評価が可能となる。
実施の形態の情報処理装置1は、演算部2として、サンプリング画像(高解像度画像HR)を用いて評価指数画像を生成する評価指数演算部(植生指数演算部23)と、フィルタリング処理に用いることができるフィルタ画像を、評価指数画像を用いて生成するフィルタリング生成部24とを有する。
即ちフィルタ画像を、評価指数(例えば植生指数)を表す画像(評価指数画像)を用いて生成する。実施の形態ではNDVI画像を用いてNDVIが一定以上であるという条件に合致する画素を示すフィルタ画像FP2を生成する例を挙げた(図9参照)。これにより、NDVI等の植生指数をフィルタ条件に反映させることができ、多様かつ適切な計測結果画像を得るためのフィルタを生成できるようになる。
なおフィルタリングに用いるフィルタ画像としては、図9で説明したフィルタ画像FP1,FP2,FP3に限らず、目的のフィルタリングに応じて更に多様な例が考えられる。
例えば或る植生指数をその数値により抽出したもの、植生指数を他の植生指数の値で抽出したもの、植生指数を他の複数の植生指数の値で抽出したもの、輝度、色情報等を用いて抽出したものなどとして、各種のフィルタ画像を生成することが考えられる。
実施の形態の情報処理装置1は、演算部2として、サンプリング画像(高解像度画像HR)を用いて生成したフィルタ画像FP1と、評価指数画像を用いて生成したフィルタ画像FP2とを用いて、フィルタリング処理に用いることができるフィルタ画像FP3を生成するフィルタリング生成部34を有する。
即ち複数のフィルタ画像を用いてフィルタ画像を生成する。
これにより複数のフィルタ条件を反映したフィルタ画像を生成することができる。例えば実施の形態の図9の例では、植生画像でありかつ日向部分を抽出するための特定箇所を示すフィルタ画像FP3を生成している。このようにすることでサンプリング画像の画像内容のうちから複数の特定のフィルタ条件に合致した画素を抽出するようなフィルタリングを可能とすることができる。
実施の形態の情報処理装置1は、演算部2として、フィルタ画像を生成するフィルタリング生成部24と、フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部26を有する。
つまりフィルタ画像によって示される条件により、フィルタリングを行って、フィルタリング結果画像を生成する。
フィルタ画像としては、図9に各例を示したように、例えば日向部分の画像のようにサンプリング画像から生成したもの、NDVIが一定以上というように植生指数画像から生成したもの、或いは植生画像でありかつ日向部分を抽出するための特定箇所を示すように複数のフィルタ画像から生成したものなどがある。これらのフィルタ画像を用いることで多様なフィルタリング結果画像を生成することができる。
実施の形態の情報処理装置1は、演算部2として、評価指数演算部(植生指数演算部23)と、フィルタリング生成部24と、フィルタ画像を用いて評価指数画像(植生指数画像)のフィルタリング結果画像を生成するフィルタリング実行部26を有する。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、評価指数画像(例えば植生指数画像)についてフィルタリングを行って、フィルタリング結果画像を生成する。
図10に示したようにNDVI画像を対象として、フィルタ画像を用いてフィルタリングを行う。これにより、NDVI等の植生指数のうちで、フィルタ画像で示される所定のフィルタ条件(例えば植生画像でありかつ日向部分)の画素を抽出してフィルタリング結果画像を生成できる。従って植生指数のうちで評価に用いたい部分のみを抽出することができ、精度の高い評価結果を得ることができるようになる。
実施の形態の情報処理装置1は、演算部2として、評価指数演算部(植生指数演算部23)と、フィルタリング生成部24と、フィルタリング実行部26と、フィルタリング結果画像を用いて提示画像を生成する提示画像化部27を有する。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこで人への提示に適した状態に画像化する。
これにより、サンプリング画像及びフィルタリングに基づく計測対象の評価結果を理解しやすい画像でユーザに提供できる。
実施の形態の提示画像化部27は、フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成する(図11、図12参照)。
これにより、色別で評価結果を認識できる画像をユーザに提供できる。
また提示画像化部27は、フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成する(図11、図12参照)
その領域の平均値、最大値、最小値、重心値、最多数値など、各領域に対して代表値に応じた色当てすることで、各領域の評価結果が色で認識できる画像をユーザに提供できる。
また提示画像化部27は、フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成する(図13、図14、図15、図16参照)。
他の画像とカラーマッピングした画像を例えばオーバーレイや上書きなどの形で合成することで、他の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
上記の場合の他の画像は、サンプリング画像(高解像度画像HR)、評価指数画像(植生検出画像)、フィルタ画像、又はフィルタリング結果画像のいずれかである。
サンプリング画像とカラーマッピングした画像を合成することで、元の計測対象の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
また評価指数画像とカラーマッピングした画像を合成することで、各領域の評価指数画像を確認しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
またフィルタ画像とカラーマッピングした画像を合成することで、フィルタ画像で示されるフィルタリング条件を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
またフィルタリング結果画像とカラーマッピングした画像を合成することで、フィルタリング結果としての各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
実施の形態の情報処理装置1は、演算部2として、サンプリング画像(高解像度画像HR)よりも低解像度の画像として計測対象を撮像した低解像度画像LRと、提示画像を合成する画像合成部29を有する。
提示画像は、フィルタリング結果画像から生成したもので、フィルタリング結果画像はサンプリング画像に基づく。つまり計測対象の全域ではなく一部の画像に基づく。そこでサンプリング画像より広い範囲を撮像した低解像度の画像と合成する。
これにより、計測対象についてサンプリング画像で撮像された範囲よりも広い範囲の画像とともに示した評価結果をユーザに提供できる。
画像合成部29は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行う(図17,図18参照)。
合成処理では、或るサンプリング画像の撮像範囲についての提示画像と、そのサンプリング画像の撮像範囲を含むより広い範囲を撮像した低解像度画像を合成する。このため例えば撮像位置の情報や撮像時刻の情報など、対応関係を示す対応情報を用いて提示画像と低解像度画像を組み合わせるようにする。
これにより提示画像と、提示画像の元となるサンプリング画像の撮像範囲を含む区域の低解像度画像を正確に対応づけて合成画像を生成できる。
画像合成部29は、提示画像を、低解像度画像LR内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行う(図17,図18参照)。
例えば合成処理では、或るサンプリング画像と、低解像度画像内にオーバーレイ又は上書きで配置する。この場合、低解像度画像内でサンプリング画像の撮像範囲に相当する位置に配置する。つまり位置合わせして貼り合わせる。
これにより計測対象においてサンプリング画像の位置が明確に示される合成画像を生成し、ユーザに提供できる。
図17、図18の例では、区域(G#1〜G#LN:但し図示はG#10〜G#18のみ。以下同様)毎に、低解像度画像LR内で提示画像CPをオーバーレイ又は上書きすることで、各区域の評価結果が見やすいものとなっている。
画像合成部29は、提示画像の代表値が低解像度画像に反映されるように合成を行う。
各区域について提示画像の代表値が反映された画像とされることで、各区域の状況を把握しやすい画像をユーザに提供できる。
例えば図19、図20、図21の例では区域(G#1〜G#LN)毎に、低解像度画像に提示画像の代表値色を合成している。これにより各区域の評価結果が見やすいものとなっている。
また図22、図23の例では各区域(G#1〜G#LN)について、提示画像から評価結果の良否が判定され、その結果が各区域で表現されるようにしている。これにより圃場等の評価の良否を一目で認識できる画像をユーザに提供できる。
また図24、図25の例では各区域(G#1〜G#LN)について、提示画像を位置合わせして配置した上で、低解像度画像に提示画像の代表値色を合成している。これにより各区域の評価結果が見やすく、かつサンプリング画像撮像範囲の詳細な情報も含まれた画像をユーザに提供できる。
なお、実施の形態の例では、提示画像と低解像度画像LRの合成を行うものとしたが、提示画像化する前のフィルタリング結果画像を低解像度画像LRと合成することも考えられる。さらには、植生指数画像と低解像度画像LRの合成や、フィルタ画像と低解像度画像LRの合成を行うことも考えられる。これらの合成画像が画像出力部30から出力され、ユーザに提示されるようにしてもよい。
実施の形態の情報処理システムは、以上の情報処理装置1と、複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラ(撮像装置250)とを有する。
カメラによる光学計測により計測対象の組成や状態を算出するシステムとしては、例えば近赤外波長と赤の波長を用いたNDVI(正規化植生指数)が、植生の測定として用いられている。
大きな圃場を撮像する場合、飛行体にこれらのカメラを搭載し、複数回の撮像を行いスティッチを行うことで、圃場全体の計測を漏れなく行うことは可能である。
またこの時、高解像度情報(高解像度画像HR)を用いればより精度や深度の高い分析ができる。例えば、土と植物を分離できる解像度の撮像を行い、一定のNDVIの閾値を用いれば、画像の中から植物の部分だけをフィルタリングし、その部分のみのNDVIを算出すれば、土の影響を除外できてNDVIの精度を改善できる。また、葉面の他の葉の影になっている部分のみのNDVIを算出すれば、NDVIの精度を改善できる。
しかしながら、広大な範囲を撮像しようとする場合、高解像度の撮像はズームで撮ったり、あるいは近づいて撮像する必要があるため、1回の撮像で測定できる範囲が狭く、全体の計測には多大な時間を要してしまう。
また、高解像度画像HRを網羅的に撮像すると、計測したデータサイズが増大し、ネットワークを通じてデータをアップロードする時のアップロード時間も増加し、さらにデータを保存しようとした場合にストレージ容量の拡大も引き起こす。
さらに、多波長を撮像できるマルチスペクトラムカメラは、一般的に可視光撮像用のカメラに比べ解像度が低いため、同じ領域を同じ解像度で撮像しようとすると、撮像回数が増加する。
これらの撮像時間やアップロード時間の増大は、病害虫や灌漑システムの故障を検出した場合に迅速な対応を求められる農業分野において大きな課題であり、高解像度撮像や多波長の撮像を広範囲にわたって測定することは現実的ではない。
このような点に対して本実施の形態の技術では、精度の高い分析を行うために高解像度での撮像を行うが、サンプリング撮像とすることで、撮像時間の増大やデータサイズの増大を防ぐことができる。即ち計測したい範囲の全体を高解像度画像HRで計測するのではなく、一部分のみ抜き取り的に計測して計測対象を検査するようにしている。これにより広範な計測対象についても、短時間、低コストで精度の高い計測、評価を行うことができる。
本技術は実施の形態で例示したものに限らず各種の変形例が考えられる。
植生データの例としてNDVIを挙げたが、植生データとして用いる植生指数は各種考えられる。例えば、
・PRI
・クロロフィル蛍光の大きさ
・ステート遷移反射率
等がある。
PRIは、キサントフィルサイクルの脱エポキシ化に伴い変化する分光反射率をインデックス化したものである。キサントフィルサイクルは、強光や水ストレスに伴う気孔閉塞といった、光合成しきれない過剰な光エネルギーを熱として放出する機構である。
ここではPRIは、
PRI=(R570−R531)/(R570+R531)
として算出されるものとする。なお、「R570」は波長570nmの反射光強度、「R531」は波長531nmの反射光強度である。
なお、PRI=(R531−R570)/(R531+R570)として算出する場合もある。図30において示した定義は以上のいずれかの算出手法を意味しており、図30には上記各式の分子の部分を示している。
クロロフィル蛍光の大きさは、太陽光によって励起されるクロロフィル蛍光の大きさ(solar-induced chlorophyll fluorescence(SIF))でもよいし、太陽光ではなくレーザーやLEDを用いてクロロフィル蛍光を励起させてもよい。
クロロフィル蛍光を用いてストレス検出を行うこともできる。クロロフィル蛍光は植物の光合成に伴い植物から発せられる蛍光で、光により電子が励起した反応中心から一定時間内にエネルギーが抜き取られないと、高等植物では680nm〜770nm前後の波長の蛍光としてエネルギーが放出される現象である。
放出されるエネルギーは入力光のエネルギーに対し0.5%〜3%で、植物の光合成の状態に応じて変動し、強光や、水ストレスに伴う気孔閉塞といった光合成しきれない過剰な光エネルギーが多い場合に変動する。
さらに植生指数はGNDVI(Green Normalized Difference Vegetation Index)や可視大気抵抗指数(VARI)等もある。
可視大気抵抗指数(VARI)は、日照の違いや大気の影響を軽減しながら、スペクトルの可視部分で植生を強調する指標であり、(Green − Red)/(Green+Red−Blue)として算出される。
またサーマル画像やサーマルを用いたCWSI(Crop Water Stress Index)も適用できる。
実施の形態では計測対象を圃場300の植生としたが、これは一例である。例えばサッカー場、野球場等の競技場の芝の植生観察、自然の草原、林野、原生林等の植生観察などにも本技術は適用できる。
また本実施の形態の技術は、植生等のセンシングに限らず多様な分野で適用できる。
例えば生命科学において細胞の動きをサンプリング計測により測定するシステムが想定される。
また内視鏡画像、顕微鏡画像、眼底検査画像などの撮像による医療検査の分野にも本技術は適用できる。
またインフラ検査の分野にも適用できる。
例えばメガソーラー検査として、太陽電池パネルが配置された地区について飛行体200を用いたリモートセンシングで不良箇所を探索することができる。この場合に本実施の形態の高解像度画像HRのサンプリング計測は有効である。
またコンクリートひび割れ検査として、対象地域について飛行体200を用いたリモートセンシングで不良箇所を探索する場合にも、本実施の形態の高解像度画像HRのサンプリング計測は有効である。
また実施の形態の飛行体200には撮像装置250としてマルチスペクトラムカメラを装備するものとしたが、RGBカメラ、サーマル画像撮像カメラなども想定される。
実施の形態で挙げた構成は一例である。
例えば飛行体200に演算部2を搭載してもよい。また撮像装置250内のマイクロコンピュータを演算部2として機能させてもよい。
実施の形態のプログラムは、図3のようなコンピュータ装置100のCPU51に、計測対象の範囲のうちの一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理(図6,図7の処理)を実行させるプログラムである。
このようなプログラムにより本実施の形態の情報処理装置1の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、前記計測対象に対する評価情報となる演算結果画像を生成する演算部を備えた
情報処理装置。
(2)
前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を、前記サンプリング画像を用いて生成するフィルタリング生成部を有する
上記(1)に記載の情報処理装置。
(3)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部を有する
上記(1)又は(2)に記載の情報処理装置。
(4)
前記評価指数画像は植生指数を表した植生指数画像である
上記(3)に記載の情報処理装置。
(5)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を、前記評価指数画像を用いて生成するフィルタリング生成部と、を有する
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
前記サンプリング画像を用いて生成したフィルタ画像と、前記評価指数画像を用いて生成したフィルタ画像とを用いて、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、を有する
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部と、を有する
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、を有する
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、
前記フィルタリング結果画像を用いて提示画像を生成する提示画像化部と、を有する
上記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成する
上記(9)に記載の情報処理
(11)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成する
上記(9)又は(10)に記載の情報処理装置。
(12)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成する
上記(9)乃至(11)に記載の情報処理装置。
(13)
前記他の画像は、
前記サンプリング画像、前記評価指数画像、前記フィルタ画像、又は前記フィルタリング結果画像のいずれかである
上記(12)に記載の情報処理装置。
(14)
前記演算部は、
前記サンプリング画像よりも低解像度の画像として前記計測対象を撮像した低解像度画像と、前記提示画像を合成する画像合成部を有する
上記(9)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記画像合成部は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行う
上記(14)に記載の情報処理装置。
(16)
前記画像合成部は、前記提示画像を、前記低解像度画像内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行う
上記(14)又は(15)に記載の情報処理装置。
(17)
前記画像合成部は、前記提示画像の代表値が前記低解像度画像に反映されるように合成を行う
上記(14)乃至(16)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を行う、
情報処理方法。
(19)
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を
情報処理装置に実行させるプログラム。
(20)
複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、
計測対象の一部を前記マルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する演算部を備えた情報処理装置と、を有する
情報処理システム。
1…情報処理装置、2…演算部、3…飛行制御部、21…データ入力部、22…入力バッファ、32…植生指数演算部、24…フィルタリング生成部、25…演算結果バッファ、26…フィルタリング実行部、27…提示画像化部、28…出力バッファ、29…画像合成部、30…画像出力部30、31…ユーザ入力部、200…飛行体、250…撮像装置、300…圃場

Claims (20)

  1. 計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、前記計測対象に対する評価情報となる演算結果画像を生成する演算部を備えた
    情報処理装置。
  2. 前記演算部は、
    フィルタリング処理に用いることができるフィルタ画像を、前記サンプリング画像を用いて生成するフィルタリング生成部を有する
    請求項1に記載の情報処理装置。
  3. 前記演算部は、
    前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部を有する
    請求項1に記載の情報処理装置。
  4. 前記評価指数画像は植生指数を表した植生指数画像である
    請求項3に記載の情報処理装置。
  5. 前記演算部は、
    前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
    フィルタリング処理に用いることができるフィルタ画像を、前記評価指数画像を用いて生成するフィルタリング生成部と、を有する
    請求項1に記載の情報処理装置。
  6. 前記演算部は、
    前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
    前記サンプリング画像を用いて生成したフィルタ画像と、前記評価指数画像を用いて生成したフィルタ画像とを用いて、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、を有する
    請求項1に記載の情報処理装置。
  7. 前記演算部は、
    フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
    前記フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部と、を有する
    請求項1に記載の情報処理装置。
  8. 前記演算部は、
    前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
    フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
    前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、を有する
    請求項1に記載の情報処理装置。
  9. 前記演算部は、
    前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
    フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
    前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、
    前記フィルタリング結果画像を用いて提示画像を生成する提示画像化部と、を有する
    請求項1に記載の情報処理装置。
  10. 前記提示画像化部は、
    前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成する
    請求項9に記載の情報処理装置。
  11. 前記提示画像化部は、
    前記フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成する
    請求項9に記載の情報処理装置。
  12. 前記提示画像化部は、
    前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成する
    請求項9に記載の情報処理装置。
  13. 前記他の画像は、
    前記サンプリング画像、前記評価指数画像、前記フィルタ画像、又は前記フィルタリング結果画像のいずれかである
    請求項12に記載の情報処理装置。
  14. 前記演算部は、
    前記サンプリング画像よりも低解像度の画像として前記計測対象を撮像した低解像度画像と、前記提示画像を合成する画像合成部を有する
    請求項9に記載の情報処理装置。
  15. 前記画像合成部は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行う
    請求項14に記載の情報処理装置。
  16. 前記画像合成部は、前記提示画像を、前記低解像度画像内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行う
    請求項14に記載の情報処理装置。
  17. 前記画像合成部は、前記提示画像の代表値が前記低解像度画像に反映されるように合成を行う
    請求項14に記載の情報処理装置。
  18. 情報処理装置が、
    計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を行う、
    情報処理方法。
  19. 計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を情報処理装置に実行させるプログラム。
  20. 複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、
    計測対象の一部を前記マルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する演算部を備えた情報処理装置と、を有する
    情報処理システム。
JP2019549907A 2017-10-26 2018-09-06 情報処理装置、情報処理方法、プログラム、情報処理システム Pending JPWO2019082519A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017206815 2017-10-26
JP2017206815 2017-10-26
PCT/JP2018/032993 WO2019082519A1 (ja) 2017-10-26 2018-09-06 情報処理装置、情報処理方法、プログラム、情報処理システム

Publications (1)

Publication Number Publication Date
JPWO2019082519A1 true JPWO2019082519A1 (ja) 2020-11-19

Family

ID=66247413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549907A Pending JPWO2019082519A1 (ja) 2017-10-26 2018-09-06 情報処理装置、情報処理方法、プログラム、情報処理システム

Country Status (6)

Country Link
US (1) US11823447B2 (ja)
EP (1) EP3703005A4 (ja)
JP (1) JPWO2019082519A1 (ja)
CN (1) CN111226261A (ja)
AU (1) AU2018357616A1 (ja)
WO (1) WO2019082519A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235240A1 (ja) * 2018-06-06 2019-12-12 株式会社Nttドコモ 情報処理装置
SE546151C2 (en) * 2021-03-01 2024-06-11 Husqvarna Ab Vegetation management system and method for managing vegetation within an area
WO2022209418A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
DE102021129742A1 (de) 2021-11-15 2023-05-17 Beuth Hochschule Für Technik Berlin Verfahren zur Wasserstatusbestimmung von Pflanzen
US11803863B2 (en) * 2021-12-13 2023-10-31 Crop Search Llc System and method for food safety audit and sampling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085517A (ja) * 2004-09-17 2006-03-30 Hiroshima Pref Gov 衛星データによる森林地域の植生分類方法
JP2010086276A (ja) * 2008-09-30 2010-04-15 Shinshu Univ 樹種分類方法及び樹種分類システム、森林現況情報の作成方法及び森林現況情報の作成システム、間伐対象区域の選定方法及び間伐対象区域の選定システム
JP2016110292A (ja) * 2014-12-03 2016-06-20 国立研究開発法人産業技術総合研究所 画像データ利用システム及び画像データ利用方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS493469B1 (ja) 1970-12-21 1974-01-26
JP3541855B2 (ja) 1994-12-01 2004-07-14 朝日航洋株式会社 3次元データ抽出方法及び装置
US6160902A (en) * 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
US20010016053A1 (en) * 1997-10-10 2001-08-23 Monte A. Dickson Multi-spectral imaging sensor
US6366681B1 (en) * 1999-04-07 2002-04-02 Space Imaging, Lp Analysis of multi-spectral data for extraction of chlorophyll content
US7058197B1 (en) * 1999-11-04 2006-06-06 Board Of Trustees Of The University Of Illinois Multi-variable model for identifying crop response zones in a field
US6608931B2 (en) * 2001-07-11 2003-08-19 Science Applications International Corporation Method for selecting representative endmember components from spectral data
US7400770B2 (en) * 2002-11-06 2008-07-15 Hrl Laboratories Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks
JP4903469B2 (ja) 2006-03-28 2012-03-28 富士通セミコンダクター株式会社 欠陥検出方法
WO2010144877A1 (en) * 2009-06-11 2010-12-16 Petroalgae, Llc Vegetation indices for measuring multilayer microcrop density and growth
WO2012092554A1 (en) * 2010-12-30 2012-07-05 Utility Risk Management Corporation, Llc Method for locating vegetation having a potential to impact a structure
JP5673823B2 (ja) * 2011-06-29 2015-02-18 富士通株式会社 植物種識別装置、方法およびプログラム
WO2013059399A1 (en) * 2011-10-20 2013-04-25 Monsanto Technology Llc Plant stand counter
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
US20150254800A1 (en) * 2014-03-06 2015-09-10 F12 Solutions, Llc Nitrogen status determination in growing crops
US9401030B2 (en) * 2014-04-25 2016-07-26 Tazco Soil Service Co. Image processing system for soil characterization
EP3350554A4 (en) * 2015-09-18 2019-06-12 Slantrange, Inc. SYSTEMS AND METHODS FOR DETERMINING STATISTICS RELATING TO PLANT POPULATIONS BASED ON OPERATIONAL OPTIC MEASUREMENTS
US10120543B2 (en) * 2016-02-09 2018-11-06 Deere & Company Plant emergence system
US20230005261A1 (en) * 2021-07-01 2023-01-05 The Johns Hopkins University Object detection over water using normalized difference vegetation index system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085517A (ja) * 2004-09-17 2006-03-30 Hiroshima Pref Gov 衛星データによる森林地域の植生分類方法
JP2010086276A (ja) * 2008-09-30 2010-04-15 Shinshu Univ 樹種分類方法及び樹種分類システム、森林現況情報の作成方法及び森林現況情報の作成システム、間伐対象区域の選定方法及び間伐対象区域の選定システム
JP2016110292A (ja) * 2014-12-03 2016-06-20 国立研究開発法人産業技術総合研究所 画像データ利用システム及び画像データ利用方法

Also Published As

Publication number Publication date
US11823447B2 (en) 2023-11-21
WO2019082519A1 (ja) 2019-05-02
CN111226261A (zh) 2020-06-02
US20210201025A1 (en) 2021-07-01
EP3703005A1 (en) 2020-09-02
AU2018357616A1 (en) 2020-04-02
EP3703005A4 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JPWO2019082519A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
US10713777B2 (en) Organism growth prediction system using drone-captured images
Yang et al. Adaptive autonomous UAV scouting for rice lodging assessment using edge computing with deep learning EDANet
Lehmann et al. Open-source processing and analysis of aerial imagery acquired with a low-cost unmanned aerial system to support invasive plant management
Torres-Sánchez et al. Configuration and specifications of an unmanned aerial vehicle (UAV) for early site specific weed management
US10234439B2 (en) Methods and systems for analyzing a field
Laliberte et al. UAS remote sensing missions for rangeland applications
Gränzig et al. Mapping the fractional coverage of the invasive shrub Ulex europaeus with multi-temporal Sentinel-2 imagery utilizing UAV orthoimages and a new spatial optimization approach
JP7415347B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
de Oca et al. The AgriQ: A low-cost unmanned aerial system for precision agriculture
JP7415348B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
JP2011103098A (ja) 樹木本数算定方法及び樹木本数算定装置
EP4064182A1 (en) Information processing device, information processing method, and program
Belton et al. Crop height monitoring using a consumer-grade camera and UAV technology
KR102262382B1 (ko) 무인기 기반 영상 취득의 광지역 공간정보 구축시스템
JP2020149201A (ja) 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置
Zhang Native vegetation classification using remote sensing techniques: A case study of dairy flat regrowth bush by using the AUT unmanned aerial vehicle
WO2019235240A1 (ja) 情報処理装置
JP7218722B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6862299B2 (ja) 圃場の空撮システム
US20230408889A1 (en) Imaging apparatus and lens apparatus
Wijesingha Geometric quality assessment of multi-rotor unmanned aerial vehicle borne remote sensing products for precision agriculture
Santillan et al. Effects of flight plan parameters on the quality and usability of low-cost UAS photogrammetry data products for tree crown delineation
JP7039351B2 (ja) 家屋異動判読支援システム、家屋異動判読支援方法および家屋異動判読支援プログラム
JP4819735B2 (ja) ラインセンサ観測画像の色補正方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704