JPWO2019017095A1 - 情報処理装置、情報処理方法、プログラム、情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、情報処理システム Download PDF

Info

Publication number
JPWO2019017095A1
JPWO2019017095A1 JP2019530922A JP2019530922A JPWO2019017095A1 JP WO2019017095 A1 JPWO2019017095 A1 JP WO2019017095A1 JP 2019530922 A JP2019530922 A JP 2019530922A JP 2019530922 A JP2019530922 A JP 2019530922A JP WO2019017095 A1 JPWO2019017095 A1 JP WO2019017095A1
Authority
JP
Japan
Prior art keywords
vegetation
data
information
ratio
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530922A
Other languages
English (en)
Other versions
JP7156282B2 (ja
Inventor
恵助 海野
恵助 海野
高嶋 昌利
昌利 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019017095A1 publication Critical patent/JPWO2019017095A1/ja
Application granted granted Critical
Publication of JP7156282B2 publication Critical patent/JP7156282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0488Optical or mechanical part supplementary adjustable parts with spectral filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4266Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4266Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
    • G01J2001/428Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light for sunlight scattered by atmosphere
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Remote Sensing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Sustainable Development (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

時系列的な植生状態の変化を適切に表す植生変化情報が生成できるようにする。このために、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群を処理対象とする。このデータ群について、比情報を用いて使用する植生データの抽出を行う抽出部と、抽出部で抽出された植生データを用いて、時系列での植生状態の変化を示す植生変化情報を生成する生成部とを備えるようにする。比情報を用いることで環境光条件が似通った植生データを集めることができる。

Description

本技術は情報処理装置、情報処理方法、プログラム、情報処理システムに関し、特に植生状態の変化を提示する植生変化情報の生成に好適な技術に関する。
例えば小型の飛行体に撮像装置を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
特許文献1には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。
特許第5162890号公報
圃場の植生の撮像画像からは植生指数を測定することができ、例えば日ごとに撮像された画像から植生指数を求めていけば、時系列的な植生状態の変化を提示する植生変化情報を生成することができる。例えば植生指数としてNDVI(Normalized Difference Vegetation Index)を求め、時系列に並べることで、植生状態の変化が確認できる。
ところがNDVI等の植生指数については、天候(晴天/曇天)などの条件の違いにより値が変動するということが生じていた。すると、例えば日ごとのNDVIの変化を確認したいと思っても、NDVIを時系列に並べた植生変化情報には、天候による値の変動が含まれていることになる。このため作業者等は植生変化情報を見ても、日ごとの植生の変化を正しくつかめない。
そこで本技術では、天候等の条件による変動を受けにくい植生変化情報を生成できるようにし、時系列的な植生状態の変化を的確に提示できるようにすることを目的とする。
本技術に係る情報処理装置は、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データから、前記比情報に基づいて少なくとも一部の植生データを抽出する抽出部を備えている。
即ち各時点の植生データを有するとともに、その観測時の環境光の成分比(比情報)が対応づけられているデータ群を処理対象とする。この場合に、比情報により、出力に適した植生データを抽出する。
また上記した情報処理装置においては、前記抽出部で抽出された植生データを用いて、時系列での前記植生データの変化を示す植生変化情報を生成する生成部を備えている。
即ち比情報により抽出部で抽出した、出力に適した植生データを用いて植生変化情報を生成する。
上記した情報処理装置においては、前記比情報は、直達光の検出値と散乱光の検出値の比の値、又は全天光の検出値と散乱光の検出値の比の値であることが考えられる。
直達光は例えば太陽等の高原から直接到達した光成分(いわゆる直射日光)であり、散乱光は大気の分子や雲粒で散乱された光である。直達光と散乱光の和が全天光となる。
上記した情報処理装置においては、前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを、使用する植生データから排除する処理を行うことが考えられる。
例えば比情報を(直達光)/(散乱光)とした場合、曇天時は比情報=0付近となる。
また例えば比情報を(全天光)/(散乱光)とした場合、曇天時は比情報=1付近となる。これらの“0”或いは“1”を特定値とし、比情報が特定値もしくは特定値に近い値となっている植生データを排除する。
上記した情報処理装置においては、前記抽出部は、対応づけられた比情報の値が、特定値に対して所定以上の差を有している植生データを抽出する処理を行うことが考えられる。
例えば曇天時に比情報が“0”或いは“1”となるように比情報を計算する場合において、これらの“0”或いは“1”を特定値とし、比情報が特定値から十分に離れている値となっている植生データを使用する植生データ(もしくはその候補)として抽出する。
上記した情報処理装置においては、前記抽出部は、対応づけられた比情報の値が閾値との比較により互いに近接していると判定される複数の植生データを抽出する処理を行うことが考えられる。
環境光の成分比である比情報が近接しているということは、植生データ算出のための観測時の環境光の状態が類似しているということである。
上記した情報処理装置においては、前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを抽出する処理を行うことが考えられる。
例えば曇天時に比情報が“0”或いは“1”となるように比情報を計算する場合において、これらの“0”或いは“1”を特定値とし、比情報が特定値付近の値となっている植生データを使用する植生データ(もしくはその候補)として抽出する。
上記した情報処理装置においては、前記抽出部による抽出処理の抽出条件が可変設定可能とされていることが考えられる。
例えば比情報が特定値に近い植生データの排除、比情報が特定値から十分離れている植生データの抽出、比情報が近い複数の植生データの抽出、比情報が特定値に近い植生データの抽出、等の抽出処理の条件を、ユーザ操作等により可変設定可能とする。
上記した情報処理装置においては、前記生成部は、前記抽出部が抽出した植生データについて、比情報を一定としたときの値に換算し、換算した植生データを用いて植生変化情報を生成することが考えられる。
例えば抽出された比情報が近い植生データを用いて植生変化情報を生成することになるが、植生データを、比情報が一定値となる状態に換算する。
上記した情報処理装置においては、各時点についての植生の観測データを用いて植生データを算出する植生データ演算部を備えることが考えられる。
即ち各時点の植生データを情報処理装置内で生成するようにする。
上記した情報処理装置においては、前記植生データ演算部は、植生データとしてNDVIの値を求めることが考えられる。
即ち植生指数であるNDVIの値を求め、このNDVIの変化としての植生変化情報が生成されるようにする。
上記した情報処理装置においては、各時点についての植生データに対応して、該当時点の環境光の検出値を用いて環境光の成分比である比情報を算出する比演算部を備えることが考えられる。
即ち各時点の植生データに対応する比情報を情報処理装置内で生成するようにする。比情報は植生データの生成に用いた検出値と略同時点に得られた光検出値を用いて算出する。
上記した情報処理装置においては、前記比演算部は、
遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサにより得られる、各受光部の検出値を用いて比情報を算出することが考えられる。
遮光体により飛行体に搭載された環境光センサを用いて直達光、散乱光の検出が可能となる。
本技術に係る情報処理方法は、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理を情報処理装置が実行する情報処理方法である。これにより情報処理装置において環境条件による影響を受けにくい植生変化情報を生成するための植生データ抽出ができる。
本技術に係るプログラムは、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理をコンピュータ装置に実行させるプログラムである。これにより環境条件による影響を受けにくい植生変化情報を生成するための植生データ抽出を行うコンピュータ装置の実現が容易となる。
本技術に係る情報処理システムは、遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサと、上記の比演算部と、抽出部と、生成部とを備える。これにより環境条件による影響を受けにくい植生変化情報の生成に適したシステムを構築できる。
本技術によれば、天候等の条件による変動が表れにくく時系列的な植生状態の変化を的確に提示できる植生変化情報を生成できるという効果がある。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の圃場の撮像の様子の説明図である。 実施の形態の撮像装置及び環境光センサのブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態で用いることのできるコンピュータ装置のブロック図である。 日向領域と日陰領域の観測から得られたNDVIと光合成光量子束密度の遷移図である。 測定で得られた比情報とNDVIの例の説明図である。 実施の形態の抽出処理の説明図である。 抽出処理を経ずに生成される植生変化情報の説明図である。 実施の形態の抽出処理を経て生成される植生変化情報の説明図である。 実施の形態のNDVIの値の換算の説明図である。 実施の形態の抽出処理及び換算処理を経て生成される植生変化情報の説明図である。 実施の形態のNDVIの値の換算の際の直線近似の例の説明図である。 実施の形態の処理例のフローチャートである。 実施の形態の抽出処理及び生成処理の例のフローチャートである。 実施の形態の抽出処理及び生成処理の例のフローチャートである。 実施の形態の環境光センサの構造例の説明図である。 実施の形態の環境光センサへの入射角についての説明図である。 実施の形態の散乱光取得の手法の説明図である。 実施の形態の全天光と散乱光取得の手法の説明図である。
以下、実施の形態を次の順序で説明する。
<1.システム・装置の構成>
<2.比情報を用いた抽出処理>
<3.比情報を用いた植生指数の換算処理>
<4.処理例>
<5.環境光センサによる光検出に関する各種の例>
<6.まとめ及び変形例>
<1.システム・装置の構成>
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
図1に示すように飛行体200に搭載された撮像装置250を用いて圃場210の植生に関するリモートセンシングを例えば毎日行う。そして、毎日の観測で得られた植生データ(例えば植生指数のデータ)を用いて情報処理装置1で時系列的な植生状態の変化を示す植生変化情報を生成するという例で説明する。
図1は圃場210の様子を示している。
小型の飛行体200は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場210の上空を移動することができる。
飛行体300には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が所定の経路で圃場210の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行ったり、或いは動画撮像を行うことで、各時点において撮像視野の範囲Wの画像を得ることができる。
撮像装置250がどのような種類の撮像装置であるかは各種考えられる。
例えば撮像装置250の撮像によって得られる画像ファイル(或る時点の撮像画像)には分光計測画像を含むことが考えられる。即ち撮像装置250はマルチスペクトラムカメラとされ、撮像される画像としては、特定の2以上の波長領域の情報を有する測定画像を含むものが考えられる。
また撮像装置250としてR(赤)、G(緑)、B(青)の可視光画像を撮像するカメラが用いられてもよい。
また撮像装置250として、赤波長領域(RED)と近赤外領域(NIR:Near Infra Red)の撮像画像を得るカメラであり、得られる画像からNDVIが算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
以下では撮像装置250は赤波長領域(RED)と近赤外領域(NIR)の撮像画像を得ることができるカメラであるとして説明する。
また撮像装置250で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
本実施の形態では、飛行体200には撮像装置250とともに、環境光センサ260が搭載されている。図1の例では2つの環境光センサ260A、260Bが飛行体200の上面側に搭載されている。
なお、使用する1又は複数の環境光センサをまとめて指す場合は「環境光センサ260」と表記する。
環境光センサ260A、260Bのそれぞれは、上面側に受光部261を備えて光検出を行う。この構成により太陽400を光源とする環境光のレベル(照度、光合成光量子束密度(photosynthetic photon flux density:以下「PPFD」と記述)等)を検知することができる。
なおPPFDはクロロフィルが吸収できる400nmから700nmまでの波長領域だけの光量子束密度である。
環境光センサ260A、260Bの検出値によって全天光、散乱光の光量を検出することができ、またこれらから直達光の光量を算出できる。
屋外における環境光は一般に、(全天光)=(直達光)+(散乱光)と表される。
直達光とは太陽400からのいわゆる直射日光を意味する。
散乱光とは直射日光以外にも大気の分子や雲粒で散乱された光である。
全天光とは全天からの光の総和であり、直達光と散乱光の和でもある。
環境光センサ260Aには日光を遮るものは設けられておらず、このため環境光センサ260Aによっては直達光も散乱光も受光される。従って環境光センサ260Aによっては全天光の照度等が検出できる。
環境光センサ260Bには上面に突設されたポール状の遮光体262が設けられており、この遮光体262が受光部261に影SDWを落とす。これによって受光部261は直達光を受光しない。従って環境光センサ260Bによっては散乱光の照度等が検出される。
直達光については、環境光センサ260Aの検出値から環境光センサ260Bの検出値を減算することで求められる。
環境光センサ260A、260Bとしては、環境光としてR(赤),G(緑),B(青),NIR(近赤外光)の照度をそれぞれ出力するものが考えられる。
即ち環境光センサ260Aによっては全天光のR,G,B,IRの各検出値(E-RED、E-GREEN、E-BLUE、E-NIR)が得られ、環境光センサ260Bによっては散乱光のR,G,B,IRの各検出値(E-RED、E-GREEN、E-BLUE、E-NIR)がそれぞれ得られる。
なお、環境光センサ260A、260Bによる検出値については、タグ情報が付加される。例えばタグ情報として検出日時情報や、GPSデータとしての位置情報(緯度/経度情報)などが含まれるようにする。
ところで、環境光センサ260Bにおいてポール状の遮光体262を設けるのは、なるべく受光部261に対して直射日光のみを遮光することが望ましいためである。換言すれば、受光部261に対して太陽400のみをピンポイントで覆うことがよい。これは広く遮光してしまうと、散乱光の一部も遮光されることになり、散乱光レベルの検出が正確でなくなったり、値がばらつくことがあるためである。
以上のように飛行体200に搭載された撮像装置250や環境光センサ260によって得られる画像データや検出値は、情報処理装置1に送られる。情報処理装置1は画像データや検出値を用いて時系列での植生状態の変化を示す植生変化情報を生成する。本実施の形態では、具体的には時系列でのNDVIの変化を示す植生変化情報を生成する例で説明するが、特に天気の影響によるNDVIの値の変動を抑えた状態の植生変化情報を提供できるようにするものである。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
図2に撮像装置250の構成例を示す。
撮像装置250は、撮像部31、信号処理部32、制御部33、格納部34、通信部35、位置検出部36、時計部37を有する。
撮像部31は、撮像レンズ系、露光部、フィルタ、及びイメージセンサ等を有し、被写体光を受光して電気信号としての撮像画像信号を出力する。
即ち撮像部31において、被測定対象物等の被写体からの光(反射光)は、レンズ系とフィルタを介してイメージセンサに入射される。
レンズ系とは入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなど各種レンズを含む入射光学系のことをいう。
フィルタとは被測定対象物についての測定しようとする波長を取り出すためのフィルタである。これは一般にイメージセンサ上に構成されるカラーフィルタとその前に配置される波長フィルタなどをいう。
露光部とは、イメージセンサにおいて、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ系等の光学系やアイリス(絞り)による開口量などを調整することで、露光制御を行う部位をいう。
イメージセンサは、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子を有して構成される。
イメージセンサは、フィルタを通過した光を、センシング素子により検出することで、光の光量に応じた撮像画像信号を信号処理部32に出力する。
信号処理部32は、撮像部31のイメージセンサから出力される撮像画像信号に対し、AGC処理、A/D変換処理等を施してデジタルデータに変換し、さらに必要な各種信号処理を行って、測定対象物の画像データとして制御部33に出力する。
測定対象の画像データとして、赤波長領域(RED)と近赤外領域(NIR)の撮像画像を得ることとすると、信号処理部32はRED画像データ、NIR画像データを生成し、制御部33に出力することになる。
制御部33は例えばマイクロコンピュータにより構成され、撮像動作、画像データの格納動作、通信動作等、撮像装置250の全体の動作制御を行う。
制御部33は、逐次、信号処理部32から供給されるRED画像データ、NIR画像データを格納部34に格納していく処理を行う。この際、RED画像データ、NIR画像データについてはタグ情報を付加して画像ファイル化して格納部34に格納する。
例えば制御部33は、各時点のRED画像データ、NIR画像データに位置検出部36によって得られる位置情報や、時計部37によって得られる日時情報を対応づけてファイル化する。なお位置検出部36は例えばGPS受信器などにより構成され、位置情報として経度・緯度の情報を制御部33に供給する。
また制御部33は、上述した撮像装置情報や画像データの情報もそれぞれ付加する。
従って格納部34に格納されるRED画像データ、NIR画像データについては、情報処理装置1等の外部機器によっても、撮像された位置や日時、データ種別、撮像装置種別等の情報が認識できる。
この図2の例では、環境光センサ260A、260Bによる検出値は撮像装置250の制御部33に入力されるようにしている。
制御部33は、環境光センサ260A、260Bの検出値をそれぞれ逐次、第1環境光データ、第2環境光データとして格納部34に記憶させる。
また制御部33は位置検出部36,時計部37からの位置情報、日時情報を用いて第1環境光データ、第2環境光データに検出時の位置情報や日時情報を付加して格納部34に記憶させる。従って格納部34に格納される第1環境光データ、第2環境光データについては、情報処理装置1等の外部機器によっても、撮像された位置や日時の情報が認識できる。
なお、環境光センサ260A、260Bが上述のように構成される場合、環境光センサ260Aの検出値である第1環境光データは全天光データである。一方、遮光体262が受光部261に影SDWを落とす環境光センサ260Bの検出値である第2環境光データは散乱光データである。
格納部34は、例えば撮像装置250の内部メモリとしてのフラッシュメモリや、可搬性のメモリカードなどとされる。もちろん他の種類の記憶媒体が用いられてもよい。
通信部35は、有線又は無線の通信により外部機器との間でデータ送受信を行う。例えばUSB(Universal Serial Bus)等の規格による有線通信でもよいし、ブルートゥース(登録商標)、WI−FI(登録商標)等の無線通信規格の通信を行うものでもよい。
いずれにしても通信部35により、格納部34に格納されたRED画像データ、NIR画像データ、第1環境光データ、第2環境光データは、例えば情報処理装置1等の外部機器に転送できるようにされている。
なお、格納部34が可搬性のメモリカード等とされる場合、メモリカード等の記憶媒体の受け渡しによって、格納されたデータが情報処理装置1等に受け渡されるようにしてもよい。
続いて図3により情報処理装置1の構成を説明する。
図3は本実施の形態としての情報処理装置1の機能構成を示している。図示するように情報処理装置1には、演算部10、通信部11、格納部12、出力部13が設けられる。
通信部11は、有線又は無線の通信により少なくとも撮像装置250の通信部35との間でデータ送受信が可能とされる。通信部11による通信により、情報処理装置1は撮像装置250の格納部34に記憶されたRED画像データ、NIR画像データ、第1環境光データ、第2環境光データを取得することができる。例えば撮像装置250の撮像中に逐次無線通信を行い、これらのデータを受信取得していってもよいし、撮像終了後にまとめて各時点のデータを受信取得してもよい。
格納部12は、通信部11が取得したRED画像データ、NIR画像データ、第1環境光データ、第2環境光データを格納する。なお、メモリカードスロットなどを設け、撮像装置250と共通の記憶媒体のドライブを有する場合、その撮像装置250で使用したメモリカード等の記憶媒体がそのまま格納部12として機能するようにしてもよいし、その記憶媒体から情報処理装置1内部の記憶媒体(格納部12)にデータが転送記憶されるものとしてもよい。
演算部10は図4で後述するCPU51により構成される。演算部10(CPU51)において起動されるプログラムにより実行される機能部位として、植生指数演算部10A、比演算部10B、抽出部10C、生成部10D、出力制御部10Eが設けられる。
植生指数演算部10Aは格納部12に取り込まれたRED画像データ、NIR画像データ、即ち植生の観測データを用いて植生データを算出する。算出した植生データは、当該観測データの日時/位置の植生データとして格納部12に格納される。
具体的には、植生データ演算部10Aは植生データとして植生指数の1つであるNDVIの値を求める。
NDVIは、保存されたRED画像データ、NIR画像データを用い、
NDVI=(1−RED/NIR)/(1+RED/NIR)
と演算される。
なお、第1環境光データとして全天光データ、第2環境光データとして散乱光データが取得されている。NDVIについては、RED画像データ、NIR画像データと同時刻(略同時刻でもよい)に取得される全天光データの赤検出値E-RED、近赤外光検出値E-NIRを用いて補正するようにしてもよい。
即ち基準係数をαとして、
補正係数k=α・E-NIR/E-RED
と求める。この補正係数αを用い、NDVIは
NDVI=(1−k・RED/NIR)/(1+k・RED/NIR)
と補正した値とする。
植生指数演算部10Aはこのような演算で各時点のNDVIを求める処理を行う。各時点のNDVIは格納部12に保存される。
比演算部10Bは、各時点についての植生データ(NDVI)に対応して、該当時点の検出値を用いて環境光の成分比である比情報を算出する。
環境光の成分比とは、環境光に含まれる(分解できる)成分の比(例えば各成分の照度の比)である。
この場合の環境光の成分比とは、全天光と散乱光の比、或いは直達光と散乱光の比である。即ち、
比情報=(直達光)/(散乱光)
又は、
比情報=(全天光)/(散乱光)
とする。
また検出値としてはR,G,B,IRの検出値E-RED、E-GREEN、E-BLUE、E-NIRがあるが、例えば比情報算出にはG検出値E-GREENを用いることが考えられる。例えば、
比情報=(直達光(又は全天光)のG検出値E-GREEN)/(散乱光のG検出値E-GREEN)
とすることが考えられる。
また或いは、検出値(E-RED)+(E-GREEN)+(E-BLUE)の値を用いて照度を求め、
比情報=(直達光(又は全天光)の照度)/(散乱光の照度)
としてもよい。
これらの手法で算出された比情報は、その日時/位置のNDVIに対応づけられて格納部12に保存される。
抽出部10Cは、それぞれに環境光の成分比である比情報が対応づけられた複数の時点のNDVIを有するデータ群について、比情報を用いて使用する植生データの抽出を行う。
即ち、植生指数演算部10Aにより、各時点のNDVIが求められて保存され、また各時点のNDVIには比算出部10Bで求められた比情報が対応づけられていくことで、格納部12には、ある期間における各時点のNDVIを含むデータ群が形成されていることになる。抽出部10Cは、このデータ群のうちで、植生変化情報の生成に用いるNDVIを、比情報を参照して抽出する処理を行う。
なお、各時点のNDVIは、特に一部のNDVIを抽出せずとも、その全てを並べれば、時系列状のNDVIの変化を示す植生変化情報となり得る。但しその場合、天気の影響で
NDVIが時系列観察としてあまり適切でない値になったものも含まれる。本実施の形態では、時系列観察として適切なNDVIを抽出し、それによる植生変化情報を作成するものである。
生成部10Dは、抽出部10Cで抽出されたNDVIのデータを用いて、時系列での植生状態の変化を示す植生変化情報を生成する。即ち抽出されたNDVIを時系列で並べて、植生の変化を観察できる情報を生成する。
出力制御部10Eは、生成部10Dが生成した植生変化情報の出力制御を行う。具体的にはある期間の植生変化情報を格納部12に格納したり、出力部13に供給して出力させる処理を行う。
出力部13は、演算部10が生成した植生変化情報IFTを出力する。
例えば出力部13は表示出力部とされて、ディスプレイ装置に画像データ化した植生変化情報IFTを供給し、表示出力される。
また例えば出力部13は印刷制御部とされて、プリント用の情報とした植生変化情報IFTをプリンタ装置に供給し、印刷出力される。
また例えば出力部13は外部機器通信部とされて、外部機器に植生変化情報IFTを送信する。
具体的な処理例は後述するが、以上の図3の構成において、少なくとも抽出部10Cとしての機能をハードウエア又はソフトウエアにより具備することで、演算部10(又は演算部10を有する情報処理装置1)は、請求項にいう情報処理装置に相当することになる。
また情報処理装置1はPC(personal computer)やFPGA(field-programmable gate array)などとして実現できる。
また、以上の構成では、植生指数演算部10A、比演算部10Bを情報処理装置1側で備えるようにしたが、これらを撮像装置250の制御部33に設け、NDVI及び比情報が対応付け可能な状態で撮像装置250から情報処理装置1に送信されるようにしてもよい。
さらには抽出部10C、生成部10Dとしての機能も撮像装置250の制御部33に設けるようにして、撮像装置250で植生変化情報IFTを出力できるようにしてもよい。その場合、撮像装置250が請求項にいう情報処理装置に相当することになる。
続いて、本実施の形態においてPC等で実現される情報処理装置1のハードウエア構成例(コンピュータ装置150)を図4で説明する。
図4に示すようにコンピュータ装置150は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インターフェース55も接続されている。
入出力インターフェース55には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなるディスプレイ56、キーボード、マウスなどよりなる入力部56、スピーカ58、HDD(Hard Disk Drive)などより構成される記憶部59、通信部60などが接続可能である。
ディスプレイ56はコンピュータ装置150と一体でも良いし別体の機器でもよい。例えば撮像画像や合成画像の表示、評価指標の表示などが行われる。
入力部57は、コンピュータ装置150を使用するユーザが用いる入力デバイスを意味する。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
入出力インターフェース55にはまた、必要に応じてドライブ61が接続され、メモリカード62が装着され、メモリカード62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶される。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
このようなハードウエア構成において、実施の形態の情報処理装置1としての処理、即ち抽出部10C、生成部10Dとしての処理、或いはさらに植生指数演算部10A、比演算部10B、出力制御部10Eとしての処理を行うことができる。即ちこれらの処理はCPU51で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図4のコンピュータ装置150にインストールされる。或いはそのプログラムが記憶部59としてのHDD等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
なお、実施の形態の情報処理装置1は、図4のようなハードウエア構成のコンピュータ装置(情報処理装置)150が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN(Local Area Network)等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図4のコンピュータ装置150は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置150としての機能を有する測定装置、撮像装置、テレビジョン装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1としての機能を搭載することができる。
<2.比情報を用いた抽出処理>
演算部10(抽出部10C)によって行われる、比情報を用いた植生指数データ(NDVI)の抽出処理について説明する。この抽出処理は、生成部10Dで時系列観察に適した植生変化情報を生成するために行う。
まず図5を参照して抽出処理の必要性について説明する。
図5はある期間(ここでは11月2日から11月30日の期間)において観測されたNDVIとPPFDを示している。横軸は日付、縦軸はNDVIの値及びPPFDの値としている。破線がNDVI、実線がPPFDである。
特にPPFDについては、1日に同時刻の2つのサンプルを示している。○(白丸)は日向に設置した光センサにより観測された値、●(黒丸)は日陰に設置した光センサにより観測された値である。
ここで日向に設置された光センサを考える。日向に設置された光センサによっては直射日光があたるため、直達光の成分を含む全天光の検出値が得られる。但し、それは晴天の場合であって、曇天(雨天も含む)の場合は、ほぼ直射日光成分が含まれなくなる。即ち得られる全天光の検出値はほぼ全て散乱光成分となる。
一方、●で示す値を得た、日陰に設置した光センサとは、晴天時にも日陰となる位置に設置された光センサであり、これによっては天候にかかわらず散乱光成分を検出することができる。
ここでNDVIの値が、直接的にPPFD(或いは照度)と相関しているということは必ずしも言えないが、屋外で測定されるNDVIはこの環境光の影響を受けやすく天候が違う時など変動の要因となっている。
一方、日向センサと日陰センサによる検出値の比は、ある程度天候に応じた値となる。
そこで本実施の形態では、上述のように比情報を生成し、比情報により時系列的な観察に適したNDVIの値を抽出するようにする。換言すれば天候状況によりばらついたサンプルを排除するという考え方である。
以下、具体例を説明する。
なお、以下では比情報=(直達光)/(散乱光)とする例で述べる。
図6Aは、ある期間において観測された比情報の値とNDVIの値を示している。比情報=0(又は0付近)とは、直達光=0、つまり曇天(雨天を含む)の日であることを示す。
なお、 比情報=(全天光)/(散乱光)とした場合、全天光=散乱光であるため、曇天では比情報は1付近となる。
この図6Aの値を、横軸を比情報、縦軸をNDVIの値で示したものが図6Bである。
このような各日のNDVIデータに対して抽出処理を行う。
具体的な抽出処理の例としては次のようにする。
(処理1)環境光成分比0付近のNDVIデータは排除する
(処理2)環境光成分比が0より十分大きい値となっているNDVIデータを候補として抽出する
(処理3)候補として抽出されたNDVIデータのうちで環境光成分比(=比情報)の近い複数のNDVIデータを最終抽出する
この例の場合、処理1で比情報=0の11月8日、10日、11日、12日のNDVIデータが使用しないデータとして排除される。
処理2で例えば比情報が特定値(=0)とは十分異なるものが抽出される。例えば比情報が3.00以上異なるものなどとする。その場合、上記以外のNDVIデータが候補として選ばれる。
処理3で比情報が近い複数を抽出する。この場合、例えば11月6日、7日、13日のNDVIデータが最終抽出される。図7A、図7Bに、最終抽出された11月6日、7日、13日のNDVIデータを示している。
このような抽出処理により時系列観察に適した植生変化情報を生成できる。
図8は、比較のために抽出処理を行わない場合を示している。図8Aは11月5日から11月27日までの、比情報が対応づけられたNDVIデータ群を示している。
比情報による抽出を行わずに、全てのNDVIデータを使用して生成した植生変化情報を図8Bに示す。図にみられるように、NDVIの値のばらつきが大きく、期間内のNDVI変化の様子を観察しづらいものとなっている。
一方、図9は抽出処理を行った場合である。図9Aは図8Aと同じNDVIデータ群である。上記の処理1,処理2,処理3を行うことで抽出された比情報及びNDVIに斜線を付している。
そして抽出されたNDVIデータによって生成された植生変化情報を図9Bに示す。図9Bの植生変化情報の場合、天候状況の影響と思われるばらつきが排除され、該当期間での植生の変化が観察しやすいものとなっている。
なお比情報=(全天光)/(散乱光)とした場合、上記処理1では環境光成分比1付近のデータは排除し、また処理2では環境光成分比が1より十分大きいNDVIデータを候補として抽出することになる。
<3.比情報を用いた植生指数の換算処理>
同じく天候状況により変動の影響を軽減した植生変化情報の生成手法の他の例を説明する。次のように各日の観測データに対して抽出処理を行う。
(処理a)環境光成分比0付近のNDVIデータは排除する
(処理b)環境光成分比が0より十分大きい値となっているNDVIデータを候補として抽出する
(処理c)候補として抽出されたNDVIデータと比情報の相関性から近似式を求め、環境光成分比が一定値となるように換算する
処理a、処理bは上記の処理1,処理2と同様である。処理cとして、次のような換算を行う。
処理a、処理bにより、例えば図6Aのデータ群のうちで比情報=0以外のNDVIが抽出されることになる。抽出されるNDVIの値を図10Bに示している(NDVI換算前の値)。
これらの換算前のNDVIの値と比情報の値には相関性が認められ、直線近似が可能である。近似直線L1の傾きが−0.0173であったとする。
また、この場合、比情報は3.00〜5.00の範囲内に分布しているが、これを一定値に換算する。例えば比情報=4.0となるように換算する。
なお、4.0は一例である。一定値は任意に決定してよい。例えば抽出されているNDVIの比情報の平均値、中央値、重心値などとしてもよい。
比情報が一定値4.0になるように換算したNDVIの値は、
NDVI換算値=0.0173×(比情報の値−4.0)+NDVI
とする。これにより環境光成分比が一定値4.0となる状態に換算できる。
図10Aに比情報=4.0に換算したNDVI(換算値)を示す。図10Bでは、この換算値を“*”として示している。
このようなNDVIの換算値を用いて植生変化情報を生成する。
図11Aは11月5日から11月27日までの、比情報が対応づけられたNDVIのデータ群であるがNDVIの値は比情報が4.0となるようにした換算値とされている。
この換算値を用いた植生変化情報を図11Bに示す。この場合、植生変化がきわめてよく把握できる情報となっている。例えば11月14日付近における何らかの事情(例えば肥料を与えるなど)により、NDVIが向上していることが見て取れる。
ところで、この図11の場合において、期間前半(11月5日〜11月13日)における換算は図10Bの直線近似によるものだが、期間後半(11月14日〜11月27日)における換算は異なる直線近似による。例えばこの場合、期間後半のNDVIは期間前半に比べて値が高くなっており、それらの値の近似直線は図12に示す近似直線L2となる。近似直線L2の傾きが近似直線L1の傾きと同一とすれば、上記式で求めたNDVI換算値の値を得ることができる。
なお、このようにNDVIの値についてグループ(期間前半のグループと期間後半のグループ)が生じるような場合に、それぞれを同じ傾きの直線で近似することは必須ではない。観測されたNDVIの値から結果として異なる傾きの近似直線となってもよい。
また、この図12の例の場合、期間後半には近似曲線が矢印D1方向(右上)にシフトした状態となる。これは、傾向としてNDVIの値が上昇していることを示すものともなる。逆に近似直線が矢印D2方向(左下)にシフトした場合は傾向としてNDVIの値が下降していることを示すものとなる。
<4.処理例>
以上の各例の抽出処理、換算処理を含む情報処理装置1の演算部の処理例を説明する。
図13A、図13B、図13Cはいずれも演算部10が行う処理であるが、特に機能別に示せば、図13Aは植生指数演算部10Aが行うNDVI演算処理、図13Bは比演算部10Bが行う環境光成分比(比情報)演算処理、図13Cは抽出部10C、生成部10D、及び出力制御部10Eが行う抽出・生成処理の例といえる。
まず図13AのNDVI演算処理を説明する。
ステップS100で演算部10は、撮像装置250から提供される画像データを取得し、格納部12に保存する。即ちRED画像データ、NIR画像データを取得、保存する。
ステップS101で演算部10は、環境光センサ260A、260Bから撮像装置250を介して提供される環境光データを取得し、格納部12に保存する。
なお環境光データとしては全天光のR,G,B,IRの各検出値(E-RED、E-GREEN、E-BLUE、E-NIR)と、散乱光のR,G,B,IRの検出値(E-RED、E-GREEN、E-BLUE、E-NIR)が取り込まれる。NDVI演算プロセスでは全天光の検出値E-RED、E-NIRが用いられる。
ステップS102で演算部10はNDVIの値を算出する。即ちRED画像データ、NIR画像データ、全天光の検出値E-RED、E-NIRを用い、上述した
NDVI=(1−k・RED/NIR)/(1+k・RED/NIR)
の演算によりNDVIの値を算出する。
演算部10は、以上のNDVI演算処理を各時点の画像データ及び環境光データが受信されるたびに実行してもよいし、ある期間の画像データ及び環境光データがまとめて受信されたり、或いは格納部12に蓄積された段階で、各時点について実行するようにしてもよい。
次に図13Bの環境光成分比(比情報)の演算処理を説明する。
ステップS200で演算部10は、環境光センサ260Aから撮像装置250を介して提供される環境光データを取得し、格納部12に保存する。
なおこの処理は、実際には図13AのステップS101と共通ルーチンで実行できる。比情報の算出のために、全天光のR,G,Bの各検出値(E-RED、E-GREEN、E-BLUE)を取得して保存する。
ステップS201で演算部10は、環境光センサ260Bから撮像装置250を介して提供される環境光データを取得し、格納部12に保存する。即ち比情報の算出のために、散乱光のR,G,Bの各検出値(E-RED、E-GREEN、E-BLUE)を取得して保存する。
ステップS202では演算部10は比情報を算出する。
全天光のR,G,Bの各検出値(E-RED、E-GREEN、E-BLUE)を用いて求められる全天光の照度をLA、散乱光のR,G,Bの各検出値(E-RED、E-GREEN、E-BLUE)を用いて求められる散乱光の照度をLBとした場合、
比情報=(LA−LB)/LB
として求める。つまり直達光/散乱光である。
もちろん比情報=LA/LBとして求めてもよい。つまり全天光/散乱光である。
また、比情報をGの検出値のみで求めてもよい。即ち、
比情報=((全天光のE-GREEN)−(散乱光のE-GREEN))/(散乱光のE-GREEN)
又は、
比情報=(全天光のE-GREEN)/(散乱光のE-GREEN)
として求めることもできる。
図13Cの抽出・生成処理を説明する。
ステップS300で演算部10は、図13Aの処理で生成したNDVIデータと、図13Bの処理で生成した環境光成分比データ(比情報)の紐付けを行う。
つまり図8Aのように、各時点でのNDVIと比情報が対応づけられたデータ群を形成する。
そして演算部10はステップS301で植生変化情報の生成のためのNDVIの抽出処理を行い、ステップS302で植生変化情報の生成処理を行う。
ステップS303では、生成された植生変化情報(例えば図9B、図11Bの情報)について、格納部12への保存や、出力部13による出力を制御する処理を行う。
ステップS301,S302としての各種の例を図14,図15に示す。
図14Aは、上述の(処理1)(処理2)(処理3)による抽出を行う例である。
ステップS350で演算部10は比情報が0付近のNDVIデータを排除する(処理1:比情報=直達光/散乱光の場合)。
例えば閾値th1=0.5とし、比情報<th1となっているNDVIデータを排除する。なお閾値th1=0.5とするのは一例にすぎない。閾値th1=0.1とするなど、他の閾値の値の設定も考えられる。
ステップS351で演算部10は比情報が0より十分大きい値となっているNDVIデータを候補として抽出する(処理2)。例えば比情報が3.00以上のもの(特定値=0から3.00以上の差を有するもの)が抽出される。この場合、上記以外のNDVIデータが候補として選ばれる。もちろん「3.00」は一例である。
ステップS352で演算部10は、候補として抽出されたNDVIデータのうちで比情報が互いに近接していると判定される複数のNDVIデータを最終抽出する(処理3)
例えば候補となっているうちの1つのNDVIデータを基準に、比情報の値の差分が閾値th2=0.01以内であるNDVIデータを探索し、その基準のNDVIデータを含む仮グループを作る。この処理を候補となっている各NDVIデータを順次基準として行うことで、各NDVIデータを基準とした仮グループを生成する。その仮グループのうちでデータ数が複数(或いは所定数以上)となっている仮グループの全部又は一部をそれぞれ、比情報の近い複数のNDVIデータのグループとする。或いは最もデータ数が多い仮グループや、データ数が多い順にn個の仮グループを、比情報の近い複数のNDVIデータのグループとすることも考えられる。
そしてそれらのグループに含まれる各NDVIデータを最終的に抽出する。これにより例えば図7Bや図9Aで説明したような抽出が行われる。
なお、複数のNDVIデータが含まれる仮グループが1つもできなかった場合は、閾値th2=0.02に変更して再度仮グループ化を行うなど、閾値th2を変更することが考えられる。
そしてステップS353で演算部10は、最終抽出された複数のNDVIデータを用いて植生変化情報を生成する。例えば図9Bのような植生変化情報が生成されることになる。
なお比情報=(全天光)/(散乱光)とした場合、上記処理1では環境光成分比1付近のデータは排除する。例えば閾値th11=1.5とし比情報<th11となっているNDVIデータを排除する。或いは閾値th11=1.5、閾値th12=0.5とし、th12<比情報<閾値th11となっているNDVIデータを排除するようにしてもよい。
また処理2では環境光成分比が1より十分大きい(特定値=1から3.00以上の差を有する)NDVIデータを候補として抽出することになる。
図14Bは、上述の(処理a)(処理b)(処理c)による抽出及び換算を行う例である。
ステップS350、S351は図14Aと同様である。即ちステップS350で演算部10は比情報が0付近のNDVIデータを排除する(処理a:比情報=直達光/散乱光の場合)。ステップS351で演算部10は比情報が0より十分大きい値となっているNDVIデータを候補として抽出する(処理b)。
ステップS360で演算部10は、候補として抽出された複数のNDVIデータと比情報の相関性から近似式を求め、環境光成分比が一定値となるように換算する。
これにより図11AのようなNDVIの換算値が得られる。
そしてステップS353で演算部10は、最終抽出された複数のNDVIデータ(換算値)を用いて植生変化情報を生成する。例えば図11Bのような植生変化情報が生成されることになる。
図15A、図15Bは他の抽出処理の例を示している。
図15Aにおいて演算部10はステップS370で、比情報が0付近のNDVIデータを抽出する(比情報=直達光/散乱光の場合)。0付近であるか否かは0に近い値とした閾値th1を用いて判定する。例えば閾値th1=0.5とし、比情報<th1となっているNDVIデータを抽出する。閾値th1=1とし、比情報が1以下となっているNDVIデータを0付近のNDVIデータとして抽出してもよい。
もちろん比情報=0のNDVIデータのみを抽出してもよい。
なお、比情報=全天光/散乱光の場合、比情報が1付近のNDVIデータを抽出することになる。
ステップS371で演算部10は、抽出したNDVIデータを用いて植生変化情報を生成する。
即ちこの例の場合は、曇天において観測されたNDVIのみを抽出して、NDVIの経過観察ができる植生変化情報を生成することになる。
植物の種類、地域、気候条件、土壌条件、季節その他の環境条件によっては、曇天での観測データのみを用いることで、時系列観察に適した植生変化情報を生成できる場合もあるためである。
図15Bは、抽出処理の条件をどのようにするかを可変設定できるようにした例である。
ステップS380で演算部10は抽出条件設定を行う。例えば図4の入力部57を用いたユーザ入力などにより、どのような条件による抽出処理を行うかを設定する。例えば図14Aの抽出処理、図14Bの抽出処理、図15Aの抽出処理などをユーザが選べるようにする。
抽出条件が設定されたら演算部10はステップS381からS382に進み、設定された抽出条件に応じてNDVIデータの抽出を行う。例えば図14Aの抽出処理、図14Bの抽出処理、図15Aの抽出処理のいずれかでNDVIデータの抽出を行う。
そしてステップS383では、抽出されたNDVIデータを用いて植生変化情報を生成する。
なお、抽出処理の条件をユーザが指定するのではなく、例えば撮像画像から植物種別や性質を演算部10が判定し、その判定結果に応じて適した抽出処理を設定するようなことも考えられる。
<5.環境光センサによる光検出に関する各種の例>
続いて、環境光センサ260に関する例を説明する。
図16は環境光センサ260としての各種構造例を示している。
図16Aのように環境光センサ260が飛行体200の上面側に搭載される場合において、図16B、図16Cは全天光を計測する環境光センサ260Aと散乱光を計測する環境光センサ260Bを分離し、異なるセンサボックスSBに内蔵した例である。
なおここでいうセンサボックスSBとは環境光センサ260その他のデバイスを含むケース体のユニットである。受光部261はセンサボックスSBの上面に設けられているとする。
図16Bは上述の図1の例のように環境光センサ260B側にポール状の遮光体262を設けたものである。
図16Cは環境光センサ260Bの上面において、受光部261に被さるようにアーチ状の遮光体262を設けた例である。
図16D、図16Eは全天光と散乱光を計測する環境光センサ260を1つのセンサボックスSBに搭載した例である。環境光センサ260は、その上面に対角線方向に離間して2つの受光部261A、261Bが設けられている。
図16Dは一方の受光部261B側に庇状の遮光体262を設けた例である。受光部261B側で散乱光の検出を行うことになる。
図16Eは受光部261A、261Bを結ぶ対角線の中間にポール状の遮光体262を設けた例である。飛行体200の姿勢方向により、遮光体262の影が受光部261A、261Bのいずれかに落とされることになり、そちらが散乱光の検出を行うことになる。
散乱光は、太陽光の直達光だけを遮り、それ以外の光は全て取り込むことが望ましい。その点では図16C、図16Dの構造に比べ、図16B、図16Eの構造が優れている。但し、確実に直達光を遮るという点では、図16B、図16Eの構造より図16C、図16Dの構造が優れている。
ところで、図16Aに示すように、例えばマルチコプター等の飛行体200は、進行方向に向かって少し傾斜した姿勢で飛行するため、環境光センサ260は機体と共に角度を持って飛行することが多い。
その時の環境光センサ260のセンサボックスSBに入射する太陽光の入射角の違いにより直達光の補正値は異なる。この様子を図12に示す。
図17Aは環境光センサ260を備えたセンサボックスSBを真上から見た図で、ベクトルVAが飛行方向を示している。この図ではちょうど北向きに進んでいる例を示している。また図17BはセンサボックスSBを真横から見た図である。
またセンサボックスSBにはIMU(慣性計測装置)を搭載する。
センサボックスSBに搭載されたIMU(慣性計測装置)から取り出されるロール(Roll)、ピッチ(Pitch)、ヨー(Yaw)の値から、センサボックスSBの上面を形成する2つのベクトル(ベクトルVB1、ベクトルVB2)を抽出する。この2つのベクトルの外積をとることで、これらに直交するベクトルVH(図17Bに示すセンサボックスSB上面の法線ベクトル)が得られる。また太陽光は方位、高度からベクトルVS(図17B参照)として抽出される。
ここで、センサボックスSBの上面の法線ベクトルVHと太陽光のベクトルVSから、太陽光のセンサボックスSBへの入射角θは、次の(数1)で示す外積の計算式から算出することができる。
Figure 2019017095
センサボックスSBに搭載された環境光センサ260からは全天光の照度値(LA)、散乱光の照度値(LB)が得られる。この2つから環境光センサ260への直達光(LC)を算出する。直達光LC=LA−LBである。
但しセンサボックスSBの上面は仰角φだけ傾いており、その分考慮して補正する。仰角φは次の(数2)で求められる。
Figure 2019017095
以上のように求めた太陽光のセンサボックスSBへの(つまり受光部261への)入射角θ、センサボックスの(つまり受光部261の)仰角φを用いて、
LC=(LA−LB)/COS(θ)*COS(φ)
とする。
光源から或る距離にある面を照明したときの照度は、その面を光の進行方向に垂直にしたときに最も明るくなり、その面を傾けると暗くなる。つまり、照度は、その面に入射する光の入射角θの余弦(COS(θ))に比例して変化するという性質がある。即ち照度の斜入射光特性(コサイン特性)である。
すると、飛行体200の飛行姿勢により直達光(全天光)の検出誤差が生ずる。そこで直達光は、このようなコサイン特性を考慮した補正を行うようにして求めることが好適となる。
続いて図18により、散乱光を確実に検出するための飛行体200のフライトプランの例を示す。
植生指数を算出する目的で圃場210を飛行する飛行体200は、図示する方向DAに飛行し、圃場210の切れ目でUターンまたは逆方向飛行で、方向DBに飛行する動作を繰り返す。
確実に散乱光の照度を取得するためには、上手に環境光センサ260から太陽400の直達光を回避することが必要となる。
そこで、図16B〜図16Eに示したような遮光体262を360度回転させることが必要となる。
図18の例では、飛行体200が圃場210の切れ目でUターンする際には、ホバリングの状態で1回転半回転して方向転換を行う。また、圃場の中でも、定期的に1回転することで、散乱光の照度値を得ることが可能となる。なお図18では実線で飛行体200の進行方向を示し、破線矢印HCで飛行体200の1回転半の動作を、又は破線矢印CCで飛行体200の1回転の動作を示している。
このようにすると、飛行体200は逐次1回転を行うことになる。
飛行体200又は撮像装置250又は環境光センサ260に設けられた制御部は、360度まわっている最中に取得した照度のうち最小のものを散乱光の照度値として判断する。そしてその照度値を、今回の飛行の際の散乱光の検出値として、撮像画像データと対応づけられるようにする。
このようにすることで、遮光体262を設けた環境光センサ260を用いて散乱光を的確に検出できる。
なお、このような360°回転を行わない例も考えられる。
例えば飛行プランと時刻(太陽400の位置)に基づいて、環境光センサ260の受光部261に影がかかるように、自動又は手動で遮光体262を設置したり、或いはセンサボックスSBの姿勢方向が自動又は手動で変化されるようにする手法も考えられる。
続いて環境光センサ260が飛行体200に搭載される場合の姿勢情報について述べる。
図19Aには飛行体200に搭載されたセンサボックスSBを示し、図19Bには例えば地上に設置された環境光センサ260を有するセンサボックスSBg示している。
図19CはセンサボックスSB、SBg内の構成と、信号処理部310を示している。
図19Cに示すように、飛行体200に搭載されるセンサボックスSBには、環境光センサ260、IMU272、制御部273が内蔵されている。
地上に設置されるセンサボックスSBgには、環境光センサ260、制御部373が内蔵されている。
飛行体200に搭載されたセンサボックスSBでは、環境光センサ260の検出値と、検出値を取得したタイミングに同期したセンサボックスSBの姿勢情報(IMU値:Roll,Pitch,Yaw)が必要となる。そこで、制御部273では、環境光センサ260にアクセスするタイミングで、IMU272にも同時にアクセスし、この検出値と姿勢情報を取得する。取得したデータは、直接的又は間接的に信号処理部310に送られ、先に説明した入射角θ、仰角φを用いた、補正された直達光の算出が行われる。
この信号処理部310はFPGAで実現することもできるし、外部PCにより実現することもできる。またこの処理は検出値と姿勢情報をクラウドコンピューティングシステムにアップロードして実行させることも可能である。
また、さらに散乱光を取得する頻度を高めるために、地上に設置したセンサボックスSBgで定期的に全天光と散乱光の検出値を取得し、制御部373が信号処理部310に送る。この検出値に検出日時の情報を付加しておき、検出値を撮像装置250が画像を撮像した際のタイムスタンプと照合することで、上空で取得が難しいタイミングの環境光センサ260の検出値の取得を補間することができる。
<6.まとめ及び変形例>
以上実施の形態について説明してきたが、実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データ(例えばNDVIデータ)を有するデータ群について、比情報を用いて使用する植生データの抽出を行う抽出部10Cを備える。
また実施の形態の情報処理装置1は、抽出部10Cで抽出された植生データを用いて、時系列での植生状態の変化を示す植生変化情報を生成する生成部10Dを備える。
即ち各時点の植生データと、その観測時の比情報が対応づけられているデータ群を処理対象とし、比情報により、出力に適した植生データ(NDVIデータ)を抽出する。そして抽出した植生データを用いて植生変化情報を生成する。
環境光の影響でNDVI等の植生データの値が大きくばらつくことがあるが、比情報により時系列的な遷移を示す目的に適したデータのみを抽出して、植生変化情報を生成できる。つまり天気の影響などにより値がばらついてしまうような状況において、天気の影響で値が変動した植生データを排除することで、時系列上での植生の変化を的確に提示する植生変化情報を生成でき、植生観測に非常に有用となる。
特にNDVIについては天候による誤差変動が多く含まれることがあるが、変動したデータを排除することで図9B、図11Bのように日ごとに値を比較することが容易な植生変化情報を生成できることとなる。
実施の形態では、比情報は、直達光と散乱光の各検出値の比の値、又は全天光と散乱光の各検出値の比の値とした。
例えば晴天時に、直達光が受光できるように日向位置に配置した光センサによっては、直達光と散乱光が受光されるため全天光の光量が検出できる。
また例えば晴天時に、散乱光が受光できるように日陰位置に配置した光センサによっては、散乱光の光量が検出できる。直達光の光量は、全天光の光量から散乱光の光量を減算することで求められる。
ここで、曇天や雨天のときは、直達光はほぼゼロで、散乱光≒全天光となる。従って直達光の検出値と散乱光の検出値の比の値は、曇天時や雨天時はほぼ“0”となる。また全天光と散乱光の比の値は曇天時や雨天時はほぼ“1”である。つまり比情報は天候に応じた値となる。
このような比の値を用いることで、植生データとして、晴天時のデータ、曇天時(雨天も含む)のデータを的確に仕分けることができる。
晴天時の画像から求められる植生情報と曇天時の画像から求められる植生情報とは、値が大きくばらつくことがある。そこで各時点の植生データについて比情報を用いて天気に応じた抽出を行うことで、同じような天候条件の植生データを集めることができる。
実施の形態では、抽出部10Cは、対応づけられた比情報の値が閾値th1との比較により特定値付近(例えば0付近、又は1付近)と判定される植生データを使用する植生データから排除する例を述べた(図14A、図14BのS350)。
これにより、植生変化情報の生成に使用する植生データとして、特定の天候のときに観測された植生データが排除されるような植生データの抽出ができる。例えば曇天時(雨天も含む)のように直射日光がないときに観測された植生データが排除されるような植生データの抽出ができる。これによって天候の影響を減少させた植生変化情報を生成できる。
実施の形態では、抽出部10Cは、対応づけられた比情報の値が、特定値に対して所定以上の差を有している植生データを抽出する処理を行う例を述べた(図14A、図14BのS351)。
例えば曇天時に比情報が“0”或いは“1”となるように比情報を計算する場合において、これらの“0”或いは“1”を特定値とし、比情報が特定値から十分に離れている値となっている植生データを使用する植生データ(もしくはその候補)として抽出する。
比情報が特定値に対して所定以上の差を有しているという条件によれば、例えば明らかに曇天ではないという状態で観測された植生データを抽出できる。これにより環境光条件が近い植生データを集めることができ、これも天候の影響を減少させた植生変化情報の生成に好適である。
実施の形態では、抽出部10Cは、対応づけられた比情報の値が閾値th2との比較により互いに近接していると判定される複数の植生データを抽出する処理を行う例を述べた(図14AのS352)。
環境光の成分比である比情報が近接しているということは、植生データ算出のための観測時の環境光の状態が類似しているということである。
従って、比情報が近い複数の植生データは、異なる時点であって観測時の環境光の状態が類似しているサンプルということができる。これにより環境光条件が近い植生データを集めることができ、天候の影響を減少させた植生変化情報の生成に好適である。
実施の形態では、抽出部10Cは、対応づけられた比情報の値が閾値th1との比較により特定値付近と判定される植生データを抽出する処理を行う例を述べた(図15AのS370)。
例えば曇天時に比情報が“0”或いは“1”となるように比情報を計算する場合において、これらの“0”或いは“1”を特定値とし、比情報が特定値付近の値となっている植生データを使用する植生データ(もしくはその候補)として抽出する。
比情報が特定値に近いという条件によれば、特定の環境光状態(例えば曇天)で観測された植生データを抽出できる。これにより環境光条件が近い植生データを集めることができ、これも天候の影響を減少させた植生変化情報の生成に好適である。
実施の形態では、抽出部10Cによる抽出処理の抽出条件が可変設定可能とされている例を述べた(図15B)。
これにより多様な条件を選んで、使用する植生データの抽出を行うことが可能となる。例えばユーザ操作により抽出条件が可変設定可能であれば、ユーザが任意の天候状態を抽出して植生変化情報を生成させるといったことも可能となる。
実施の形態では、生成部10Dは、抽出部10Cが抽出した植生データについて、比情報を一定としたときの値に換算し、換算した植生データを用いて植生変化情報を生成する例を述べた(図14BのS360,S353)。
これにより、より環境光の影響による変動を受けにくい植生変化情報を生成できることになる。換算については近似式を用いることで、確度の高い換算ができる。
実施の形態では、情報処理装置1(演算部10)が各時点についての植生の観測データ(例えば撮像画像データ)を用いて植生データを算出する植生データ演算部10Aを備える例を述べた(図3参照)。
情報処理装置1内で植生指数演算部10Aを有することでNDVIデータ等の植生データを取得でき、撮像装置250からは撮像画像データを取得するのみでよい。これにより飛行体200等を用いた観測装置側に特に装置負担は生じない。
また植生データ演算部10Aは、植生データとしてNDVIの値を求める例とした。
NDVIは植生の分布状況や活性度を示す指標である。NDVIの時系列的な変化を示す情報として植生変化情報を生成することで植生状態の変化の観察に有用となる。
実施の形態では、情報処理装置1(演算部10)が各時点についての植生データに対応して、該当時点の環境光の検出値を用いて環境光の成分比である比情報を算出する比演算部10Bを備える例を述べた(図3参照)。
情報処理装置1内で比演算部10Bを有して比情報を求めるようにすることで、環境光センサ260の検出値を取得することにより抽出部及び生成部の処理が可能となる。従って飛行体200等を用いた観測装置側に特に装置負担は生じない。
実施の形態では、比演算部10Bは、遮光体262により日陰となる受光部261と遮光体262による影響を受けない受光部261とを有する環境光センサ260により得られる、各受光部261、261の検出値を用いて比情報を算出する例を述べた(図2、図16参照)。
遮光体260を有する構造により飛行体200に搭載された環境光センサ260を用いて直達光、散乱光の検出が的確に行われる。従って情報処理装置1では、比情報の確度を高いものとすることができ、適切な植生データの抽出が可能となる。
本技術は実施の形態で例示したものに限らず各種の変形例が考えられる。
植生データの例としてNDVIを挙げたが、植生データとして用いる植生指数は各種考えられる。例えば
・PRI(photochemical reflectance index)
・クロロフィル蛍光の大きさ
・クロロフィル蛍光インデックス
・ステート遷移反射率
等がある。
PRIは、キサントフィルサイクルの脱エポキシ化に伴い変化する分光反射率をインデックス化したものである。キサントフィルサイクルは、強光や水ストレスに伴う気孔閉塞といった、光合成しきれない過剰な光エネルギーを熱として放出する機構である。
ここではPRIは、
PRI=(R570−R531)/(R570+R531)
として算出されるものとする。なお、「R570」は波長570nmの反射光強度、「R531」は波長531nmの反射光強度である。
クロロフィル蛍光の大きさは、太陽光によって励起されるクロロフィル蛍光の大きさ(solar-induced chlorophyll fluorescence(SIF))でもよいし、太陽光ではなくレーザーやLEDを用いてクロロフィル蛍光を励起させてもよい。
クロロフィル蛍光インデックスは、クロロフィル蛍光をいくつかの波長に分けて測定し、例えば685nm、735nmの2波長の比で表すものである。
クロロフィル蛍光を用いてストレス検出を行うこともできる。クロロフィル蛍光は植物の光合成に伴い植物から発せられる蛍光で、光により電子が励起した反応中心から一定時間内にエネルギーが抜き取られないと、高等植物では680nm〜770nm前後の波長の蛍光としてエネルギーが放出される現象である。
放出されるエネルギーは入力光のエネルギーに対し0.5%〜3%で、植物の光合成の状態に応じて変動し、強光や、水ストレスに伴う気孔閉塞といった光合成しきれない過剰な光エネルギーが多い場合に大きくなる。
撮像装置250を用いて撮像し、後述する本実施の形態の手法で生成した合成画像に基づいて、これらの指標を生成することで、植生の的確な分析、観察が可能となる。
従って、これらの時系列的な観察を行う植生変化情報を生成する場合、これらの植生データの抽出を、比情報に基づいて行うことが想定される。
観測対象を圃場210の植生としたが、これは一例である。例えばサッカー場、野球場等の競技場の芝の植生観察、自然の草原、林野、原生林等の植生観察などにも本技術は適用できる。
実施の形態で挙げた構成は一例である。
例えば飛行体200に演算部10を搭載してもよい。また撮像装置250内のマイクロコンピュータを演算部10として機能させてもよい。また環境光センサ260を含むセンサボックスSB内にマイクロコンピュータを搭載し、演算部10として機能させてもよい。
環境光センサ260は飛行体200に搭載したものを使用せず、地上に設置した環境光センサ260のみで全天光、散乱光の検出を行うようにしてもよい。
本発明の実施の形態のプログラムは、コンピュータ装置150のCPU51に、それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う抽出ステップ(S301)を実行させるプログラムである。
或いは、コンピュータ装置150のCPU51に、上記の抽出ステップ(S301)と、抽出ステップで抽出された植生データを用いて、時系列での植生状態の変化を示す植生変化情報を生成する生成ステップ(S302)を実行させるプログラムである。
より具体的には、図13C(図14,図15)の処理をコンピュータ装置150のCPU51に実行させるプログラムである。
このようなプログラムにより本実施の形態の情報処理装置1の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データから、前記比情報に基づいて少なくとも一部の植生データを抽出する抽出部を備えた
情報処理装置。
(2)
前記抽出部で抽出された植生データを用いて、時系列での前記植生データの変化を示す植生変化情報を生成する生成部を備えた
上記(1)に記載の情報処理装置。
(3)
前記比情報は、直達光の検出値と散乱光の検出値の比の値、又は全天光の検出値と散乱光の検出値の比の値である
上記(1)又は(2)に記載の情報処理装置。
(4)
前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを、使用する植生データから排除する処理を行う
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記抽出部は、対応づけられた比情報の値が、特定値に対して所定以上の差を有している植生データを抽出する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記抽出部は、対応づけられた比情報の値が閾値との比較により互いに近接していると判定される複数の植生データを抽出する処理を行う
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを抽出する処理を行う
上記(1)(2)(3)(5)(6)のいずれかに記載の情報処理装置。
(8)
前記抽出部による抽出処理の抽出条件が可変設定可能とされている
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記生成部は、前記抽出部が抽出した植生データについて、比情報を一定としたときの値に換算し、換算した植生データを用いて植生変化情報を生成する
上記(2)に記載の情報処理装置。
(10)
各時点についての植生の観測データを用いて植生データを算出する植生データ演算部を備えた
上記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記植生データ演算部は、植生データとしてNDVIの値を求める
上記(10)に記載の情報処理装置。
(12)
各時点についての植生データに対応して、該当時点の環境光の検出値を用いて環境光の成分比である比情報を算出する比演算部を備えた
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記比演算部は、
遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサにより得られる、各受光部の検出値を用いて比情報を算出する
上記(12)に記載の情報処理装置。
(14)
それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理を情報処理装置が実行する情報処理方法。
(15)
それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理をコンピュータ装置に実行させるプログラム。
(16)
遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサと、
各時点についての植生データに対応して、該当時点における前記各受光部の検出値を用いて環境光の成分比である比情報を算出する比演算部と、
それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う抽出部と、
前記抽出部で抽出された植生データを用いて、時系列での植生状態の変化を示す植生変化情報を生成する生成部と、を備えた
情報処理システム。
1…情報処理装置、10…演算部、11…通信部、12…格納部、13…出力部、31…撮像部、32…信号処理部、33…制御部、34…格納部、35…通信部、200…飛行体、210…圃場、250…撮像装置、260、260A、260B…環境光センサ、261…受光部、262…遮光体

Claims (16)

  1. それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データから、前記比情報に基づいて少なくとも一部の植生データを抽出する抽出部を備えた
    情報処理装置。
  2. 前記抽出部で抽出された植生データを用いて、時系列での前記植生データの変化を示す植生変化情報を生成する生成部を備えた
    請求項1に記載の情報処理装置。
  3. 前記比情報は、直達光の検出値と散乱光の検出値の比の値、又は全天光の検出値と散乱光の検出値の比の値である
    請求項1に記載の情報処理装置。
  4. 前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを、使用する植生データから排除する処理を行う
    請求項1に記載の情報処理装置。
  5. 前記抽出部は、対応づけられた比情報の値が、特定値に対して所定以上の差を有している植生データを抽出する処理を行う
    請求項1に記載の情報処理装置。
  6. 前記抽出部は、対応づけられた比情報の値が閾値との比較により互いに近接していると判定される複数の植生データを抽出する処理を行う
    請求項1に記載の情報処理装置。
  7. 前記抽出部は、対応づけられた比情報の値が閾値との比較により特定値付近と判定される植生データを抽出する処理を行う
    請求項1に記載の情報処理装置。
  8. 前記抽出部による抽出処理の抽出条件が可変設定可能とされている
    請求項1に記載の情報処理装置。
  9. 前記生成部は、前記抽出部が抽出した植生データについて、比情報を一定としたときの値に換算し、換算した植生データを用いて植生変化情報を生成する
    請求項2に記載の情報処理装置。
  10. 各時点についての植生の観測データを用いて植生データを算出する植生データ演算部を備えた
    請求項1に記載の情報処理装置。
  11. 前記植生データ演算部は、植生データとしてNDVIの値を求める
    請求項10に記載の情報処理装置。
  12. 各時点についての植生データに対応して、該当時点の環境光の検出値を用いて環境光の成分比である比情報を算出する比演算部を備えた
    請求項1に記載の情報処理装置。
  13. 前記比演算部は、
    遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサにより得られる、各受光部の検出値を用いて比情報を算出する
    請求項12に記載の情報処理装置。
  14. それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理を情報処理装置が実行する情報処理方法。
  15. それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う処理をコンピュータ装置に実行させるプログラム。
  16. 遮光体により日陰となる受光部と遮光体による影響を受けない受光部とを有する環境光センサと、
    各時点についての植生データに対応して、該当時点における前記各受光部の検出値を用いて環境光の成分比である比情報を算出する比演算部と、
    それぞれに環境光の成分比である比情報が対応づけられた複数の時点の植生データを有するデータ群について、比情報を用いて使用する植生データの抽出を行う抽出部と、
    前記抽出部で抽出された植生データを用いて、時系列での植生状態の変化を示す植生変化情報を生成する生成部と、を備えた
    情報処理システム。
JP2019530922A 2017-07-18 2018-06-04 情報処理装置、情報処理方法、プログラム、情報処理システム Active JP7156282B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017139088 2017-07-18
JP2017139088 2017-07-18
PCT/JP2018/021404 WO2019017095A1 (ja) 2017-07-18 2018-06-04 情報処理装置、情報処理方法、プログラム、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019017095A1 true JPWO2019017095A1 (ja) 2020-05-28
JP7156282B2 JP7156282B2 (ja) 2022-10-19

Family

ID=65016650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530922A Active JP7156282B2 (ja) 2017-07-18 2018-06-04 情報処理装置、情報処理方法、プログラム、情報処理システム

Country Status (5)

Country Link
US (1) US11475550B2 (ja)
EP (1) EP3657156A4 (ja)
JP (1) JP7156282B2 (ja)
CN (1) CN110869744B (ja)
WO (1) WO2019017095A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139082A1 (en) * 2019-03-01 2022-05-05 Sony Group Corporation Image processing device, image processing method, and program
CN110717087B (zh) * 2019-04-24 2022-09-13 中国科学院地理科学与资源研究所 一种指定位置点的归一化植被指数ndvi获取方法及系统
WO2021084907A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6896962B2 (ja) * 2019-12-13 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、飛行体、決定方法、及びプログラム
US20240015375A1 (en) * 2020-11-10 2024-01-11 Sony Group Corporation Imaging device
CN112685468B (zh) * 2020-12-24 2023-03-24 吉林大学 生态系统属性组分组成结构长期演变图形表达方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4355896A (en) * 1980-06-27 1982-10-26 Nasa Cloud cover sensor
US6160902A (en) * 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
JP2006201184A (ja) * 1999-07-08 2006-08-03 Nokodai Tlo Kk 土壌測定支援方法並びに散布量制御装置及び方法並びに散布量決定装置並びに農作業決定支援システム並びに記録媒体
WO2013017648A2 (en) * 2011-08-03 2013-02-07 Alstom Wind, S.L.U. Shadow flicker measurement system, wind turbine comprising such a system, and control method using such a system
US20130217439A1 (en) * 2012-02-21 2013-08-22 Trimble Navigation Limited Cell phone NDVI sensor
JP2015038454A (ja) * 2013-08-19 2015-02-26 富士通株式会社 作物判定装置、作物判定プログラム及び作物判定方法
JP2015204788A (ja) * 2014-04-21 2015-11-19 パナソニックIpマネジメント株式会社 栽培支援方法、栽培支援装置、およびコンピュータプログラム
JP2017035055A (ja) * 2015-08-12 2017-02-16 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9818443D0 (en) * 1998-08-24 1998-10-21 Innovation Tk Limited Colour scanner
JP5162890B2 (ja) 2006-12-01 2013-03-13 株式会社サタケ リモートセンシングにおける補正方法
JP5361862B2 (ja) * 2008-03-21 2013-12-04 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
BRPI1010727A2 (pt) * 2009-06-11 2016-03-15 Pa Llc índices de vegetação para medir densidade e crescimento de microcultura de múltiplas camadas.
KR101859677B1 (ko) 2011-07-27 2018-05-21 삼성디스플레이 주식회사 표시장치
CN104768370B (zh) * 2012-09-04 2018-07-17 飞利浦灯具控股公司 用于通过光增强可食用植物部分中的营养价值的方法以及为此的照明设备
CA2954593A1 (en) * 2014-07-08 2016-01-14 Morgan Solar Inc. Device for harvesting direct light and diffuse light from a light source
CN106575419A (zh) * 2014-07-16 2017-04-19 株式会社理光 信息处理设备、产生控制信号的方法、信息处理系统以及程序
EP3176259A4 (en) 2014-07-28 2018-03-21 National University Corporation Chiba University Method for decolorizing dye
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
CN104483271B (zh) * 2014-12-19 2017-02-22 武汉大学 光学反射模型与微波散射模型协同的森林生物量反演方法
EP3287003B1 (en) * 2015-04-24 2020-06-24 Sony Corporation Inspection device, inspection method, and program
WO2017208765A1 (ja) * 2016-05-31 2017-12-07 パナソニックIpマネジメント株式会社 水分量観察装置、水分量観察方法及び栽培装置
JP6187639B2 (ja) * 2016-06-10 2017-08-30 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
CN106845806A (zh) * 2017-01-06 2017-06-13 中国科学院遥感与数字地球研究所 农田种植状态的遥感监测方法和系统
FR3067824B1 (fr) * 2017-06-14 2019-07-19 Shakti Procede et dispositif d'imagerie d'un vegetal
US20190268994A1 (en) * 2018-02-23 2019-08-29 Telelumen, LLC Streetlights providing moon or fire light
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4355896A (en) * 1980-06-27 1982-10-26 Nasa Cloud cover sensor
US6160902A (en) * 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
JP2006201184A (ja) * 1999-07-08 2006-08-03 Nokodai Tlo Kk 土壌測定支援方法並びに散布量制御装置及び方法並びに散布量決定装置並びに農作業決定支援システム並びに記録媒体
WO2013017648A2 (en) * 2011-08-03 2013-02-07 Alstom Wind, S.L.U. Shadow flicker measurement system, wind turbine comprising such a system, and control method using such a system
US20130217439A1 (en) * 2012-02-21 2013-08-22 Trimble Navigation Limited Cell phone NDVI sensor
JP2015038454A (ja) * 2013-08-19 2015-02-26 富士通株式会社 作物判定装置、作物判定プログラム及び作物判定方法
JP2015204788A (ja) * 2014-04-21 2015-11-19 パナソニックIpマネジメント株式会社 栽培支援方法、栽培支援装置、およびコンピュータプログラム
JP2017035055A (ja) * 2015-08-12 2017-02-16 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS, V.: "Spatial modelling of photosynthesis for a boreal mixedwood forest by integrating micrometeorological", AGRICULTURAL AND FOREST METEOROLOGY, vol. 149, JPN6022020439, 2008, pages 639 - 654, ISSN: 0004778983 *

Also Published As

Publication number Publication date
WO2019017095A1 (ja) 2019-01-24
US11475550B2 (en) 2022-10-18
JP7156282B2 (ja) 2022-10-19
CN110869744B (zh) 2023-07-28
EP3657156A1 (en) 2020-05-27
EP3657156A4 (en) 2020-06-17
CN110869744A (zh) 2020-03-06
US20200219246A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
Deng et al. UAV-based multispectral remote sensing for precision agriculture: A comparison between different cameras
JP7156282B2 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
Horstrand et al. A UAV platform based on a hyperspectral sensor for image capturing and on-board processing
Lu et al. Species classification using Unmanned Aerial Vehicle (UAV)-acquired high spatial resolution imagery in a heterogeneous grassland
Bendig et al. Very high resolution crop surface models (CSMs) from UAV-based stereo images for rice growth monitoring in Northeast China
Chianucci An overview of in situ digital canopy photography in forestry
Lucieer et al. HyperUAS—Imaging spectroscopy from a multirotor unmanned aircraft system
Verger et al. Green area index from an unmanned aerial system over wheat and rapeseed crops
Zarco-Tejada et al. Tree height quantification using very high resolution imagery acquired from an unmanned aerial vehicle (UAV) and automatic 3D photo-reconstruction methods
Honkavaara et al. Remote sensing of 3-D geometry and surface moisture of a peat production area using hyperspectral frame cameras in visible to short-wave infrared spectral ranges onboard a small unmanned airborne vehicle (UAV)
Torres-Sánchez et al. Configuration and specifications of an unmanned aerial vehicle (UAV) for early site specific weed management
Aldana-Jague et al. UAS-based soil carbon mapping using VIS-NIR (480–1000 nm) multi-spectral imaging: Potential and limitations
US9945828B1 (en) Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
Huang et al. Multispectral imaging systems for airborne remote sensing to support agricultural production management
Paredes et al. Multispectral imaging system with UAV integration capabilities for crop analysis
Mafanya et al. Radiometric calibration framework for ultra-high-resolution UAV-derived orthomosaics for large-scale mapping of invasive alien plants in semi-arid woodlands: Harrisia pomanensis as a case study
JP7415347B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
Aasen et al. Introduction and preliminary results of a calibration for full-frame hyperspectral cameras to monitor agricultural crops with UAVs
Bachmann et al. Micro UAV based georeferenced orthophoto generation in VIS+ NIR for precision agriculture
Yang et al. Low-cost single-camera imaging system for aerial applicators
Näsi et al. UAS based tree species identification using the novel FPI based hyperspectral cameras in visible, NIR and SWIR spectral ranges
Gautam et al. Footprint determination of a spectroradiometer mounted on an unmanned aircraft system
Zhang et al. Evaluation of a UAV-mounted consumer grade camera with different spectral modifications and two handheld spectral sensors for rapeseed growth monitoring: performance and influencing factors
Szabó et al. Zooming on aerial survey
Ribas Costa et al. Uncrewed aircraft system spherical photography for the vertical characterization of canopy structural traits

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7156282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151