JP7415348B2 - 情報処理装置、情報処理方法、プログラム、センシングシステム - Google Patents

情報処理装置、情報処理方法、プログラム、センシングシステム Download PDF

Info

Publication number
JP7415348B2
JP7415348B2 JP2019124764A JP2019124764A JP7415348B2 JP 7415348 B2 JP7415348 B2 JP 7415348B2 JP 2019124764 A JP2019124764 A JP 2019124764A JP 2019124764 A JP2019124764 A JP 2019124764A JP 7415348 B2 JP7415348 B2 JP 7415348B2
Authority
JP
Japan
Prior art keywords
measurement
unit
micro
macro
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019124764A
Other languages
English (en)
Other versions
JP2021012433A (ja
Inventor
哲 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2019124764A priority Critical patent/JP7415348B2/ja
Priority to CN202080046901.8A priority patent/CN114080540A/zh
Priority to PCT/JP2020/025083 priority patent/WO2021002280A1/en
Priority to EP20739477.6A priority patent/EP3994659A1/en
Priority to US17/597,079 priority patent/US20220299433A1/en
Publication of JP2021012433A publication Critical patent/JP2021012433A/ja
Application granted granted Critical
Publication of JP7415348B2 publication Critical patent/JP7415348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

本技術は情報処理装置、情報処理方法、プログラム、センシングシステムに関し、特に植生状態等の計測結果の生成に好適な技術に関する。
例えばドローン(Drone)等の小型の飛行体に撮像装置を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
特許文献1には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。
特許第5162890号公報
このようなリモートセンシングでは、可視光(R(赤)、G(緑)、B(青))の計測による形状の計測に加え、色々な光学波長や手法を用いることで対象の物性、生理状態などを計測することができる。しかし小型飛行体に搭載可能なセンシングデバイスは大きさや重量などの制限を受けることが多い。
例えば多数の波長を取得し、成分分析などが行えるハイパースペクトラムカメラ(Hyper Spectrum Camera)は、一般的に、2次元の画像を取得するためのスキャニング機構が必要で、サイズが大きいため、小型のドローン等には搭載が困難である。
一方、人工衛星を用いたセンシングでは高度なセンシングができる機材を搭載されたものが運用されている。しかしながら空間分解能(解像度)の側面で不十分である。
空間分解能が低いと単に形状が判別できないだけでなく、その空間分解能1単位に色々な対象が混ざってしまい、知りたい対象だけの計測ができないということがある。
空間分解能が低いことをカバーするために、計測対象の形態の情報を含んだモデル(例えば「形状」と「形質/環境応答」を関連付けるモデルなどであり、放射伝達特性モデルなど)を用いたインバースモデル演算(逆演算)で特定の対象の計測値を求めることが行われているが、実際には測定対象がモデルの形状等と齟齬があることにより正確な測定が困難である。
そこで本開示では、例えば人工衛星を用いるような高性能センサによるリモートセンシングにおいて、より正確な計測結果を得ることのできるシステム及びそのための情報処理装置を提供することを目的とする。
本技術に係る情報処理装置は、計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づいて取得するインバースモデル演算部と、を備える。
インバース演算に持ちいつモデルパラメータを第2の空間分解の計測結果に基づいて生成する。
また上記した本技術に係る情報処理装置においては、前記インバースモデル演算部は、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いることが考えられる。
高機能なセンシングが可能なマクロ計測を用いてインバースモデル演算により高度な測定ができるが、この場合にインバースモデルのパラメータに、空間分解能の高いセンシングで得られた実測に基づくパラメータを用いる。
上記した本技術に係る情報処理装置においては、前記インバースモデル演算部は、前記第2の計測範囲の検出データに基づくモデルパラメータを用いて、前記第1の空間分解能の単位で演算結果を求めることが考えられる。
インバースモデル演算部は例えば形質、環境応答としての演算結果を求めるが、この場合、ミクロ計測部による第2の計測範囲でのモデルパラメータを用いて、マクロ計測部による第1の空間分解能の単位で演算結果を求める。
上記した本技術に係る情報処理装置においては、前記インバースモデル演算部は、前記前記第1の空間分解能の単位の演算結果として計測対象の形質又は環境応答を求めることが考えられる。
形質とは計測対象の静的な形や特性である。環境応答とは計測対象の動的な形や特性である。
上記した本技術に係る情報処理装置においては、前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行うことが考えられる。
マクロ計測部はミクロ計測部よりも計測対象から遠い位置から、広い計測範囲の計測を行う。一方、ミクロ計測部はマクロ計測部よりも計測対象から近い位置から、比較的狭い計測範囲の計測を行う。
上記した本技術に係る情報処理装置においては、前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用することが考えられる。
ミクロ計測部による検出データの演算によりクラスタリングされた計測領域毎にモデルパラメータを求めることで、インバースモデル演算部はクラスタリングされた計測領域毎にモデルパラメータを使い分けることができる。
上記した本技術に係る情報処理装置においては、前記クラスタリングは、領域を指定するユーザ入力に基づいて行われることが考えられる。
例えば圃場などでは異なる作物を栽培している領域などが分かれている。例えば農場主等のユーザはそのような情報を入力することができる。
上記した本技術に係る情報処理装置においては、前記クラスタリングは、前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われることが考えられる。
例えばマクロ計測部やミクロ計測部の検出データを用いれば、形状や状況が明確に異なる領域を判別できるため自動でクラスタリング演算を行う。
上記した本技術に係る情報処理装置においては、前記クラスタリングは、領域を指定するユーザ入力、及び前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われることが考えられる。
即ち手動入力と自動判別の両方を反映したクラスタリング演算を行う。
上記した本技術に係る情報処理装置においては、前記モデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度(葉の平均傾き)、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれかを含むことが考えられる。
なお、LAI(Leaf Area Index)は葉面積指数であり、葉が多いほど値が大きくなる植物の葉量を表す指数である。
上記した本技術に係る情報処理装置においては、前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToF(Time of Flight)センサのいずれかを有することが考えられる。
なおレーザ画像検出及び測距のセンサはいわゆるLidar(light detection and ranging)として知られている。
上記した本技術に係る情報処理装置においては、前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ(Multi Spectrum Camera)、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計(FTIR:Fourier Transform Infrared Spectroscopy)、赤外線センサのいずれかを有することが考えられる。
上記した本技術に係る情報処理装置においては、前記インバースモデル演算部の演算結果に基づく出力画像データを生成して出力する出力部を有することが考えられる。
即ちインバースモデル演算部による演算結果の情報を画像化してユーザに提示できるようにする。
上記した本技術に係る情報処理装置においては、前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした出力画像データを生成することが考えられる。
インバースモデル演算部の演算結果が複数の領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
上記した本技術に係る情報処理装置においては、前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成することが考えられる。
各領域に色当てした画像と他の画像を、例えばオーバーレイや上書きなどの形で合成する。
上記した本技術に係る情報処理装置においては、前記マクロ計測部は、人工衛星に搭載されていることが考えられる。
人工衛星にマクロ計測部を搭載し、上空の離れた位置から圃場などの計測対象の計測を行う。
上記した本技術に係る情報処理装置においては、前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されていることが考えられる。
無線操縦や自動操縦が可能な飛行体としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
本技術に係る情報処理方法は、計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、前記マクロ計測分析処理の演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析処理で求めた前記ミクロ計測部の検出データに基づいて取得するインバースモデル演算処理とを情報処理装置が実行する。
これにより情報処理装置において計測対象について、マクロ計測とミクロ計測を合わせた高度かつ正確な計測結果情報の生成ができる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これにより高度な計測結果を生成するコンピュータ装置の実現が容易となる。
本技術に係るセンシングシステム、計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、上述の情報処理装置を備える。
これによりマクロ計測とミクロ計測を行い、更にそれらの計測結果を用いた計測結果を生成するシステムを構築できる。
本技術の実施の形態のセンシングシステムにおけるマクロ計測部とミクロ計測部の説明図である。 実施の形態の圃場に対するリモートセンシングの例の説明図である。 実施の形態のマクロ計測部とミクロ計測部の計測の説明図である。 実施の形態のマクロ計測部とミクロ計測部の計測範囲と分解能の説明図である。 インバース演算が正しくなくなる場合の説明図である。 実施の形態のクラスタリングの説明図である。 実施の形態の情報処理装置のハードウエア構成のブロック図である。 実施の形態の情報処理装置の機能構成のブロック図である。 実施の形態の処理例のフローチャートである。 実施の形態のミクロ計測分析演算処理のフローチャートである。 実施の形態のミクロ計測分析演算で用いる画像の説明図である。 実施の形態のクラスタリングのフローチャートである。 実施の形態のクラスタリングの説明図である。 実施の形態のインバースモデル演算のフローチャートである。 実施の形態のインバースモデル演算のマクロ計測及びミクロ計測部モデルパラメータの説明図である。 実施の形態のカラーマッピングを用いた出力画像の説明図である。 実施の形態のカラーマッピング画像と他の画像の合成の説明図である。 実施の形態のカラーマッピング画像と他の画像の合成の説明図である。
以下、実施の形態を次の順序で説明する。
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.処理例>
<4.各種例>
<5.まとめ及び変形例>
<1.センシングシステムの構成>
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成するマクロ計測部2とミクロ計測部3を示している。
ミクロ計測部3は、測定対象4に対して比較的近い位置でセンシングを行う。一単位のセンシングを行う計測範囲は、ミクロ計測範囲RZ3として示す比較的狭い範囲とされる。なお、一単位とはセンサ種別にもよるが、例えばカメラであれば1フレームの画像撮像を行う範囲などとされる。
これに対してマクロ計測部2は、測定対象4に対してミクロ計測部3よりも遠い位置からセンシングを行う。一単位のセンシングを行う計測範囲は、マクロ計測範囲RZ2として示すミクロ計測範囲RZ3よりも広い範囲とされる。但し、マクロ計測部2の一単位のセンシングを行う計測範囲は、ミクロ計測範囲RZ3と同一としてもよい。
本実施の形態の場合、ミクロ計測範囲RZ3はマクロ計測範囲RZ2と同一の範囲又はより狭い範囲とされる。即ち、測定対象4におけるミクロ計測範囲RZ3のエリアは、マクロ計測範囲RZ2にもカバーされている。換言すれば、ミクロ計測範囲RZ3は、ミクロ計測部3によるミクロ計測とマクロ計測部2によるマクロ計測の両方が行われる範囲である。
このようなマクロ計測部2とミクロ計測部3を用いるセンシングシステムとしては、例えば図2に示すような圃場300の植生状態のセンシングを行うシステムが例に挙げられる。
図2は圃場300の様子を示している。昨今、図2のように例えばドローンのような小型の飛行体200に搭載された撮像装置250を用いて、植生状態をリモートセンシングする取り組みが行われている。
飛行体200は、例えば操作者の無線操縦、或いは自動操縦等により、圃場300の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行う。
このような飛行体200に装着された撮像装置250が図1のミクロ計測部3となる。そして撮像装置250による撮像画像がミクロ計測としての検出データとなる。撮像装置250の撮像範囲がミクロ計測範囲RZ3となる。
また図2には上空に位置する人工衛星210を示している。人工衛星210には撮像装置220が装備されており、地表側をセンシング可能とされている。
この撮像装置220により、圃場300のセンシング(撮像)を行うことができる。即ち撮像装置220がマクロ計測部2となる。そして撮像装置220による撮像画像がマクロ計測としての検出データとなる。撮像装置220による撮像範囲がマクロ計測範囲RZ2となる。
ここで飛行体200に搭載されるミクロ計測部3としての撮像装置250、つまり具体的なミクロ計測センサとしては、可視光イメージセンサ(R(赤)、G(緑)、B(青)の可視光を撮像するイメージセンサ)、ステレオカメラ、Lidar(レーザ画像検出及び測距のセンサ)、偏光センサ、ToFセンサ、NIR(Near Infra Red:近赤外域)画像撮像用のカメラなどが想定される。
またミクロ計測センサとして、デバイスサイズとして飛行体200に搭載させて運用が可能なものであれば、複数の波長帯の画像撮像を行うマルチスペクトラムカメラとして、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
これらは、例えば計測対象の形質、環境応答、環境状態(範囲、分布等)などの分析に適したセンサとすることが望ましい。なお形質とは計測対象の静的な形や特性である。環境応答とは計測対象の動的な形や特性である。環境状態とは計測対象の存在する環境の状態であり、計測対象の存在する範囲や分布、或いは環境の特性などである。
またこれらのセンサは、飛行体200に搭載し易い比較的小型軽量のセンサであることが望ましい。
一方、人工衛星210に搭載されるマクロ計測部2としての撮像装置220、つまり具体的なマクロ計測センサとしては、複数の波長帯の画像(例えばNIR画像とR画像)の撮像を行うマルチスペクトラムカメラ、ハイパースペクトラムカメラ、FTIR(フーリエ変換赤外分光光度計)、赤外線センサなどが考えられる。この場合、比較的大規模なセンシングデバイスが許容され、高精度なセンシングが可能のものが想定される。
そしてこれらのマクロ計測センサは、例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらはデバイスサイズや重量などの事情により、小型の飛行体200に搭載しにくいセンサであるが、本例のセンシングシステムでは、そのようなセンサを人工衛星210に搭載するものとする。
また撮像装置220、250で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
なお位置情報や撮像日時情報は撮像装置220の画像(検出データ)と撮像装置250の画像(検出データ)を対応づける情報ともなる。
以上のように飛行体200に搭載された撮像装置250及び人工衛星210に搭載された撮像装置220によって得られる画像データやタグ情報は、情報処理装置1に送られる。情報処理装置1は画像データやタグ情報を用いて、圃場300を計測対象とした分析情報を生成する。また分析結果をユーザに対して、画像として提示する処理を行う。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、例えば撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
図3でマクロ計測部2とミクロ計測部3の役割について説明する。
マクロ計測部2は、計測範囲RZ2において計測を行うとともに、モデルを用いたインバース演算を行って出力(例えば植生等の計測結果を得る。例えば予め用意したモデルを用いてマクロ計測値を解釈することで、混ざった計測値から正しい出力が得られる。
ところが、インバースモデル演算に用いるモデルが実際の測定対象と齟齬があると、正確な出力が得られない。特に植物や動物は成育によって形が変化したり、品種によって大きく形が異なることなどから、モデルが適正で無い場合も多い。
そこで代表固体の計測値でモデルをアップデートする。このためにミクロ計測部による検出データが用いられる。
ミクロ計測部3は、計測対象の個体毎の計測を行うことができる。例えば個体OBa1,OBa2,OBa3・・・OBanを示しているが、ミクロ計測部3によればこれらの形質、環境応答、環境状態や、それらに基づく領域の識別、などを計測又は判定できる。
ミクロ計測部3からの検出データにより、代表個体の形質や環境応答を測定し、これによりモデルパラメータを変更することで、実測に従ったモデルを用いたインバースモデル演算ができるようになる。
センシングシステムによる計測の主目的は、マクロ的な傾向(平均、合算、分布等)であり、それはマクロ計測部2の検出データに基づく情報を用いたモデルインバース演算で可能であるが、モデルパラメータをミクロ計測部3の検出データに基づいて更新していくことで、計測精度を確保するものである。
図4Aはマクロ計測範囲RZ2とミクロ計測範囲RZ3を平面的に示したうえで、マクロ計測部2とミクロ計測部3の分解能について示している。
大きいマス目がマクロ計測分解能、小さいマス目がミクロ計測分解能を表す。これらの分解能で得られる情報とは、例えば撮像画像の1画素(1ピクセル)の情報に相当する。
即ちマクロ計測部2に搭載されるマクロ計測センサは、大きいマス目の分解能を持つセンサとされ、ミクロ計測部3に搭載されるミクロ計測センサは、小さいマス目の分解能を持つセンサとされる。
例えば破線で示すように計測対象があった場合、細線で示す小さいマス目の分解能で計測対象の形質、環境応答、領域等が判別でき、太線で示す大きいマス目の分解能で物性値等が計測できる。
このようなセンシングシステムを必要とする背景について述べておく。
先述したように、昨今、ドローン等の飛行体200を用いたセンシングが多く行われ、可視光(RGB)の計測による形質の計測に加え、色々な光学波長や手法を用いることで対象の物性、生理状態などを計測することができる。しかし小型の飛行体200に搭載可能なセンシングデバイスは大きさや重量などの制限を受けることが多い。
多数の波長を取得し、成分分析などが行えるハイパースペクトラムカメラは、一般的に2次元の画像を取得するためにはスキャニング機構が必要でサイズが大きいため、大型の飛行体でないと搭載が困難である。
また、スキャンには一定の時間を要しホバリングする必要があり、測定時間が長く、飛行体200のバッテリーの容量では広い土地を測定できない場合も多い。
また、スキャン中に飛行体200の振動が影響し、測定精度が低下してしまうこともある。
また、より分光分解能が高いFTIR方式は、原理的に機器サイズが長く、飛行体200への搭載が難しい。
高精度のセンシングをしたい場合、大判のイメージャの搭載や多重露光を行うことでS/N(signal-noise ratio)を改善できる。しかし大判のイメージャでは光学系が大きくなり飛行体200への搭載に適さず、多重露光は飛行体200をホバリングさせることでの測定時間の増加や飛行体200の振動の影響が精度低下をもたらす。
また一般的に飛行体200の筐体は太陽に照らされ常温より高温になる。
高精度のセンシングではセンサの温度を低温に保つことで熱雑音を低下させることができる。分光光度計など室内で使われるセンサについてはペルチェ素子などで低温に保つことで精度を保つものが存在するが、ペルチェ素子は消費電力が大きいため、電力が限られる飛行体200への搭載には適さない。
エアコンディショナーに見られるようなコンプレッサーを用いたヒートポンプ式の温度調整デバイスは電力効率はよいが、飛行体200に搭載できるサイズ・重量ではない。
一方、衛星センシングでは高度なセンシングができる機材を搭載されたものが運用されている。しかしながら空間分解能(解像度)の側面で不十分である。
上記したハイパースペクトラムカメラ、FTIR、大判イメージャの搭載や、低温制御などについては、人工衛星210においてはさほど困難ではない。
但し空間分解能が低いと、単に形状が判別できないだけでなく、その空間分解能1単位に色々な対象が混ざってしまい、知りたい対象だけの計測ができない。特に植生計測の例では土がまざる、影がまざる、などが問題になる。
より具体的に述べると、人工衛星210を用いたリモートセンシングでは離れた距離から測定するため、測定器の空間分解能(解像度)の1ピクセルの中に、測定したい物体のほかに、そうでない物体が混ざって写り込んでしまう。測定値はそれぞれの物体の占める割合の比率で重みづけられた値となり、ミクセル(Mixed Pixcel)と呼ばれる。例えば、植生を測定しようとした時、植物と土が混ざって測定され、植物そのもの物性値(クロロフィル濃度など)が求められないことがある。
このような問題の解決のため、各種の手法が提案されている。
「SAVI(Soil-adjusted Vegetation Index )」は、土の反射率による変動を補正する植生指数で、LAIを「L」としたとき、LAIが高い場合、L=0(NDVIと一致)、LAIが低い場合はL=1を使用する。
SAVI={(NIR-RED)/(NIR+RED+L)}×(1+L)
しかしながら、LAIの値は想定値を使う必要があり、農地のように場所ごとにLAIが違う可能性がある場合に正しく補正できない。
さらに、リモートセンシングに影響を与える影響は物体の占める平面的な割合だけではない。植物の葉の反射はランバート反射ではなく、光源入射角、葉の角度依存性、測定器の角度によって影響を受ける(一般的にこの効果はBRDFと呼ばれる)。
植物が立体形状であることから影が発生したり、群落の中での光線の多重反射などによって、測定される値は変動を受ける。
こういった複雑なメカニズムに対応するため、反射率の角度依存性を記載する葉の放射伝達モデル(例:PROSAILモデル)や、影を含めた群落の光学モデルを用い光学的挙動をモデル化することが行われている。
即ち衛星センシングで空間分解能が低いことをカバーし、また計測に影響を与える複雑な要因があることに対処するために、計測対象の形態の情報を含んだ「モデル(放射伝達特性モデルなど)」を用いたインバース計算で特定の対象の計測値を求めることを行われている。
ところが、測定対象がモデルの形状と齟齬なく広がっている場合はよいものの(植生では熱帯雨林など)、例えば圃場300の計測(スカウティング)では、形状そのものがこれから計測すべきもので特定できないから正しく測定することができない。例えば作物が育ってゆく過程で形が変わったり、なんかの問題で成長が悪かったり枯れかかっているなどの事情で形質等が不明である。
例えば図5Aは、ほぼ同形の植物個体が広く並んでいるような状態を示しているが、例えばマクロ計測範囲RZ2内でLAIはほぼ均一である。
一方図5Bは、領域H1は葉の大きい(大きく育った)植物が植えられている領域で、領域H2は、葉の小さい植物が植えられている領域であるとしており、図示するマクロ計測範囲RZ2は、領域H1,H2にまたがっている。この場合、場所によりLAIが違ったり、植物の高さが違ったりする。このため、インバースモデル演算に用いるモデルとの齟齬が大きくなる場合がある。
そこで実施の形態のセンシングシステムでは、ミクロ計測部3による高分解能の測定で、実際の畑の植物の状態(LAI、植被率や背の高さ、葉の平均角、クロロフィルの濃度など)或は畝の設置状況などを計測し、衛星センシングのインバースモデル演算に実物のパラメータを用いることで、形状や状態がばらついていたり、モデルの示す標準形状でない測定対象であっても測定ができるようにする。
例えば具体例としては、ミクロ計測部3からの検出データに基づく実物のパラメータを用いてインバースモデル演算を行うことで、測定対象の形状や状態がわからない場合でも正しいSIF(Solar-Induced chlorophyll Fluorescence)を算出し、光合成速度に関する情報を得るようにする。
モデルパラメータとしては、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率などが想定される。
また実施の形態のセンシングシステムでは、さらにクラスタリングの考え方を含む。つまり計測対象の領域を分けるクラスタリング、クラスタ毎の代表個体計測、クラスタ毎のモデルの切り替えという考え方である。
図6には、或る領域H10、H20でそれぞれセンシングを行う場合を模式的に示している。
領域H10は個体OBa1,OBa2,OBa3・・・OBanが存在し、領域H20は、それらとは形質が異なる個体OBb1,OBb2,OBb3・・・OBbnが存在するとする。
これら領域H10,H20はクラスタリング処理により、それぞれ別のクラスタとして把握されるようにする。
また各クラスタについて代表個体の計測が行われ、モデルパラメータが求められる。
そしてクラスタ毎にモデルパラメータが使い分けられる。
即ちマクロ計測部2及びミクロ計測部3により領域H10の計測を行う場合は、該当クラスタの代表個体に基づくモデルパラメータを用いてインバース演算を行う。
マクロ計測部2及びミクロ計測部3により領域H20の計測を行う場合は、該当クラスタの代表個体に基づくモデルパラメータを用いてインバース演算を行う。
このように、クラスタリングにより切り分けられた領域毎にモデルを使い分けることでより正確な計測結果を得る。
また図4A、図4Bでは破線で計測対象物の個体を示したが、この図の場合、ミクロ計測部3が領域H1,H2にまたがっている。領域H1,H2は、図5Bのように例えば異なる植物などとして葉の大きさ(育ち方)が異なる個体群があるとする。
この場合も、マクロ計測範囲RZ2において、領域H1に係る部分については、領域H1についてのミクロ計測に基づくモデルが使用され、領域H2に係る部分については、領域H2についてのミクロ計測に基づくモデルが使用されて、インバースモデル演算が行われるようにすることができる。図4Cはインバースモデル演算に用いるモデルの切り替えを模式的に示している。
<2.情報処理装置の構成>
以上のセンシングシステムにおいてマクロ計測部2及びミクロ計測部3からの検出情報を取得して分析等の処理を行う情報処理装置1について説明する。
図7は情報処理装置1のハードウエア構成を示している。情報処理装置1は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
入出力インタフェース55には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなる表示部56、キーボード、マウスなどよりなる入力部57、スピーカ58、記憶部59、通信部60などが接続可能である。
表示部56は情報処理装置1と一体でも良いし別体の機器でもよい。
表示部56では、CPU51の指示に基づいて表示画面上に各種の分析結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入力部57は、情報処理装置1を使用するユーザが用いる入力デバイスを意味する。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
記憶部59は例えばHDD(Hard Disk Drive)や固体メモリなどの記憶媒体より構成される。記憶部59には、例えばマクロ計測部2やミクロ計測部3から受信した検出データや分析結果その他各種の情報が記憶される。また分析処理等のためのプログラムデータの格納にも記憶部59は用いられる。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
この通信部60は例えばミクロ計測部3(撮像装置250)やマクロ計測部2(撮像装置220)との通信を行う通信デバイスとされる場合もある。
入出力インタフェース55にはまた、必要に応じてドライブ61が接続され、メモリカード等のストレージデバイス6が装着され、データの書込や読出が行われる。
例えばストレージデバイス6から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス6の一態様である。
なお、実施の形態の情報処理装置1は、図7のようなハードウエア構成の情報処理装置(コンピュータ装置)1が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図7の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
例えばこのようなハードウエア構成の情報処理装置1では、CPU51による演算機能や、ROM52、RAM53、記憶部59による記憶機能、通信部60やドライブ61によるデータ取得機能、表示部56などによる出力機能を有し、インストールされたソフトウエアが機能することで、図8のような機能構成を備えるようにされる。
即ち情報処理装置1には大きく分けて図8に示すデータ入力部10、分析実行部20、データ保存・出力部30が設けられる。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス6(例えばリムーバブル記憶媒体)から読み出されたりして図7の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各種バッファ等の記憶機能は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
また図8には、情報処理装置1の外部装置としてマクロ計測部2、ミクロ計測部3、ネットワーク5、ストレージデバイス6、操作入力部7を示している。
マクロ計測部2は上述したように例えば人工衛星210に搭載される。マクロ計測用センサ2SはハイパースペクトラムカメラやFTIRといった大型のセンサで、人工衛星210に搭載できるが飛行体200には搭載しずらいセンサである。これらは一般的には可視光外のセンサで、主に物性を計測するために用いられる。
ミクロ計測部3は飛行体200に搭載される。ミクロ計測用センサ3Sは、RGBカメラ、ステレオカメラなど、小型のセンサで飛行体200に搭載しやすいセンサである。一般的には可視光を中心としたセンサで、主に計測対象の形質、環境応答を計測するために用いられる。
ネットワーク5は例えばインターネット、ホームネットワーク、LAN(Local Area Network)等、衛星通信網、その他の各種のネットワークが想定される。
ストレージデバイス6は上述のようにメモリカード、ディスク状記録媒体など、主にリムーバブル記録媒体が想定される。
操作入力部7は、ユーザが手動入力を行うことができるデバイスであり、図7における入力部57として考えることができる。
操作入力部7は情報処理装置1と一体的に設けられてもよいし、別体の装置でもよい。
情報処理装置1におけるデータ入力部10は、以上の外部装置からのデータ入力を受け付ける機能であり、センサ入力部11,12,プログラム・モデル入力部13を有する。
センサ入力部11は、マクロ計測部2のマクロ計測センサ2Sによる検出情報を入力する。マクロ計測センサ2Sによる検出データは、例えばマクロ計測部2と図7の通信部60の通信により直接受信する場合がある。
或いはマクロ計測センサ2Sによる検出データは、ネットワーク5を介して通信部60により受信される場合がある。
さらにマクロ計測センサ2Sによる検出データはストレージデバイス6を介して取得される場合もある。
センサ入力部12は、ミクロ計測部3のミクロ計測センサ3Sによる検出情報を入力する。ミクロ計測センサ3Sによる検出データは、例えばミクロ計測部3と通信部60の通信により直接受信する場合や、ネットワーク5を介して通信部60により受信される場合、さらにはストレージデバイス6を介して取得される場合などがある。
なおセンサ入力部11,12では、光源分光補正などの前段処理を行うようにしてもよい。
プログラム・モデル入力部13は、ネットワーク5を介したサーバからのダウンロード、或いはストレージデバイス6からの読出などにより、必要なプログラムやモデルを取得する。モデルとはインバース演算に用いるモデルパラメータである。
分析実行部20はマクロ計測分析演算部21、マクロ計測分析値バッファ22、ミクロ計測分析演算部23、ミクロ計測分析値バッファ24、ポジションマッピング部25、インバースモデル演算プログラム・モデル保持部26(以下「保持部26」と略す)、インバースモデル演算部27、クラスタリング演算部28を有する。
マクロ計測分析演算部21は、センサ入力部11が取得したマクロ計測用センサ2Sの検出データから、物質成分の量などを求める演算を行う。
例えばマクロ計測分析演算部21は、ハイパースペクトラムカメラやFTIRによる多波長のデータから、植生指数や、NIRS(近赤外分光法)、FLD法(Fraunhofer. Line-Discrimination)法(太陽暗線:フラウンフォーファー線)によるSIF(クロロフィル蛍光)算出などを行う。
なお、太陽暗線O2Aは、波長幅が1nm程度と細いため、一般的にはハイパースペクトラムカメラやFTIRといったセンサによるセンシングが適する。本例のセンシングシステムでは、こういった機材は人工衛星210には搭載が容易なことから、マクロ計測部2からの検出データに基づいて、マクロ計測分析演算部21により算出するようにしている。
マクロ計測分析値バッファ22は、マクロ計測分析演算部21で処理されたデータを一時的に保持する。
例えばマクロ計測分析値バッファ22は、マクロ計測分析演算部21で算出されたSIFや、マクロ計測部2から通知された位置情報等を保持する。
ミクロ計測分析演算部23は、センサ入力部12が取得したミクロ計測センサ3Sの検出データから、必要な情報を得る演算を行う。
例えばミクロ計測分析演算部23は、LAI、平均葉角度、陽葉比率などを算出する。陽葉とは陽の当たっている葉や葉の部分のことである。
ミクロ計測分析値バッファ24は、ミクロ計測分析演算部23で処理されたデータを一時的に保持する。
例えばミクロ計測分析値バッファ24は、ミクロ計測分析演算部23で求められたLAI、平均葉角度、陽葉比率などの情報や、ミクロ計測部3から通知された位置情報、さらにはRGB画像やNDVI画像等を保持する。
ポジションマッピング部25は、解像度や撮像単位(計測範囲RZ2、RZ3)が異なる画像群のなかから、同一地点を抽出するための演算を行う。例えばGPS情報を用いたり、オルソモザイク処理などを用いて、マクロ計測分析演算部21で処理した情報とミクロ計測分析演算部23で処理した情報について位置あわせを行う。
インバースモデル演算部27は、マクロ計測分析演算部21,ミクロ計測分析演算部23の演算結果を用いてインバースモデル演算を行う機能である。
即ちインバースモデル演算部27は、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づくモデルパラメータを生成する。
そしてインバースモデル演算部27は、当該モデルパラメータを、インバースモデルのパラメータに用いて、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算を行う。
なおインバースモデル演算部27は、ミクロ計測部3の検出データに基づくモデルパラメータを生成したら、そのモデルパラメータに日時と場所の情報を紐づけて所定の記憶部に保存させるようにすることが考えられる。日時と場所とは、そのモデルパラメータを求める元のミクロ計測を行った日時と場所(例えばGPS情報)である。
保持部26は、プログラム・モデル入力部13が取得したインバースモデル演算プログラム・モデル・デフォルトパラメータを保持する。このプログラムやモデルに基づいてインバースモデル演算部27のインバースモデル演算が行われる。
クラスタリング演算部28は、クラスタリング演算を行う。例えばクラスタリング演算部28は、操作入力部7によるユーザ入力に基づいて測定対象の圃場300等についての領域分けとしてのクラスタリングを行う。例えば畑で異なる作物の植えてある境界、同じ作物でも生育ステージが異なる境界などをユーザが指定する。これによりユーザが任意にクラスタ分けを行うことができる。
またクラスタリング演算部28はクラスタリングの指示の情報を、ネットワーク5を介して取得したり、さらにはストレージデバイス6を介して取得する場合もある。
さらにクラスタリング演算部28は、ミクロ計測分析演算部23から得られた情報、或いはマクロ計測分析演算部21から得られた情報に基づいて自動的なクラスタリングを行う場合もある。
クラスタリングに用いるミクロ計測分析演算部23から得られた情報とは、ミクロ計測部3の検出データであったり、検出データからミクロ計測分析演算部23が算出したLAI、平均葉角度、陽葉比率などである。
またクラスタリングに用いるマクロ計測分析演算部21から得られた情報とは、マクロ計測部2の検出データ(マルチスペクトル分光情報等)であったり、検出データからマクロ計測分析演算部21が算出したSIFなどである。
これらの情報の差異により、クラスタ分けを行うことができる。さらに画像テクスチャを解析・機械学習等を行うことも想定される。
また形態形質に限らず、生理形質や環境応答の違いがあれば、それらの差異をクラスタリングに用いてもよい。
また手動入力と自動クラスタ判定の組み合わせとして、ユーザが領域指定するとともに、ユーザが領域指定した1つの領域内においても、マクロ計測部が自動弁別したクラスタが複数ある場合は、自動的に細分化したクラスタを設定するということも考えられる。
クラスタリング演算部28によるクラスタの情報はインバースモデル演算部27に提供され、インバースモデル演算の際に参照される。
データ保存・出力部30は、解析データバッファ31、カラーマッピング部32、画像合成部33、グラフ生成部34、画像出力部35、データ出力部36を有する。
解析データバッファ31はインバースモデル演算部27の演算結果の情報を一時的に保存する。
インバースモデル演算部27が例えばSIFを求めたのであれば、解析データバッファ31はその情報を保持する。またRGB画像やNDVI画像を保持する場合もある。
カラーマッピング部32は、インバースモデル演算部27の演算結果として得られる物理値を可視化して表示するために、物理値の一定範囲を例えば、RGB三原色の各レベルを用い青から赤のカラーグラデーションに変換するための演算処理を行う。
画像合成部33は、カラーマッピングされた物理値データを画像の本来の空間的域に対応するように張り付けたり、RGB画像にオーバーレイ表示したりする演算処理を行う。
グラフ生成部34は、データを可視化して表示するために、物理値を折れ線で表示したり、2次元の物理値を散布図にしたりといった、グラフを作成する演算処理を行う。
画像出力部35は、カラーマッピング部32、画像合成部33、グラフ生成部34の処理で生成した画像データを外部の表示部56に出力して表示させる。或いは画像出力部35は、生成した画像データをネットワーク5を用いて外部装置に伝送したり、ファイル化してストレージデバイス6に保存するための出力を行う。
データ出力部36は、解析データバッファ31に保存されたインバースモデル演算部27の演算結果の情報を出力する。例えばデータ出力部36はインバースモデル演算結果の情報を、ネットワーク5を用い外部装置に伝送したり、ファイル化してストレージデバイス6に保存するための出力を行う。
<3.処理例>
以上の機能を有する情報処理装置1の処理例を説明していく。
図9に情報処理装置1の処理例を示す。
ステップS101で情報処理装置1はセンサ入力部11の機能によりマクロ計測部2による計測値を入力する。
ステップS102で情報処理装置1はマクロ計測分析演算部21の機能により、マクロ計測分析演算を行う。例えば光合成に関する情報としてSIF演算を行う。SIF演算については太陽光スペクトル中の暗線によるFLD法が知られている。
ステップS103で情報処理装置1はセンサ入力部12の機能によりミクロ計測部3による計測値を入力する。
ステップS104で情報処理装置1はミクロ計測分析演算部23の機能により、ミクロ計測分析演算を行う。
このステップS104のミクロ計測分析演算の処理例を図10に示す。
なおミクロ計測分析演算部23は、図11に示すRGB画像、NIR画像、R画像、偏光センサ角度情報を取得しているものとする。
図10のステップS201でミクロ計測分析演算部23は、画像構造分析演算を行う。具体的には画像の分割を行う。単純には、図11に示すようにマス目に分割することが考えられる。
但し、画像認識などを用いて物体等に応じて弁別して画像を分割しても良い。例えば測定対象としての個体を識別して、それに応じて画像を分割する。
ステップS202では、ミクロ計測分析演算部23は、分割単位毎にLAI、平均葉角度、陽葉比率を算出する。
LAIは植被率から求めることができる。植被率は、NDVIが一定以上の範囲に相当するピクセル数を、該当の分割単位の測定点数(ピクセル数)で割って求めることができる。
なおNDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
NDVI=(NIR-R)/(NIR+R)
で求められる。ここで「R」は可視域赤の反射率、「NIR」は近赤外域の反射率である。NDVIの値は「-1」から「1」の間に正規化した数値であり、正の大きい数字になるほど植生が濃いことを表している。
葉角度は、偏光センサによる角度情報を取得することで求めることができる。
陽葉比率は、陽の当たっている葉の比率である。陽葉は、NDVIが一定以上で、かつNIR値が一定以上のピクセルとして抽出できる。従って陽葉比率は、以上のように抽出された抽出ピクセル数を、該当の分割単位の測定点数(ピクセル数)で割ることで求められる。
ステップS203でミクロ計測分析演算部23は、全ての分割単位でLAI、平均葉角度、陽葉比率の算出を完了したか否かを判定し、完了していなければ、ステップS202で次の分割単位について、LAI、平均葉角度、陽葉比率の算出を行う。
全ての分割単位について処理を終えたらミクロ計測分析演算を終える。
以上の図10の処理で図9のステップS104を行ったら、情報処理装置1はステップS105で、クラスタリング演算部28の機能によりクラスタリングを行う。
図12にクラスタリング演算の一例を示す。
ステップS301でクラスタリング演算部28は、測定対象に対して、ユーザの手動入力による区分を指定する。
図13Aに模式的に測定対象としての圃場300を示す。なお領域AR1から領域AR6は説明の便宜上、分けているだけのもので、必ずしも異なる植生の領域というわけではない。但し、斜線を付した領域AR3は、他の領域とは異なる作物を栽培している領域であったとする。
この場合に、ユーザは太線で示す境界を手動入力で指定する。例えば圃場で植栽を行っている全体の領域(畑の境界)を示すとともに、種類の異なる作物を栽培している領域AR3を区別するような境界を指定したとする。
クラスタリング演算部28は、このようなユーザが予め知っている情報に基づく入力を反映して太線で示すようにクラスタ分けを行う。
ステップS302でクラスタリング演算部28は、マクロ計測分析演算部21から得られた情報やミクロ計測分析演算部23から得られた情報を用いて自動的なクラスタリングを行う。例えばSIF量、LAI、平均葉角度、陽葉比率などを用いてクラスタリングを行う。
図13Bには、複数回の計測に係るミクロ計測範囲RZ3として計測範囲a,b,c,dを示しているが、計測範囲aは領域AR3、計測範囲bは領域AR4、計測範囲cは領域AR5、計測範囲dは領域AR6をそれぞれ計測した場合のミクロ計測範囲RZ3であるとしている。
自動的なクラスタリングとしては、例えばLAIが異なる領域を分けるという処理を行うものとする。そしてLAIの値が、計測範囲a,b,cでは異なるが、計測範囲c,dではほぼ同じであったとする。
領域AR3と領域AR4は作物が異なり、LAIが異なる。領域AR4,AR5,AR6は同じ作物であるが、領域AR4のみ生育状況が異なっているとする。すると領域AR4もクラスタとして分けることが適切となる。
ステップS303でクラスタリング演算部28は、ユーザ入力によるクラスタ設定を、ステップS304の自動クラスタ判定を反映するように細分化する。
上記の例の場合、図13Cの太線に示すように、領域AR4を新たに1つのクラスタとして設定することになる。
例えば結果として、領域AR3、領域AR4はそれぞれ1つのクラスタCL3,CL4とされる。なお領域AR1,AR2については言及しなかったが、それらの領域もLAIが領域AR5,AR6と同じであったとすると、まとめて一つのクラスタCL1とされる。
例えば以上のように、ユーザ入力に応じてクラスタリングを行い、さらにマクロ計測或いはミクロ計測に係る値により自動クラスタ判定を行って細分化するようにクラスタリング演算を行う。
もちろんユーザ入力によるクラスタ設定のみでもよいし、或いはマクロ計測或いはミクロ計測に係る値により自動クラスタ判定を行ってクラスタ設定を行うのみでもよい。
以上のクラスタリング演算を行ったら、情報処理装置1は図9のステップS106で、ポジションマッピング部25の機能によりポジションマッピングを行う。
即ちマクロ計測分析演算結果とミクロ計測分析演算結果の位置合わせを行う。
ステップS107で情報処理装置1は、インバースモデル演算部27の機能によりインバースモデル演算を行う。このインバースモデル演算の処理例を図14に示す。
なお図15Aには、マクロ計測に基づくSIF計算の領域を模式的に示している。SIFはマクロ計測分解能として図示するマス目の単位(マクロ分解能単位W1からWn)で求められている。
ステップS401でインバースモデル演算部27は1つのマクロ分解能単位についてマクロ計測分析演算部21で算出されたSIFを読み出す。例えば最初にマクロ分解能単位W1のSIFを読み出す。
ステップS402でインバースモデル演算部27は、当該マクロ分解能単位に対応するクラスタについて、ミクロ計測分析演算部23で求めたパラメータ、即ちLAI、平均葉角度、陽葉比率を取得する。
図15Bには、先の測定範囲a,b,c(=d)についてのLAI、平均葉角度、陽葉比率を示した。つまり図13Cに示した、領域AR3のクラスタCL3、領域AR4のクラスタCL4、領域AR1+AR2+AR5+AR6のクラスタCL1のモデルパラメータである。
例えばマクロ分解能単位W1の場合、クラスタCL1に相当するため、図15BのクラスタCL1のモデルパラメータを取得する。
ステップS403でインバースモデル演算部27は、インバースモデル演算を行う。即ちマクロ計測に基づいて得たSIFから所望の物性値(例えば計測対象の形質)を求める。
このときにモデルパラメータとして、ステップS402で取得したミクロ計測に基づくパラメータを用いる。
これによりマクロ計測部2によるセンシングのみでは測定対象の形状や状態がわからない場合でも、実際の測定対象の形状や状態に応じた正しいSIFを求めることができる。
以上の処理を、マクロ分解能単位W1からWnの全てについて行うまで、ステップS404からS401に戻って繰り返す。つまり、マクロ分解能単位W1からマクロ分解能単位Wnについて、それぞれ、対応するクラスタについてのミクロ計測に基づくモデルパラメータを用いてインバースモデル演算を行っていく。
なお、以上はSIFの例で説明したが、例えばマクロ計測に基づいてNDVIを得る場合には、そのマクロ計測に基づくNDVIからインバース演算で所望の物性値(例えば環境応答としてのクロロフィル濃度)を求めることもできる。
全てのマクロ分解能単位について処理を終えたら、インバースモデル演算部27はステップS405に進み、演算結果を解析データバッファ31に書き出す。この場合、マクロ分解能単位W1からマクロ分解能単位Wnについてのそれぞれの演算結果を書き出すことになる。
なお、以上の処理では各マクロ分解能単位に対して対応するクラスタのモデルパラメータを適用するが、特にクラスタリングがされない場合もある。例えば圃場300内が全て、同じ植物が同様の生育状態で植えられているような場合、ステップS105のクラスタリング処理を行ってもクラスタ分けされない場合がある。また、ステップS105の処理を行わない処理例も想定される。
それらの場合は、全てのマクロ分解能単位に対して、1つのミクロ計測範囲RZ3の計測により得られたモデルパラメータを適用してインバースモデル演算を行えばよい。
以上の処理で図9のステップS107を終えたら、情報処理装置1はデータ保存・出力部30の機能によりステップS108のカラーマッピング、ステップS109の画像合成、ステップS110の画像出力を行う。
これによりユーザは表示部56等で、演算結果を確認することができる。
この場合のカラーマッピング等を加えた出力画像の例を説明していく。
図16は上述のように得られたマクロ分解能単位毎のインバースモデル演算結果に対して色当て(カラーマッピング)した画像を生成する例である。ここでいう「色当て」とは、予め数値範囲毎に対応する色を設定しておき、対象の値に応じて色を選択し、該当画素に割り当てることをいう。
図16Aはマクロ分解能単位毎のインバースモデル演算結果を示している。このような値について色当てを行って、図16Bのようなカラーマッピング画像を生成する。これは各領域について演算結果の値に該当する色が割り当てられた画像となる。
なお、図面では、斜線の種類や点描等により色の違いを示している。また有効な演算結果が存在しないマクロ分解能単位(例えば陽葉が存在しない部分など)は「NO DATA」として示している。「NO DATA」で示す領域については例えば背景色(白)が割り当てられる。
このようなカラーマッピング画像がユーザに提示されるようにすれば、各マクロ分解能単位の領域のインバースモデル演算結果が色により表現されるものとなり、ユーザがマクロ測定結果を把握し易い画像となる。
次に図17は、植生の特定の状態である箇所に対して色当てした画像を合成する例である。図17Aはマクロ分解能単位毎のインバースモデル演算結果の値を示している。図17Bは、陽葉を抽出した画像NDVIp-pr(NDVIPlants Filtered Par Filtered)である。陽葉を抽出した画像NDVIp-prとは、NDVIが一定以上で、かつNIR値が一定以上の範囲を抽出した画像である。
そしてそれぞれのマクロ分解能単位で陽葉部分に色当てを行って図17Cのようなカラーマッピング画像を生成する。陽葉の部分のみが、インバースモデル演算結果に応じた色となる画像である。そのため、ユーザが領域毎の陽葉の分布ともにマクロ測定結果を把握し易い画像となる。
次に図18は可視光画像(RGB画像)にオーバーレイ表示する例である。
図18Aはマクロ分解能単位毎のインバースモデル演算結果の値を示している。図18Bは、RGB画像である。
そして図18Cに示すように、RGB画像において、各マクロ分解能単位にインバースモデル演算結果の値に応じて割り当てられた色がオーバーレイされるようにする。図では該当画素部分に色が付けられている状態を示している。
つまり、RGB画像上で、演算結果を示す色が表現される画像となる。そのため、ユーザが通常視認する画像上でマクロ測定結果を把握し易い画像となる。
なお、オーバーレイでなく、該当の画素を割り当てた色で上書きするようにしてもよい。
例えば以上の図16、図17、図18のように出力画像が生成され、表示部56で表示されたり、ネットワーク5を用い外部装置に伝送したり、ファイル化してストレージデバイス6に保存されることで、ユーザは解析結果を利用できる。
<4.各種例>
ここまで植生センシングを想定して説明してきたが本開示の技術は多様な分野に適用できる。
例えばオフィスビル等の建物で中央熱源を用いている場合には、建物全体のエネルギー使用量がマクロ計測として把握できる。
またミクロ計測として建物の一部(例えば或るフロアに入居している事業所)に関する何らかの計測が可能である。
マクロ計測に基づく情報を用いてインバースモデル演算を行う場合に、そのモデルパラメータを、ミクロ計測に基づいて設定することが考えられる。
また例えば労働統計などの分野の例を挙げると、マクロ計測としてある程度の期間の失業率の推移を計測し、ミクロ計測としての季節毎の失業者の属性などを計測できる。
マクロ計測に基づく情報を用いてインバースモデル演算を行う場合に、そのモデルパラメータを、ミクロ計測に基づいて設定することが考えられる。
<5.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、計測対象のマクロ計測範囲RZ2(第1の計測範囲)についてマクロ計測分解能(第1の空間分解能)でセンシングを行うマクロ計測部2からの検出データについて演算を行うマクロ計測分析演算部21を備える。また情報処理装置1はマクロ計測範囲RZ2に含まれるミクロ計測範囲RZ3(第2の計測範囲)に対してマクロ計測分解能前より高い分解能であるミクロ計測分解能(第2の空間分解能)でセンシングを行うミクロ計測部3からの検出データについて演算を行うミクロ計測分析演算部23を備える。さらに情報処理装置1は、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づいて取得するインバースモデル演算部27を備える。
このようにミクロ計測に基づいてモデルパラメータを算出することで、マクロ計測分析演算部での演算結果を用いたインバースモデル演算に適したインバースモデルのパラメータを得ることができる。
また実施の形態では、インバースモデル演算部27は、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づくモデルパラメータを、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるようにしている。
インバースモデル演算を行う場合、計測対象の形状や状態がばらついている場合など、モデルが示す標準の形状や状態とは異なることがあるため、計測精度が低下することがある。本実施の形態の場合、インバースモデルパラメータをミクロ計測による実測に基づいて生成することで、形状や状態がばらついていたり、モデルの示す標準形状でない測定対象であっても精度のよい測定ができるようになる。
特にこの場合、空間分解能の高いセンシングが可能なミクロ計測部3の検出データを用いることでインバースモデルパラメータをより適切化でき、マクロ計測部2だけではできなかった、計測対象の形質や環境応答に応じたインバースモデル演算による計測ができるようになる。
より具体的には、飛行体200による高分解能の測定で、実際の畑の植物の状態(植被率や背の高さ、葉の平均角、クロロフィルの濃度など)或は畝の設置状況などを計測し、人工衛星210のセンシングのインバースモデル演算に実物のパラメータを用いることで、形状や状態がばらついていたり、モデルの示す標準形状でない測定対象であっても高精度の測定ができる。
またこのような測定システムを用いれば、飛行体200側からすると例えばSIF測定をせず光合成情報が得られるようになる。人工衛星210側からすると、これまで望めなかった高解像度の情報を取得できるという利点も生ずる。
実施の形態では、インバースモデル演算部27は、ミクロ計測範囲RZ3(第2の計測範囲)の検出データに基づくモデルパラメータを用いて、マクロ計測分解能(第1の空間分解能)の単位で演算結果を求めるようにしている(図14,図15参照)。
これによりマクロ計測範囲RZ2内においてにマクロ計測分解能の単位で、インバースモデル演算によりミクロ計測を反映した計測値を求めることができる。
特には、人工衛星210による画像が出力範囲になるため、飛行体200による画像よりも広い範囲の画像として、インバースモデル演算結果が得られる。
実施の形態では、インバースモデル演算部27は、マクロ分解能単位の演算結果として計測対象の形質又は環境応答を求めるようにしている。
これにより計測対象の静的な形や特性、計測対象の動的な形や特性を求めるセンシングが実現される。
例えば植物の形状、植生指数、光合成に関する情報などを得るようにすることで農業に適したリモートセンシングが実現される。
例えば光合成に関する情報としては、測定対象の形状や状態がわからない場合でも正しいSIF(solar-induced chlorophyll fluorescence)や、正しいSIFから計算される各種情報を得ることができる。
実施の形態では、マクロ計測部2は、ミクロ計測部3よりも計測対象4(例えば圃場300)からの距離が遠い位置に配置されてセンシングを行うものとした。
マクロ計測部2が、計測対象4から比較的離れている状況とすれば、比較的大規模な装置、デバイスをマクロ計測部2或いはマクロ計測部2を搭載した装置として実現しやすくなる。
なおミクロ計測部3は飛行体200に搭載され、マクロ計測部2は人工衛星210に搭載される例を挙げたが、マクロ計測部2もドローン等の飛行体200に搭載されてもよい。例えばより上空を飛行する飛行体200にマクロ計測部2を搭載してマクロ計測範囲RZ2のセンシングを行うことも考えられる。
実施の形態では、インバースモデル演算部27は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する例を挙げた(図14,図15参照)
ミクロ計測部による検出データの演算によりクラスタリングされた計測領域毎にモデルパラメータを求めることで、インバースモデル演算部27はクラスタリングされた計測領域毎にモデルパラメータを使い分けることができる。
これによりマクロ計測範囲RZ2内でも、クラスタリングされた計測領域毎、例えば異なる作物が栽培されている領域毎などに分けた適切な計測結果を得ることができる。
なおクラスタごとに、作物名も指定することで、モデルパラメータ(例えば背の高さ)だけでなく、モデルそのもの(トマトとコーンなど、品種ごとの形状の違いを反映したモデル)を自動的に切り替えても良い。
実施の形態では、クラスタリングは、領域を指定するユーザ入力に基づいて行われる例を挙げた。
例えば圃場300などでは異なる作物を栽培している領域などが分かれている。例えば農場主等のユーザはそのような情報を入力することができる。
これにより栽培する作物が異なる領域、或いは栽培を開始した時期の異なる領域などの情報を明確に得ることができる。従って作物等の形質や環境応答を領域毎に適切に求めることができる。
またユーザ入力を反映したクラスタリングを行うことで、ユーザが望む領域毎の計測結果が得られるようになる。
なお図12ではユーザ入力、マクロ計測値、ミクロ計測値に基づくクラスタリングを示したが、例えば図12のステップS301のみが行われる、ユーザ入力のみに基づくクラスタリング演算が行われてもよい。
また実施の形態のでは、記クラスタリングは、マクロ計測部2による検出データ又はミクロ計測部3による検出データに基づいて行われる例を挙げた。
例えばマクロ計測部2やミクロ計測部3の検出データ(もしくはそれらから算出される情報)を用いれば、形状や状況が明確に異なる領域を判別できるため自動でクラスタリング演算を行うことができる。
これにより栽培する作物が異なる領域、或いは栽培を開始した時期の異なる領域などを分けるクラスタリングを自動化し、ユーザに手間をかけさせずに作物等の形質や環境応答を領域毎に正確に求めることができる。
図12ではユーザ入力、マクロ計測値、ミクロ計測値に基づくクラスタリングを示したが、例えば図12のステップS302のみが行われる、マクロ計測値、ミクロ計測値のみに基づくクラスタリング演算が行われてもよい。さらにはマクロ計測値のみに基づくクラスタリング演算や、ミクロ計測値のみに基づくクラスタリング演算も考えられる。
実施の形態では、クラスタリングは、領域を指定するユーザ入力、及びマクロ計測部による検出データ又はミクロ計測部による検出データに基づいて行われる例を挙げた。
即ち手動入力と自動判別の両方を反映したクラスタリング演算を行う。
図12ではクラスタリング演算部28は、マクロ計測部2による検出データ、ミクロ計測部3による検出データ、及び操作入力部7による入力データを用いてクラスタリングを行う例を挙げたが、この場合、ユーザ入力による正確性、要望の反映に加え、さらに植生状況の異なる領域の自動判別の要素も加わり、より適切な領域毎の計測結果が得られるようになる。
図12ではユーザ入力によるクラスタリングを自動判別により細分化する例としたが、逆に自動判別によるクラスタリングをユーザ入力により細分化するようにしてもよい。
実施の形態で述べたモデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度(葉の平均傾き)、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれか1つ又は複数とすることができる。
図15BではLAI、平均葉角度、陽葉比率の例を挙げた。これ以外にも計測目的に応じてモデルパラメータとして適用できる。
これにより植生のリモートセンシングに適した測定に好適に適用できる。
実施の形態では、ミクロ計測部3は、ミクロ計測センサ3Sとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する例を述べた。
これらは例えば形状分析など、計測対象の形質、環境応答、範囲、分布などの分析に適したセンサである。
またこれらは比較的、飛行体200に搭載し易いセンサであり、ドローン等の小型無人飛行体としての飛行体200の運用に適している。
実施の形態では、マクロ計測部2は、マクロ計測センサ2Sとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する例を挙げた。
これらは例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらは比較的、飛行体200に搭載しにくいセンサである。そこで例えば人工衛星210に搭載するものとすれば、ドローン等の小型無人飛行体としての飛行体200の運用を容易化できる。
実施の形態の情報処理装置1は、インバースモデル演算部27の演算結果に基づく画像データを生成して出力するデータ保存・出力部30を有する。
インバースモデル演算部27の演算結果は、そのままでは人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこでデータ保存・出力部30では、演算結果を人への提示に適した状態に画像化して表示部56やネットワーク5、或はストレージデバイス6に出力する。これにより、演算結果を理解しやすい画像でユーザに提供できる。
実施の形態では、データ保存・出力部30は、インバースモデル演算部27の演算結果をカラーマッピングした出力画像を生成する例を挙げた(図16参照)。
即ちインバースモデル演算部27の演算結果がマクロ分解能単位である領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
これにより、色別で分析結果を認識できる画像をユーザに提供できる。
実施の形態では、データ保存・出力部30は、インバースモデル演算部27の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像を生成する例を挙げた(図17、図18参照)。
データ保存・出力部30は、他の画像とカラーマッピングした画像を例えばオーバーレイや上書きなどの形で合成することで、他の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
実施の形態では、マクロ計測部2は人工衛星210に搭載されている例を挙げた。
人工衛星210の場合、比較的高機能であったり規模の大きいセンサを搭載し易いため、高度なセンシングを行うマクロ計測部2の搭載に適している。
例えば人工衛星210のマクロ計測部2を多数の農業主、センシング実施組織などで共用することで、運用コストの低減やマクロ計測センサ2Sの有効利用を図ることもできる。
なお人工衛星210を用いずに、飛行体200又は比較的大型の飛行体にマクロ計測部2を搭載し、ミクロ計測部3より高い位置からセンシングを行う例も考えられる。
実施の形態では、ミクロ計測部3は、無線操縦又は自動操縦が可能な飛行体200に搭載されている例を挙げた。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
小型の飛行体200の場合、圃場300などの計測対象から比較的低い高度でセンシングを行う。そしてこの場合、空間解像度の高いセンシングに適している。
また飛行体200にはマクロ計測部2を搭載しないことで、小型の飛行体200の運用が容易になったり、センシングを行うためのコストを低減できる。
実施の形態の情報処理装置1は、外部装置から入力されるインバースモデル演算プログラム及びインバースモデルを保持する保持部26を有する例を挙げた。
即ち補完分析演算部の演算アルゴリズムを規定するプログラムを外部装置から取得できるようにしている。
例えばネットワーク5やストレージデバイス6などの外部装置から補間分析演算のためのプログラムを取得し、保持部26に保存するようにし、このプログラムに基づいてインバースモデル演算部を行う。これにより情報処理装置1は多様なインバースモデル演算が可能となる。
実施の形態のプログラムは、情報処理装置1に、計測対象のマクロ計測範囲RZ2についてマクロ計測分解能でセンシングを行うマクロ計測部2からの検出データについて演算を行うマクロ計測分析演算処理を実行させる。また該プログラムは、情報処理装置1に、マクロ計測範囲RZ2に含まれるミクロ計測範囲RZ3に対してマクロ計測分解能前より高い分解能であるミクロ計測分解能でセンシングを行うミクロ計測部3からの検出データについて演算を行うミクロ計測分析演算処理を実行させる。さらに該プログラムは、情報処理装置1に、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づくモデルパラメータを、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算処理を実行させる。
即ち図9、図10、図14の処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより本実施の形態の画像処理装置1の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づいて取得するインバースモデル演算部と、を備えた
情報処理装置。
(2)
前記インバースモデル演算部は、
前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いる
上記(1)に記載の情報処理装置。
(3)
前記インバースモデル演算部は、前記第2の計測範囲の検出データに基づくモデルパラメータを用いて、前記第1の空間分解能の単位で演算結果を求める
上記(2)に記載の情報処理装置。
(4)
前記インバースモデル演算部は、前記第1の空間分解能の単位の演算結果として計測対象の形質又は環境応答を求める
上記(2)又は(3)に記載の情報処理装置。
(5)
前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記クラスタリングは、領域を指定するユーザ入力に基づいて行われる
上記(6)に記載の情報処理装置。
(8)
前記クラスタリングは、前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
上記(6)又は(7)に記載の情報処理装置。
(9)
前記クラスタリングは、領域を指定するユーザ入力、及び前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
上記(6)から(8)のいずれかに記載の情報処理装置。
(10)
前記モデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれかを含む
上記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記インバースモデル演算部の演算結果に基づく出力画像データを生成して出力する出力部を有する
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした出力画像データを生成する
上記(13)に記載の情報処理装置。
(15)
前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
上記(13)に記載の情報処理装置。
(16)
前記マクロ計測部は、人工衛星に搭載されている
上記(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
上記(1)から(16)のいずれかに記載の情報処理装置。
(18)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記ミクロ計測分析処理で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析処理での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算処理と、
を情報処理装置が実行する情報処理方法。
(19)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記ミクロ計測分析処理で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析処理での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算処理と、
を情報処理装置に実行させるプログラム。
(20)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算部と、を備えた
センシングシステム。
1 情報処理装置、2 マクロ計測部、2S マクロ計測センサ、3 ミクロ計測部、3S ミクロ計測センサ、4 測定対象、5 ネットワーク、6 ストレージデバイス、7 操作入力部、10 データ入力部、11 センサ入力部、12 センサ入力部、13 プログラム・モデル入力部、20 分析実行部、21 マクロ計測分析演算部、22 マクロ計測分析値バッファ、23 ミクロ計測分析演算部、24 ミクロ計測分析値バッファ、25 ポジションマッピング部、26 インバース演算プログラム・モデル保持部、27 インバースモデル演算部、28 クラスタリング演算部、30 データ保存・出力部、31 解析データバッファ、32 カラーマッピング部、33 画像合成部、34 グラフ生成部、35 画像出力部、36 データ出力部、51 CPU、52 ROM、53 RAM、54 バス、55 入出力インタフェース、56 表示部、57 入力部、58 スピーカ、59 記憶部、60 通信部、61 ドライブ、200 飛行体、210 人工衛星、220 撮像装置、250 撮像装置、300 圃場

Claims (17)

  1. 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
    前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
    前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、取得したモデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算部と、
    を備え、
    前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
    情報処理装置。
  2. 前記インバースモデル演算部は、前記第1の空間分解能の単位の演算結果として計測対象の形質又は環境応答を求める
    請求項1に記載の情報処理装置。
  3. 前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
    請求項1又は請求項2に記載の情報処理装置。
  4. 前記クラスタリングは、領域を指定するユーザ入力に基づいて行われる
    請求項1から請求項3のいずれかに記載の情報処理装置。
  5. 前記クラスタリングは、前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
    請求項1から請求項4のいずれかに記載の情報処理装置。
  6. 前記クラスタリングは、領域を指定するユーザ入力、及び前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
    請求項1から請求項5のいずれかに記載の情報処理装置。
  7. 前記モデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれかを含む
    請求項1から請求項6のいずれか記載の情報処理装置。
  8. 前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
    請求項1から請求項7のいずれかに記載の情報処理装置。
  9. 前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
    請求項1から請求項8のいずれかに記載の情報処理装置。
  10. 前記インバースモデル演算部の演算結果に基づく出力画像データを生成して出力する出力部を有する
    請求項1から請求項9のいずれかに記載の情報処理装置。
  11. 前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした出力画像データを生成する
    請求項10に記載の情報処理装置。
  12. 前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
    請求項10に記載の情報処理装置。
  13. 前記マクロ計測部は、人工衛星に搭載されている
    請求項1から請求項12のいずれかに記載の情報処理装置。
  14. 前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
    請求項1から請求項13のいずれかに記載の情報処理装置。
  15. 情報処理装置が、
    計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
    前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
    前記マクロ計測分析処理の演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析処理で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算処理と、
    を実行するとともに、
    前記インバースモデル演算処理では、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
    情報処理方法。
  16. 情報処理装置に、
    計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
    前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
    前記マクロ計測分析処理の演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析処理で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算処理と、
    を実行させるとともに、
    前記インバースモデル演算処理では、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する処理を実行させる
    プログラム。
  17. 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
    前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
    前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
    前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
    前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算部と、
    を備え、
    前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
    センシングシステム。
JP2019124764A 2019-07-03 2019-07-03 情報処理装置、情報処理方法、プログラム、センシングシステム Active JP7415348B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019124764A JP7415348B2 (ja) 2019-07-03 2019-07-03 情報処理装置、情報処理方法、プログラム、センシングシステム
CN202080046901.8A CN114080540A (zh) 2019-07-03 2020-06-25 信息处理装置、信息处理方法、程序和感测系统
PCT/JP2020/025083 WO2021002280A1 (en) 2019-07-03 2020-06-25 Information processing apparatus, information processing method, program, and sensing system
EP20739477.6A EP3994659A1 (en) 2019-07-03 2020-06-25 Information processing apparatus, information processing method, program, and sensing system
US17/597,079 US20220299433A1 (en) 2019-07-03 2020-06-25 Information processing apparatus, information processing method, program, and sensing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124764A JP7415348B2 (ja) 2019-07-03 2019-07-03 情報処理装置、情報処理方法、プログラム、センシングシステム

Publications (2)

Publication Number Publication Date
JP2021012433A JP2021012433A (ja) 2021-02-04
JP7415348B2 true JP7415348B2 (ja) 2024-01-17

Family

ID=71575716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124764A Active JP7415348B2 (ja) 2019-07-03 2019-07-03 情報処理装置、情報処理方法、プログラム、センシングシステム

Country Status (5)

Country Link
US (1) US20220299433A1 (ja)
EP (1) EP3994659A1 (ja)
JP (1) JP7415348B2 (ja)
CN (1) CN114080540A (ja)
WO (1) WO2021002280A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970946B1 (ja) * 2021-03-07 2021-11-24 西日本技術開発株式会社 分布図作成装置、分布図作成方法、及び、プログラム
WO2022209284A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US20240164265A1 (en) * 2021-03-31 2024-05-23 Sony Group Corporation Information processing device, information processing method, and program
CN117980959A (zh) 2021-09-27 2024-05-03 索尼半导体解决方案公司 信息处理装置和信息处理方法
JP7316004B1 (ja) * 2022-10-24 2023-07-27 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018387A (ja) 2005-07-08 2007-01-25 Ntt Data Corp 緑被率マップ作成装置、緑被率マップ作成方法、及び、プログラム。
JP2012088876A (ja) 2010-10-19 2012-05-10 Hitachi Ltd スペクトル情報抽出装置
WO2015145764A1 (ja) 2014-03-28 2015-10-01 株式会社日立製作所 画像生成システム及び画像生成方法
JP2017035055A (ja) 2015-08-12 2017-02-16 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム
US20170374323A1 (en) 2015-01-11 2017-12-28 A.A.A Taranis Visual Ltd Systems and methods for agricultural monitoring
JP2018534714A (ja) 2015-11-08 2018-11-22 エーグロウイング リミテッド 航空画像を収集及び分析するための方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5162890B2 (ja) 2006-12-01 2013-03-13 株式会社サタケ リモートセンシングにおける補正方法
US20180306905A1 (en) * 2017-04-20 2018-10-25 Analog Devices, Inc. Method of Providing a Dynamic Region of interest in a LIDAR System
US10638038B2 (en) * 2017-07-27 2020-04-28 Stmicroelectronics (Research & Development) Limited System and method for enhancing the intrinsic spatial resolution of optical sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018387A (ja) 2005-07-08 2007-01-25 Ntt Data Corp 緑被率マップ作成装置、緑被率マップ作成方法、及び、プログラム。
JP2012088876A (ja) 2010-10-19 2012-05-10 Hitachi Ltd スペクトル情報抽出装置
WO2015145764A1 (ja) 2014-03-28 2015-10-01 株式会社日立製作所 画像生成システム及び画像生成方法
US20170374323A1 (en) 2015-01-11 2017-12-28 A.A.A Taranis Visual Ltd Systems and methods for agricultural monitoring
JP2017035055A (ja) 2015-08-12 2017-02-16 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム
JP2018534714A (ja) 2015-11-08 2018-11-22 エーグロウイング リミテッド 航空画像を収集及び分析するための方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
半谷 一晴, 石井 一暢, 野口 伸,衛星画像とヘリコプタ画像を利用した小麦の穂水分推定,環境情報科学論文集, 2009,ceis23 巻, Vol.23,日本,第23回環境情報科学学術研究論文発表会,2011年02月15日,p. 155-160,https://doi.org/10.11492/ceispapers.ceis23.0.155.0, https://www.jstage.jst.go.jp/article/ceispapers/ceis23/0/ceis23_0_155/_article/-char/ja

Also Published As

Publication number Publication date
JP2021012433A (ja) 2021-02-04
CN114080540A (zh) 2022-02-22
EP3994659A1 (en) 2022-05-11
WO2021002280A1 (en) 2021-01-07
US20220299433A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP7415348B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
Lu et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system
Tu et al. Optimising drone flight planning for measuring horticultural tree crop structure
JP7415347B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
Zheng et al. Improved estimation of rice aboveground biomass combining textural and spectral analysis of UAV imagery
Deng et al. UAV-based multispectral remote sensing for precision agriculture: A comparison between different cameras
Ahmed et al. Hierarchical land cover and vegetation classification using multispectral data acquired from an unmanned aerial vehicle
Haghighattalab et al. Application of unmanned aerial systems for high throughput phenotyping of large wheat breeding nurseries
Aasen et al. Multi-temporal high-resolution imaging spectroscopy with hyperspectral 2D imagers–From theory to application
Roth et al. Extracting leaf area index using viewing geometry effects—A new perspective on high-resolution unmanned aerial system photography
Frazer et al. Gap Light Analyzer (GLA), Version 2.0: Imaging software to extract canopy structure and gap light transmission indices from true-colour fisheye photographs, users manual and program documentation
Lu et al. Mapping vegetation biophysical and biochemical properties using unmanned aerial vehicles-acquired imagery
Mafanya et al. Radiometric calibration framework for ultra-high-resolution UAV-derived orthomosaics for large-scale mapping of invasive alien plants in semi-arid woodlands: Harrisia pomanensis as a case study
Li et al. Impact of the reproductive organs on crop BRDF as observed from a UAV
JP6507927B2 (ja) 植物生育指標測定装置、該方法および該プログラム
Rasmussen et al. The challenge of reproducing remote sensing data from satellites and unmanned aerial vehicles (UAVs) in the context of management zones and precision agriculture
Crusiol et al. Semi professional digital camera calibration techniques for Vis/NIR spectral data acquisition from an unmanned aerial vehicle
Svensgaard et al. Can reproducible comparisons of cereal genotypes be generated in field experiments based on UAV imagery using RGB cameras?
AU2005327183A1 (en) Simulating a sensing system
Teixeira et al. Evaluation of the radiometric accuracy of images obtained by a Sequoia multispectral camera
Song Evaluation of the UAV-based multispectral imagery and its application for crop intra-field nitrogen monitoring and yield prediction in Ontario
Lee et al. A handy imaging system for precision agriculture studies
Milewski et al. The use of satellite pictures and data provided by drones for the purposes of identification of crops and assessment of plant production
US20240177478A1 (en) Information processing device, information processing method, and program
Raeva Využití RPAS Při Monitorování a Analýze Vegetace

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7415348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151