JP7415348B2 - 情報処理装置、情報処理方法、プログラム、センシングシステム - Google Patents
情報処理装置、情報処理方法、プログラム、センシングシステム Download PDFInfo
- Publication number
- JP7415348B2 JP7415348B2 JP2019124764A JP2019124764A JP7415348B2 JP 7415348 B2 JP7415348 B2 JP 7415348B2 JP 2019124764 A JP2019124764 A JP 2019124764A JP 2019124764 A JP2019124764 A JP 2019124764A JP 7415348 B2 JP7415348 B2 JP 7415348B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- unit
- micro
- macro
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 108
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000005259 measurement Methods 0.000 claims description 581
- 238000004364 calculation method Methods 0.000 claims description 202
- 238000004458 analytical method Methods 0.000 claims description 129
- 238000012821 model calculation Methods 0.000 claims description 120
- 238000001514 detection method Methods 0.000 claims description 86
- 238000012545 processing Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 27
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 18
- 229930002875 chlorophyll Natural products 0.000 claims description 12
- 235000019804 chlorophyll Nutrition 0.000 claims description 12
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 12
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 claims description 11
- 239000002689 soil Substances 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000010287 polarization Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 34
- 241000196324 Embryophyta Species 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 239000000872 buffer Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 9
- 230000000704 physical effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000029553 photosynthesis Effects 0.000 description 6
- 238000010672 photosynthesis Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000036855 Left sided atrial isomerism Diseases 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
- B64G1/66—Arrangements or adaptations of apparatus or instruments, not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1793—Remote sensing
- G01N2021/1797—Remote sensing in landscape, e.g. crops
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N2021/3595—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Description
特許文献1には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。
一方、人工衛星を用いたセンシングでは高度なセンシングができる機材を搭載されたものが運用されている。しかしながら空間分解能(解像度)の側面で不十分である。
空間分解能が低いと単に形状が判別できないだけでなく、その空間分解能1単位に色々な対象が混ざってしまい、知りたい対象だけの計測ができないということがある。
インバース演算に持ちいつモデルパラメータを第2の空間分解の計測結果に基づいて生成する。
また上記した本技術に係る情報処理装置においては、前記インバースモデル演算部は、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いることが考えられる。
高機能なセンシングが可能なマクロ計測を用いてインバースモデル演算により高度な測定ができるが、この場合にインバースモデルのパラメータに、空間分解能の高いセンシングで得られた実測に基づくパラメータを用いる。
インバースモデル演算部は例えば形質、環境応答としての演算結果を求めるが、この場合、ミクロ計測部による第2の計測範囲でのモデルパラメータを用いて、マクロ計測部による第1の空間分解能の単位で演算結果を求める。
形質とは計測対象の静的な形や特性である。環境応答とは計測対象の動的な形や特性である。
マクロ計測部はミクロ計測部よりも計測対象から遠い位置から、広い計測範囲の計測を行う。一方、ミクロ計測部はマクロ計測部よりも計測対象から近い位置から、比較的狭い計測範囲の計測を行う。
ミクロ計測部による検出データの演算によりクラスタリングされた計測領域毎にモデルパラメータを求めることで、インバースモデル演算部はクラスタリングされた計測領域毎にモデルパラメータを使い分けることができる。
例えば圃場などでは異なる作物を栽培している領域などが分かれている。例えば農場主等のユーザはそのような情報を入力することができる。
例えばマクロ計測部やミクロ計測部の検出データを用いれば、形状や状況が明確に異なる領域を判別できるため自動でクラスタリング演算を行う。
即ち手動入力と自動判別の両方を反映したクラスタリング演算を行う。
なお、LAI(Leaf Area Index)は葉面積指数であり、葉が多いほど値が大きくなる植物の葉量を表す指数である。
なおレーザ画像検出及び測距のセンサはいわゆるLidar(light detection and ranging)として知られている。
即ちインバースモデル演算部による演算結果の情報を画像化してユーザに提示できるようにする。
インバースモデル演算部の演算結果が複数の領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
各領域に色当てした画像と他の画像を、例えばオーバーレイや上書きなどの形で合成する。
人工衛星にマクロ計測部を搭載し、上空の離れた位置から圃場などの計測対象の計測を行う。
無線操縦や自動操縦が可能な飛行体としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
これにより情報処理装置において計測対象について、マクロ計測とミクロ計測を合わせた高度かつ正確な計測結果情報の生成ができる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これにより高度な計測結果を生成するコンピュータ装置の実現が容易となる。
本技術に係るセンシングシステム、計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、上述の情報処理装置を備える。
これによりマクロ計測とミクロ計測を行い、更にそれらの計測結果を用いた計測結果を生成するシステムを構築できる。
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.処理例>
<4.各種例>
<5.まとめ及び変形例>
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成するマクロ計測部2とミクロ計測部3を示している。
飛行体200は、例えば操作者の無線操縦、或いは自動操縦等により、圃場300の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行う。
このような飛行体200に装着された撮像装置250が図1のミクロ計測部3となる。そして撮像装置250による撮像画像がミクロ計測としての検出データとなる。撮像装置250の撮像範囲がミクロ計測範囲RZ3となる。
この撮像装置220により、圃場300のセンシング(撮像)を行うことができる。即ち撮像装置220がマクロ計測部2となる。そして撮像装置220による撮像画像がマクロ計測としての検出データとなる。撮像装置220による撮像範囲がマクロ計測範囲RZ2となる。
またミクロ計測センサとして、デバイスサイズとして飛行体200に搭載させて運用が可能なものであれば、複数の波長帯の画像撮像を行うマルチスペクトラムカメラとして、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
これらは、例えば計測対象の形質、環境応答、環境状態(範囲、分布等)などの分析に適したセンサとすることが望ましい。なお形質とは計測対象の静的な形や特性である。環境応答とは計測対象の動的な形や特性である。環境状態とは計測対象の存在する環境の状態であり、計測対象の存在する範囲や分布、或いは環境の特性などである。
またこれらのセンサは、飛行体200に搭載し易い比較的小型軽量のセンサであることが望ましい。
そしてこれらのマクロ計測センサは、例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらはデバイスサイズや重量などの事情により、小型の飛行体200に搭載しにくいセンサであるが、本例のセンシングシステムでは、そのようなセンサを人工衛星210に搭載するものとする。
なお位置情報や撮像日時情報は撮像装置220の画像(検出データ)と撮像装置250の画像(検出データ)を対応づける情報ともなる。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、例えば撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
マクロ計測部2は、計測範囲RZ2において計測を行うとともに、モデルを用いたインバース演算を行って出力(例えば植生等の計測結果)を得る。例えば予め用意したモデルを用いてマクロ計測値を解釈することで、混ざった計測値から正しい出力が得られる。
そこで代表固体の計測値でモデルをアップデートする。このためにミクロ計測部による検出データが用いられる。
ミクロ計測部3は、計測対象の個体毎の計測を行うことができる。例えば個体OBa1,OBa2,OBa3・・・OBanを示しているが、ミクロ計測部3によればこれらの形質、環境応答、環境状態や、それらに基づく領域の識別、などを計測又は判定できる。
ミクロ計測部3からの検出データにより、代表個体の形質や環境応答を測定し、これによりモデルパラメータを変更することで、実測に従ったモデルを用いたインバースモデル演算ができるようになる。
大きいマス目がマクロ計測分解能、小さいマス目がミクロ計測分解能を表す。これらの分解能で得られる情報とは、例えば撮像画像の1画素(1ピクセル)の情報に相当する。
例えば破線で示すように計測対象があった場合、細線で示す小さいマス目の分解能で計測対象の形質、環境応答、領域等が判別でき、太線で示す大きいマス目の分解能で物性値等が計測できる。
先述したように、昨今、ドローン等の飛行体200を用いたセンシングが多く行われ、可視光(RGB)の計測による形質の計測に加え、色々な光学波長や手法を用いることで対象の物性、生理状態などを計測することができる。しかし小型の飛行体200に搭載可能なセンシングデバイスは大きさや重量などの制限を受けることが多い。
また、スキャンには一定の時間を要しホバリングする必要があり、測定時間が長く、飛行体200のバッテリーの容量では広い土地を測定できない場合も多い。
また、スキャン中に飛行体200の振動が影響し、測定精度が低下してしまうこともある。
また、より分光分解能が高いFTIR方式は、原理的に機器サイズが長く、飛行体200への搭載が難しい。
高精度のセンシングではセンサの温度を低温に保つことで熱雑音を低下させることができる。分光光度計など室内で使われるセンサについてはペルチェ素子などで低温に保つことで精度を保つものが存在するが、ペルチェ素子は消費電力が大きいため、電力が限られる飛行体200への搭載には適さない。
エアコンディショナーに見られるようなコンプレッサーを用いたヒートポンプ式の温度調整デバイスは電力効率はよいが、飛行体200に搭載できるサイズ・重量ではない。
上記したハイパースペクトラムカメラ、FTIR、大判イメージャの搭載や、低温制御などについては、人工衛星210においてはさほど困難ではない。
「SAVI(Soil-adjusted Vegetation Index )」は、土の反射率による変動を補正する植生指数で、LAIを「L」としたとき、LAIが高い場合、L=0(NDVIと一致)、LAIが低い場合はL=1を使用する。
SAVI={(NIR-RED)/(NIR+RED+L)}×(1+L)
植物が立体形状であることから影が発生したり、群落の中での光線の多重反射などによって、測定される値は変動を受ける。
こういった複雑なメカニズムに対応するため、反射率の角度依存性を記載する葉の放射伝達モデル(例:PROSAILモデル)や、影を含めた群落の光学モデルを用い光学的挙動をモデル化することが行われている。
ところが、測定対象がモデルの形状と齟齬なく広がっている場合はよいものの(植生では熱帯雨林など)、例えば圃場300の計測(スカウティング)では、形状そのものがこれから計測すべきもので特定できないから正しく測定することができない。例えば作物が育ってゆく過程で形が変わったり、なんかの問題で成長が悪かったり枯れかかっているなどの事情で形質等が不明である。
一方図5Bは、領域H1は葉の大きい(大きく育った)植物が植えられている領域で、領域H2は、葉の小さい植物が植えられている領域であるとしており、図示するマクロ計測範囲RZ2は、領域H1,H2にまたがっている。この場合、場所によりLAIが違ったり、植物の高さが違ったりする。このため、インバースモデル演算に用いるモデルとの齟齬が大きくなる場合がある。
例えば具体例としては、ミクロ計測部3からの検出データに基づく実物のパラメータを用いてインバースモデル演算を行うことで、測定対象の形状や状態がわからない場合でも正しいSIF(Solar-Induced chlorophyll Fluorescence)を算出し、光合成速度に関する情報を得るようにする。
モデルパラメータとしては、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率などが想定される。
領域H10は個体OBa1,OBa2,OBa3・・・OBanが存在し、領域H20は、それらとは形質が異なる個体OBb1,OBb2,OBb3・・・OBbnが存在するとする。
また各クラスタについて代表個体の計測が行われ、モデルパラメータが求められる。
そしてクラスタ毎にモデルパラメータが使い分けられる。
即ちマクロ計測部2及びミクロ計測部3により領域H10の計測を行う場合は、該当クラスタの代表個体に基づくモデルパラメータを用いてインバース演算を行う。
マクロ計測部2及びミクロ計測部3により領域H20の計測を行う場合は、該当クラスタの代表個体に基づくモデルパラメータを用いてインバース演算を行う。
このように、クラスタリングにより切り分けられた領域毎にモデルを使い分けることでより正確な計測結果を得る。
この場合も、マクロ計測範囲RZ2において、領域H1に係る部分については、領域H1についてのミクロ計測に基づくモデルが使用され、領域H2に係る部分については、領域H2についてのミクロ計測に基づくモデルが使用されて、インバースモデル演算が行われるようにすることができる。図4Cはインバースモデル演算に用いるモデルの切り替えを模式的に示している。
以上のセンシングシステムにおいてマクロ計測部2及びミクロ計測部3からの検出情報を取得して分析等の処理を行う情報処理装置1について説明する。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
表示部56では、CPU51の指示に基づいて表示画面上に各種の分析結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
この通信部60は例えばミクロ計測部3(撮像装置250)やマクロ計測部2(撮像装置220)との通信を行う通信デバイスとされる場合もある。
例えばストレージデバイス6から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス6の一態様である。
またこの図7の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス6(例えばリムーバブル記憶媒体)から読み出されたりして図7の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各種バッファ等の記憶機能は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
マクロ計測部2は上述したように例えば人工衛星210に搭載される。マクロ計測用センサ2SはハイパースペクトラムカメラやFTIRといった大型のセンサで、人工衛星210に搭載できるが飛行体200には搭載しずらいセンサである。これらは一般的には可視光外のセンサで、主に物性を計測するために用いられる。
ストレージデバイス6は上述のようにメモリカード、ディスク状記録媒体など、主にリムーバブル記録媒体が想定される。
操作入力部7は情報処理装置1と一体的に設けられてもよいし、別体の装置でもよい。
或いはマクロ計測センサ2Sによる検出データは、ネットワーク5を介して通信部60により受信される場合がある。
さらにマクロ計測センサ2Sによる検出データはストレージデバイス6を介して取得される場合もある。
なおセンサ入力部11,12では、光源分光補正などの前段処理を行うようにしてもよい。
例えばマクロ計測分析演算部21は、ハイパースペクトラムカメラやFTIRによる多波長のデータから、植生指数や、NIRS(近赤外分光法)、FLD法(Fraunhofer. Line-Discrimination)法(太陽暗線:フラウンフォーファー線)によるSIF(クロロフィル蛍光)算出などを行う。
なお、太陽暗線O2Aは、波長幅が1nm程度と細いため、一般的にはハイパースペクトラムカメラやFTIRといったセンサによるセンシングが適する。本例のセンシングシステムでは、こういった機材は人工衛星210には搭載が容易なことから、マクロ計測部2からの検出データに基づいて、マクロ計測分析演算部21により算出するようにしている。
例えばマクロ計測分析値バッファ22は、マクロ計測分析演算部21で算出されたSIFや、マクロ計測部2から通知された位置情報等を保持する。
例えばミクロ計測分析演算部23は、LAI、平均葉角度、陽葉比率などを算出する。陽葉とは陽の当たっている葉や葉の部分のことである。
例えばミクロ計測分析値バッファ24は、ミクロ計測分析演算部23で求められたLAI、平均葉角度、陽葉比率などの情報や、ミクロ計測部3から通知された位置情報、さらにはRGB画像やNDVI画像等を保持する。
即ちインバースモデル演算部27は、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づくモデルパラメータを生成する。
そしてインバースモデル演算部27は、当該モデルパラメータを、インバースモデルのパラメータに用いて、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算を行う。
なおインバースモデル演算部27は、ミクロ計測部3の検出データに基づくモデルパラメータを生成したら、そのモデルパラメータに日時と場所の情報を紐づけて所定の記憶部に保存させるようにすることが考えられる。日時と場所とは、そのモデルパラメータを求める元のミクロ計測を行った日時と場所(例えばGPS情報)である。
クラスタリングに用いるミクロ計測分析演算部23から得られた情報とは、ミクロ計測部3の検出データであったり、検出データからミクロ計測分析演算部23が算出したLAI、平均葉角度、陽葉比率などである。
またクラスタリングに用いるマクロ計測分析演算部21から得られた情報とは、マクロ計測部2の検出データ(マルチスペクトル分光情報等)であったり、検出データからマクロ計測分析演算部21が算出したSIFなどである。
これらの情報の差異により、クラスタ分けを行うことができる。さらに画像テクスチャを解析・機械学習等を行うことも想定される。
また形態形質に限らず、生理形質や環境応答の違いがあれば、それらの差異をクラスタリングに用いてもよい。
インバースモデル演算部27が例えばSIFを求めたのであれば、解析データバッファ31はその情報を保持する。またRGB画像やNDVI画像を保持する場合もある。
以上の機能を有する情報処理装置1の処理例を説明していく。
図9に情報処理装置1の処理例を示す。
ステップS102で情報処理装置1はマクロ計測分析演算部21の機能により、マクロ計測分析演算を行う。例えば光合成に関する情報としてSIF演算を行う。SIF演算については太陽光スペクトル中の暗線によるFLD法が知られている。
ステップS104で情報処理装置1はミクロ計測分析演算部23の機能により、ミクロ計測分析演算を行う。
なおミクロ計測分析演算部23は、図11に示すRGB画像、NIR画像、R画像、偏光センサ角度情報を取得しているものとする。
但し、画像認識などを用いて物体等に応じて弁別して画像を分割しても良い。例えば測定対象としての個体を識別して、それに応じて画像を分割する。
なおNDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
NDVI=(NIR-R)/(NIR+R)
で求められる。ここで「R」は可視域赤の反射率、「NIR」は近赤外域の反射率である。NDVIの値は「-1」から「1」の間に正規化した数値であり、正の大きい数字になるほど植生が濃いことを表している。
全ての分割単位について処理を終えたらミクロ計測分析演算を終える。
図12にクラスタリング演算の一例を示す。
図13Aに模式的に測定対象としての圃場300を示す。なお領域AR1から領域AR6は説明の便宜上、分けているだけのもので、必ずしも異なる植生の領域というわけではない。但し、斜線を付した領域AR3は、他の領域とは異なる作物を栽培している領域であったとする。
クラスタリング演算部28は、このようなユーザが予め知っている情報に基づく入力を反映して太線で示すようにクラスタ分けを行う。
図13Bには、複数回の計測に係るミクロ計測範囲RZ3として計測範囲a,b,c,dを示しているが、計測範囲aは領域AR3、計測範囲bは領域AR4、計測範囲cは領域AR5、計測範囲dは領域AR6をそれぞれ計測した場合のミクロ計測範囲RZ3であるとしている。
自動的なクラスタリングとしては、例えばLAIが異なる領域を分けるという処理を行うものとする。そしてLAIの値が、計測範囲a,b,cでは異なるが、計測範囲c,dではほぼ同じであったとする。
領域AR3と領域AR4は作物が異なり、LAIが異なる。領域AR4,AR5,AR6は同じ作物であるが、領域AR4のみ生育状況が異なっているとする。すると領域AR4もクラスタとして分けることが適切となる。
上記の例の場合、図13Cの太線に示すように、領域AR4を新たに1つのクラスタとして設定することになる。
例えば結果として、領域AR3、領域AR4はそれぞれ1つのクラスタCL3,CL4とされる。なお領域AR1,AR2については言及しなかったが、それらの領域もLAIが領域AR5,AR6と同じであったとすると、まとめて一つのクラスタCL1とされる。
もちろんユーザ入力によるクラスタ設定のみでもよいし、或いはマクロ計測或いはミクロ計測に係る値により自動クラスタ判定を行ってクラスタ設定を行うのみでもよい。
即ちマクロ計測分析演算結果とミクロ計測分析演算結果の位置合わせを行う。
図15Bには、先の測定範囲a,b,c(=d)についてのLAI、平均葉角度、陽葉比率を示した。つまり図13Cに示した、領域AR3のクラスタCL3、領域AR4のクラスタCL4、領域AR1+AR2+AR5+AR6のクラスタCL1のモデルパラメータである。
例えばマクロ分解能単位W1の場合、クラスタCL1に相当するため、図15BのクラスタCL1のモデルパラメータを取得する。
このときにモデルパラメータとして、ステップS402で取得したミクロ計測に基づくパラメータを用いる。
これによりマクロ計測部2によるセンシングのみでは測定対象の形状や状態がわからない場合でも、実際の測定対象の形状や状態に応じた正しいSIFを求めることができる。
なお、以上はSIFの例で説明したが、例えばマクロ計測に基づいてNDVIを得る場合には、そのマクロ計測に基づくNDVIからインバース演算で所望の物性値(例えば環境応答としてのクロロフィル濃度)を求めることもできる。
それらの場合は、全てのマクロ分解能単位に対して、1つのミクロ計測範囲RZ3の計測により得られたモデルパラメータを適用してインバースモデル演算を行えばよい。
これによりユーザは表示部56等で、演算結果を確認することができる。
図16は上述のように得られたマクロ分解能単位毎のインバースモデル演算結果に対して色当て(カラーマッピング)した画像を生成する例である。ここでいう「色当て」とは、予め数値範囲毎に対応する色を設定しておき、対象の値に応じて色を選択し、該当画素に割り当てることをいう。
図16Aはマクロ分解能単位毎のインバースモデル演算結果を示している。このような値について色当てを行って、図16Bのようなカラーマッピング画像を生成する。これは各領域について演算結果の値に該当する色が割り当てられた画像となる。
なお、図面では、斜線の種類や点描等により色の違いを示している。また有効な演算結果が存在しないマクロ分解能単位(例えば陽葉が存在しない部分など)は「NO DATA」として示している。「NO DATA」で示す領域については例えば背景色(白)が割り当てられる。
そしてそれぞれのマクロ分解能単位で陽葉部分に色当てを行って図17Cのようなカラーマッピング画像を生成する。陽葉の部分のみが、インバースモデル演算結果に応じた色となる画像である。そのため、ユーザが領域毎の陽葉の分布ともにマクロ測定結果を把握し易い画像となる。
図18Aはマクロ分解能単位毎のインバースモデル演算結果の値を示している。図18Bは、RGB画像である。
そして図18Cに示すように、RGB画像において、各マクロ分解能単位にインバースモデル演算結果の値に応じて割り当てられた色がオーバーレイされるようにする。図では該当画素部分に色が付けられている状態を示している。
つまり、RGB画像上で、演算結果を示す色が表現される画像となる。そのため、ユーザが通常視認する画像上でマクロ測定結果を把握し易い画像となる。
なお、オーバーレイでなく、該当の画素を割り当てた色で上書きするようにしてもよい。
ここまで植生センシングを想定して説明してきたが本開示の技術は多様な分野に適用できる。
例えばオフィスビル等の建物で中央熱源を用いている場合には、建物全体のエネルギー使用量がマクロ計測として把握できる。
またミクロ計測として建物の一部(例えば或るフロアに入居している事業所)に関する何らかの計測が可能である。
マクロ計測に基づく情報を用いてインバースモデル演算を行う場合に、そのモデルパラメータを、ミクロ計測に基づいて設定することが考えられる。
マクロ計測に基づく情報を用いてインバースモデル演算を行う場合に、そのモデルパラメータを、ミクロ計測に基づいて設定することが考えられる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、計測対象のマクロ計測範囲RZ2(第1の計測範囲)についてマクロ計測分解能(第1の空間分解能)でセンシングを行うマクロ計測部2からの検出データについて演算を行うマクロ計測分析演算部21を備える。また情報処理装置1はマクロ計測範囲RZ2に含まれるミクロ計測範囲RZ3(第2の計測範囲)に対してマクロ計測分解能前より高い分解能であるミクロ計測分解能(第2の空間分解能)でセンシングを行うミクロ計測部3からの検出データについて演算を行うミクロ計測分析演算部23を備える。さらに情報処理装置1は、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づいて取得するインバースモデル演算部27を備える。
このようにミクロ計測に基づいてモデルパラメータを算出することで、マクロ計測分析演算部での演算結果を用いたインバースモデル演算に適したインバースモデルのパラメータを得ることができる。
また実施の形態では、インバースモデル演算部27は、ミクロ計測分析演算部23で求めたミクロ計測部3の検出データに基づくモデルパラメータを、マクロ計測分析演算部21での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるようにしている。
インバースモデル演算を行う場合、計測対象の形状や状態がばらついている場合など、モデルが示す標準の形状や状態とは異なることがあるため、計測精度が低下することがある。本実施の形態の場合、インバースモデルパラメータをミクロ計測による実測に基づいて生成することで、形状や状態がばらついていたり、モデルの示す標準形状でない測定対象であっても精度のよい測定ができるようになる。
特にこの場合、空間分解能の高いセンシングが可能なミクロ計測部3の検出データを用いることでインバースモデルパラメータをより適切化でき、マクロ計測部2だけではできなかった、計測対象の形質や環境応答に応じたインバースモデル演算による計測ができるようになる。
より具体的には、飛行体200による高分解能の測定で、実際の畑の植物の状態(植被率や背の高さ、葉の平均角、クロロフィルの濃度など)或は畝の設置状況などを計測し、人工衛星210のセンシングのインバースモデル演算に実物のパラメータを用いることで、形状や状態がばらついていたり、モデルの示す標準形状でない測定対象であっても高精度の測定ができる。
またこのような測定システムを用いれば、飛行体200側からすると例えばSIF測定をせず光合成情報が得られるようになる。人工衛星210側からすると、これまで望めなかった高解像度の情報を取得できるという利点も生ずる。
これによりマクロ計測範囲RZ2内においてにマクロ計測分解能の単位で、インバースモデル演算によりミクロ計測を反映した計測値を求めることができる。
特には、人工衛星210による画像が出力範囲になるため、飛行体200による画像よりも広い範囲の画像として、インバースモデル演算結果が得られる。
これにより計測対象の静的な形や特性、計測対象の動的な形や特性を求めるセンシングが実現される。
例えば植物の形状、植生指数、光合成に関する情報などを得るようにすることで農業に適したリモートセンシングが実現される。
例えば光合成に関する情報としては、測定対象の形状や状態がわからない場合でも正しいSIF(solar-induced chlorophyll fluorescence)や、正しいSIFから計算される各種情報を得ることができる。
マクロ計測部2が、計測対象4から比較的離れている状況とすれば、比較的大規模な装置、デバイスをマクロ計測部2或いはマクロ計測部2を搭載した装置として実現しやすくなる。
なおミクロ計測部3は飛行体200に搭載され、マクロ計測部2は人工衛星210に搭載される例を挙げたが、マクロ計測部2もドローン等の飛行体200に搭載されてもよい。例えばより上空を飛行する飛行体200にマクロ計測部2を搭載してマクロ計測範囲RZ2のセンシングを行うことも考えられる。
ミクロ計測部による検出データの演算によりクラスタリングされた計測領域毎にモデルパラメータを求めることで、インバースモデル演算部27はクラスタリングされた計測領域毎にモデルパラメータを使い分けることができる。
これによりマクロ計測範囲RZ2内でも、クラスタリングされた計測領域毎、例えば異なる作物が栽培されている領域毎などに分けた適切な計測結果を得ることができる。
なおクラスタごとに、作物名も指定することで、モデルパラメータ(例えば背の高さ)だけでなく、モデルそのもの(トマトとコーンなど、品種ごとの形状の違いを反映したモデル)を自動的に切り替えても良い。
例えば圃場300などでは異なる作物を栽培している領域などが分かれている。例えば農場主等のユーザはそのような情報を入力することができる。
これにより栽培する作物が異なる領域、或いは栽培を開始した時期の異なる領域などの情報を明確に得ることができる。従って作物等の形質や環境応答を領域毎に適切に求めることができる。
またユーザ入力を反映したクラスタリングを行うことで、ユーザが望む領域毎の計測結果が得られるようになる。
なお図12ではユーザ入力、マクロ計測値、ミクロ計測値に基づくクラスタリングを示したが、例えば図12のステップS301のみが行われる、ユーザ入力のみに基づくクラスタリング演算が行われてもよい。
例えばマクロ計測部2やミクロ計測部3の検出データ(もしくはそれらから算出される情報)を用いれば、形状や状況が明確に異なる領域を判別できるため自動でクラスタリング演算を行うことができる。
これにより栽培する作物が異なる領域、或いは栽培を開始した時期の異なる領域などを分けるクラスタリングを自動化し、ユーザに手間をかけさせずに作物等の形質や環境応答を領域毎に正確に求めることができる。
図12ではユーザ入力、マクロ計測値、ミクロ計測値に基づくクラスタリングを示したが、例えば図12のステップS302のみが行われる、マクロ計測値、ミクロ計測値のみに基づくクラスタリング演算が行われてもよい。さらにはマクロ計測値のみに基づくクラスタリング演算や、ミクロ計測値のみに基づくクラスタリング演算も考えられる。
即ち手動入力と自動判別の両方を反映したクラスタリング演算を行う。
図12ではクラスタリング演算部28は、マクロ計測部2による検出データ、ミクロ計測部3による検出データ、及び操作入力部7による入力データを用いてクラスタリングを行う例を挙げたが、この場合、ユーザ入力による正確性、要望の反映に加え、さらに植生状況の異なる領域の自動判別の要素も加わり、より適切な領域毎の計測結果が得られるようになる。
図12ではユーザ入力によるクラスタリングを自動判別により細分化する例としたが、逆に自動判別によるクラスタリングをユーザ入力により細分化するようにしてもよい。
図15BではLAI、平均葉角度、陽葉比率の例を挙げた。これ以外にも計測目的に応じてモデルパラメータとして適用できる。
これにより植生のリモートセンシングに適した測定に好適に適用できる。
これらは例えば形状分析など、計測対象の形質、環境応答、範囲、分布などの分析に適したセンサである。
またこれらは比較的、飛行体200に搭載し易いセンサであり、ドローン等の小型無人飛行体としての飛行体200の運用に適している。
これらは例えば光合成に関する情報など、各種の物性値の分析に適したセンサである。
またこれらは比較的、飛行体200に搭載しにくいセンサである。そこで例えば人工衛星210に搭載するものとすれば、ドローン等の小型無人飛行体としての飛行体200の運用を容易化できる。
インバースモデル演算部27の演算結果は、そのままでは人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこでデータ保存・出力部30では、演算結果を人への提示に適した状態に画像化して表示部56やネットワーク5、或はストレージデバイス6に出力する。これにより、演算結果を理解しやすい画像でユーザに提供できる。
即ちインバースモデル演算部27の演算結果がマクロ分解能単位である領域毎に得られている場合に、各領域に色当てした画像としてユーザに提示する画像を生成する。
これにより、色別で分析結果を認識できる画像をユーザに提供できる。
データ保存・出力部30は、他の画像とカラーマッピングした画像を例えばオーバーレイや上書きなどの形で合成することで、他の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
人工衛星210の場合、比較的高機能であったり規模の大きいセンサを搭載し易いため、高度なセンシングを行うマクロ計測部2の搭載に適している。
例えば人工衛星210のマクロ計測部2を多数の農業主、センシング実施組織などで共用することで、運用コストの低減やマクロ計測センサ2Sの有効利用を図ることもできる。
なお人工衛星210を用いずに、飛行体200又は比較的大型の飛行体にマクロ計測部2を搭載し、ミクロ計測部3より高い位置からセンシングを行う例も考えられる。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
小型の飛行体200の場合、圃場300などの計測対象から比較的低い高度でセンシングを行う。そしてこの場合、空間解像度の高いセンシングに適している。
また飛行体200にはマクロ計測部2を搭載しないことで、小型の飛行体200の運用が容易になったり、センシングを行うためのコストを低減できる。
即ち補完分析演算部の演算アルゴリズムを規定するプログラムを外部装置から取得できるようにしている。
例えばネットワーク5やストレージデバイス6などの外部装置から補間分析演算のためのプログラムを取得し、保持部26に保存するようにし、このプログラムに基づいてインバースモデル演算部を行う。これにより情報処理装置1は多様なインバースモデル演算が可能となる。
即ち図9、図10、図14の処理を情報処理装置に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づいて取得するインバースモデル演算部と、を備えた
情報処理装置。
(2)
前記インバースモデル演算部は、
前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いる
上記(1)に記載の情報処理装置。
(3)
前記インバースモデル演算部は、前記第2の計測範囲の検出データに基づくモデルパラメータを用いて、前記第1の空間分解能の単位で演算結果を求める
上記(2)に記載の情報処理装置。
(4)
前記インバースモデル演算部は、前記第1の空間分解能の単位の演算結果として計測対象の形質又は環境応答を求める
上記(2)又は(3)に記載の情報処理装置。
(5)
前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記クラスタリングは、領域を指定するユーザ入力に基づいて行われる
上記(6)に記載の情報処理装置。
(8)
前記クラスタリングは、前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
上記(6)又は(7)に記載の情報処理装置。
(9)
前記クラスタリングは、領域を指定するユーザ入力、及び前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
上記(6)から(8)のいずれかに記載の情報処理装置。
(10)
前記モデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれかを含む
上記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記インバースモデル演算部の演算結果に基づく出力画像データを生成して出力する出力部を有する
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした出力画像データを生成する
上記(13)に記載の情報処理装置。
(15)
前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
上記(13)に記載の情報処理装置。
(16)
前記マクロ計測部は、人工衛星に搭載されている
上記(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
上記(1)から(16)のいずれかに記載の情報処理装置。
(18)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記ミクロ計測分析処理で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析処理での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算処理と、
を情報処理装置が実行する情報処理方法。
(19)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記ミクロ計測分析処理で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析処理での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算処理と、
を情報処理装置に実行させるプログラム。
(20)
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記ミクロ計測分析演算部で求めた前記ミクロ計測部の検出データに基づくモデルパラメータを、前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算におけるインバースモデルのパラメータに用いるインバースモデル演算部と、を備えた
センシングシステム。
Claims (17)
- 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、取得したモデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算部と、
を備え、
前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
情報処理装置。 - 前記インバースモデル演算部は、前記第1の空間分解能の単位の演算結果として計測対象の形質又は環境応答を求める
請求項1に記載の情報処理装置。 - 前記マクロ計測部は、前記ミクロ計測部よりも前記計測対象からの距離が遠い位置でセンシングを行う
請求項1又は請求項2に記載の情報処理装置。 - 前記クラスタリングは、領域を指定するユーザ入力に基づいて行われる
請求項1から請求項3のいずれかに記載の情報処理装置。 - 前記クラスタリングは、前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
請求項1から請求項4のいずれかに記載の情報処理装置。 - 前記クラスタリングは、領域を指定するユーザ入力、及び前記マクロ計測部による検出データ又は前記ミクロ計測部による検出データに基づいて行われる
請求項1から請求項5のいずれかに記載の情報処理装置。 - 前記モデルパラメータは、植物の三次元構造、植物の背の高さ、平均葉角度、植被率、LAI、クロロフィル濃度、土壌の分光特性、陽葉比率のいずれかを含む
請求項1から請求項6のいずれか記載の情報処理装置。 - 前記ミクロ計測部は、ミクロ計測センサとして、可視光イメージセンサ、ステレオカメラ、レーザ画像検出及び測距のセンサ、偏光センサ、ToFセンサのいずれかを有する
請求項1から請求項7のいずれかに記載の情報処理装置。 - 前記マクロ計測部は、マクロ計測センサとして、マルチスペクトラムカメラ、ハイパースペクトラムカメラ、フーリエ変換赤外分光光度計、赤外線センサのいずれかを有する
請求項1から請求項8のいずれかに記載の情報処理装置。 - 前記インバースモデル演算部の演算結果に基づく出力画像データを生成して出力する出力部を有する
請求項1から請求項9のいずれかに記載の情報処理装置。 - 前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした出力画像データを生成する
請求項10に記載の情報処理装置。 - 前記出力部は、前記インバースモデル演算部の演算結果をカラーマッピングした画像と、他の画像を合成した出力画像データを生成する
請求項10に記載の情報処理装置。 - 前記マクロ計測部は、人工衛星に搭載されている
請求項1から請求項12のいずれかに記載の情報処理装置。 - 前記ミクロ計測部は、無線操縦又は自動操縦が可能な飛行体に搭載されている
請求項1から請求項13のいずれかに記載の情報処理装置。 - 情報処理装置が、
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記マクロ計測分析処理の演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析処理で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算処理と、
を実行するとともに、
前記インバースモデル演算処理では、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
情報処理方法。 - 情報処理装置に、
計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部からの検出データについて演算を行うマクロ計測分析処理と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部からの検出データについて演算を行うミクロ計測分析処理と、
前記マクロ計測分析処理の演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析処理で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算処理と、
を実行させるとともに、
前記インバースモデル演算処理では、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する処理を実行させる
プログラム。 - 計測対象の第1の計測範囲について第1の空間分解能でセンシングを行うマクロ計測部と、
前記計測対象の前記第1の計測範囲に含まれる第2の計測範囲に対して前記第1の空間分解能より高い分解能である第2の空間分解能でセンシングを行うミクロ計測部と、
前記マクロ計測部からの検出データについて演算を行うマクロ計測分析演算部と、
前記ミクロ計測部からの検出データについて演算を行うミクロ計測分析演算部と、
前記マクロ計測分析演算部での演算結果を用いたインバースモデル演算に用いるモデルパラメータを、前記ミクロ計測分析演算部で求めた前記ミクロ計測部の前記第2の計測範囲の検出データに基づいて取得し、前記モデルパラメータを前記インバースモデル演算におけるインバースモデルのパラメータに用いて、前記第1の空間分解能の単位で演算結果を求めるインバースモデル演算部と、
を備え、
前記インバースモデル演算部は、クラスタリングされた計測領域毎についての代表個体のモデルパラメータを取得し、クラスタリングされた計測領域毎にモデルパラメータを切り替えてインバースモデルに適用する
センシングシステム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124764A JP7415348B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
CN202080046901.8A CN114080540A (zh) | 2019-07-03 | 2020-06-25 | 信息处理装置、信息处理方法、程序和感测系统 |
PCT/JP2020/025083 WO2021002280A1 (en) | 2019-07-03 | 2020-06-25 | Information processing apparatus, information processing method, program, and sensing system |
EP20739477.6A EP3994659A1 (en) | 2019-07-03 | 2020-06-25 | Information processing apparatus, information processing method, program, and sensing system |
US17/597,079 US20220299433A1 (en) | 2019-07-03 | 2020-06-25 | Information processing apparatus, information processing method, program, and sensing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124764A JP7415348B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012433A JP2021012433A (ja) | 2021-02-04 |
JP7415348B2 true JP7415348B2 (ja) | 2024-01-17 |
Family
ID=71575716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124764A Active JP7415348B2 (ja) | 2019-07-03 | 2019-07-03 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220299433A1 (ja) |
EP (1) | EP3994659A1 (ja) |
JP (1) | JP7415348B2 (ja) |
CN (1) | CN114080540A (ja) |
WO (1) | WO2021002280A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6970946B1 (ja) * | 2021-03-07 | 2021-11-24 | 西日本技術開発株式会社 | 分布図作成装置、分布図作成方法、及び、プログラム |
WO2022209284A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
US20240164265A1 (en) * | 2021-03-31 | 2024-05-23 | Sony Group Corporation | Information processing device, information processing method, and program |
CN117980959A (zh) | 2021-09-27 | 2024-05-03 | 索尼半导体解决方案公司 | 信息处理装置和信息处理方法 |
JP7316004B1 (ja) * | 2022-10-24 | 2023-07-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | 情報処理装置、情報処理方法、およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007018387A (ja) | 2005-07-08 | 2007-01-25 | Ntt Data Corp | 緑被率マップ作成装置、緑被率マップ作成方法、及び、プログラム。 |
JP2012088876A (ja) | 2010-10-19 | 2012-05-10 | Hitachi Ltd | スペクトル情報抽出装置 |
WO2015145764A1 (ja) | 2014-03-28 | 2015-10-01 | 株式会社日立製作所 | 画像生成システム及び画像生成方法 |
JP2017035055A (ja) | 2015-08-12 | 2017-02-16 | コニカミノルタ株式会社 | 植物生育指標測定装置、該方法および該プログラム |
US20170374323A1 (en) | 2015-01-11 | 2017-12-28 | A.A.A Taranis Visual Ltd | Systems and methods for agricultural monitoring |
JP2018534714A (ja) | 2015-11-08 | 2018-11-22 | エーグロウイング リミテッド | 航空画像を収集及び分析するための方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
US20180306905A1 (en) * | 2017-04-20 | 2018-10-25 | Analog Devices, Inc. | Method of Providing a Dynamic Region of interest in a LIDAR System |
US10638038B2 (en) * | 2017-07-27 | 2020-04-28 | Stmicroelectronics (Research & Development) Limited | System and method for enhancing the intrinsic spatial resolution of optical sensors |
-
2019
- 2019-07-03 JP JP2019124764A patent/JP7415348B2/ja active Active
-
2020
- 2020-06-25 CN CN202080046901.8A patent/CN114080540A/zh active Pending
- 2020-06-25 WO PCT/JP2020/025083 patent/WO2021002280A1/en unknown
- 2020-06-25 EP EP20739477.6A patent/EP3994659A1/en active Pending
- 2020-06-25 US US17/597,079 patent/US20220299433A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007018387A (ja) | 2005-07-08 | 2007-01-25 | Ntt Data Corp | 緑被率マップ作成装置、緑被率マップ作成方法、及び、プログラム。 |
JP2012088876A (ja) | 2010-10-19 | 2012-05-10 | Hitachi Ltd | スペクトル情報抽出装置 |
WO2015145764A1 (ja) | 2014-03-28 | 2015-10-01 | 株式会社日立製作所 | 画像生成システム及び画像生成方法 |
US20170374323A1 (en) | 2015-01-11 | 2017-12-28 | A.A.A Taranis Visual Ltd | Systems and methods for agricultural monitoring |
JP2017035055A (ja) | 2015-08-12 | 2017-02-16 | コニカミノルタ株式会社 | 植物生育指標測定装置、該方法および該プログラム |
JP2018534714A (ja) | 2015-11-08 | 2018-11-22 | エーグロウイング リミテッド | 航空画像を収集及び分析するための方法 |
Non-Patent Citations (1)
Title |
---|
半谷 一晴, 石井 一暢, 野口 伸,衛星画像とヘリコプタ画像を利用した小麦の穂水分推定,環境情報科学論文集, 2009,ceis23 巻, Vol.23,日本,第23回環境情報科学学術研究論文発表会,2011年02月15日,p. 155-160,https://doi.org/10.11492/ceispapers.ceis23.0.155.0, https://www.jstage.jst.go.jp/article/ceispapers/ceis23/0/ceis23_0_155/_article/-char/ja |
Also Published As
Publication number | Publication date |
---|---|
JP2021012433A (ja) | 2021-02-04 |
CN114080540A (zh) | 2022-02-22 |
EP3994659A1 (en) | 2022-05-11 |
WO2021002280A1 (en) | 2021-01-07 |
US20220299433A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7415348B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
Lu et al. | Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system | |
Tu et al. | Optimising drone flight planning for measuring horticultural tree crop structure | |
JP7415347B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
Zheng et al. | Improved estimation of rice aboveground biomass combining textural and spectral analysis of UAV imagery | |
Deng et al. | UAV-based multispectral remote sensing for precision agriculture: A comparison between different cameras | |
Ahmed et al. | Hierarchical land cover and vegetation classification using multispectral data acquired from an unmanned aerial vehicle | |
Haghighattalab et al. | Application of unmanned aerial systems for high throughput phenotyping of large wheat breeding nurseries | |
Aasen et al. | Multi-temporal high-resolution imaging spectroscopy with hyperspectral 2D imagers–From theory to application | |
Roth et al. | Extracting leaf area index using viewing geometry effects—A new perspective on high-resolution unmanned aerial system photography | |
Frazer et al. | Gap Light Analyzer (GLA), Version 2.0: Imaging software to extract canopy structure and gap light transmission indices from true-colour fisheye photographs, users manual and program documentation | |
Lu et al. | Mapping vegetation biophysical and biochemical properties using unmanned aerial vehicles-acquired imagery | |
Mafanya et al. | Radiometric calibration framework for ultra-high-resolution UAV-derived orthomosaics for large-scale mapping of invasive alien plants in semi-arid woodlands: Harrisia pomanensis as a case study | |
Li et al. | Impact of the reproductive organs on crop BRDF as observed from a UAV | |
JP6507927B2 (ja) | 植物生育指標測定装置、該方法および該プログラム | |
Rasmussen et al. | The challenge of reproducing remote sensing data from satellites and unmanned aerial vehicles (UAVs) in the context of management zones and precision agriculture | |
Crusiol et al. | Semi professional digital camera calibration techniques for Vis/NIR spectral data acquisition from an unmanned aerial vehicle | |
Svensgaard et al. | Can reproducible comparisons of cereal genotypes be generated in field experiments based on UAV imagery using RGB cameras? | |
AU2005327183A1 (en) | Simulating a sensing system | |
Teixeira et al. | Evaluation of the radiometric accuracy of images obtained by a Sequoia multispectral camera | |
Song | Evaluation of the UAV-based multispectral imagery and its application for crop intra-field nitrogen monitoring and yield prediction in Ontario | |
Lee et al. | A handy imaging system for precision agriculture studies | |
Milewski et al. | The use of satellite pictures and data provided by drones for the purposes of identification of crops and assessment of plant production | |
US20240177478A1 (en) | Information processing device, information processing method, and program | |
Raeva | Využití RPAS Při Monitorování a Analýze Vegetace |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230904 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7415348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |