JPWO2019082519A1 - 情報処理装置、情報処理方法、プログラム、情報処理システム - Google Patents
情報処理装置、情報処理方法、プログラム、情報処理システム Download PDFInfo
- Publication number
- JPWO2019082519A1 JPWO2019082519A1 JP2019549907A JP2019549907A JPWO2019082519A1 JP WO2019082519 A1 JPWO2019082519 A1 JP WO2019082519A1 JP 2019549907 A JP2019549907 A JP 2019549907A JP 2019549907 A JP2019549907 A JP 2019549907A JP WO2019082519 A1 JPWO2019082519 A1 JP WO2019082519A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- filtering
- unit
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 242
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000005259 measurement Methods 0.000 claims abstract description 160
- 238000012545 processing Methods 0.000 claims abstract description 148
- 238000004364 calculation method Methods 0.000 claims abstract description 130
- 238000011156 evaluation Methods 0.000 claims abstract description 118
- 238000003384 imaging method Methods 0.000 claims abstract description 116
- 238000001228 spectrum Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims description 230
- 238000000034 method Methods 0.000 claims description 117
- 230000008569 process Effects 0.000 claims description 99
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 239000000203 mixture Substances 0.000 description 33
- 238000005070 sampling Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 28
- 230000015572 biosynthetic process Effects 0.000 description 26
- 238000003786 synthesis reaction Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 25
- 230000005856 abnormality Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 21
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 239000002131 composite material Substances 0.000 description 15
- 239000013256 coordination polymer Substances 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 241000196324 Embryophyta Species 0.000 description 13
- 238000012937 correction Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 241001125929 Trisopterus luscus Species 0.000 description 9
- 238000005728 strengthening Methods 0.000 description 8
- 229930002875 chlorophyll Natural products 0.000 description 7
- 235000019804 chlorophyll Nutrition 0.000 description 7
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000010006 flight Effects 0.000 description 5
- 241000894007 species Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 208000005156 Dehydration Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000003292 glue Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000029553 photosynthesis Effects 0.000 description 2
- 238000010672 photosynthesis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- ZLSWBLPERHFHIS-UHFFFAOYSA-N Fenoprop Chemical compound OC(=O)C(C)OC1=CC(Cl)=C(Cl)C=C1Cl ZLSWBLPERHFHIS-UHFFFAOYSA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000009087 cell motility Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009546 growth abnormality Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- KBPHJBAIARWVSC-RGZFRNHPSA-N lutein Chemical compound C([C@H](O)CC=1C)C(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\[C@H]1C(C)=C[C@H](O)CC1(C)C KBPHJBAIARWVSC-RGZFRNHPSA-N 0.000 description 1
- 229960005375 lutein Drugs 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 230000036619 pore blockages Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- KBPHJBAIARWVSC-XQIHNALSSA-N trans-lutein Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C(=CC(O)CC2(C)C)C KBPHJBAIARWVSC-XQIHNALSSA-N 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- FJHBOVDFOQMZRV-XQIHNALSSA-N xanthophyll Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C=C(C)C(O)CC2(C)C FJHBOVDFOQMZRV-XQIHNALSSA-N 0.000 description 1
- 235000008210 xanthophylls Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
下記特許文献1には、移動しながらのビデオ撮影により基礎データを収集し、その画像処理により高さデータを得る技術が開示されている。
下記特許文献2には、衛星データによる森林地域の植生分類方法で、各波長の測定値について樹種に応じた上下限または閾値を設定し、樹種数分の樹種対象抽出マップを作成し、調査対象地域の正規化植生指数を作成し、樹種対象抽出マップについて植生指数を用いてマスク処理を施すことにより山林部または樹種分布を抽出することが記載されている。
下記特許文献3には、半導体ウェハの欠陥検出方法として、配線の長軸方向と異なった方向に走査して欠陥の存在する要素を検出したのち、長軸方向に沿って走査することが記載されている。
このようにカメラで撮像した画像を用いて植生状態などの評価結果を生成することで、広大な範囲について効率的な観察が可能となる。
ここで、高精度の観察を行いたい場合、より高解像度の撮像を行うことが考えられるが、例えば圃場等の広い範囲について高解像度の撮像を行うことは、測定効率の悪化を生じさせてしまう。
本技術では、計測対象を撮像して観察する場合に、高精度の測定を効率的に実行できるようにすることを目的とする。
異なる波長帯の電磁波を記録したマルチスペクトル画像を撮像するマルチスペクトラムカメラによって、少なくとも計測対象の全範囲のうちの一部をサンプリング撮像する。例えば計測対象領域全体を複数の区域に分割し、各区域において区域内の一部の範囲の画像をマルチスペクトラムカメラで撮像する。情報処理装置はこのようなサンプリング撮像により得られたサンプリング画像を処理対象として必要な演算処理を行い、計測結果の1つとなる演算結果画像を生成する。
なお、本明細書でいうマルチスペクトラムカメラは、複数の波長帯の撮像ができるカメラを総称しており、一般にマルチスペクトラムカメラと言われるもののほか、ハイパースペクトラムカメラ(Hyper Spectrum Camera)と呼ばれるものなども含む。
フィルタ画像は、特定の組成や状態となっている箇所を示す画像であり、フィルタリング実行の際にフィルタとなる情報に相当する画像である。換言すればフィルタリング条件に相当するとも言える。つまり演算部はサンプリング画像の1つ又は複数を処理対象として用いて、計測結果を示す演算結果画像の生成のためのフィルタ画像を生成する。
評価指数は、計測対象の評価の1つとしての求められるもので、例えば植生指数などである。評価指数画像は、植生指数等を画素毎に表した画像である。
植生指数として例えばNDVI等を示す画像を生成する。
フィルタ画像(フィルタリング条件に相当する画像)を、評価指数(例えば植生指数)を表す画像(評価指数画像)を用いて生成する。
即ち複数のフィルタ画像を用いてフィルタ画像を生成する。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、フィルタリングを行って、フィルタリング結果画像を生成する。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、評価指数画像(例えば植生指数画像)についてフィルタリングを行って、フィルタリング結果画像を生成する。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこで人への提示に適した状態に画像化する。
フィルタリング結果画像を複数の領域に分割し、各領域に色当てした画像とする。
代表値とは、その領域の平均値、最大値、最小値、重心値、最多数値などである。
各領域に色当てした画像と他の画像を、例えばオーバーレイや上書きなどの形で合成する。
各領域に色当てした画像とサンプリング画像等を、例えばオーバーレイや上書きなどの形で合成する。
提示画像は、フィルタリング結果画像から生成したもので、フィルタリング結果画像はサンプリング画像に基づく。つまり計測対象の全域ではなく一部の画像に基づく。そこでサンプリング画像より広い範囲を撮像した低解像度の画像と合成する。
合成処理では、或るサンプリング画像の撮像範囲についての提示画像と、そのサンプリング画像の撮像範囲を含むより広い範囲を撮像した低解像度画像を合成する。このため例えば撮像位置の情報や撮像時刻の情報など、対応関係を示す対応情報を用いて提示画像と低解像度画像を組み合わせるようにする。
例えば合成処理では、或るサンプリング画像と、低解像度画像内にオーバーレイ又は上書きで配置する。この場合、低解像度画像内でサンプリング画像の撮像範囲に相当する位置に配置する。つまり位置合わせをして貼り合わせる。
提示画像の代表値とは、その提示画像における平均値、最大値、最小値、重心値、最多数値などである。これが低解像度画像上に表現されるようにする。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これにより高精度な評価情報を効率よく生成するコンピュータ装置の実現が容易となる。
本技術に係る情報処理システムは複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、上述の情報処理装置とを有する。これにより計測対象全域に対する評価情報の生成に適したシステムを構築できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.第1の実施の形態のシステム構成>
<2.サンプリング画像に基づく評価情報生成>
<3.提示画像の生成>
<4.低解像度画像との合成>
<5.第2の実施の形態のシステム構成>
<6.飛行計画制御>
<7.まとめ及び変形例>
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
例えば図1に示すように飛行体200に搭載された撮像装置250を用いて圃場300を計測対象とし、その植生に関するリモートセンシングを行う場合を想定する。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が、例えば矢印で示すように設定された経路DRで圃場300の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行う。
もちろんこれは一例であり、撮像装置250は、2以上の波長帯の画像撮像を行うものであればよい。G(緑)画像、B(青)画像、紫外線域の画像などを撮像するものでもよい。
なお撮像装置250は2以上の波長帯の画像を行うことができるものという意味で、複数のカメラが搭載されるものでもよい。例えばNIR画像撮像用のカメラとR画像撮像用のカメラの2台が搭載され、まとめてマルチスペクトラムカメラとして構成されてもよい。いずれにしても本実施の形態の場合、複数の波長帯の画像が得られるために必要な台数、種別のカメラが飛行体200に搭載されればよく、それらがどのような形態であっても「マルチスペクトラムカメラ」と総称している。
高解像度画像HRとは、例えば破線の範囲A−HRの撮像画像で、低解像度画像LRとは破線の範囲A−LRの撮像画像である。
この高解像度画像HRは、低解像度画像LRが撮像する区域における一部を撮像した画像となっている。
なお、高解像度画像HRと低解像度画像LRは、同時刻(ほぼ同時刻を含む)に撮像するものでもよいが、異なるタイミングで撮像されてもよい。例えば1回目の経路DRの飛行で高解像度画像HRの撮像を行い、2回目の経路DRの飛行で低解像度画像LRの撮像を行っていくなどである。また低解像度用のカメラと高解像度用のカメラを取り替えて2回飛行して撮像してもよい。
なお位置情報や撮像日時情報は低解像度画像LRと高解像度画像HRを対応づける対応情報ともなる。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
演算部2に含まれる各部は、それぞれハードウエアにより構成されてもよいが、本実施の形態では、後述するコンピュータ装置100においてソフトウエアによって実現される機能として説明する。
そしてデータ入力部21は、これら高解像度画像HR、低解像度画像LR、対応情報Pを入力バッファ22に記憶させる。
なお、データ入力部21が取得する画像データは、撮像装置250や中継装置から有線伝送又は無線伝送として送信され情報処理装置1で受信した画像データファイルや、撮像装置250側や他の記録装置によって記録媒体に記録され、情報処理装置1が記録媒体を再生することで取得する画像データファイルである。
またデータ入力部21による、撮像された画像データ(高解像度画像HR、低解像度画像LR)の取得は、リアルタイム(撮像時)でも良いし、後の時点でもよい。少なくとも情報処理装置1による計測結果の演算を行う時点で、入力バッファ22に保存されているようにすればよい。
また本実施の形態では、データ入力部21が取得する画像データファイルはマルチスペクトラムカメラとしての撮像装置250で得られた画像であり、例えば1つの範囲を撮像した高解像度画像HRとして、2以上の波長の測定画像を含む。
フィルタ画像は、フィルタリング実行の際にフィルタとなる情報(フィルタリング条件)に相当する画像である。換言すればフィルタ画像とは、特定の組成や状態となっている箇所を示す画像であり、フィルタリング処理で抽出したい箇所を示す画像である。
つまりフィルタリング生成部24は高解像度画像HRの1つ又は複数を用いて、計測結果を示す演算結果画像の生成のためのフィルタリング条件を生成する。
なお後述するが、フィルタリング生成部24はフィルタ画像を、高解像度画像HRの特定波長域の画像から生成したり、NDVI画像のような植生指数画像から生成したりする。或いは生成したフィルタ画像を用いてさらなるフィルタ画像を生成する場合もある。
例えばフィルタリング実行部26は、植生指数画像に対してフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成する。
またフィルタリング実行部26は、入力された高解像度画像HRの或る波長域の画像に対してフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成する。
さらにはフィルタリング実行部26は、フィルタ画像に対して他のフィルタ画像を用いたフィルタリングを行い、フィルタリング結果画像を生成することもできる。
また演算結果バッファ25は、フィルタリング生成部24で生成されたフィルタ画像の記憶にも用いられる。
また演算結果バッファ25は、フィルタリング実行部26で生成されたフィルタリング結果画像の記憶にも用いられる。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としてはわかりにくい場合がある。そこで提示画像化部27の処理により人への提示に適した状態に画像化する。後述するが提示画像の生成処理としては画面分割やカラーマッピングが行われる。
また出力バッファ28は、画像合成部29で生成された合成画像の記憶にも用いられる。
出力された画像は、例えばモニタディスプレイに表示されたり、他の情報処理装置に送信されたり、記憶装置で記憶媒体に記憶されたりする。
この出力画像は、圃場300の計測(リモートセンシング)による評価結果を表す画像である。ユーザは提示画像や合成画像を見ることで、圃場300の様子や植物の生育状況などを知ることができる。
なお、図では示していないが、演算結果バッファ25に記憶された植生指数画像、フィルタ画像、フィルタリング結果画像が画像出力部30の処理により出力画像Poutとして出力され、表示、送信、又は記憶等がされるようにしてもよい。
例えば演算部2における各処理機能のオン/オフ、処理パラメータ、測定内容の選択、出力画像の選択などがユーザの操作によって指定される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インターフェース55も接続されている。
入力部57は、コンピュータ装置100を使用するユーザが用いる入力デバイスを意味する。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。例えば撮像装置250との通信なども可能である。
また入力バッファ22、演算結果バッファ25、出力バッファ28は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
ユーザ入力部31は入力部57による操作入力を検知するCPU51の機能となる。
画像出力部30による画像出力は、ディスプレイ56により表示出力されたり、記憶部59に記憶されたり、通信部60により外部機器に送信されたり、ドライブ61によりメモリカード62等の記憶媒体に記憶されたりするなど、各種形態で実行されることになる。
またこの図3のコンピュータ装置100は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置100としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
情報処理装置1によるサンプリング画像に基づく評価情報生成処理の例を説明する。
まず図4で高解像度画像HRや低解像度画像LRの撮像範囲について説明する。
図4Aには、各低解像度画像LR#1〜LR#5によって撮像される区域#1〜#5を例示している。区域#1〜#5はそれぞれ計測対象である圃場300の一部であり、1枚の低解像度画像LRによって撮像される範囲を示している。各区域#1〜#5は一部重なる。これが低解像度画像LR#1〜LR#5における糊代部分として撮像される範囲となる。
ここでは区域#1〜#5のみを示しているが、図1の経路DRで飛行をしながら低解像度画像LR#5以降も続けて撮像していくことで、圃場300の全体を覆うように必要枚の低解像度画像LRが得られる。そしてそれらの低解像度画像LRをスティッチ処理することで、圃場300の全体の画像が生成できることになる。
なお、圃場300における各区域#1,#2・・・は、撮像装置250の画角や飛行体200の飛行高度によって決まるもので、固定的に区分されているものではない。
ここでサンプル区域#1Cは、図4Aの区域#1の略中心の領域である。但し必ずしも中心でなくてもよく、少なくとも区域#1内の領域である。
同様に、サンプル区域#2C〜#5Cは、それぞれ区域#2〜#5に含まれる領域(例えば略中心の領域)である。
このように、1つの高解像度画像HRは、対応する低解像度画像LRの撮像区域内に含まれるサンプル区域を撮像したものとなるようにしている。
本実施の形態では、高解像度画像HRについては、このように離散的なサンプル区域について撮像することで、広い圃場300に対して効率のよい撮像を実行できるように、なおかつ、各区域#1、#2・・・については、そのサンプル区域#1C、#2C・・・について高解像度画像HRを用いた精細な分析、評価結果算出ができるようにする。
対応情報Pは、上述のように高解像度画像HRと低解像度画像LRの撮像区域を対応づける情報である。
例えば撮像装置250として、低解像度画像LR用のカメラと高解像度画像HR用のカメラを搭載し、同時に撮像した場合を考える。この場合の対応情報Pは図5に示すように、撮像結果を紐づけるため、ファイル名及び低解像度画像LRにおける高解像度画像HRの画角の範囲を示す座標を記載したテーブルのファイルである。
例えば図示する対応情報Pとしてのテーブルでは、高解像度画像HR#1の画像データファイルFile1と、低解像度画像LR#1の画像データファイルFile2がセットとされ、さらに低解像度画像LRにおける高解像度画像HRの画角の範囲を示す開始座標Start#1(x1,y1)と終了座標End#1(x2,y2)が関連づけられている。
同様に、高解像度画像HR#2の画像データファイルFile3と、低解像度画像LR#2の画像データファイルFile4、及び低解像度画像LRにおける高解像度画像HRの画角の範囲を示す開始座標Start#2(x1,y1)と終了座標End#2(x2,y2)が関連づけられている。
また1回の飛行で低解像度画像LRと高解像度画像HRを同時に撮像する場合、撮像日時情報がそれぞれ画像データに付加されることで、これを対応情報Pとすることができる。つまり撮像日時情報が同時刻であることで、高解像度画像HRの撮像範囲(サンプル区域#1C等)と低解像度画像LRの撮像範囲(区域#1等)が対応づけられる。
図6,図7は、情報処理装置1(CPU51)において図2に示した各処理機能によって実行される処理例を示している。
ステップS111で情報処理装置1(植生指数演算部23)は、入力バッファ22から処理対象とする必要な高解像度画像HRを読み出し、ステップS112で植生指数演算を行い、ステップS113で演算結果の植生指数画像を演算結果バッファ25に記憶する。
例えば植生指数演算部23は、入力バッファ22からは、波長660nmの画像(R画像)と波長800nmの画像(NIR画像)を読み出す。そしてこのR画像とNIR画像からNDVI画像を生成する。例えばNDVIは、
NDVI=(1−(R/NIR))/(1+(R/NIR))
と演算される。NDVI画像は、R画像とNIR画像の対応する各画素についてNDVIの値を算出し、その値に相当する画素値を持った画像である。図8では、NDVI画像を模式的に、斜線を付した画像として示している。このように求めたNDVI画像は、演算結果バッファ25に記憶される。
なお以下、植生指数としてNDVIを求める例で説明するが、これは一例であり、後述するように他の植生指数を求めることも考えられる。もちろん他の植生指数を求める場合は、入力バッファ22から読み出す画像(波長域等)も異なる場合がある。
ステップS121で情報処理装置1(フィルタリング生成部24)は、入力バッファ22から処理対象とする必要な高解像度画像HRを読み出し、ステップS122でフィルタリングのためのフィルタ画像(特定の組成や状態となっている箇所を示す画像)を生成する。そして情報処理装置1はステップS123でフィルタ画像を演算結果バッファ25に記憶する。
フィルタ画像FP1は、高解像度画像HRのうちの日向となっている箇所を示す画像である。例えばNIR画像からNIR値(画素値)が一定値以上の画素を抽出して生成した画像である。例えば図示のように日向部分のみが高輝度画素として表現された画像となる。このフィルタ画像FP1は、演算結果バッファ25に記憶される。
まずNDVI画像を生成又は取得する。例えばフィルタリング生成部24は、入力バッファ22からNIR画像とR画像を読み出す。そしてこのR画像とNIR画像からNDVI画像を生成する。なお、NDVI画像が植生指数演算部23で生成されて演算結果バッファ25に記憶されている場合は、そのNDVI画像を読み出せばよい。
そしてNDVI画像のうちでNDVIの値が一定値以上の画素を抽出する。これにより図示のようにフィルタ画像FP2は植生部分のみが高輝度画素として表現された画像となる。このフィルタ画像FP2は、演算結果バッファ25に記憶される。
この場合、フィルタ画素FP1、FP2について対応する画素同士(同じ位置の画素同士)で、アンド条件をとって高輝度画素とすればよい。即ちフィルタ画素FP1、FP2において高輝度画素を“1”、低輝度画素を“0”としたときに、画素位置毎にフィルタ画像FP1、FP2でのアンド条件で“1”“0”を判定し、フィルタ画像FP3の該当画素とする。これにより図示のように植生部分でかつ日向部分が高輝度画素として表現された画像となる。このフィルタ画像FP3は、演算結果バッファ25に記憶される。
即ちフィルタ画像とは、特定の組成や状態となっている箇所を示す画像であり、フィルタリング処理で抽出したい箇所を示す画像であるため、フィルタリングの条件に応じて多様に考えられる。
ステップS131で情報処理装置1(フィルタリング実行部26)は、演算結果バッファ25から処理対象とする植生指数画像やフィルタ画像を読み出す。そして情報処理装置1はステップS132でフィルタリング処理を実行する。これは特定の組成や状態となっている箇所を示すフィルタ画像を用いて、植生指数画像のうちから該当箇所(画素)を抽出する処理となる。
そして情報処理装置1はステップS133でフィルタリング結果としての画像(フィルタリング結果画像)を演算結果バッファ25に記憶する。
上述したようにフィルタ画像FP3は、特定の組成又は状態の箇所を示す画像として、高解像度画像HRのうちの植生部分であり且つ日向部分である箇所を検出した画像である。
フィルタリング処理としては、NDVI画像のうちで、フィルタ画像FP3が示す箇所に相当する画素を抽出する処理となる。これにより、図示するようにフィルタリング結果の画像が得られる。このフィルタリング結果画像が演算結果バッファ25に記憶される。
例えば、植生指数(例えばNDVI)の測定の際、光源スペクトル(太陽光)の変動を抑えるため、カメラの測定と同時に光源スペクトルを測定し、カメラの測定結果を補正する技術があるが、影になっている部分(多くは植物同士の葉の影になっており、葉の独特な光の吸収や、反射に影響され、複雑な光源スペクトルを持つ影)を除去できれば、より精度の高い測定が可能となる。図示するフィルタリング結果画像は、このような精度の高い測定のための条件に合致した画素が抽出された画像となる。
また他のフィルタ画像を用いることも考えられる。例えば日陰部分を示すフィルタ画像を想定する。日陰の部分は、特に群落の下に位置する日蔭は一日を通して日蔭になりやすく、群落の光合成のポテンシャルを測定するという意味では、日陰より日なたの部分に限って測定することで、より正確な測定をすることができる。この点を考えれば、NDVI画像等の植生指数画像を日陰部分の箇所を示すフィルタ画像を用いてフィルタリングするというような例も考えられる。
このようなフィルタリング結果画像は、計測結果として適切な記録媒体に保存されても良いし、演算結果バッファ25から読み出されて、画像出力部30から出力されてもよい。
もちろん元の高解像度画像HR等とフィルタリング結果画像がとともに保存されても良いし、フィルタリング結果画像のみが保存されても良い。さらには、高解像度画像HR等とフィルタリング結果画像の両方を保存するか、フィルタリング結果画像のみを保存するかをユーザが選択できるようにしてもよい。
そこで本実施の形態では、提示画像化部27の処理により、より人が見て測定結果がわかりやすい提示画像を生成し、その提示画像を出力できるようにしている。
図6、図7の処理において情報処理装置1は、提示画像化部27の機能による提示画像化を実行するタイミングでは、図7のステップS140からS141に進む。
ステップS141で情報処理装置1(提示画像化部27)は、演算結果バッファ25から処理対象とするフィルタリング結果画像等を読み出す。そして情報処理装置1はステップS142で提示画像化処理を実行し、生成した提示画像をステップS143で出力バッファ28に記憶する。
以下では、ステップS142の提示画像化処理として、提示画像化処理例I、II、IIIを例に挙げて説明する。
これはフィルタリング結果画像を一定の単位で分割し、その分割領域ごとに含まれる画素の代表値に対して色当て(カラーマッピング)した画像を生成する例である。
そして情報処理装置1は、図11のステップS202で変数n=1とし、ステップS207で変数n=nmaxとなるまで、ステップS208で変数nをインクリメントしながらステップS203〜S206の処理を行う。
なお変数nの最大値nmaxはステップS201で設定した領域の数である。例えば16個の領域に分割したのであればnmax=16となる。
抽出された画素が存在する場合は、情報処理装置1はステップS204で第n領域の画素の代表値を算出する。
代表値とは、その領域に存在する画素における植生指数の平均値、最大値、最小値、重心値、又は最多数値などである。ここでは例えば平均値とする。
例えばNDVI値として
・0.700未満:濃い緑
・0.700〜0.710:緑
・0.710〜0.720:黄緑
・0.720〜0.745:黄
・0.746〜0.760:橙
・0.761〜0.770:濃い橙
・0.771〜0.799:赤
・0.800以上:濃い赤
などというように設定しておく。そして平均値に応じて色を決める。
そして平均値に応じた色を、その第n領域に配置する。つまり第n領域の画素を該当の色の画素とする。
例えば図12に示すように、図10で説明したフィルタリング結果画像を演算結果バッファ25から読み出す。これは植生部分であり且つ日向部分である箇所における画素のNDVI値により構成された画像である。
このフィルタリング結果画像を16個の領域に分ける。そして各領域についてNDVIの平均値(代表値)を求める。なお、画素(NDVI値としての有効な画素)が存在しない領域は「NO DATA」として示している。
平均値が求められた領域については、色当てが行われる。「NO DATA」で示す領域については背景色(白)が割り当てられる。
これにより図示するようにカラーマッピング画像が生成される。なお図面では、斜線の種類や点描等により色の違いを示している。
なお、もちろん領域として16分割することは一例であり、2分割、3分割、4分割、8分割などでもよいし、より細かく24分割、30分割などでもよい。各領域が同一の面積や形状である必要も無い。
これは、植生の特定の組成・状態である箇所に対して、フィルタリング結果画像に色当てした画像を合成する例である。
図13において図11と同一の処理については同一のステップ番号を付し、重複説明を避ける。
なお、この処理例を実行する場合は、図7のステップS141において、フィルタリング結果画像に加えて、色当て画像を貼り付ける画像として、植生の特定の組成・状態である箇所を示す画像(例えばフィルタ画像FP2)を読み出す。そしてステップS201では、フィルタリング結果画像と例えばフィルタ画像FPについて、同じように複数の領域に分割することになる。
なおフィルタ画像FP2は、NDVI値が一定値以上である画素を抽出した画像(植生検出画像)である。
抽出された画素が存在する場合は、情報処理装置1はステップS210で植生検出画像(フィルタ画像FP2)の第n領域に植生検出画素が存在するか否かを確認する。
第n領域に、フィルタリング抽出画素が存在し、かつ植生検出画像(例えばNDVI値が一定値以上である画素)が存在した場合は、情報処理装置1はステップS211でその領域の画素の代表値(例えば平均値)を算出する。
そしてステップS212で情報処理装置1は、算出した代表値(平均値)に対応する色を設定する。
さらにステップS213で情報処理装置1は、その第n領域内において植生検出画素(フィルタ画像FP2)に存在する画素に、色当てする。
例えば図14に示すように、先に説明したフィルタリング結果画像とフィルタ画像FP2を用いる。
フィルタリング結果画像は、植生部分であり且つ日向部分である箇所における画素のNDVI値により構成された画像であり、これを16個の領域に分け、各領域についてNDVIの平均値(代表値)を求める。
そして平均値に応じた色を選択し、その色を、同じ領域におけるフィルタ画像FP2の画素に割り当てる。
平均値算出ができない「NO DATA」で示す領域、又はフィルタ画像FP2としてNDVI値が一定値の画素が存在していない領域の全画素については背景色(白)が割り当てられる。
これにより図示するようにカラーマッピング画像が生成される。これはフィルタ画像FP2において抽出されている画素に、平均値に応じた色当てが行われた画像となる。
そのため、NDVIが一定値以上である箇所において、平均値が色で示される画像となり、ユーザが領域毎の植生状況を把握し易い画像となる。
これは、可視光画像にオーバーレイ表示する例である。
図15において図11と同一の処理については同一のステップ番号を付す。
なお、この処理例を実行する場合は、図7のステップS141において、フィルタリング結果画像に加えて、RGB画像(可視光画像)を読み出す。なお、例えばRGB画像は撮像装置250から供給され入力バッファ22に保存していたものを読み出すことが考えられる。
ステップS201では、フィルタリング結果画像とRGB画像について、同じように複数の領域に分割することになる。
抽出された画素が存在する場合は、情報処理装置1はステップS220でその領域の画素の代表値(例えば平均値)を算出する。
そしてステップS221で情報処理装置1は、算出した代表値(平均値)に対応する色を設定する。これはフィルタリング結果画像の当該領域内で存在する各画素の色として設定するものである。
ステップS222で変数n=nmaxとなったら情報処理装置1はステップS224に進み、RGB画像に、フィルタリング結果画像の色設定された画素をオーバーレイする。
つまり、RGB画像上で、フィルタリング結果を示す色が表現される画像となる。そのため、ユーザが通常視認する画像上でNDVIが一定値以上でかつ日向の部分のNDVIの代表値を色で示す画像となり、ユーザが植生状況を把握し易い画像となる。
なお、オーバーレイでなく、該当の画素を割り当てた色で上書きするようにしてもよい。
提示画像化処理例Iは、フィルタリング結果画像を用い、撮像した範囲を一定の単位で分割し、その分割単位で代表値に対して色当てした画像を生成する例とした。
提示画像化処理例IIは、フィルタリング結果画像と植生の特定の組成・状態である箇所の画像(フィルタ画像FP2)を用い、フィルタリング結果画像に色当てし、これを植生の特定の組成・状態である箇所の画像(フィルタ画像FP2)に合成する例とした。
提示画像化処理例IIIは、フィルタリング結果画像に色当てし、可視光画像にオーバーレイ表示する例とした。
いずれの例も、フィルタリング結果画像に色当てをし、色により評価結果を表現できるようにしたものである。
特に領域毎に色当てすることで、高解像度画像HRで撮像した範囲内の状況を表現する画像としてわかりやすいものとなる。
この提示画像は、画像出力部30によって出力画像Poutとして出力され、ユーザに提示されるようにすることができる。
即ち情報処理装置1は、画像出力を実行するタイミングでは、図7のステップS160からS161に進む。
ステップS161で情報処理装置1(画像出力部30)は、出力バッファ28から出力する画像(例えば提示画像)を読み出し、出力画像Poutとして外部に出力する。これにより例えばカラーマッピング等によりサンプル区域の計測結果を明確に表現した提示画像の表示や記録が行われる。
本実施の形態では、さらに、低解像度画像LRを利用して画像合成を行い、圃場300の計測対象の全体を表現する画像を出力画像Poutとすることもできる。
図6、図7の処理において情報処理装置1は、画像合成部29の機能による合成処理を実行するタイミングでは、図7のステップS150からS151に進む。
ステップS151で情報処理装置1(画像合成部29)は、必要な画像を読み出して合成処理を実行し、生成した合成画像をステップS152で出力バッファ28に記憶する。
以下では、ステップS151の合成処理として、合成処理例I、II、III、IVを例に挙げて説明する。
これは提示画像を低解像度画像LRに位置合わせをして貼り合わせる例である。
例えば図18の画像300Pは、図4Aのように圃場300の各区域#1、#2、#3・・・#LN(区域#LNは図示していないが“LN”は最後の区域の番号とする)を撮像した低解像度画像LR#1、LR#2、LR#3・・・LR#LNをスティッチして生成した、計測対象の全体の画像であるとする。
変数xは、このような画像300Pを形成するために低解像度画像LRで撮像される計測対象内の各区域#1〜#LNのうちの或る区域#xを表す変数とする。なお、ここでいう区域とは、1枚の低解像度画像LRで撮像される範囲であり、隣接する区域はスティッチの際の糊代となる部分が重複する。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xの提示画像(例えば図12のカラーマッピング画像)を読み出す。区域#xの提示画像とは、関連情報から判別される区域#xの高解像度画像HRに基づいて生成された提示画像のことである。
そしてステップS305で情報処理装置1は、提示画像を低解像度画像LRにオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
各画像G#xは、低解像度画像LR内に、提示画像CPを配置した画像である。
なお、図17ではステップS308でスティッチ処理を行う例を示したが、例えばステップS308の段階で、画像G#1〜G#(xmax)をスティッチせずに貼り付けていく処理により全体の画像300Pを生成してもよい。即ち例えば各低解像度画像LRに対応する位置情報に応じてマッピングを行う処理である。位置情報としては、例えば低解像度画像LR又は高解像度画像HRを撮像する時点のGPS情報などを用いることができる。
また、図17のようにスティッチ処理を行うようにすると、場合によっては画像品質上若干の不利な点が生ずることもあり得る。スティッチ処理のソフトウエアによっては、低解像度画像LRにカラフルな提示画像CPを合成した画像G#1〜G#(xmax)について処理させると、特徴点の検出に影響を与えてしまい、スティッチ処理性能に影響を与える場合がある。そのような懸念がある場合には、低解像度画像LRを先にスティッチ処理してしまい、その後、各低解像度画像LRに対応する高解像度画像HRから生成した提示画像CPを貼り付けるようにすることが考えられる。即ちその場合、図17のステップS301より前の処理として、各区域#1・・・#LNを撮像した低解像度画像LR#1・・・LR#LNの読み出し、関連情報の取得、及びスティッチ処理を行って全体の画像300Pを生成する。そしてステップS301、S303、S304、S306、S307を行う。この場合、ステップS304では関連情報(位置情報)を用いて、提示画像CPを対応する低解像度画像LRに貼り付けていけばよい。ステップS302,S305,S308は不要となる。
これは各区域において高解像度画像HRで撮像できない部分も含めて、低解像度画像LRの範囲を、提示画像の代表値(平均値や最大値)でオーバーレイする例である。
図19において図17と同一の処理は同一のステップ番号を付す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像(例えば図12のカラーマッピング画像)を読み出す。なお、上述した提示画像生成の際に算出した各領域の平均値や最大値の情報が出力バッファ28に保存されていれば、それらを読み出してもよい。
上述のように提示画像においてカラーマッピングを行った場合、領域毎の平均値や最大値を求めた。これに対してステップS310では、例えば高解像度画像HR(提示画像)の範囲の全体での平均値や最大値をもとめる。
例えばカラーマッピング画像としての提示画像における平均的な色を求める。これは、カラーマッピング画像における各領域の色を値に換算し、その換算値の平均値や最大値を求め、その値により再度色を選択することが考えられる。
或いは上述のように提示画像生成の際に算出した領域毎の平均値や最大値の情報が保存されていれば、それらの値を用いて再計算をし、提示画像の全体の平均値や最大値を求めることができる。その値により、提示画像の全体の色を選択してもよい。
いずれにしてもステップS310では、提示画像全体としての平均値又は最大値に相当する色(平均値色、又は最大値色)を求める。
そしてステップS312で情報処理装置1は、提示画像の平均値色又は最大値色を低解像度画像LR全体にオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、スティッチ処理で計測区域の全体の画像300Pを生成する。即ちステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して全体の画像300Pを生成する。
また図21は、提示画像の最大値色をオーバーレイした低解像度画像による画像G#10〜G#18をスティッチした様子を示している。各画像G#1〜G#(xmax)についてこのようなスティッチに行って全体の画像300Pを生成する。
特に図20のように平均値色によりオーバーレイした場合、各区域の状況が把握しやすい。この画像300Pによれば、サンプリング測定のカバー率が低い場合に、全体の傾向を俯瞰する上での視認性を向上することができる。
また図21のように最大値色によりオーバーレイした場合、使用する植生指数にもよるが、例えば生育が良い区域、或いは注意すべき区域などが、よりわかりやすいものとなる。例えば小さな異常個所を発見する上での視認性を向上することができる。
なお、平均値色、最大値色としたが、この場合、各区域の最小値、重心値、又は最多数値などに相当する色で低解像度画像LRにオーバーレイすることも考えられる。
また、合成処理例II、及び後述する合成処理例III、IVでも、合成処理例Iのように、先に低解像度画像LRのスティッチ処理を行うことも考えられる。但しこの合成処理例IIの場合、低解像度画像LRが先にスティッチ処理されてしまうと、元々の各低解像度画像LRの境界がわからなくなるため、提示画像のオーバーレイ範囲がわからなくなる。そのような場合は、図28で後述する高解像度画像HRの幅a、幅dを網羅率を用いて同図の間隔c、間隔fのサイズに拡大し、その範囲で提示画像の平均値色、最大値色をオーバーレイするようにすることが考えられる。次に説明する合成処理例III、IVも同様である。
なお、スティッチ処理の際に使われた元の低解像度画像LRの1枚1枚の境界情報が取得できるのであれば、以上のような問題はなく、先に低解像度画像LRのスティッチ処理がされた画像300Pに対し、境界情報を用いて平均値色、最大値色をオーバーレイしていけばよい。
これは各区域において高解像度画像HRで撮像できない部分も含めて、低解像度画像LRの範囲を、サンプリング計測結果が一定の値の範囲内かそうでないかで異なる色を割り当てる例である。
図22において図17と同一の処理は同一のステップ番号を付す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像(例えば図12のカラーマッピング画像)を読み出す。この場合も、提示画像生成の際に算出した各領域の平均値や最大値の情報が出力バッファ28に保存されていれば、それらを読み出してもよい。
この場合、例えばカラーマッピング画像としての提示画像における平均的な色又は最大値としての色を求め、それを数値に換算する。或いは上述のように提示画像生成の際に算出した各領域毎の平均値や最大値の情報が保存されていれば、それらの値を用いて提示画像全体の平均値や最大値を求めてもよい。
例えば平均値としての適切な範囲、又は最大値としての適切な範囲を予め設定しておく。
そして情報処理装置1は、算出した値が適切な範囲内であれば、ステップS322で区域#xに第1色を割り当てる。
また算出した値が適切な範囲内でなければ、ステップS323で区域#xに第2色を割り当てる。
そしてステップS325で情報処理装置1は、第1色又は第2色を低解像度画像LR全体にオーバーレイ等した画像を、区域#xの画像G#xとしてセット(一時的に保存)する。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、ステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して計測区域の全体の画像300Pを生成する。
2色のいずれかであることで、各区域が、適切な状況か、不適切な状況(例えば何らかの生育異常が生じているなど)かを明確に認識できる画像となる。
なお、平均値、最大値を求めて適切な範囲内か否かを判定し、第1色、第2色を選択するものとしたが、各区域の最小値、重心値、又は最多数値などを閾値範囲と比較して適否判定し、色を選択して低解像度画像LRにオーバーレイすることも考えられる。
これは各区域において上記合成処理例のように提示画像を低解像度画像LRに位置合わせをして貼り合わせ、さらに高解像度画像HRで撮像できない部分は、上記合成処理例II、IIIのいずれかの手法で選択した色でオーバーレイする例である。
図24において図17と同一の処理は同一のステップ番号を付す。
ステップS303で情報処理装置1は、出力バッファ28から、関連情報を参照して区域#xに対応する提示画像を読み出す。この場合も、提示画像生成の際に算出した領域毎の平均値や最大値の情報が出力バッファ28に保存していれば、それらを読み出してもよい。
ステップS330で情報処理装置1は、提示画像の平均値色又は最大値色を求める(図19のステップS310と同様)。
ステップS332で情報処理装置1は、関連情報を参照して低解像度画像LR内における高解像度画像HRの位置を判別し、その高解像度画像HRの位置に提示画像(カラーマッピング画像)をオーバーレイ(半透明の提示画像の合成)又は上書き(不透明の提示画像の合成)する。
そして情報処理装置1は、以上のように合成した画像を、ステップS333で区域#xの画像G#xとしてセット(一時的に保存)する。
そしてステップS306で全ての区域について以上の処理を終えたことを確認したら、情報処理装置1はステップS308に進み、ステップS305で一時保存した各画像G#1〜G#(xmax)をスティッチ処理して計測区域の全体の画像300Pを生成する。
これにより、高解像度画像HRに基づいて得られた提示画像CPを確認できるとともに、各区域#xの全体の様子を認識できる画像300Pとすることができる。
なお、ステップS331では、平均値色又は最大値色でオーバーレイする例としたが、これは合成処理例I、IIを組み合わせた場合である。その場合、各区域の最小値、重心値、又は最多数値に応じた色を選択してオーバーレイすることも考えられる。
また合成処理例I、IIIを組み合わせた場合、各区域#xの全体の代表値が適切な範囲内か否かを判定して第1色、第2色を選択し、オーバーレイすることとなる。このようにすれば、高解像度画像HRに基づいて得られた提示画像CPを確認できるとともに、各区域#xが適切な状況か不適切な状況かを明確に認識できる画像300Pとすることができる。
これらの例で生成された低解像度画像LRと提示画像の合成画像は、図7のステップS152で出力バッファ28に記憶される。
この合成画像は、画像出力部30によって出力画像Poutとして出力され、ユーザに提示されるようにすることができる。
即ち情報処理装置1は、画像出力を実行するタイミングでは、図7のステップS160からS161に進む。
ステップS161で情報処理装置1(画像出力部30)は、出力バッファ28から出力する画像(例えば低解像度画像LRと提示画像の合成画像)を読み出し、出力画像Poutとして外部に出力する。これにより例えば圃場300の全体をカバーした合成画像の表示や記録が行われる。
第2の実施の形態のシステム構成を図26に示す。第2の実施の形態は、図2で示した第1の実施の形態の構成に加えて、情報処理装置1において飛行制御部3及び通信部44が設けられているものである。その他の構成については図2と同様であるため、同一符号を付して説明を省略する。
また通信部44は、無線通信により飛行体200との間で通信を行う。
これらの構成により第2の実施の形態では、情報処理装置1が飛行体200の飛行経路や撮像動作(撮像タイミング等)を制御し、状況に応じた飛行や撮像ができるようにしている。
飛行計画生成部40は、計測対象(圃場300)の上空における飛行体200の飛行経路を設定する機能である。
条件判定部41は、例えばNDVI等の植生指数の情報を演算結果バッファ25から取得し、その値(例えば代表値)が一定の条件にかなっているか否かを判定する。この判定結果は飛行計画の修正に用いられる。
2回目以降飛行計画生成部43は、1回目の飛行でサンプリング検査した結果の計測対象の組成や状態を算出した値が所定の条件から逸脱する場合、サンプリング計測による抜けた部分の周辺を測定するための飛行計画を自動生成する機能である。
また2回目以降飛行計画生成部43は、1回目の飛行で1回目の飛行体200の飛行中に当初の飛行計画を終えることができなかった場合について、当初飛行計画から残った箇所のみ飛行させる飛行計画を自動で生成する処理も行う。
飛行体200は例えば、制御部201、GPSモジュール202、IMU(inertial measurement unit)モジュール203、高度計204、方位系205、通信部206、バッテリ207、モータ208、及び上述した撮像装置250を備えている。
IMUモジュール203は3軸の角度または角速度情報や加速度情報を検出し制御部201に供給する。
高度計204は高度を検出し高度情報を制御部201に供給する。
方位計205は方位を検出し方位情報を制御部201に供給する。
制御部201はこれらの情報を用いて飛行体200の飛行動作制御を行う。
バッテリ207は電源部を示し、各部に動作電源電圧Vccを供給する。
通信部206は無線通信部であり、例えば情報処理装置1の通信部44との間で各種データの送受信を行うことができるようにされている。例えば飛行体200からは通信部206により、撮像した高解像度画像HR、低解像度画像LR、対応情報Pを含むタグ情報、飛行動作情報等を情報処理装置1に送信できる。
制御部201は、例えばCPU、RAM、ROM、インターフェース部等を備えたマイクロコンピュータにより構成され、飛行計画データに従って飛行体200の飛行動作を制御する。
飛行体200の飛行計画制御の具体例を説明する。
まず情報処理装置1における飛行計画生成部40の機能を説明する。
飛行計画生成部40では、高解像度画像HRによるサンプリング計測(撮像)する網羅率をユーザが設定することに応じて、飛行体200の飛行計画を自動生成する。
本実施の形態のシステムでは高解像度画像HRのサンプリング撮像を行うことを考慮し、サンプリング計測の網羅率を優先して飛行計画を生成する。即ち網羅率を上げるためにより細かく飛行させたり、網羅率が低くて良い場合は荒く飛行させたりするなど、状況に適した飛行計画を生成することができる。
図28に、計測対象としての圃場300における高解像度画像HR(HR#1〜HR#5)の撮像位置となる離散的なサンプル区域#1C〜#5Cを、図4Bと同様に示している。
ここで図28の幅a、幅dは高解像度画像HRの撮像範囲(縦方向の範囲、横方向の範囲)の幅で、幅b、幅eは、高解像度画像HRと縦方向及び横方向の隣の高解像度画像HRとの間の間隔を示している。
ここで上述のスキャン間隔とは、間隔c(=a+b)、間隔f(=d+e)に相当するもので、これを例えばユーザが指定することができる。
従ってスキャン間隔を指定することで、観察したい事象(例えば灌水設備故障における水没や、病害虫の発生)の広がり等に応じて最適な値を設定することができる。
情報処理装置1は、ステップS401でユーザ入力部31によるユーザの指定種別を判断する。ユーザは、飛行計画生成の際に、スキャン間隔をするか網羅率を指定するかを選択することができる。ユーザは情報処理装置1のユーザインターフェース(例えば表示画面及びユーザ入力部31)を用いて、スキャン間隔又は網羅率を入力する。
なお、ユーザが入力する以外に何らかのコンピュータ装置がスキャン間隔又は網羅率を自動設定し、その値をステップS401で入力することも想定される。
そしてステップS405で、指定されたスキャン間隔c、fを満たす飛行計画を作成する。例えば飛行経路DRとしての開始地点、折り返し地点、直進再開地点、高解像度画像HRの撮像地点(又は撮像タイミング)等の位置座標、飛行速度等を設定する。
そしてこのように作成した飛行計画の情報をステップS406で通信部44から飛行体200に送信させる。飛行体200では通信部206で飛行計画の情報を受信し、制御部201が取り込んで保存する。制御部201は飛行計画の情報に基づいて各部を制御し、飛行計画で指定された飛行を行うことになる。
その後は先と同様に、ステップS405で、スキャン間隔c、fを満たす飛行計画を作成し、ステップS406で飛行計画の情報を通信部44から飛行体200に送信させることになる。
飛行計画修正部42は、飛行体200の飛行中に、計測対象の組成や状態を算出した結果値が一定の条件内に収まる場合、自動で網羅率を緩和して計測完了までの時間を短縮することができる。また飛行計画修正部42は、計測対象の組成や状態を算出した結果値が一定の条件から逸脱する場合、自動で網羅率を高めるために、飛行計画を動的に修正することもできる。
これらの処理のため、条件判定部41が、測定結果を取得して条件判定を行う。
このため例えば飛行体200側では、撮像装置250で高解像度画像HRを撮像する度に、通信部44から高解像度画像HRを情報処理装置1に送信する。
情報処理装置1は、通信部44で受信した高解像度画像HRをデータ入力部21で取得し、入力バッファ22に記憶させ、上述した高解像度画像HRに対する各種処理を行うことができるようにしている。
そして飛行体200から高解像度画像HRが送られてくる度に、演算結果バッファ25から、その1枚の高解像度画像HRで得られるNDVIを示す画像を読み出し、NDVIの代表値が上記の上限と下限の範囲内であるか否かを確認する。
この範囲内に収まる場合は植物に異常がないとして「一定の条件に収まる」とする。
条件判定の処理は、フィルタリング結果画像に基づいて行ってもよいし、植生算出画像、或いはフィルタ画像に基づいて行ってもよい。これらの画像から平均値等の代表値を求め、それを上限、下限の閾値と比較することで条件判定を行う。
例えば条件にかなっているか否かを「一定値以下」「一定値以上」「一定範囲内」「一定範囲外」などのパターンがある。
植生指数としてPRI(photochemical reflectance index)を用いる場合、算出方式に応じて、を「一定値(0.3)以下」或いは「一定値(0.3)以上」などとする条件判定が有り得る。なお、PRIについては後述する。
植生指数としてNDVIを用いる場合、「一定範囲(0.85〜0.70)内」或いは「一定範囲(0.85〜0.70)外」などとする条件判定が有り得る。
ステップS501で情報処理装置1は、緩和及び強化条件を設定する。これは網羅率を緩和或いは強化するための、条件判定の手法をユーザの入力に応じて設定する処理である。即ち条件判定部41の処理方式の設定である。
例えばNDVIが「一定範囲(0.85〜0.70)内」であれば適正状態として網羅率を緩和し、そうでなければ網羅率を強化するというような設定を行う。
或いは、例えばNDVIが「第1の一定範囲(例えば0.85〜0.70)内」でなければ網羅率を強化し、「第2の一定範囲(第1の一定範囲より狭い範囲)内」であれば網羅率を緩和し、それ以外(第1の一定範囲内で第2の一定範囲外)の場合は網羅率を現状維持するような設定も考えられる。
ステップS503で情報処理装置1は飛行体200の飛行開始を検知する。例えば飛行体200からの飛行開始の通知の受信、或いは飛行計画による飛行開始時刻などを監視して飛行開始を判断する。或いは飛行開始タイミングでユーザが所定の操作を行うことで飛行開始を検知してもよい。
ステップS504で情報処理装置1は、条件判定により網羅率の強化条件に該当する結果が得られたか否かを確認する。強化条件に該当しない場合は、ステップS505に進む。
強化条件に該当していた場合、情報処理装置1はステップS510に進み、網羅率を高めるように飛行計画の修正を行う。例えば上述のスキャン間隔c、fを短くして飛行計画を修正し、修正した飛行計画の情報を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
・条件判定結果が適正状態に復帰する。
・条件判定結果が適正状態に復帰した状態が所定の判定回数、継続する。
・植生指数の値が強化条件の適正状態判定より厳しい基準で適正状態になった状態が得られる(いわゆるヒステリシス判定)。
網羅率強化飛行中ではない場合、又は網羅率強化飛行中であっても以上のような復帰条件に該当しない場合は、ステップS506に進む。
網羅率強化飛行中であって復帰条件に該当する場合、情報処理装置1はステップS511に進み、所定の飛行計画(例えば最初にステップS502で作成した飛行計画)に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
緩和条件に該当しない場合は、ステップS507に進む。
緩和条件に該当していた場合、情報処理装置1はステップS512に進み、網羅率を緩和するように飛行計画の修正を行う。例えば上述のスキャン間隔c、fを長くして飛行計画を修正し、修正した飛行計画の情報を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
・条件判定結果が適正状態ではなくなる。
・条件判定結果が適正状態ではなくなった状態が所定の判定回数、継続する。
・植生指数の値が緩和条件の適正状態判定より厳しい基準で適正状態ではなくなった状態が得られる(いわゆるヒステリシス判定)。
網羅率緩和飛行中ではない場合、又は網羅率緩和飛行中であっても以上のような復帰条件に該当しない場合は、ステップS508に進む。
網羅率緩和飛行中であって復帰条件に該当する場合、情報処理装置1はステップS513に進み、所定の飛行計画(例えば最初にステップS502で作成した飛行計画)に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
網羅率強化飛行中である場合、情報処理装置1はステップS508からS514に進み、飛行ポリシーとバッテリ残量予測確認を行い、その適・不適で処理を分岐する。
飛行ポリシーの確認とは、例えば測定のための飛行として何を重視して行うかの設定を確認するものである。例えば飛行ポリシーとしては、
(P1)全体の計測を優先し、バッテリ残量から推測される飛行時間が不足する場合、通常の網羅率の測定に復帰する。つまり計測対象の全体の測定(撮像)を優先する。
(P2)異常点の検出を優先し、バッテリ残量による通常網羅率の測定には復帰しない。つまり網羅率強化の場合、全体の測定よりも重点的な測定を優先する。
のいずれが設定可能とされる。
ステップS514の具体的な処理例としては、
・バッテリ残量が所定以上(十分あり)の場合、飛行ポリシーにかかわらず適判定
・バッテリ残量が所定未満の場合、飛行ポリシー(P2)であれば適判定
・バッテリ残量が所定未満の場合、飛行ポリシー(P1)であれば不適判定
とする。これは一例であるが、例えば適判定の場合は、そのままステップS509に進む。
一方、不適判定の場合は、情報処理装置1はステップS515に進み、所定の飛行計画に戻す修正処理を行う。例えば元の飛行計画への復帰の指示を飛行体200に送信する。そして情報処理装置1はステップS508に進む。
例えば情報処理装置1は、飛行体200からの飛行完了の通知を受信したり、所定時間(飛行完了に要する時間)の経過を検知したり、或いはユーザの終了操作を検知したりすることなどにより、飛行完了を認識して処理を終える。
飛行計画の設定に関しては、横方向のスキャン間隔あるいは網羅率、及び縦方向のスキャン間隔あるいは網羅率を用いることができる。
なお、縦方向と横方向の一方のスキャン間隔或いは網羅率を固定とし、他方のスキャン間隔或いは網羅率をユーザ設定できるようにしてもよい。
網羅率の緩和条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
網羅率を緩和する場合の緩和率については、
・横方向のスキャン間隔あるいは網羅率の緩和倍率
・縦方向のスキャン間隔あるいは網羅率の緩和倍率
がある。これらの一方又は両方を変更させてもよいし、緩和倍率を可変してもよい。
緩和からの復帰条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
網羅率の強化条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
網羅率を強化する場合の緩和率については、
・横方向のスキャン間隔あるいは網羅率の強化倍率
・縦方向のスキャン間隔あるいは網羅率の強化倍率
がある。これらの一方又は両方を変更させてもよいし、緩和倍率を可変してもよい。
強化からの復帰条件の設定としては、「以下」「以上」「範囲」などとして設定できる。
また飛行ポリシーの設定に応じて、バッテリ残量を鑑みた飛行を行うことができる。
2回目以降飛行計画生成部43は、1回目の飛行でサンプリング検査した結果の計測対象の組成や状態を算出した値が、望ましい値の範囲から逸脱する場合、サンプリング計測による抜けた部分の周辺を測定するための飛行計画を自動生成することができる。
また、1回目の飛行中に当初の飛行計画を終えることができなかった場合について、当初飛行計画から残った箇所のみ飛行する飛行計画を自動で生成することもできる。
図32Aにおいて、1回目の飛行において高解像度画像HR(HR#1〜HR#20)を撮像したサンプル区域#1C〜#20Cを示している。ここで、黒塗りのサンプル区域#11C、#15Cは、その区域の植生指数の値が、望ましい値の範囲から逸脱していたとする。
このような場合に、追加飛行として2回目の飛行計画を作成する。
即ち、サンプリング測定範囲であるサンプル区域の中心点を基準に、再計測すべき周辺の範囲を、サンプリング計測ではなく抜けが無いように2回目の飛行計画(計測範囲)を決定する。
幅g、幅hは固定値でもよいが、ユーザが指定できるようにすることが望ましい。
なお説明上、2回目の撮像範囲も「サンプル区域」という言葉を用いているが、2回目以降の飛行ではサンプル区域が離散的ではなく連続することになる。
ステップS601で情報処理装置1は、サンプリング計測及びフィルタリング処理による結果を演算結果バッファ25から読み出す。これは高解像度画像HRに基づく上述のフィルタリング処理等を施した演算結果の情報を読み出すものである。
ステップS602で情報処理装置1は、1枚の高解像度画像HRに基づくフィルタリング結果画像等から条件判定を行う。例えばフィルタリング結果画像で抽出された植生指数の代表値が、所定の範囲内にあるか否か等の条件判定を行い、該当のサンプル区域が異常な状態(例えば生育状況が悪いなど)であるか否かを判定する。
例えば高解像度画像HR#1に基づくフィルタリング結果画像では、異常はみつからずステップS603は行われずに、サンプル区域#1Cの周囲は飛行範囲に加えられない。一方、高解像度画像HR#11C、HR#15Cに基づくフィルタリング結果画像では、異常が検出され、それぞれステップS603の処理で、サンプル区域#11C、#15Cの周囲は飛行範囲700,701とされることになる。
一方、飛行範囲700,701等が設定された場合、情報処理装置1はステップS605からS606に進み、再飛行計画を生成する。
この場合、設定された飛行範囲700,701等を全て網羅して高解像度画像HRが撮像できるような飛行経路や撮像タイミングが設定されることになる。そしてその再飛行計画の情報を飛行体200に送信する。これに応じて飛行体200は2回目の飛行を行うことになる。
この例は、値が逸脱したサンプル区域を中心として、判定結果が正常な地点との境界点までを追加測定する。さらに、再計測すべき範囲が検出されなくなるまで再飛行を繰り返すようにする。
2回目の飛行計画としては、異常が見つかったサンプル区域から隣接するサンプル区域の端に接する範囲で飛行範囲を設定する。例えば図34Bのように、異常が見つかったサンプル区域#11Cから隣接するサンプル区域#7C、#6C、#5C、#12C、#13C、#14C、#15C、#10Cの端に接する飛行範囲702を設定する。
そしてその飛行範囲702で高解像度画像HRの撮像が行われるように2回目の飛行計画を作成する。
なお図の見やすさのため、飛行範囲702の破線を隣接するサンプル区域から若干離して記載しているが、これは接しているものとする。以降の図の飛行範囲703〜705も同様である。
なお、この場合のサンプル区域#204Cは、1回目で既に異常検出されていた図34Bのサンプル区域#11Cである。
2回目の飛行の結果として、サンプル区域#208Cで新たに異常とする判定結果が検出されたとする。
異常判定のサンプル区域が存在するため、さらに3回目の飛行計画を作成する。
3回目の飛行計画では、新たに異常が見つかったサンプル区域#208から隣接するサンプル区域の端に接する範囲で飛行範囲を設定する。例えば図35Bのように、サンプル区域#208Cから隣接するサンプル区域の端に接する飛行範囲703を設定する。
そしてその飛行範囲703で高解像度画像HRの撮像が行われるように3回目の飛行計画を作成する。
なお、サンプル区域#304Cは、2回目で異常検出されたサンプル区域#204Cで、サンプル区域#300Cは、1回目で異常検出されたサンプル区域#11Cである。
新たな異常判定のサンプル区域が存在するため、さらに4回目の飛行計画を作成する。
4回目の飛行計画では、例えば図36Bのように、新たに異常が見つかったサンプル区域#306C、#307Cから隣接するサンプル区域の端に接する範囲で飛行範囲704を設定する。そしてその飛行範囲704で高解像度画像HRの撮像が行われるように4回目の飛行計画を作成する。この場合、2つのサンプル区域#306C、#307Cを中心にするため、4回目の飛行範囲704は3回目の飛行範囲703より広くなっている。
なお、サンプル区域#405C、#406Cは3回目で異常検出されたサンプル区域#306C、#307C、サンプル区域#402Cは2回目で異常検出されたサンプル区域#208Cである。
新たな異常判定のサンプル区域が存在するため、さらに5回目の飛行計画を作成する。
5回目の飛行計画では、例えば図37Bのように、新たに異常が見つかったサンプル区域#408Cから隣接するサンプル区域の端に接する範囲で飛行範囲705を設定する。そしてその飛行範囲705で高解像度画像HRの撮像が行われるように5回目の飛行計画を作成する。
新たに異常のサンプル区域が発見されなかったことで、計測のための飛行を完了とする。
ステップS700で情報処理装置1は初回の飛行のための処理を行う。これは、例えば図29の処理と、飛行完了の待機処理となる。
ステップS702で情報処理装置1は、1枚の高解像度画像HRに基づくフィルタリング結果画像等から条件判定を行う。例えばフィルタリング結果画像で抽出された植生指数の代表値が、所定の範囲内にあるか否か等の条件判定を行い、該当のサンプル区域が異常な状態(例えば生育状況が悪いなど)であるか否かを判定する。
もし条件判定結果として異常が検出されれば、情報処理装置1はステップS703でその高解像度画像HRを撮像したサンプル区域の中心点の位置から、隣接するサンプル区域の端までの範囲を飛行範囲に加える。
新たに計測する範囲(飛行範囲)が存在しなければ、ステップS705から飛行制御処理を終える。つまり次回の飛行は行わない。
直前の飛行のサンプル区域において異常判定のサンプル区域が存在すれば、情報処理装置1はステップS705からS706に進み、次の飛行計画を生成する。
この場合、設定された飛行範囲を網羅して高解像度画像HRが撮像できるような飛行経路や撮像タイミングが設定されることになる。そしてその再飛行計画の情報を飛行体200に送信する。これに応じて飛行体200は次の回の飛行を行うことになる。
これにより図34〜図38で例示したような2回目以降の飛行が行われる。
或いはより簡易的には、最初の飛行計画から、飛行できた範囲を差し引いた飛行計画を生成するようにすればよい。
このようの飛行計画作成制御を行うことで、圃場300の計測対象の全体をもれなくサンプリング計測できるようにすることができる。
この場合、値が逸脱した点を中心として、指定した範囲内を追加測定することができる。 また、値が逸脱した点を中心として、変化がない地点との境界点までを追加測定することができる。
また、1回目の飛行中に当初の飛行計画を終えることができなかった場合について、残った箇所の飛行計画を自動で生成することもできる。
例えば図40に飛行体200の構成例を示す。これは、飛行体200において図27の構成に加えて飛行計画処理部230としての構成を備えた例である。即ち上述の飛行計画生成部40、条件判定部41、飛行計画修正部42、2回目以降飛行計画生成部43を飛行体200内に備えるようにする。この飛行計画処理部230は制御部201内又は別体のマイクロコンピュータにおけるソフトウエア機能として実現されれば良い。
このように構成し、計測結果によって飛行体200(制御部201)が自律的に飛行計画を修正しながら飛行できるようにしてもよい。特に飛行計画修正部42の機能(図31の処理機能)は、飛行中に飛行計画を修正するため、飛行体200内で処理が行われるようにすることが好適である。
またさらに飛行計画処理部230がネットワークサーバ、クラウドコンピューティングサーバ等としての情報処理装置600に設けられ、情報処理装置600で作成された飛行計画が情報処理装置400を介して飛行体200に送られるような例も考えられる。
以上、実施の形態について説明してきたが、実施の形態の情報処理装置1によれば次のような効果が得られる。
実施の形態の情報処理装置1は、計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象に対する評価情報となる演算結果画像を生成する演算部2を備えている。
これにより、計測対象全域の画像を網羅的に取得しなくとも、計測対象全域の測定結果を得ることができる。
特にサンプリング撮像を行うことで高解像度の画像を取得しても効率悪化は防止されるため、高解像度のサンプリング画像(高解像度画像HR)を用いることができ、より精度や深度の高い分析が、計測時間の増加やデータ量の増加を伴わずに実現できるようになる。
また、サンプリング画像を対象とすることで効率的な計測を行うことができるため、広い範囲から小さいものを発見したり、わずかな傷などを発見したいというような場合にも好適となる。
上述のようにフィルタ画像は、フィルタリング実行の際にフィルタとなる情報に相当する画像(特定の組成や状態となっている箇所を示す画像)である。
マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。例えばその1つ又は複数を用いてフィルタ画像を生成することで、計測結果を提示するための適切なフィルタリングを行うことができるようになる。例えば実施の形態では、800nmのサンプリング画像を用いて日向部分を抽出するためのフィルタ画像FP1(図9参照)を生成している。
従ってサンプリング画像の画像内容のうちから特定のフィルタ条件に合致した画素を抽出するための、サンプリング画像に合致したフィルタリングを可能とするフィルタ条件を生成できる。
マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。例えば植生指数演算部23は、それらを用いて植生指数画像を生成する。このような植生指数は計測対象全域の評価に用いるものとして適切な情報となる。
植生指数として例えばNDVI等を示す画像を生成する。マルチスペクトラムカメラによる撮像では、各種の波長帯の画像が得られる。このようなサンプリング画像により、NDVI等の植生指数を求めることができる。そして植生指数画像を用いることで、植生の適切な評価が可能となる。
即ちフィルタ画像を、評価指数(例えば植生指数)を表す画像(評価指数画像)を用いて生成する。実施の形態ではNDVI画像を用いてNDVIが一定以上であるという条件に合致する画素を示すフィルタ画像FP2を生成する例を挙げた(図9参照)。これにより、NDVI等の植生指数をフィルタ条件に反映させることができ、多様かつ適切な計測結果画像を得るためのフィルタを生成できるようになる。
なおフィルタリングに用いるフィルタ画像としては、図9で説明したフィルタ画像FP1,FP2,FP3に限らず、目的のフィルタリングに応じて更に多様な例が考えられる。
例えば或る植生指数をその数値により抽出したもの、植生指数を他の植生指数の値で抽出したもの、植生指数を他の複数の植生指数の値で抽出したもの、輝度、色情報等を用いて抽出したものなどとして、各種のフィルタ画像を生成することが考えられる。
即ち複数のフィルタ画像を用いてフィルタ画像を生成する。
これにより複数のフィルタ条件を反映したフィルタ画像を生成することができる。例えば実施の形態の図9の例では、植生画像でありかつ日向部分を抽出するための特定箇所を示すフィルタ画像FP3を生成している。このようにすることでサンプリング画像の画像内容のうちから複数の特定のフィルタ条件に合致した画素を抽出するようなフィルタリングを可能とすることができる。
つまりフィルタ画像によって示される条件により、フィルタリングを行って、フィルタリング結果画像を生成する。
フィルタ画像としては、図9に各例を示したように、例えば日向部分の画像のようにサンプリング画像から生成したもの、NDVIが一定以上というように植生指数画像から生成したもの、或いは植生画像でありかつ日向部分を抽出するための特定箇所を示すように複数のフィルタ画像から生成したものなどがある。これらのフィルタ画像を用いることで多様なフィルタリング結果画像を生成することができる。
つまりフィルタ画像(フィルタリング条件に相当する画像)によって示される条件により、評価指数画像(例えば植生指数画像)についてフィルタリングを行って、フィルタリング結果画像を生成する。
図10に示したようにNDVI画像を対象として、フィルタ画像を用いてフィルタリングを行う。これにより、NDVI等の植生指数のうちで、フィルタ画像で示される所定のフィルタ条件(例えば植生画像でありかつ日向部分)の画素を抽出してフィルタリング結果画像を生成できる。従って植生指数のうちで評価に用いたい部分のみを抽出することができ、精度の高い評価結果を得ることができるようになる。
フィルタリング結果画像は、フィルタ画像によって示される条件により、フィルタリング前の画像から画素を抽出したものであり、人が視認する画像としては適していない(評価結果がわかりにくい)場合がある。そこで人への提示に適した状態に画像化する。
これにより、サンプリング画像及びフィルタリングに基づく計測対象の評価結果を理解しやすい画像でユーザに提供できる。
これにより、色別で評価結果を認識できる画像をユーザに提供できる。
その領域の平均値、最大値、最小値、重心値、最多数値など、各領域に対して代表値に応じた色当てすることで、各領域の評価結果が色で認識できる画像をユーザに提供できる。
他の画像とカラーマッピングした画像を例えばオーバーレイや上書きなどの形で合成することで、他の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
サンプリング画像とカラーマッピングした画像を合成することで、元の計測対象の画像により各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
また評価指数画像とカラーマッピングした画像を合成することで、各領域の評価指数画像を確認しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
またフィルタ画像とカラーマッピングした画像を合成することで、フィルタ画像で示されるフィルタリング条件を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
またフィルタリング結果画像とカラーマッピングした画像を合成することで、フィルタリング結果としての各領域を認識しながら領域毎に色別で評価結果を認識できる画像をユーザに提供できる。
提示画像は、フィルタリング結果画像から生成したもので、フィルタリング結果画像はサンプリング画像に基づく。つまり計測対象の全域ではなく一部の画像に基づく。そこでサンプリング画像より広い範囲を撮像した低解像度の画像と合成する。
これにより、計測対象についてサンプリング画像で撮像された範囲よりも広い範囲の画像とともに示した評価結果をユーザに提供できる。
合成処理では、或るサンプリング画像の撮像範囲についての提示画像と、そのサンプリング画像の撮像範囲を含むより広い範囲を撮像した低解像度画像を合成する。このため例えば撮像位置の情報や撮像時刻の情報など、対応関係を示す対応情報を用いて提示画像と低解像度画像を組み合わせるようにする。
これにより提示画像と、提示画像の元となるサンプリング画像の撮像範囲を含む区域の低解像度画像を正確に対応づけて合成画像を生成できる。
例えば合成処理では、或るサンプリング画像と、低解像度画像内にオーバーレイ又は上書きで配置する。この場合、低解像度画像内でサンプリング画像の撮像範囲に相当する位置に配置する。つまり位置合わせして貼り合わせる。
これにより計測対象においてサンプリング画像の位置が明確に示される合成画像を生成し、ユーザに提供できる。
図17、図18の例では、区域(G#1〜G#LN:但し図示はG#10〜G#18のみ。以下同様)毎に、低解像度画像LR内で提示画像CPをオーバーレイ又は上書きすることで、各区域の評価結果が見やすいものとなっている。
各区域について提示画像の代表値が反映された画像とされることで、各区域の状況を把握しやすい画像をユーザに提供できる。
例えば図19、図20、図21の例では区域(G#1〜G#LN)毎に、低解像度画像に提示画像の代表値色を合成している。これにより各区域の評価結果が見やすいものとなっている。
また図22、図23の例では各区域(G#1〜G#LN)について、提示画像から評価結果の良否が判定され、その結果が各区域で表現されるようにしている。これにより圃場等の評価の良否を一目で認識できる画像をユーザに提供できる。
また図24、図25の例では各区域(G#1〜G#LN)について、提示画像を位置合わせして配置した上で、低解像度画像に提示画像の代表値色を合成している。これにより各区域の評価結果が見やすく、かつサンプリング画像撮像範囲の詳細な情報も含まれた画像をユーザに提供できる。
なお、実施の形態の例では、提示画像と低解像度画像LRの合成を行うものとしたが、提示画像化する前のフィルタリング結果画像を低解像度画像LRと合成することも考えられる。さらには、植生指数画像と低解像度画像LRの合成や、フィルタ画像と低解像度画像LRの合成を行うことも考えられる。これらの合成画像が画像出力部30から出力され、ユーザに提示されるようにしてもよい。
カメラによる光学計測により計測対象の組成や状態を算出するシステムとしては、例えば近赤外波長と赤の波長を用いたNDVI(正規化植生指数)が、植生の測定として用いられている。
大きな圃場を撮像する場合、飛行体にこれらのカメラを搭載し、複数回の撮像を行いスティッチを行うことで、圃場全体の計測を漏れなく行うことは可能である。
またこの時、高解像度情報(高解像度画像HR)を用いればより精度や深度の高い分析ができる。例えば、土と植物を分離できる解像度の撮像を行い、一定のNDVIの閾値を用いれば、画像の中から植物の部分だけをフィルタリングし、その部分のみのNDVIを算出すれば、土の影響を除外できてNDVIの精度を改善できる。また、葉面の他の葉の影になっている部分のみのNDVIを算出すれば、NDVIの精度を改善できる。
しかしながら、広大な範囲を撮像しようとする場合、高解像度の撮像はズームで撮ったり、あるいは近づいて撮像する必要があるため、1回の撮像で測定できる範囲が狭く、全体の計測には多大な時間を要してしまう。
また、高解像度画像HRを網羅的に撮像すると、計測したデータサイズが増大し、ネットワークを通じてデータをアップロードする時のアップロード時間も増加し、さらにデータを保存しようとした場合にストレージ容量の拡大も引き起こす。
さらに、多波長を撮像できるマルチスペクトラムカメラは、一般的に可視光撮像用のカメラに比べ解像度が低いため、同じ領域を同じ解像度で撮像しようとすると、撮像回数が増加する。
これらの撮像時間やアップロード時間の増大は、病害虫や灌漑システムの故障を検出した場合に迅速な対応を求められる農業分野において大きな課題であり、高解像度撮像や多波長の撮像を広範囲にわたって測定することは現実的ではない。
このような点に対して本実施の形態の技術では、精度の高い分析を行うために高解像度での撮像を行うが、サンプリング撮像とすることで、撮像時間の増大やデータサイズの増大を防ぐことができる。即ち計測したい範囲の全体を高解像度画像HRで計測するのではなく、一部分のみ抜き取り的に計測して計測対象を検査するようにしている。これにより広範な計測対象についても、短時間、低コストで精度の高い計測、評価を行うことができる。
植生データの例としてNDVIを挙げたが、植生データとして用いる植生指数は各種考えられる。例えば、
・PRI
・クロロフィル蛍光の大きさ
・ステート遷移反射率
等がある。
ここではPRIは、
PRI=(R570−R531)/(R570+R531)
として算出されるものとする。なお、「R570」は波長570nmの反射光強度、「R531」は波長531nmの反射光強度である。
なお、PRI=(R531−R570)/(R531+R570)として算出する場合もある。図30において示した定義は以上のいずれかの算出手法を意味しており、図30には上記各式の分子の部分を示している。
クロロフィル蛍光を用いてストレス検出を行うこともできる。クロロフィル蛍光は植物の光合成に伴い植物から発せられる蛍光で、光により電子が励起した反応中心から一定時間内にエネルギーが抜き取られないと、高等植物では680nm〜770nm前後の波長の蛍光としてエネルギーが放出される現象である。
放出されるエネルギーは入力光のエネルギーに対し0.5%〜3%で、植物の光合成の状態に応じて変動し、強光や、水ストレスに伴う気孔閉塞といった光合成しきれない過剰な光エネルギーが多い場合に変動する。
可視大気抵抗指数(VARI)は、日照の違いや大気の影響を軽減しながら、スペクトルの可視部分で植生を強調する指標であり、(Green − Red)/(Green+Red−Blue)として算出される。
またサーマル画像やサーマルを用いたCWSI(Crop Water Stress Index)も適用できる。
また本実施の形態の技術は、植生等のセンシングに限らず多様な分野で適用できる。
例えば生命科学において細胞の動きをサンプリング計測により測定するシステムが想定される。
また内視鏡画像、顕微鏡画像、眼底検査画像などの撮像による医療検査の分野にも本技術は適用できる。
またインフラ検査の分野にも適用できる。
例えばメガソーラー検査として、太陽電池パネルが配置された地区について飛行体200を用いたリモートセンシングで不良箇所を探索することができる。この場合に本実施の形態の高解像度画像HRのサンプリング計測は有効である。
またコンクリートひび割れ検査として、対象地域について飛行体200を用いたリモートセンシングで不良箇所を探索する場合にも、本実施の形態の高解像度画像HRのサンプリング計測は有効である。
例えば飛行体200に演算部2を搭載してもよい。また撮像装置250内のマイクロコンピュータを演算部2として機能させてもよい。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、前記計測対象に対する評価情報となる演算結果画像を生成する演算部を備えた
情報処理装置。
(2)
前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を、前記サンプリング画像を用いて生成するフィルタリング生成部を有する
上記(1)に記載の情報処理装置。
(3)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部を有する
上記(1)又は(2)に記載の情報処理装置。
(4)
前記評価指数画像は植生指数を表した植生指数画像である
上記(3)に記載の情報処理装置。
(5)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を、前記評価指数画像を用いて生成するフィルタリング生成部と、を有する
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
前記サンプリング画像を用いて生成したフィルタ画像と、前記評価指数画像を用いて生成したフィルタ画像とを用いて、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、を有する
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部と、を有する
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、を有する
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、
前記フィルタリング結果画像を用いて提示画像を生成する提示画像化部と、を有する
上記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成する
上記(9)に記載の情報処理
(11)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成する
上記(9)又は(10)に記載の情報処理装置。
(12)
前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成する
上記(9)乃至(11)に記載の情報処理装置。
(13)
前記他の画像は、
前記サンプリング画像、前記評価指数画像、前記フィルタ画像、又は前記フィルタリング結果画像のいずれかである
上記(12)に記載の情報処理装置。
(14)
前記演算部は、
前記サンプリング画像よりも低解像度の画像として前記計測対象を撮像した低解像度画像と、前記提示画像を合成する画像合成部を有する
上記(9)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記画像合成部は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行う
上記(14)に記載の情報処理装置。
(16)
前記画像合成部は、前記提示画像を、前記低解像度画像内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行う
上記(14)又は(15)に記載の情報処理装置。
(17)
前記画像合成部は、前記提示画像の代表値が前記低解像度画像に反映されるように合成を行う
上記(14)乃至(16)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を行う、
情報処理方法。
(19)
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を
情報処理装置に実行させるプログラム。
(20)
複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、
計測対象の一部を前記マルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する演算部を備えた情報処理装置と、を有する
情報処理システム。
Claims (20)
- 計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、前記計測対象に対する評価情報となる演算結果画像を生成する演算部を備えた
情報処理装置。 - 前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を、前記サンプリング画像を用いて生成するフィルタリング生成部を有する
請求項1に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部を有する
請求項1に記載の情報処理装置。 - 前記評価指数画像は植生指数を表した植生指数画像である
請求項3に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を、前記評価指数画像を用いて生成するフィルタリング生成部と、を有する
請求項1に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
前記サンプリング画像を用いて生成したフィルタ画像と、前記評価指数画像を用いて生成したフィルタ画像とを用いて、フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、を有する
請求項1に記載の情報処理装置。 - 前記演算部は、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いてフィルタリング結果画像を生成するフィルタリング実行部と、を有する
請求項1に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、を有する
請求項1に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像を用いて評価指数画像を生成する評価指数演算部と、
フィルタリング処理に用いることができるフィルタ画像を生成するフィルタリング生成部と、
前記フィルタ画像を用いて前記評価指数画像のフィルタリング結果画像を生成するフィルタリング実行部と、
前記フィルタリング結果画像を用いて提示画像を生成する提示画像化部と、を有する
請求項1に記載の情報処理装置。 - 前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした提示画像を生成する
請求項9に記載の情報処理装置。 - 前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域の代表値を用いてカラーマッピングした提示画像を生成する
請求項9に記載の情報処理装置。 - 前記提示画像化部は、
前記フィルタリング結果画像を領域分割し、各領域をカラーマッピングした画像と、他の画像を合成した提示画像を生成する
請求項9に記載の情報処理装置。 - 前記他の画像は、
前記サンプリング画像、前記評価指数画像、前記フィルタ画像、又は前記フィルタリング結果画像のいずれかである
請求項12に記載の情報処理装置。 - 前記演算部は、
前記サンプリング画像よりも低解像度の画像として前記計測対象を撮像した低解像度画像と、前記提示画像を合成する画像合成部を有する
請求項9に記載の情報処理装置。 - 前記画像合成部は、或る提示画像と、当該提示画像の元となるサンプリング画像を含む範囲を撮像した前記低解像度画像とを対応づける対応情報を用いて画像の合成を行う
請求項14に記載の情報処理装置。 - 前記画像合成部は、前記提示画像を、前記低解像度画像内の該提示画像の元となるサンプリング画像の撮像範囲に相当する位置に配置する合成を行う
請求項14に記載の情報処理装置。 - 前記画像合成部は、前記提示画像の代表値が前記低解像度画像に反映されるように合成を行う
請求項14に記載の情報処理装置。 - 情報処理装置が、
計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を行う、
情報処理方法。 - 計測対象の一部をマルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する処理を情報処理装置に実行させるプログラム。
- 複数の異なる波長帯の撮像画像を得る撮像を行うマルチスペクトラムカメラと、
計測対象の一部を前記マルチスペクトラムカメラで撮像したサンプリング画像を処理対象として演算処理を行い、計測対象全域に対する評価情報となる演算結果画像を生成する演算部を備えた情報処理装置と、を有する
情報処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017206815 | 2017-10-26 | ||
JP2017206815 | 2017-10-26 | ||
PCT/JP2018/032993 WO2019082519A1 (ja) | 2017-10-26 | 2018-09-06 | 情報処理装置、情報処理方法、プログラム、情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2019082519A1 true JPWO2019082519A1 (ja) | 2020-11-19 |
Family
ID=66247413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019549907A Pending JPWO2019082519A1 (ja) | 2017-10-26 | 2018-09-06 | 情報処理装置、情報処理方法、プログラム、情報処理システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11823447B2 (ja) |
EP (1) | EP3703005A4 (ja) |
JP (1) | JPWO2019082519A1 (ja) |
CN (1) | CN111226261A (ja) |
AU (1) | AU2018357616A1 (ja) |
WO (1) | WO2019082519A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019235240A1 (ja) * | 2018-06-06 | 2019-12-12 | 株式会社Nttドコモ | 情報処理装置 |
SE546151C2 (en) * | 2021-03-01 | 2024-06-11 | Husqvarna Ab | Vegetation management system and method for managing vegetation within an area |
WO2022209418A1 (ja) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
DE102021129742A1 (de) | 2021-11-15 | 2023-05-17 | Beuth Hochschule Für Technik Berlin | Verfahren zur Wasserstatusbestimmung von Pflanzen |
US11803863B2 (en) * | 2021-12-13 | 2023-10-31 | Crop Search Llc | System and method for food safety audit and sampling |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085517A (ja) * | 2004-09-17 | 2006-03-30 | Hiroshima Pref Gov | 衛星データによる森林地域の植生分類方法 |
JP2010086276A (ja) * | 2008-09-30 | 2010-04-15 | Shinshu Univ | 樹種分類方法及び樹種分類システム、森林現況情報の作成方法及び森林現況情報の作成システム、間伐対象区域の選定方法及び間伐対象区域の選定システム |
JP2016110292A (ja) * | 2014-12-03 | 2016-06-20 | 国立研究開発法人産業技術総合研究所 | 画像データ利用システム及び画像データ利用方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS493469B1 (ja) | 1970-12-21 | 1974-01-26 | ||
JP3541855B2 (ja) | 1994-12-01 | 2004-07-14 | 朝日航洋株式会社 | 3次元データ抽出方法及び装置 |
US6160902A (en) * | 1997-10-10 | 2000-12-12 | Case Corporation | Method for monitoring nitrogen status using a multi-spectral imaging system |
US20010016053A1 (en) * | 1997-10-10 | 2001-08-23 | Monte A. Dickson | Multi-spectral imaging sensor |
US6366681B1 (en) * | 1999-04-07 | 2002-04-02 | Space Imaging, Lp | Analysis of multi-spectral data for extraction of chlorophyll content |
US7058197B1 (en) * | 1999-11-04 | 2006-06-06 | Board Of Trustees Of The University Of Illinois | Multi-variable model for identifying crop response zones in a field |
US6608931B2 (en) * | 2001-07-11 | 2003-08-19 | Science Applications International Corporation | Method for selecting representative endmember components from spectral data |
US7400770B2 (en) * | 2002-11-06 | 2008-07-15 | Hrl Laboratories | Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks |
JP4903469B2 (ja) | 2006-03-28 | 2012-03-28 | 富士通セミコンダクター株式会社 | 欠陥検出方法 |
WO2010144877A1 (en) * | 2009-06-11 | 2010-12-16 | Petroalgae, Llc | Vegetation indices for measuring multilayer microcrop density and growth |
WO2012092554A1 (en) * | 2010-12-30 | 2012-07-05 | Utility Risk Management Corporation, Llc | Method for locating vegetation having a potential to impact a structure |
JP5673823B2 (ja) * | 2011-06-29 | 2015-02-18 | 富士通株式会社 | 植物種識別装置、方法およびプログラム |
WO2013059399A1 (en) * | 2011-10-20 | 2013-04-25 | Monsanto Technology Llc | Plant stand counter |
US20140312165A1 (en) * | 2013-03-15 | 2014-10-23 | Armen Mkrtchyan | Methods, apparatus and systems for aerial assessment of ground surfaces |
US20150254800A1 (en) * | 2014-03-06 | 2015-09-10 | F12 Solutions, Llc | Nitrogen status determination in growing crops |
US9401030B2 (en) * | 2014-04-25 | 2016-07-26 | Tazco Soil Service Co. | Image processing system for soil characterization |
EP3350554A4 (en) * | 2015-09-18 | 2019-06-12 | Slantrange, Inc. | SYSTEMS AND METHODS FOR DETERMINING STATISTICS RELATING TO PLANT POPULATIONS BASED ON OPERATIONAL OPTIC MEASUREMENTS |
US10120543B2 (en) * | 2016-02-09 | 2018-11-06 | Deere & Company | Plant emergence system |
US20230005261A1 (en) * | 2021-07-01 | 2023-01-05 | The Johns Hopkins University | Object detection over water using normalized difference vegetation index system and method |
-
2018
- 2018-09-06 JP JP2019549907A patent/JPWO2019082519A1/ja active Pending
- 2018-09-06 AU AU2018357616A patent/AU2018357616A1/en not_active Abandoned
- 2018-09-06 US US16/756,999 patent/US11823447B2/en active Active
- 2018-09-06 WO PCT/JP2018/032993 patent/WO2019082519A1/ja unknown
- 2018-09-06 CN CN201880067752.6A patent/CN111226261A/zh active Pending
- 2018-09-06 EP EP18869785.8A patent/EP3703005A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085517A (ja) * | 2004-09-17 | 2006-03-30 | Hiroshima Pref Gov | 衛星データによる森林地域の植生分類方法 |
JP2010086276A (ja) * | 2008-09-30 | 2010-04-15 | Shinshu Univ | 樹種分類方法及び樹種分類システム、森林現況情報の作成方法及び森林現況情報の作成システム、間伐対象区域の選定方法及び間伐対象区域の選定システム |
JP2016110292A (ja) * | 2014-12-03 | 2016-06-20 | 国立研究開発法人産業技術総合研究所 | 画像データ利用システム及び画像データ利用方法 |
Also Published As
Publication number | Publication date |
---|---|
US11823447B2 (en) | 2023-11-21 |
WO2019082519A1 (ja) | 2019-05-02 |
CN111226261A (zh) | 2020-06-02 |
US20210201025A1 (en) | 2021-07-01 |
EP3703005A1 (en) | 2020-09-02 |
AU2018357616A1 (en) | 2020-04-02 |
EP3703005A4 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2019082519A1 (ja) | 情報処理装置、情報処理方法、プログラム、情報処理システム | |
US10713777B2 (en) | Organism growth prediction system using drone-captured images | |
Yang et al. | Adaptive autonomous UAV scouting for rice lodging assessment using edge computing with deep learning EDANet | |
Lehmann et al. | Open-source processing and analysis of aerial imagery acquired with a low-cost unmanned aerial system to support invasive plant management | |
Torres-Sánchez et al. | Configuration and specifications of an unmanned aerial vehicle (UAV) for early site specific weed management | |
US10234439B2 (en) | Methods and systems for analyzing a field | |
Laliberte et al. | UAS remote sensing missions for rangeland applications | |
Gränzig et al. | Mapping the fractional coverage of the invasive shrub Ulex europaeus with multi-temporal Sentinel-2 imagery utilizing UAV orthoimages and a new spatial optimization approach | |
JP7415347B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
de Oca et al. | The AgriQ: A low-cost unmanned aerial system for precision agriculture | |
JP7415348B2 (ja) | 情報処理装置、情報処理方法、プログラム、センシングシステム | |
JP2011103098A (ja) | 樹木本数算定方法及び樹木本数算定装置 | |
EP4064182A1 (en) | Information processing device, information processing method, and program | |
Belton et al. | Crop height monitoring using a consumer-grade camera and UAV technology | |
KR102262382B1 (ko) | 무인기 기반 영상 취득의 광지역 공간정보 구축시스템 | |
JP2020149201A (ja) | 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置 | |
Zhang | Native vegetation classification using remote sensing techniques: A case study of dairy flat regrowth bush by using the AUT unmanned aerial vehicle | |
WO2019235240A1 (ja) | 情報処理装置 | |
JP7218722B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6862299B2 (ja) | 圃場の空撮システム | |
US20230408889A1 (en) | Imaging apparatus and lens apparatus | |
Wijesingha | Geometric quality assessment of multi-rotor unmanned aerial vehicle borne remote sensing products for precision agriculture | |
Santillan et al. | Effects of flight plan parameters on the quality and usability of low-cost UAS photogrammetry data products for tree crown delineation | |
JP7039351B2 (ja) | 家屋異動判読支援システム、家屋異動判読支援方法および家屋異動判読支援プログラム | |
JP4819735B2 (ja) | ラインセンサ観測画像の色補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230328 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |