JP7298116B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP7298116B2 JP7298116B2 JP2018147247A JP2018147247A JP7298116B2 JP 7298116 B2 JP7298116 B2 JP 7298116B2 JP 2018147247 A JP2018147247 A JP 2018147247A JP 2018147247 A JP2018147247 A JP 2018147247A JP 7298116 B2 JP7298116 B2 JP 7298116B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- mapping
- areas
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 132
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000013507 mapping Methods 0.000 claims description 214
- 238000003384 imaging method Methods 0.000 claims description 199
- 238000000034 method Methods 0.000 claims description 142
- 238000012545 processing Methods 0.000 claims description 130
- 230000008569 process Effects 0.000 claims description 128
- 238000001514 detection method Methods 0.000 claims description 86
- 230000008859 change Effects 0.000 claims description 30
- 238000010187 selection method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000007717 exclusion Effects 0.000 description 60
- 238000003860 storage Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 101150037117 pct-1 gene Proteins 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 101100533322 Candida albicans (strain SC5314 / ATCC MYA-2876) SFL2 gene Proteins 0.000 description 1
- 101100428781 Human herpesvirus 6A (strain Uganda-1102) U8 gene Proteins 0.000 description 1
- 101100428786 Human herpesvirus 6A (strain Uganda-1102) U9 gene Proteins 0.000 description 1
- 101100126953 Oryza sativa subsp. japonica KCS20 gene Proteins 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 101150043825 SFL1 gene Proteins 0.000 description 1
- 101100538885 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TUP1 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
また上記した本技術に係る情報処理装置においては、前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像であることが考えられる。
また上記した本技術に係る情報処理装置においては、前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理であることが考えられる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.リモートセンシングにおける領域選択画像とマッピング画像>
<2.装置構成>
<3.第1の実施の形態>
[3-1:全体処理]
[3-2:領域選択関連処理]
<4.第2の実施の形態>
<5.第3の実施の形態>
<6.まとめ及び変形例>
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
例えば図1に示すようにドローン等の飛行体200に搭載された撮像装置250を用いて圃場210の植生に関するリモートセンシングを行う。そして、この撮像で得られた多数の画像データ(単に「画像」ともいう)を用いて植生データ(例えば植生指数のデータ)を示すマッピング画像を生成する場合とする。
小型の飛行体200は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場210の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が所定の経路で圃場210の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行うことで、各時点において撮像視野の範囲AWの画像を得ることができる。
飛行体200は、予め記録されているフライトプランに従って、所定の飛行ルートで飛行し、撮像装置250は、飛行開始から飛行終了までの間において、所定時間毎に画像撮像を行う。この場合に撮像装置250は、時系列上で順次得られる画像に対して後述する位置情報や姿勢情報等を対応づけていく。
このように撮像された一連の複数の画像は、紐づけられて時系列的に並べられているものとなる。この一連の画像が、マッピング処理の対象として関連づけられた複数の画像となる。
例えば撮像装置250の撮像によって得られる画像ファイル(或る時点の撮像画像)には分光計測画像を含むことが考えられる。即ち撮像装置250はマルチスペクトラムカメラとされ、撮像される画像としては、特定の2以上の波長領域の情報を有する測定画像を含むものが考えられる。
また撮像装置250としてR(赤波長領域、620nm~750nm)、G(緑波長領域、495nm~570nm)、B(青波長領域、450nm~495nm)の可視光画像を撮像するカメラが用いられてもよい。
また撮像装置250として、赤波長領域(RED、620nm~750nm)と近赤外領域(NIR:Near Infra Red、750nm~2500nm)の撮像画像を得るカメラであり、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
NDVI=(1-RED/NIR)/(1+RED/NIR)
として算出することができる。
付加データとしては、各種センサで検出される情報(説明上「センサデータ」と総称する)や、撮像装置250の装置情報、撮像画像に関する撮像画像情報などがある。
具体的にはセンサデータとしては、撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、高度情報、撮像姿勢情報(飛行体200に搭載された状態での撮像方向の傾き)等のデータがある。このため、飛行体200又は撮像装置250内には、撮像日時情報、位置情報、高度情報、撮像姿勢情報等を検出するためのセンサが搭載されている。
撮像装置250の装置情報としては、撮像装置の個体識別情報、機種情報、カメラタイプ情報、シリアルナンバ、メーカー情報などがある。
撮像画像情報としては、画サイズ、コーデック方式、検出波長、撮像パラメータの情報などがある。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
図2は領域選択インタフェース画像80の一例を示している。
この領域選択インタフェース画像80は、マッピング画像生成の前段階としてユーザに提示され、ユーザがマッピング画像91の生成に用いる画像を指定する操作を行うことができるようにするものである。
領域選択画像81は、例えば地図画像MPに重畳して、撮像された各画像データについての、画像平面上に投影される領域を明示するものとされる。即ち投影面に投影される各画像の領域の輪郭が枠Wとして示される。
投影面は、例えば各画像データを投影配置して表示する平面であり、例えば圃場210等の範囲を含む画像を表現する水平面である。即ちマッピング画像を生成するために、個々の画像データを、その撮像時の位置情報や姿勢情報に従って投影することで、平面上で各画像の範囲が表現されるようにする二次元の面を投影面とする。
なお投影面は平面として説明するが、必ずしも平面でなくてもよく、湾曲面、球面などでもよい。
上述のリモートセンシングを行う場合、圃場210の上空で移動しながら多数の画像を撮像するため、図2に示すように、それぞれの画像についての投影領域を示す枠Wが多数、表示されることになる。
例えば飛行体200が飛び始めたときから着陸まで、所定の飛行経路で飛行している期間に所定時間間隔で定期的に撮像したとすると、撮像されたそれぞれの画像に対応する枠Wが時間的な順番に並ぶことになる。図では、圃場210の上空を折り返しながら飛行して撮像することで、ほぼ圃場210の全体をカバーするように撮像した場合の例を示している。
仮に、飛行体200に搭載された撮像装置250の撮像方向(視野方向)が常に直下を向いている状態を維持していれば、撮像画像が投影される領域(撮像された領域範囲)は長方形になる(撮像装置のイメージセンサの画素配列が長方形であると仮定している)。
ところが、実際には飛行体200の姿勢は常に水平ではなく、飛行中に変化し、また高度も一定ではない。飛行体200に取り付けられている撮像装置250の相対的な撮像方向が変化する場合もある。更に圃場210としての土地の起伏や植生状態により各画素位置で被写体距離が異なる場合もある。これらのことから、各画像に対応する各枠Wの形状やサイズは多様になる。
もし、撮像装置250が直下を向いて撮像したとすると、当該撮像した画像についての長方形の枠Wの中央に撮像ポイントPTが位置するように表示されることになる。ところが飛行中には撮像装置250の撮像方向は変動し、撮像装置250が斜め下方を撮像することも多いため、撮像ポイントPTの位置は、必ずしも対応する枠Wの中央とはならない。例えば飛行体200の姿勢の傾斜が大きい場合などは、撮像ポイントPTの位置は、対応する枠Wから外れた位置になることもある。
また地図画像MPに枠Wが重畳されることで、地図上でどのような範囲の画像が撮像できたかも確認できることになる。例えば圃場210としての範囲の全てをカバーする撮像ができたか、或いは特定の範囲をカバーする撮像ができたか、なども確認できる。
なお、この例では地図画像MPを背景としたが、地図画像MPは、いわゆる地図の他、航空写真画像、地形図画像などでもよい。
また地図画像MPを背景としない例も考えられる。例えば無地背景、或いは特定の色の背景などにより、枠Wや撮像ポイントPTを見やすくしてもよい。
さらに後述するが、指定に応じたポップアップメニュー表示も行われる各種の操作が可能とされる。
撮像ポイント表示ボタン82は、領域選択画像81において撮像ポイントPTの表示のオン/オフを切り換えるための操作子である。
投影面表示ボタン83は、領域選択画像81において投影面を示す枠Wの表示のオン/オフを切り換えるための操作子である。
塗りつぶしボタン85は、各枠Wの塗りつぶし表示の実行/終了を指示する操作子である。
スタート/エンドボタン86は、ユーザが領域指定操作をスタート指定とエンド指定により行うための操作子である。
高度の条件とは、例えば撮像が行われた高度(地表面からの高度)について、高度(x)m以上、高度(x)m未満、高度(x)mから(y)mの範囲内、高度(x)mから(y)mの範囲外、などの条件を設定可能とすることが考えられる。
高度変化の条件とは、高度変化の大小により領域を指定するものである。例えば各撮像時点での高度の微分値に対する閾値を選択することで、高度変化の程度を選択できるようにすることが考えられる。例えばユーザにとっては、高度変化小の画像(領域)を指定するか、高度変化については条件に入れないようにするかを選択可能とする。
傾きの条件とは、例えば撮像が行われた際の飛行体200(撮像装置250)の姿勢の傾き(例えば水平方向からの角度)が(x)度以上、(x)度未満、(x)度から(y)度の範囲内、(x)度から(y)度の範囲外、などの条件を設定可能とすることが考えられる。
傾き変化の条件とは、姿勢変化の大小により領域を指定するものである。例えば各撮像時点での傾きの値の微分値に対する閾値を選択することで、傾き変化の程度を選択できるようにすることが考えられる。例えばユーザにとっては、傾き変化小の画像(領域)を指定するか、傾き変化については条件に入れないようにするかを選択可能とする。
間引き条件とは、例えば規則的に画像(領域)を間引く場合の条件である。例えば奇数番目、偶数番目、2つ置き、3つ置き、などを設定可能とすることが考えられる。
条件選択実行ボタン88は、条件設定部87で設定した条件での画像(領域)の指定を指示する操作子である。
なお設定した条件に応じた画像の指定は領域選択部12が行うが、条件設定部87でユーザが入力した高度の条件、傾きの条件によって画像を選択するためには、領域選択部12は、各画像について紐づけられている高度或いは傾きの情報を参照する。そしてそれらが条件設定部87への入力により指定された条件に該当しているか否かにより、各画像が条件を満たしているか否かを判定するものとなる。
また高度変化の条件、傾き変化の条件が指定される場合、領域選択部12は、各画像について高度情報や傾き情報の微分値(直前時点からの変化量)の算出を行い、各画像のついての微分値をもって、条件設定部87への入力により指定された条件に該当しているか否かを判定するものとなる。
また、ユーザの指定操作は、マッピング画像91の生成に用いる領域(画像)の指定もあれば、マッピング画像91の生成には用いない除外領域(除外する画像)の指定もある。
マッピング画像91は、使用するものとして選択された画像のマッピング処理を行って、例えばNDVI画像としての所定の範囲の植生状態を色により示す画像として生成される。なお図ではNDVI画像は表現が困難であるため、マッピング画像91は極めて模式的に示したものとなっている。
カラーマップ92は、マッピング画像91上で表現される色の範囲と、各色で表現される領域の面積分布を示している。
チェックボックス93は、例えば「TRACKS」「NDVI」「RGB」のチェックが可能とされる。「TRACKS」は飛行(画像撮像経路)の軌跡を示す表示、「NDVI」はNDVI画像の表示、「RGB」はRGB画像の表示を意味し、チェックボックス93によりこれらの表示をユーザが任意にオン/オフできるようにしている。
図4に飛行体200に搭載される撮像装置250の構成例を示す。
撮像装置250は、撮像部31、撮像信号処理部32、カメラ制御部33、格納部34、通信部35、センサ部251を有する。
即ち撮像部31において、被測定対象物等の被写体からの光(反射光)は、レンズ系とフィルタを介してイメージセンサに入射される。
レンズ系とは入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなど各種レンズを含む入射光学系のことをいう。
フィルタとは被測定対象物についての測定しようとする波長を取り出すためのフィルタである。これは一般にイメージセンサ上に構成されるカラーフィルタとその前に配置される波長フィルタなどをいう。
露光部とは、イメージセンサにおいて、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ系等の光学系やアイリス(絞り)による開口量などを調整することで、露光制御を行う部位をいう。
イメージセンサは、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子を有して構成される。
イメージセンサは、フィルタを通過した光を、センシング素子により検出することで、光の光量に応じた撮像画像信号を撮像信号処理部32に出力する。
例えば測定対象の画像データとして、RGBカラー画像としての画像データをカメラ制御部33に出力する。或いは例えば赤波長領域(RED)と近赤外領域(NIR)の撮像画像を得る場合はRED画像データ、NIR画像データを生成し、カメラ制御部33に出力することになる。
カメラ制御部33は、逐次、撮像信号処理部32から供給される画像データを格納部34に格納していく処理を行う。この際、センサ部251で得られる各種のセンサデータを付加して画像ファイル化して格納部34に格納する。或いはセンサデータを画像データに対応づけたファイルとして格納させてもよい。
通信部35は、有線又は無線の通信により外部機器との間でデータ送受信を行う。例えばUSB(Universal Serial Bus)等の規格による有線通信でもよいし、ブルートゥース(登録商標)、WI-FI(登録商標)等の無線通信規格の通信を行うものでもよい。
いずれにしても通信部35により、格納部34に格納された画像データ等は、例えば情報処理装置1等の外部機器に転送できるようにされている。
なお、格納部34が可搬性のメモリカード等とされる場合、メモリカード等の記憶媒体の受け渡しによって、格納されたデータが情報処理装置1等に受け渡されるようにしてもよい。
位置検出部41は例えばいわゆるGPS受信器とされ、現在位置としての緯度、経度の情報を取得することができる。
時計部42は現在時刻を計時する。
姿勢検出部43は例えば3軸のジャイロと3方向の加速度計を有するIMU(inertial measurement unit)を用いて所定のアルゴリズムで飛行体200の飛行姿勢、例えば水平方向或いは直下方向に対する傾きを検出するセンサとされる。これは撮像装置250の撮像方向(例えば撮像部31の入射光学系の光軸方向)の傾きを直接的又は間接的に検出するものともなる。
高度検出部44は、地表面からの飛行体200による高度、つまり撮像場所としての高度を検出する。
情報処理装置1側では、画像データとともにこれらの検出データも取得することで、各画像についての撮像時の位置、時刻、姿勢、高度を確認できる。
なお高度検出部44は、例えば海抜としての高度を検出するものであってもよいが、撮像した画像に紐づける高度情報としては、撮像場所での地表面(例えば圃場210)からの高度を算出して記憶することが望ましい。
また、センサの例は一例である。センサ部251には上記以外に、照度センサ、温度センサ等、他のセンサが設けられ、それらの検出値が画像データに対応づけられるようにしてもよい。
図5はPC等で実現される情報処理装置1のハードウエア構成例を示している。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
表示部56では、例えば撮像画像や合成画像の表示、評価指標の表示などが行われる。
特に本実施の形態の場合、図2の領域選択インタフェース画像80や図3の植生観察画像90の表示が行われる。
また通信部60は、撮像装置250の通信部35との間で有線又は無線通信を行うものとしてもよい。これにより撮像装置250で撮像した画像データ等を取得できる。
なお通信部60は例えば撮像装置250の撮像中に逐次無線通信を行い、画像データ等を受信取得していってもよいし、撮像終了後にまとめて各時点のデータを受信取得してもよい。
例えばメモリカード62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされる。
また例えば撮像装置250で画像データ等が記録されたメモリカード62がメディアドライブ61に装着された場合、その画像データ等を読み出して記憶部59に格納できる。
なおもちろんメディアドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
即ちCPU51では、ソフトウエアにより実現される機能として、記憶再生制御部10、領域情報生成部11、領域選択部12、検出部13、画像生成部14、画像生成部15、表示制御部16が設けられる。
ここでは特に撮像装置250で撮像された画像データ及び各種検出データを含む付加データを用いた処理のための機能として示している。
記憶再生制御部10は通信部60に対するデータの授受を行う場合もある。
領域情報とは、画像データで撮像されている範囲を示す空間座標や関数の情報が考えられ、具体的には、各画像に対応する領域を示す枠Wや撮像ポイントPTを表示するための情報である。
上述のように情報処理装置1は、図1のように圃場210を撮像し、時系列的に並ぶように関連づけられた一連の画像データについて、マッピング処理を行いマッピング画像91を生成するが、そのためにマッピング処理の対象となる画像をユーザ操作に基づいて選択する処理を行う。
領域情報生成部11では、その選択に用いる領域選択インタフェース画像80の生成のため、各画像の領域(撮像した場所の範囲としての領域)を示す領域情報を生成する。特には、領域を示す枠(枠W)や撮像した位置(撮像ポイントPT)の情報を生成する。
枠Wの情報には、その輪郭形状で示す範囲の位置情報が含まれる。
撮像ポイントPTの情報は、例えば撮像時点で得られた位置情報である。
ユーザは領域選択画像81が表示部56に表示されている状態で、入力部57を用いた操作入力により各領域を指定する操作を行うことができる。検出部13はその指定操作を検出する。
これら図6の機能をソフトウエアにより実現する場合、そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図5の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59としてのHDD等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
またこの図5の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、撮像装置、テレビジョン装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1としての機能を搭載することができる。
1つの画像は1つの画像ファイルFL(ファイル名FL1,FL2,FL3・・・)とされる。
各画像ファイルFLは、識別子P(P001、P002、P003・・・)、画像データPCT(PCT1、PCT2、PCT3・・・)、メタデータMT(MT1、MT2、MT3・・・)が所定のファイルフォーマットで含まれている。
例えば画像ファイルFL1は、識別子P001、画像データPCT1、メタデータMT1を含む。識別子P001は例えば画像データPCT1に対して付された固有の識別子である。本実施の形態の場合、例えば、少なくとも1回の飛行で撮像される複数の画像は、それぞれ固有の識別子を有するものとする。画像データPCT1は、実際の撮像された画像データである。メタデータMT1が、画像データPCT1に対応する付加データであり、つまり画像データPCT1の撮像時の時刻、位置、高度、姿勢等のセンサデータや、撮像装置250の装置情報、撮像画像情報等である。
画像ファイルFL2についても同様に、識別子P002、画像データPCT2、メタデータMT2を含む。
例えば画像ファイルFL(ファイル名FL1,FL2,FL3・・・)は、識別子P、画像データPCT、メタデータMTを有する構成とされる。ここでメタデータMTは、例えば装置情報、撮像画像情報等を含み、センサデータを含まないものとする。
これとともにセンサデータファイルSFL(ファイル名SFL1,SFL2,SFL3・・・)が設けられ、識別子P、センサデータSD(SD1,SD2,SD3・・・)を有するファイル構造とされる。このセンサデータSDとして位置情報、高度情報、姿勢情報、時刻情報等が記述される。
この例は、例えばセンサ部251の構成のセンサボックスが撮像装置250とは別体に設けられ、センサボックス内でファイル化までを行うような場合に採用できるデータ形態となる。
そして図2のように枠Wで表示された各領域(即ち各画像)からは、ユーザの指定操作に基づいて、マッピング画像91に用いられる領域(画像)が選択される。
このため情報処理装置1においては、枠Wで示す各領域(画像)について、ユーザの指定操作に応じた選択フラグを管理する。これを図8で説明する。
例えば選択フラグFselについては、Fsel=0が「マッピングに使用する画像」を表し、Fsel=1が「マッピングに使用しない除外画像」を表すものとする。
例えば図8Aは初期状態として、撮像された全ての画像がマッピングに使用する画像であるとして選択フラグFsel=0とされている状態とする。
ここでユーザが識別子P001,P002の画像の領域をマッピングから除外する指定操作を行うと、図8Bのように、これらの選択フラグFsel=1とされる。
このようにすることで、ユーザによる画像選択に応じたマッピング処理が実現される。
またこのように指定された場合、選択フラグFselについては、図9Bのように、除外領域とされた領域に対応する画像についてFsel=1とされる。なお図9Bでは、全領域数(撮像された画像の数)が200と仮定し、それぞれに対応する識別子Pを識別子P001~P200として示している。
このような状態で、マッピング画像91の生成が指示されると、選択フラグFsel=0とされている画像のみが使用されて生成処理が実行される。
図9Aの例では、飛行体200の飛び始めの時点から撮像された時系列上の先頭からいくつかの画像が除外画像とされ、また飛行体200が着陸を開始した時点以降のいくつかの画像が除外画像とされたものとした。この場合に生成されるマッピング画像91は図10のようになる。即ち飛び始め期間や着陸期間の領域が含まれていない画像となる。なお、図10では、除外領域における撮像ポイントPTjを示す例としているが、このような撮像ポイントPTjの表示は行わないことも考えられる。
これは、例えば領域選択インタフェース画像80を提示する情報処理装置1と、マッピング処理を行ってマッピング画像91を提示する情報処理装置(「情報処理装置1A」とする)とが別体の場合を想定して、情報処理装置1のCPU51と情報処理装置1AのCPU51Aの機能構成を示しているものである。
なお情報処理装置1Aもハードウエア構成については情報処理装置1と同様に例えば図5で説明したような構成を想定することができる。
但し表示制御部16は表示制御を行う機能であるが、この場合は画像生成部14で生成される領域選択画像81を含む領域選択インタフェース画像80を表示させる機能を有することになる。
また記憶再生制御部10は、領域選択部12が選択した使用領域または除外領域の情報を受けとり、これらの使用領域または除外領域の情報や、画像データ等を、通信部60により情報処理装置1Aに送信したり、メディアドライブ61によりメモリカード等の記憶メディアに保存させる処理を行う。
もしくは全ての画像と、各画像についての選択フラグFselを取得するものとしてもよい。いずれにしても、CPU51Aの記憶再生制御部10は、マッピング処理に仕様する画像データを取得できるものとすればよい。
表示制御部16は表示制御を行う機能であるが、この場合は画像生成部15で生成されるマッピング画像91を含む植生観察画像90を表示させる機能を有することになる。
なお機能構成の例は図6や図11に示したものに限られない。更に多様な構成例が考えられる。また情報処理装置1が飛行体200の制御機能、撮像装置250との通信機能、他のインタフェース機能などをさらに備える例も考えられる。
[3-1:全体処理]
以下では、図6の構成例とされる場合を想定して、第1の実施の形態としての情報処理装置1のCPU51の処理例を説明していく。
図12の処理は、例えば1回の飛行で撮像装置250で撮像された多数の画像データ及び付加データが、記憶メディア又は通信を介して情報処理装置1に受け渡された状態において、情報処理装置1が領域選択インタフェース画像80を表示させる場合の処理となる。CPU1は図6の機能により、以下説明する処理を実行する。
ステップS102でCPU51は、領域選択画像81の表示制御を行う。具体的にはCPU51は、領域選択画像81を含む領域選択インタフェース画像80(図2参照)を表示部56に表示させる制御を行う。
即ちCPU51は、ステップS103で領域選択又は領域選択画像の表示のための何らかの指示操作を監視する。例えば図2の例でいえば、マウスクリックやタッチ等による領域選択画像81に対する指定操作や、撮像ポイント表示ボタン82、投影面表示ボタン83、除外領域表示ボタン84、塗りつぶしボタン85、スタート/エンドボタン86、条件設定部87、条件選択実行ボタン88の操作を監視する。もちろんこれ以外の操作も想定されるが、少なくともここではマッピングボタン89によるマッピング画像91の生成指示以外の操作として、領域選択画像81に関する操作を監視するものとなる。
また後述するが、CPU51はある操作に応じてポップアップメニュー表示を行う場合もあるが、そのポップアップメニュー表示に対する操作も、ステップS103でいう指示操作として検出する。
なお実際には、終了操作、設定操作、その他各種操作が可能とされるが、本開示の技術と直接関係のない操作に関しての説明は省略している。
ステップS103又はS105での操作検知がなされていない期間は、CPU51はステップS102の処理、即ち領域選択インタフェース画像80の表示制御を継続する。
そしてCPU51はステップS107で、マッピング画像91の表示制御を行う。つまりCPU51は表示部56に植生観察画像90(図3参照)を表示させる処理を行う。これにより情報処理装置1のユーザは、撮像画像のうちで選択した画像を用いたマッピング画像81をみて植生状態を確認できることになる。
図12のステップS104としての領域選択関連処理の例を図13,図14,図15に示す。
CPU51は、領域選択関連処理として、各種の指示操作に対応した処理を行う。なお図13,図14,図15は“D2”“D3”で示すように連続するもので、ステップS104としての一連の処理のフローチャートを3つの図に分けて示している。CPU51は、図12のステップS103で検知された指示操作の種別を、図13,図14,図15のステップS201,S202,S203,S204,S205,S206,S207,S208,S209で判定する。
例えば図2は領域選択画像81において撮像ポイントPTが表示されている。現在、このような表示状態であれば、CPU51はステップS212に進み、撮像ポイントPTを非表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、撮像ポイントPTが表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で撮像ポイントPTが表示状態となるように制御する。結果、領域選択画像81は例えば図2のように撮像ポイントPTが表示された状態に復帰する。
例えば図2は領域選択画像81において各領域の枠Wが表示されている。現在、このような表示状態であれば、CPU51はステップS222に進み、枠Wを非表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、枠Wが非表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で枠Wが非表示となるように制御することになる。結果、領域選択画像81は図17のように枠Wが非表示となる。これにより、ユーザは例えば撮像ポイントPTのみで各画像の領域を確認できる。例えば撮像位置の遷移を確認したいような場合に便利な表示状態となる。
この場合、枠Wが表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で枠Wが表示状態となるように制御する。結果、領域選択画像81は例えば図2のように枠Wが表示された状態に復帰する。
ユーザ操作により除外領域と指定された領域は、その枠Wや撮像ポイントPTが、例えば半透明表示、異なる色の表示、薄い表示、破線表示などとされ、使用領域と区別されるようにする。これは使用領域に対して除外領域を目立たない表示とする例である。
例えば図18には、一部の領域についての枠Wや撮像ポイントPTが、使用領域より目立たない状態とされたことを破線で示している(図では除外領域の枠を「Wj」、撮像ポイントを「PTj」として示している)。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で除外領域についての枠Wjや撮像ポイントPTjが非表示となるように制御することになる。結果、領域選択画像81は図19のように、図18で除外領域の枠Wjや撮像ポイントPTjとして示されていた部分が非表示となる。これにより、ユーザは、現在、使用領域として指定している領域のみで、目的とする範囲のマッピング画像81が生成できるか否かを容易に確認できるようになる。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で除外領域の枠Wjや撮像ポイントPTjが表示状態となるように制御する。結果、領域選択画像81は例えば図19から図18のように変更される。
なお、通常状態では、使用領域より除外領域を目立たせるような表示を行うことも考えられる。特に除外するものとして指定した操作をわかりやすくするために、指定した領域枠Wjをハイライト表示するなどである。そのような表示を行う場合でも、除外領域表示ボタン84の操作に応じて、除外領域についての表示がオン/オフされるようにするとよい。
塗りつぶし表示とは、例えば全ての枠Wで示され輪郭内を塗りつぶした状態とするもので、例えば図20に塗りつぶし表示状態を示す。
この塗りつぶされた範囲は、少なくとも1枚以上の画像により撮像されている範囲といえる。例えば図21に図20の塗りつぶし表示の一部を拡大して示しているが、塗りつぶされていない空領域AEが存在することがある。これは、どの枠Wにも入っていない領域である。即ち空領域AEは、どの画像によっても撮像されていない領域ということになる。
このような空領域AEを生じさせる空領域AEの周囲の画像は、撮像した範囲の重なりが十分でない画像として、マッピングによる合成に適していない画像となっている。
従ってユーザは、もし塗りつぶし表示をさせた際に、空領域AEが存在する場合は、圃場210において撮像できていなかった領域が存在することが容易に認識できることになる。するとユーザは、例えば飛行体200による飛行を再度行って撮像をやり直すべきか否かということなどを適切に判断できることにもなる。なお、空領域AEが存在する場合は、飛行体200の再飛行により当該空領域AEの再撮影を行うことをリコメンドする情報を提示することも可能である。
もちろん、空領域が、マッピング画像81の生成に不必要な領域であれば、飛行及び撮像をやり直すことなく、マッピング処理に進むといったことも、ユーザは的確に判断できるようになる。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で塗りつぶし表示が行われるように制御することになる。これにより領域選択画像81は図20のような塗りつぶし表示とされる。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で塗りつぶし表示が終了されるように制御することになる。これにより領域選択画像81は図20のような塗りつぶし表示から例えば図2のような通常の表示に復帰される。
なお、塗りつぶしは、全ての画像についての枠Wについて行う他、その時点で使用領域として選択されている全ての枠Wについて行うようにしてもよいし、ユーザが特定の範囲を指定して、その範囲内の枠Wについて行うようにしてもよい。
いずれにしても塗りつぶし表示によれば、ユーザは、撮像画像がカバーしている範囲を容易に確認できる。
ここでの領域指定操作とは、ユーザが、マウスクリック操作やタッチ操作、或いはキーボード操作などにより、領域選択画像81上で1つの領域を指定する操作のことをいう。例えば撮像ポイントPTをクリックする、或いは枠W内をクリックするなどの操作となる。
これらのマウスクリックやタッチ操作の場合、例えばタッチ操作等で指定された座標点と領域の範囲(空間座標)を比較し、座標点が範囲に含まれる領域が指定されたとして検出する。
なお、キー操作で順番に領域にカーソルが位置する状態とし、指定操作によりそのときのカーソルが位置する領域を指定されたものとすることも考えられる。
一方、指定された領域が使用領域とされている場合は、CPU51はステップS254に進み、除外用ポップアップ表示設定を行う。
そしていずれの場合も“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は指定された領域のハイライト表示を実行させると共に、その領域についての操作メニューを示したポップアップ表示を実行させる。
例えばユーザが指定した領域(枠Wや撮像ポイントPT)を際立たせる表示とした上で、その領域についてのポップアップメニューPMとして、
・この領域を除外
・この領域以前を除外
・この領域以降を除外
の項目のいずれかを指定できるようにする。
CPU51はこのようなポップアップメニューPMにより1つ又は複数の領域を除外領域として指定する手段をユーザに提供することになる。
なおポップアップメニューPMにはポップアップメニューPMを閉じる“×”ボタンも設けられている。以降説明するポップアップメニューPMも同様である。
例えばユーザが指定した除外領域(枠Wjや撮像ポイントPTj)を際立たせる表示とした上で、その領域についてのポップアップメニューPMとして、
・この領域を追加
・この領域以前を追加
・この領域以降を追加
の項目のいずれかを指定できるようにする。
CPU51はこのようなポップアップメニューPMにより1つ又は複数の領域を使用領域として指定する手段をユーザに提供する。
ここでの範囲指定操作とは、ユーザが、マウス操作やタッチ操作などにより、領域選択画像81上で複数の領域を含む範囲を指定する操作のことをいう。
範囲指定に該当する領域は、指定された範囲に相当する座標範囲と、各領域の撮像ポイントPTの座標値を比較し、撮像ポイントPTの座標が指定範囲に含まれているか否かにより判定すればよい。
なお、指定範囲内にある複数の領域の一部が除外領域で一部が使用領域であることも当然有り得る。そこで、そのような場合は、除外領域と使用領域のいずれが多数であるかで判断したり、範囲指定の起点又は終点に最も近い領域が除外領域と使用領域のいずれであるかにより判断しても良い。
一方、範囲指定に該当する領域が使用領域とされている場合は、CPU51はステップS264に進み、除外用ポップアップ表示設定を行う。
そしていずれの場合も“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は指定された範囲の領域のハイライト表示を実行させると共に、その領域についての操作メニューを示したポップアップ表示を実行させる。
例えばユーザが指定した範囲DAを際立たせる表示とした上で、ポップアップメニューPMとして、
・この範囲の領域を除外
を指示できるようにする。
また除外領域についての範囲指定が行われてステップS263を経た場合は、CPU51は追加用ポップアップ表示を実行させる。図示しないが、例えばユーザが指定した範囲を際立たせる表示とした上で、ポップアップメニューPMとして、
・この範囲の領域を追加
を指示できるようにする。
CPU51はこのようなポップアップメニューPMにより範囲指定により1つ又は複数の領域を除外領域又は使用領域として指定する手段をユーザに提供することになる。
例えば図25に示すように、指定範囲DAについてのポップアップメニューPMとして、
・この範囲の領域を除外
・この範囲の領域を追加
のいずれかを指示できるようにする。
このようにすることでも、ユーザに範囲指定による一括しての手段を提供できることになる。
この場合において、指定範囲に含まれる領域が全て除外領域であった場合は、「この範囲の領域を除外」の項目を非アクティブ(選択不能)とし、また指定範囲に含まれる領域が全て使用領域であった場合は、「この範囲の領域を追加」の項目を非アクティブとすることも考えられる。
例えばユーザは、スタート/エンドボタン86を操作した後に、領域選択画像81上でスタート(始点)となる領域を指定し、次いでエンド(終点)となる領域を指定する操作を行う。このため、領域を指定するまでのユーザの操作としてはスタート/エンドボタン86の操作、スタート指定操作、エンド指定操作の3段階で行われることになる。
そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はスタート/エンド操作中の提示と共に、スタート指定をユーザに求めるような表示制御を行う。例えば領域選択画像81上で「始点を指定してください」等の表示を実行させる。
そして“D1”として示すとおり領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はハイライト設定、明示設定、ポップアップ設定に従った表示制御を行う。
例えば図27に示すように、ユーザが指定した始点から終点までの領域の枠Wや撮像ポイントPTが強調されるようにする。またスタート表示STDとエンド表示EDによりスタート領域、エンド領域が明示される。またスタート/エンド指定用のポップアップ表示が行われる。
・この範囲の領域を除外
・この範囲の領域を追加
のいずれかを指示できるようにする。
このようにすることで、ユーザに任意の始点/終点の範囲で一括しての除外領域としたり使用領域としたりする手段を提供できることになる。
なお、この場合において、スタート/エンド指定の範囲に含まれる領域が全て除外領域であった場合は、「この範囲の領域を除外」の項目を非アクティブとし、またスタート/エンド指定の範囲に含まれる領域が全て使用領域であった場合は、「この範囲の領域を追加」の項目を非アクティブとすることも考えられる。
同様に、スタート/エンド指定の範囲に含まれる領域の全部、もしくは多数の領域、もしくはスタート領域、エンド領域などの代表的な領域が使用領域であった場合は、「この範囲の領域を除外」の項目のみが表示されるようにすることも考えられる。
条件は、条件設定部87の操作により設定された条件である。
条件設定部87に関する操作に対するCPU51の処理についてはフローチャート上での図示及び説明は省略するが、例えばユーザは、高度、高度変化、傾き、傾き変化、間引き条件のうちの1又は複数の任意の項目について、プルダウン選択或いは直接入力などにより、条件を指定できる。そして望みの条件を入力した時点で条件選択実行ボタン88を操作することになる。
従って、ステップS281でCPU51が判定するための条件とは、当該時点でユーザが条件選択部87の操作により指定していた条件となる。
CPU51は、各画像について対応づけられているセンスデータ等の付加情報を参照して、条件に合致する画像(領域)を判定する。
そして“D1”として示すとおり領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51は表示部56において、条件に該当する領域についてのハイライト表示やポップアップ表示が行われるように表示制御を行う。
・該当の領域を除外
・該当の領域を追加
が指示可能とされる。
なお、ユーザが指定できる条件、つまりステップS281でCPU51は条件該当領域を判定する条件は、1つの条件でも複数の条件の組み合わせでもよい。また、複数の場合はアンド条件、オア条件が指定できたり、ノット条件が指定できるようにしてもよい。
例えば「高度30m以上」AND「傾き10°未満」という指定や、「高度変化小」or「偶数番目」という指定なども可能とすることが考えられる。
ポップアップメニューPMに対する操作が検知されることで図12のステップS104に進んだ場合、CPU51は図15のステップS209からS291に進み、その操作がポップアップメニューPMを閉じる操作(例えば“×”ボタンの操作)であった場合は、ステップS291からS295に進んで、ポップアップメニューPMの非表示設定を行う。
この場合、“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させる。なお、この場合、ポップアップメニューPMを表示することになった操作についてもキャンセルとして、指定領域のハイライト表示を終了させるようにしてもよい。
例えば図22のポップアップメニューPMにおいて「この領域を除外」の項目が指定された場合、CPU51は、当該指定された領域について選択フラグFsel=1とする。
また「この領域以前を除外」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の先頭となる領域までの全ての領域について選択フラグFsel=1とする。
また「この領域以降を除外」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の最後となる領域までの全ての領域について選択フラグFsel=1とする。
そして“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させるとともに、除外設定を反映した表示を実行させる制御を行う。
ここで矢印AT1で示す領域の指定操作が行われ、図22のように指定領域のハイライト及びポップアップメニューPMの表示が行われたとする。
このときに「この領域を除外」の項目が指定された場合、表示される領域選択画像81は図31のように、当該領域が除外領域とされたことを示すように枠Wjや撮像ポイントPTjによる表示となる。もしくは表示自体が消去される。
また図30において矢印AT2で示す領域の指定操作が行われ、図22のポップアップメニューPMが表示された状態で「この領域以前を除外」の項目が指定された場合、図32のように、当該指定された領域から時系列上の先頭となる領域までの全ての領域が除外領域であることを示す枠Wjや撮像ポイントPTjによる表示状態(もしくは消去状態)になる。
また、図30において矢印AT3で示す領域が指定されてポップアップメニューPMが表示され、「この領域以降を除外」の項目が指定された場合、図33のように、当該指定された領域から時系列上の最後の領域までの全ての領域が除外領域であることを示す枠Wjや撮像ポイントPTjによる表示状態(もしくは消去状態)になる。
例えば図23のポップアップメニューPMにおいて「この領域を追加」の項目が指定された場合、CPU51は、当該指定された領域について選択フラグFsel=0とする。
また「この領域以前を追加」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の先頭となる領域までの全ての領域について選択フラグFsel=0とする。
また「この領域以降を追加」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の最後となる領域までの全ての領域について選択フラグFsel=0とする。
そして“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させるとともに、追加設定を反映した表示を実行させる制御を行う。
この場合は、それまで半透明等、目立たない表示とされてきた枠Wjや撮像ポイントPTj(もしくは消去されていた状態)を、通常の枠Wや撮像ポイントPTにより表示するようにする。
但し、図13,図14,図15の処理において、撮像ポイントPTの表示オン/オフ、枠Wの表示のオン/オフ、除外領域の表示のオン/オフ、塗りつぶし表示のオン/オフが行われることで、ユーザは撮像された画像の範囲、各画像のオーバーラップ具合、使用領域でカバーできている範囲などを容易に確認でき、ユーザの作業進行の判断のための有意な情報となる。
また領域指定、範囲指定、スタート/エンド指定、条件指定、ポップアップメニューPMによる操作を使い分けることで、ユーザは効率的にマッピング処理に有用な画像(領域)を選択することができる。これにより少ない処理負担で高品質なマッピング処理を実行するための適切な準備が可能となるとともに、準備処理自体も効率良く進めることができる。
第2の実施の形態の処理例を説明する。これは第1の実施の形態の図12の処理に代えて採用できる処理例である。なお図12と同じ処理については同じステップ番号を付して詳述を避ける。
領域選択インタフェース画像80を表示させている期間は、CPU51はステップS103でユーザの操作を監視する。
またステップS112でCPU51はタイムアウトとなったか否かを判定する。即ちタイマ計数が所定の値に達したか否かを確認する。
そしてステップS111では、タイムアウト判定のためのタイマをリセットしたうえで、タイマ計数をリスタートさせる。
つまり、何らかの指示操作が行われることで、タイマがリセットされることになる。
また、領域選択インタフェース画像80が表示されたまま、指示操作が行われずに所定時間を経過すると、ステップS112でタイムアウトと判定される。
そしてCPU51はステップS107で、マッピング画像91の表示制御を行う。つまりCPU51は表示部56に植生観察画像90(図3参照)を表示させる処理を行う。
マッピング処理は、比較的時間がかかる処理であるため、ユーザによる操作が行われていない場合に、マッピング処理を開始してしまうようにすることは、ユーザにとっては時間を有効に使用してマッピングが行われることにもなる。
第3の実施の形態を説明する。
これまでの説明では、ユーザがマッピング処理のための一連の画像に対応する領域を示す枠W等を見ながら、マッピング処理に使用する適切な画像を選択できるようにしたものであるが、上述してきたユーザ操作をサポートする機能を設けることも考えられる。
例えば図6の領域情報生成部11がユーザに対するリコメンデーションを行うための情報を生成する機能を備えるようにする。
例えば領域情報生成部11は、各領域が所定の条件を満たすかどうかを判定し、所定の条件を満たす領域を「不要な領域」候補として選択し、画像生成部14に指示して表示させる。
・隣接する矩形(枠W)の重なりが所定以上となっている領域
・矩形(枠W)のサイズ/歪みが所定以上となっている領域
・矩形パターンの連続性が所定の範囲外となっている領域
・過去のユーザ指定領域に基づき学習された領域
・データ許容枠に基づき指定した領域
などが考えられる。なお、領域情報生成部11は各画像に対応づけられた付加データ(位置情報、高度情報等)に基づき、「不要な領域」候補を選択することも可能である。
なお、領域情報生成部11はさらに所定の条件を満たす領域の周辺に代替となる画像が存在するかどうか(当該領域を含む画像)の判定を行い、その結果代替となる画像が存在する場合にその領域を「不要な領域」候補として選択することも可能である。
具体的には、撮像位置がフライトプランで指定されている飛行ルート上から外れた距離が所定の範囲外である場合に、その撮像位置で得られた画像の領域を「不要な領域」候補として選択することも可能である。
例えば、時系列的に連続した複数の画像から規則的に画像(領域)を間引いて、他を「不要な領域」候補として選択することも可能である。データ許容枠に基づいて間引き率を変更することも可能である。
或いは、ユーザの操作にかかわらず、領域選択部12が自動的に除外してしまうことも考えられる。
なお、不要な領域として抽出した候補の表示については、枠Wや撮像ポイントPTの表示の色、或いは枠W内の色を変化させたり、強調表示させたりすることが考えられる。
なおリコメンデーションとしては、例えばユーザが除外しようとした領域について、除外によってマッピング処理に影響がある場合、例えば図21で述べたような空領域AEが生じてしまうような場合には、その除外による影響を提示し、除外しないことを薦めるようにすることも考えられる。
例えば検出部13によってユーザが指示する領域を検出した場合に、領域選択部12は、検出部13が検出した領域に基づいて、複数の領域のうち少なくとも一部の領域を、マッピング処理の対象となる領域として選択するようにする。
即ちユーザが指定する全ての領域を無条件にマッピング処理の対象とするのではなく、適切なデータ量となるように、領域選択部12が一部をマッピング処理の対象となるようにする。
また上記の「不要な領域」の判断を組み合わせ、ユーザが指定する領域の中で、不要な領域を判断して、それらをマッピング処理への使用から除外することで、少ない容量で適切なマッピング画像を生成できることにもなる。
以上の実施の形態では次のような効果が得られる。
実施の形態の情報処理装置1は、投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部11と、領域情報に基づいて提示される複数の領域のうちでユーザ操作により指定された領域を検出する検出部13と、検出部13が検出した領域に基づいて、複数の領域のうち少なくとも一部の領域を選択する領域選択部12とを備える。
即ち実施の形態では、例えば移動しながら連続して撮像されることで時系列的に並ぶ複数の画像をそれぞれ、撮像位置に応じて投影面である例えば平面上に投影する。このような場合に、撮像された各画像について、投影面で投影される領域を示す領域情報を生成し、領域選択画像81において領域情報に基づいて示される領域のそれぞれに対して、ユーザが指定操作を行うことを可能とする。そして、その操作に応じて指定操作の対象の一部の領域を次処理で使用する領域もしくは使用しない領域として選択する。
特に実施の形態では、次処理として植生を示すマッピング画像の生成を行うわけであるが、そのマッピング画像生成に用いる領域を選択することになる。つまり、各画像が投影される複数の領域をユーザに提示し、複数の領域の中からユーザが指示する領域に基づいて、マッピングに使用する領域を選択する。
例えばユーザ操作で指示された領域をマッピングに使用する領域から除外する。あるいはユーザ操作で指示された領域をマッピングに使用する領域とするようにしてもよい。
いずれにしても、これにより、撮像した画像としての全ての領域(画像)を用いてマッピングするのでなく、選択された一部の領域の画像を用いてマッピングすることができ、マッピング画像生成の処理量を低減できる。
特に多くの撮像画像を用いた画像マッピング処理は時間のかかる処理であり、その処理量を低減することは、マッピング画像提示までの時間短縮、システム動作の効率化に有用となる。
さらには、マッピング処理前での領域選択画像81の表示による各画像の投影位置の確認により、ユーザは、マッピング画像生成に進んで良いかの否かの判断(図12のステップS105で検出するマッピング画像生成開始指示の操作の適否の判断)もできるようになり、例えば飛行体200による撮像のやり直しなども的確に判断できるようになる。またマッピング処理後の失敗の発生を防止することもできる。
また、これらによってマッピング処理や撮像のリトライの手間・時間的ロスの削減ができ、ひいては情報処理装置1の消費電力削減や作業時間の削減、データ容量削減などの効果も得られる。これらは飛行体200の搭載部品の削減、軽量化、コストダウンなどにもつながる。
また実施の形態では、マッピング処理の対象となる複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である。例えば複数の画像とは、撮像装置の場所を移動させながら連続して行われた一連の撮影により得られた画像などとして、時系列的に並ぶように関連づけられた画像である。実施の形態に即していえば飛行体200に搭載された撮像装置250により、飛行開始から飛行終了までの間において撮像されることで、撮像装置の場所を移動させながら連続して行われた一連の撮影により得られた画像である。
実施の形態で説明した技術は、このような時系列的に並ぶように関連づけられた複数の画像についてマッピング処理を行う際に、その中でマッピングによる合成に適さない画像を除く作業をユーザの意思に基づいて効率化できるものである。
但し、複数の画像は、マッピング対象の画像とされる、関連づけられた一連の画像であって、時系列的に並ぶものであれば、上述のリモートセンシングによる画像以外の画像に対しても適用できる。
これにより、領域選択からマッピング画像生成までの一連の処理が情報処理装置1(CPU51)で行われるようになる。これはユーザによる領域選択画像に対する操作と、当該操作に続いてのマッピング画像の閲覧を一連の処理として実現できる。その場合においてマッピング画像生成の処理が効率化されることで、マッピング画像生成や領域選択操作なども繰り返し実行が容易となる。
特に実施の形態では、マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理であるとした。これにより領域選択部12の機能により選択された画像を用いて、異なる時刻で撮像した範囲の合成画像を得ることができる。
これにより、マッピング処理のための領域選択として、指定したい領域が点在している場合でも、ユーザは容易に指定操作を行うことができる。
即ちユーザが領域情報によって示される領域の1つ1つを直接指定操作できる場合に、指定された領域を、マッピング処理に使用する画像に対応する領域として選択できるようにする。
これにより、マッピング処理に用いたい領域(領域に対応する画像)が点在しているときに、ユーザは容易にそれらを指定できるようになる。
なおユーザが直接指定した領域以外を、マッピング処理に使用する画像に対応する領域として選択できるようにすることも考えられる。
即ちユーザが領域情報によって示される領域の1つ1つを直接指定操作できる場合に、指定された領域を、マッピング処理には使用しない画像に対応する領域として選択できるようにする。
これにより、マッピング処理に不要な領域(領域に対応する画像)や、マッピングに適していない画像(撮像した範囲の重なりが十分でない画像や圃場が正しくとらえられていない画像など)の領域が点在しているときに、ユーザは容易にそれらを指定できるようになる。
なおユーザが直接指定した領域以外を、マッピング処理には使用しない画像に対応する領域として選択できるようにすることも考えられる。
これにより、マッピング処理のための領域選択として、指定したい領域が連続している場合でも、ユーザは容易に指定操作を行うことができる。
即ちユーザ操作としては、スタート/エンド指定の操作をすることで、そのスタート領域からエンド領域に至るまでの複数の領域を指定できるようにする。
これにより、マッピング処理に不要な領域(領域に対応する画像)が連続しているときに、ユーザは容易にそれらを指定できるようになる。或いはマッピング処理に使用したい領域(領域に対応する画像)が連続している場合でも、ユーザは容易に指定操作を行うことができる。
なおユーザがまとめて指定した領域以外を、マッピング処理には使用しない画像に対応する領域として選択できるようにしたり、或いはマッピング処理に使用する画像に対応する領域として選択できるようにすることも考えられる。
例えば、ユーザ操作としては、指定した領域について「この領域以前を除外」「この領域以前を追加」を指示できる。
これにより、マッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)が、全領域の先頭から連続しているときに、ユーザは容易にそれらを指定できるようになる。先頭の領域とは、例えば飛行体200に搭載された撮像装置250によって連続的に撮像が行われ一連の画像として関連づけられて時系列的に並べられた複数の画像のうちで最初に撮影された画像に対応する領域である。
具体的には、例えば飛行体200が飛行を開始し、撮像装置250による撮像を開始してから所定枚数目までの画像が不安定な画像(例えば撮像方向がずれているとか、高度が足りないとか、圃場210を適切に撮像できていない画像等)の場合、それらの合成に適していない画像をまとめてマッピング処理から除外したいときに非常に便利な操作を提供できる。
例えば、ユーザ操作としては、指定した領域について「この領域以降を除外」「この領域以降を追加」を指示できる。
これにより、マッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)が、全ての領域のうちの終端側で連続しているときに、ユーザは容易にそれら、つまり指定開始領域から最後の領域に至るまでを指定できるようになる。最後の領域とは、例えば飛行体200に搭載された撮像装置250によって連続的に撮像が行われ、一連の画像として関連づけられて時系列的に並べられた複数の画像のうちで最後に撮像された画像に対応する領域である。
具体的には、例えば飛行体200が飛行を一定高度の飛行を終了し着地に至るまでの期間に撮像された画像が合成に適していないため不要とされる場合、それらをまとめてマッピング処理から除外したいときに非常に便利な操作を提供できる。
即ちユーザが各種条件を指定できるようにし、条件に該当する領域として領域指定ができるようにする。
これにより、マッピング処理のための領域選択として、特定の条件に該当する領域を指定したい場合に、ユーザは容易に指定操作を行うことができる。
これにより、特定の高度条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
例えば飛行体200が所定高度で飛行しているときに撮像された画像の領域のみを指定したい場合、飛び始めの画像を除外したい場合、飛び終わり(着地に至るとき)の画像を除外したい場合などの場合に、効率的な指定操作を行うことができる。
特に高度によって撮像範囲の変化、焦点距離の変動やそれらによる被写体画像サイズの変化なども生じることから、高度がある程度一定の状態にある画像を用いてマッピング処理を行いたいという要請もある。そのような要請にも容易に対応できることになり、結果として品質の良いマッピング画像の生成に寄与できる。
これにより、特定の高度変化の条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
例えば飛行体200が所定高度で安定して飛行しているとき(高度の変動中でないとき)に撮像された画像の領域のみを指定したい場合などに好適である。
これにより、特定の撮像姿勢の条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
特に飛行体200の姿勢(飛行体200に搭載された撮像装置250の撮像姿勢)は、風の影響や、飛行速度、飛行方向変換などにより変動し、常に撮像装置250が直下を垂直に撮像できているものではない。すると撮像装置250の撮像姿勢(角度)によっては、適切に圃場210を撮像できていない画像、つまり合成に適していない画像も生じることがある。このため撮像姿勢の条件により、例えば使用しない領域(画像)を指定できることは、不要な画像をマッピング画像の生成に用いないという観点で非常に便利な機能となる。
輪郭の情報により、例えば投影面の枠Wとして投影される画像の領域を示す表示が行われる。これにより、例えばユーザインタフェースのための表示上で、領域を明確に提示でき、ユーザは領域の指定のための操作を、各領域の位置や範囲を明確に把握しながら実行できるようになる。
なお領域の輪郭を示す表示態様は枠Wに限られない、輪郭を少なくともユーザが認識できるようにすればよく、輪郭を含む形状を有する図形、特定の色による輪郭を示す範囲、ハッチング、点描などによる範囲として輪郭が認識可能な表示など、多様な表示例が想定される。
さらに領域選択画像80を平面画像とするのではなく、立体画像、任意の角度からの俯瞰画像などとしてもよい。それに応じて枠Wの態様も多様に考えられる。
また同様に撮像ポイントPTの表示態様も多様に考えられる。
なお、領域選択画像81としては、枠Wの表示を行わずに、撮像ポイントPTのみを表示する例も考えられる。撮像ポイントPTのみを表示する場合は、撮像ポイントPTの情報が点の座標値のみで構成できるため、情報量を抑えられるという利点がある。
投影面に投影される画像の領域のそれぞれを、例えば領域の位置及び範囲を示す領域視覚情報(例えば枠W、撮像ポイントPT)により表示させる。そして領域視覚情報を用いた表示に対してユーザが指定操作を行うことを可能とし、その操作に応じて少なくとも一部の領域を表示させる状態とする。
このような領域視覚情報として投影面の枠Wや撮像ポイントPTの表示により、撮像画像が投影される領域をユーザは明確に認識した上で指定操作を行うことができる。これにより操作の容易性、利便性を向上させることができる。
即ち領域視覚画像(例えば枠W、撮像ポイントPT)の表示による領域選択に続き、選択された領域に対応する画像を用いたマッピング処理が行われる場合に、そのマッピング画像91の表示制御も行うようにする。
これにより、領域選択からマッピング画像生成までの一連の処理のための表示制御が情報処理装置(CPU51)で行われるようになる。これによりユーザは領域指定操作からマッピング画像の閲覧までを一連のインタフェース画面として見ることができ、ユーザの作業の効率化がはかられる。
即ち図12や図34の処理を情報処理装置に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムにより本技術に係る情報処理装置、情報処理方法を、コンピュータ装置を用いて実現させ、広く提供できる。
また本技術は植生指数画像のマッピングの場合に適用できるだけでなく、可視光画像(RGB画像)を含め、各種の画像のマッピングの場合に適用できるものである。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
(1)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備えた
情報処理装置。
(2)
前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である
上記(1)に記載の情報処理装置。
(3)
前記複数の画像のうち前記領域選択部が選択した領域に対応する画像を用いてマッピング処理することで、マッピング画像を生成する画像生成部を備えた
上記(1)又は(2)に記載の情報処理装置。
(4)
前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理である
上記(3)に記載の情報処理装置。
(5)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理に使用する領域として選択する処理を行う
請求項5に記載の情報処理装置。
上記(5)に記載の情報処理装置。
(7)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理の使用から除外する領域として選択する処理を行う
上記(5)又は(6)に記載の情報処理装置。
(8)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(9)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)に記載の情報処理装置。
(10)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)又は(9)に記載の情報処理装置。
(11)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定開始領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記領域選択部は、前記検出部が検出した、ユーザの条件指定操作に該当する領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(13)
前記条件指定操作として、画像の撮像時に撮像装置が位置した高度の条件による領域の指定が可能とされている
上記(12)に記載の情報処理装置。
(14)
前記条件指定操作として、画像の撮像時における撮像装置の位置の高度変化の条件による領域の指定が可能とされている
上記(12)又は(13)に記載の情報処理装置。
(15)
前記条件指定操作として、画像の撮像時における撮像装置の撮像姿勢の条件による領域の指定が可能とされている
上記(12)又は(13)に記載の情報処理装置。
(16)
前記領域情報は、投影面に投影される画像の領域の輪郭の情報を含む
上記(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成手順と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出手順と、
前記検出手順で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択手順と、
を情報処理装置が実行する情報処理方法。
(18)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成処理と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出処理と、
前記検出処理で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択処理と、
を情報処理装置に実行させるプログラム。
(19)
投影面に投影される複数の画像のそれぞれの領域を視覚的に示す領域視覚情報を表示させる処理と、前記領域視覚情報を用いた表示に対するユーザ操作による領域の指定に基づいて、複数の前記領域のうちで、少なくとも一部の領域を表示させる処理と、を行う表示制御部を有する
情報処理装置。
(20)
前記ユーザ操作による領域の指定に基づいて選択された領域に対応する画像を用いて生成されたマッピング画像を表示させる処理を行う
上記(17)に記載の情報処理装置。
Claims (17)
- 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行う
情報処理装置。 - 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理に使用する領域として選択する処理を行う
請求項1に記載の情報処理装置。 - 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理の使用から除外する領域として選択する処理を行う
請求項1に記載の情報処理装置。 - 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
前記領域選択部は、前記検出部が検出した、前記ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行う
情報処理装置。 - 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
請求項4に記載の情報処理装置。 - 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
請求項4に記載の情報処理装置。 - 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定開始領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
請求項4に記載の情報処理装置。 - 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
前記領域選択部は、前記検出部が検出した、ユーザの条件指定操作に該当する領域に基づいて、マッピング処理のための領域を選択する処理を行う
情報処理装置。 - 前記条件指定操作として、画像の撮像時に撮像装置が位置した高度の条件による領域の指定が可能とされている
請求項8に記載の情報処理装置。 - 前記条件指定操作として、画像の撮像時における撮像装置の位置の高度変化の条件による領域の指定が可能とされている
請求項8に記載の情報処理装置。 - 前記条件指定操作として、画像の撮像時における撮像装置の撮像姿勢の条件による領域の指定が可能とされている
請求項8に記載の情報処理装置。 - 前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である
請求項1から請求項11の何れかに記載の情報処理装置。 - 前記複数の画像のうち前記領域選択部が選択した領域に対応する画像を用いてマッピング処理することで、マッピング画像を生成する画像生成部を備えた
請求項1から請求項11の何れかに記載の情報処理装置。 - 前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理である
請求項13に記載の情報処理装置。 - 前記領域情報は、投影面に投影される画像の領域の輪郭の情報を含む
請求項1から請求項11の何れかに記載の情報処理装置。 - 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成手順と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により個々に指定された領域を検出する検出手順と、
前記検出手順で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域をマッピング処理のための領域として選択する領域選択手順と、
を情報処理装置が実行する情報処理方法。 - 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成処理と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により個々に指定された領域を検出する検出処理と、
前記検出処理で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域をマッピング処理のための領域として選択する領域選択処理と、
を情報処理装置に実行させるプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147247A JP7298116B2 (ja) | 2018-08-03 | 2018-08-03 | 情報処理装置、情報処理方法、プログラム |
AU2019313802A AU2019313802A1 (en) | 2018-08-03 | 2019-07-24 | Information processing apparatus, information processing method, and program |
EP19843093.6A EP3830794A4 (en) | 2018-08-03 | 2019-07-24 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING PROCESS AND PROGRAM |
PCT/JP2019/029087 WO2020026925A1 (en) | 2018-08-03 | 2019-07-24 | Information processing apparatus, information processing method, and program |
BR112021001502A BR112021001502A2 (pt) | 2018-08-03 | 2019-07-24 | Aparelho e método de processamento de informação, e, mídia legível por computador não transitória |
CN201980049971.6A CN112513942A (zh) | 2018-08-03 | 2019-07-24 | 信息处理装置、信息处理方法和程序 |
US17/258,980 US20210304474A1 (en) | 2018-08-03 | 2019-07-24 | Information processing apparatus, information processing method, and program |
AU2022228212A AU2022228212B2 (en) | 2018-08-03 | 2022-09-09 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147247A JP7298116B2 (ja) | 2018-08-03 | 2018-08-03 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020021437A JP2020021437A (ja) | 2020-02-06 |
JP7298116B2 true JP7298116B2 (ja) | 2023-06-27 |
Family
ID=69230635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147247A Active JP7298116B2 (ja) | 2018-08-03 | 2018-08-03 | 情報処理装置、情報処理方法、プログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210304474A1 (ja) |
EP (1) | EP3830794A4 (ja) |
JP (1) | JP7298116B2 (ja) |
CN (1) | CN112513942A (ja) |
AU (2) | AU2019313802A1 (ja) |
BR (1) | BR112021001502A2 (ja) |
WO (1) | WO2020026925A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6896962B2 (ja) * | 2019-12-13 | 2021-06-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 決定装置、飛行体、決定方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006189940A (ja) | 2004-12-28 | 2006-07-20 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
JP2013156609A (ja) | 2012-02-01 | 2013-08-15 | Mitsubishi Electric Corp | 写真地図作成システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757445B1 (en) * | 2000-10-04 | 2004-06-29 | Pixxures, Inc. | Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models |
JP2008158788A (ja) * | 2006-12-22 | 2008-07-10 | Fujifilm Corp | 情報処理装置および情報処理方法 |
JP5966584B2 (ja) * | 2012-05-11 | 2016-08-10 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
US8954853B2 (en) * | 2012-09-06 | 2015-02-10 | Robotic Research, Llc | Method and system for visualization enhancement for situational awareness |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
KR20150059534A (ko) * | 2013-11-22 | 2015-06-01 | 삼성전자주식회사 | 파노라마 영상 생성 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 파노라마 영상 생성 장치. |
US9798322B2 (en) * | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
WO2017116952A1 (en) * | 2015-12-29 | 2017-07-06 | Dolby Laboratories Licensing Corporation | Viewport independent image coding and rendering |
KR20170081488A (ko) * | 2016-01-04 | 2017-07-12 | 삼성전자주식회사 | 무인 촬영 장치를 이용한 이미지 촬영 방법 및 전자 장치 |
US10621780B2 (en) * | 2017-02-02 | 2020-04-14 | Infatics, Inc. | System and methods for improved aerial mapping with aerial vehicles |
KR102609477B1 (ko) * | 2017-02-06 | 2023-12-04 | 삼성전자주식회사 | 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법 |
US10535191B2 (en) * | 2017-12-21 | 2020-01-14 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
CN112425148B (zh) * | 2018-06-21 | 2022-04-08 | 富士胶片株式会社 | 摄像装置、无人移动体、摄像方法、系统及记录介质 |
WO2020014680A1 (en) * | 2018-07-12 | 2020-01-16 | TerraClear Inc. | Object identification and collection system and method |
CN111344644B (zh) * | 2018-08-01 | 2024-02-20 | 深圳市大疆创新科技有限公司 | 用于基于运动的自动图像捕获的技术 |
US11032527B2 (en) * | 2018-09-27 | 2021-06-08 | Intel Corporation | Unmanned aerial vehicle surface projection |
US10853914B2 (en) * | 2019-02-22 | 2020-12-01 | Verizon Patent And Licensing Inc. | Methods and systems for automatic image stitching failure recovery |
US20220261957A1 (en) * | 2019-07-09 | 2022-08-18 | Pricer Ab | Stitch images |
US10825247B1 (en) * | 2019-11-12 | 2020-11-03 | Zillow Group, Inc. | Presenting integrated building information using three-dimensional building models |
-
2018
- 2018-08-03 JP JP2018147247A patent/JP7298116B2/ja active Active
-
2019
- 2019-07-24 US US17/258,980 patent/US20210304474A1/en active Pending
- 2019-07-24 WO PCT/JP2019/029087 patent/WO2020026925A1/en unknown
- 2019-07-24 EP EP19843093.6A patent/EP3830794A4/en not_active Withdrawn
- 2019-07-24 AU AU2019313802A patent/AU2019313802A1/en not_active Abandoned
- 2019-07-24 BR BR112021001502A patent/BR112021001502A2/pt not_active Application Discontinuation
- 2019-07-24 CN CN201980049971.6A patent/CN112513942A/zh active Pending
-
2022
- 2022-09-09 AU AU2022228212A patent/AU2022228212B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006189940A (ja) | 2004-12-28 | 2006-07-20 | Ntt Data Corp | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
JP2013156609A (ja) | 2012-02-01 | 2013-08-15 | Mitsubishi Electric Corp | 写真地図作成システム |
Also Published As
Publication number | Publication date |
---|---|
AU2022228212B2 (en) | 2024-06-13 |
AU2022228212A1 (en) | 2022-10-06 |
EP3830794A1 (en) | 2021-06-09 |
AU2019313802A1 (en) | 2021-02-11 |
CN112513942A (zh) | 2021-03-16 |
BR112021001502A2 (pt) | 2022-08-02 |
US20210304474A1 (en) | 2021-09-30 |
WO2020026925A1 (en) | 2020-02-06 |
JP2020021437A (ja) | 2020-02-06 |
EP3830794A4 (en) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2741443C1 (ru) | Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
US20160180599A1 (en) | Client terminal, server, and medium for providing a view from an indicated position | |
US10360572B2 (en) | Image processing system, method and computer program product for evaluating level of interest based on direction of human action | |
KR102508663B1 (ko) | 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치 | |
KR20210104684A (ko) | 측량 및 매핑 시스템, 측량 및 매핑 방법, 장치 및 기기 | |
JP6544996B2 (ja) | 制御装置及び制御方法 | |
WO2021212501A1 (zh) | 轨迹生成方法、遥控终端、可移动平台、系统及计算机可读存储介质 | |
CN107667524A (zh) | 对运动对象进行成像的方法和成像装置 | |
JP6852293B2 (ja) | 画像処理システム、情報処理装置、情報端末、プログラム | |
JP2017211811A (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
JP7298116B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6617547B2 (ja) | 画像管理システム、画像管理方法、プログラム | |
JPWO2018025825A1 (ja) | 撮像システム | |
JP2015118213A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP2016218626A (ja) | 画像管理装置、画像管理方法およびプログラム | |
JP6099025B1 (ja) | モニタリングシステム、マスク処理設定方法及びコンピュータプログラム | |
KR20210106422A (ko) | 작업 제어 시스템, 작업 제어 방법, 장치 및 기기 | |
JP6112436B1 (ja) | モニタリングシステム、映像表示方法及びコンピュータプログラム | |
WO2021075307A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6099026B1 (ja) | モニタリングシステム、映像表示方法及びコンピュータプログラム | |
JP6098964B1 (ja) | モニタリングシステム、映像表示方法及びコンピュータプログラム | |
WO2023223887A1 (ja) | 情報処理装置、情報処理方法、表示制御装置、表示制御方法 | |
EP4411658A1 (en) | Information processing device and information processing method | |
JP2004085555A (ja) | 測量システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220927 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230413 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230424 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7298116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |