JP7298116B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP7298116B2
JP7298116B2 JP2018147247A JP2018147247A JP7298116B2 JP 7298116 B2 JP7298116 B2 JP 7298116B2 JP 2018147247 A JP2018147247 A JP 2018147247A JP 2018147247 A JP2018147247 A JP 2018147247A JP 7298116 B2 JP7298116 B2 JP 7298116B2
Authority
JP
Japan
Prior art keywords
area
image
mapping
areas
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018147247A
Other languages
English (en)
Other versions
JP2020021437A (ja
Inventor
弘幸 小林
晃弘 保木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018147247A priority Critical patent/JP7298116B2/ja
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to BR112021001502A priority patent/BR112021001502A2/pt
Priority to AU2019313802A priority patent/AU2019313802A1/en
Priority to EP19843093.6A priority patent/EP3830794A4/en
Priority to PCT/JP2019/029087 priority patent/WO2020026925A1/en
Priority to CN201980049971.6A priority patent/CN112513942A/zh
Priority to US17/258,980 priority patent/US20210304474A1/en
Publication of JP2020021437A publication Critical patent/JP2020021437A/ja
Priority to AU2022228212A priority patent/AU2022228212B2/en
Application granted granted Critical
Publication of JP7298116B2 publication Critical patent/JP7298116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/40UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、特に複数の画像のマッピングに用いることのできる技術分野に関する。
例えばドローンなどの地表の上空を飛行する飛行体に搭載された撮像装置を用いて撮影を行い、撮影された複数の画像をマッピング処理により合成する技術が知られている。
特開2000-292166号公報
上記撮影された複数の画像の中には、必ずしも合成に適していない画像が含まれることがあり、例えばスティッチ等によるマッピング処理の処理負担を軽減するためには、これらの合成に適していない画像は除かれることが望ましい。しかしながら、合成に適しているかどうかの判断は、ユーザの経験に依るところも多い。
そこで、本技術ではユーザの判断に基づいてマッピング処理を行うことを可能とする情報処理装置、情報処理方法、プログラムを提供することを目的とする。
本技術に係る情報処理装置は、投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備える。
また上記した本技術に係る情報処理装置においては、前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像であることが考えられる。
上記した本技術に係る情報処理装置においては、前記複数の画像のうち前記領域選択部が選択した領域に対応する画像を用いてマッピング処理することで、マッピング画像を生成する画像生成部を備えることが考えられる。
また上記した本技術に係る情報処理装置においては、前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理であることが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理に使用する領域として選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理の使用から除外する領域として選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定開始領域に基づいて、前記マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記領域選択部は、前記検出部が検出した、ユーザの条件指定操作に該当する領域に基づいて、前記マッピング処理のための領域を選択する処理を行うことが考えられる。
上記した本技術に係る情報処理装置においては、前記条件指定操作として、画像の撮像時に撮像装置が位置した高度の条件による領域の指定が可能とされていることが考えられる。
上記した本技術に係る情報処理装置においては、前記条件指定操作として、画像の撮像時における撮像装置の位置の高度変化の条件による領域の指定が可能とされていることが考えられる。
上記した本技術に係る情報処理装置においては、前記条件指定操作として、画像の撮像時における撮像装置の撮像姿勢の条件による領域の指定が可能とされていることが考えられる。
上記した本技術に係る情報処理装置においては、前記領域情報は、投影面に投影される画像の領域の輪郭の情報を含むことが考えられる。
本技術に係る情報処理方法は、投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成手順と、前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出手順と、前記検出手順で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択手順とを情報処理装置が実行する。
本技術に係る他の情報処理装置は、投影面に投影される複数の画像のそれぞれの領域を視覚的に示す領域視覚情報を表示させる処理と、前記領域視覚情報を用いた表示に対するユーザ操作による領域の指定に基づいて、複数の前記領域のうちで、少なくとも一部の領域を表示させる処理と、を行う表示制御部を有する。
上記した本技術に係る情報処理装置においては、前記ユーザ操作による領域の指定に基づいて選択された領域に対応する画像を用いて生成されたマッピング画像を表示させる処理を行うことが考えられる。
本技術によれば、ユーザの判断に基づいてマッピング処理を行うことを可能とする情報処理装置、情報処理方法、プログラムが提供される。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の圃場の撮像の様子の説明図である。 実施の形態の領域選択画像の説明図である。 実施の形態のマッピング画像の説明図である。 実施の形態の撮像装置及びセンサボックスのブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の情報処理装置の機能構成のブロック図である。 実施の形態の画像データと各種検出データの説明図である。 実施の形態の画像の選択/非選択の情報の説明図である。 実施の形態の領域選択画像を用いた領域選択の説明図である。 実施の形態の領域選択後に生成されるマッピング画像の説明図である。 実施の形態の情報処理装置の他の機能構成例のブロック図である。 第1の実施の形態の制御処理のフローチャートである。 実施の形態の領域選択関連処理のフローチャートである。 実施の形態の領域選択関連処理のフローチャートである。 実施の形態の領域選択関連処理のフローチャートである。 実施の形態の撮像ポイントを非表示にした領域選択画像の説明図である。 実施の形態の投影面の枠を非表示にした領域選択画像の説明図である。 実施の形態の除外領域を半透明にした領域選択画像の説明図である。 実施の形態の除外領域を非表示にした領域選択画像の説明図である。 実施の形態の領域塗りつぶしとした領域選択画像の説明図である。 実施の形態の領域塗りつぶしとした領域選択画像の説明図である。 実施の形態の領域指定時のポップアップ表示の説明図である。 実施の形態の除外領域指定時のポップアップ表示の説明図である。 実施の形態の範囲指定時のポップアップ表示の説明図である。 実施の形態の範囲指定時のポップアップ表示の説明図である。 実施の形態のスタート指定時の表示の説明図である。 実施の形態のエンド指定時のポップアップ表示の説明図である。 実施の形態の条件指定時の表示の説明図である。 実施の形態の条件指定時の表示の説明図である。 実施の形態の除外指定前の表示の説明図である。 実施の形態の指定領域の除外後の表示の説明図である。 実施の形態の以前領域の除外後の表示の説明図である。 実施の形態の以降領域の除外後の表示の説明図である。 第2の実施の形態の制御処理のフローチャートである。
以下、実施の形態を次の順序で説明する。
<1.リモートセンシングにおける領域選択画像とマッピング画像>
<2.装置構成>
<3.第1の実施の形態>
[3-1:全体処理]
[3-2:領域選択関連処理]
<4.第2の実施の形態>
<5.第3の実施の形態>
<6.まとめ及び変形例>
<1.リモートセンシングにおける領域選択画像とマッピング画像>
実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
例えば図1に示すようにドローン等の飛行体200に搭載された撮像装置250を用いて圃場210の植生に関するリモートセンシングを行う。そして、この撮像で得られた多数の画像データ(単に「画像」ともいう)を用いて植生データ(例えば植生指数のデータ)を示すマッピング画像を生成する場合とする。
図1は圃場210の様子を示している。
小型の飛行体200は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場210の上空を移動することができる。
飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が所定の経路で圃場210の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行うことで、各時点において撮像視野の範囲AWの画像を得ることができる。
飛行体200は、予め記録されているフライトプランに従って、所定の飛行ルートで飛行し、撮像装置250は、飛行開始から飛行終了までの間において、所定時間毎に画像撮像を行う。この場合に撮像装置250は、時系列上で順次得られる画像に対して後述する位置情報や姿勢情報等を対応づけていく。
このように撮像された一連の複数の画像は、紐づけられて時系列的に並べられているものとなる。この一連の画像が、マッピング処理の対象として関連づけられた複数の画像となる。
撮像装置250がどのような種類の撮像装置であるかは各種考えられる。
例えば撮像装置250の撮像によって得られる画像ファイル(或る時点の撮像画像)には分光計測画像を含むことが考えられる。即ち撮像装置250はマルチスペクトラムカメラとされ、撮像される画像としては、特定の2以上の波長領域の情報を有する測定画像を含むものが考えられる。
また撮像装置250としてR(赤波長領域、620nm~750nm)、G(緑波長領域、495nm~570nm)、B(青波長領域、450nm~495nm)の可視光画像を撮像するカメラが用いられてもよい。
また撮像装置250として、赤波長領域(RED、620nm~750nm)と近赤外領域(NIR:Near Infra Red、750nm~2500nm)の撮像画像を得るカメラであり、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられてもよい。NDVIとは植生の分布状況や活性度を示す指標である。
なお植生データとして植生指数の1つであるNDVIの値は、RED画像データ、NIR画像データを用いて、
NDVI=(1-RED/NIR)/(1+RED/NIR)
として算出することができる。
また撮像装置250で撮像されて得られる画像には、各種の付加データが対応づけられている。
付加データとしては、各種センサで検出される情報(説明上「センサデータ」と総称する)や、撮像装置250の装置情報、撮像画像に関する撮像画像情報などがある。
具体的にはセンサデータとしては、撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、高度情報、撮像姿勢情報(飛行体200に搭載された状態での撮像方向の傾き)等のデータがある。このため、飛行体200又は撮像装置250内には、撮像日時情報、位置情報、高度情報、撮像姿勢情報等を検出するためのセンサが搭載されている。
撮像装置250の装置情報としては、撮像装置の個体識別情報、機種情報、カメラタイプ情報、シリアルナンバ、メーカー情報などがある。
撮像画像情報としては、画サイズ、コーデック方式、検出波長、撮像パラメータの情報などがある。
以上のように飛行体200に搭載された撮像装置250により得られる画像データや各種センサによって得られるセンサデータを含む付加データは、情報処理装置(コンピュータ装置)1に送られる。情報処理装置1は画像データやセンサデータを用いて各種処理を行う。例えばNDVIのマッピング画像の生成処理や、そのマッピング画像の表示処理を行う。またマッピング処理の前段階での画像選択のためのユーザインタフェース表示等も行う。
情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)などとして実現される。
なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
情報処理装置1では図2の領域選択画像81の表示や、図3のマッピング画像91の表示などが行われる。
図2は領域選択インタフェース画像80の一例を示している。
この領域選択インタフェース画像80は、マッピング画像生成の前段階としてユーザに提示され、ユーザがマッピング画像91の生成に用いる画像を指定する操作を行うことができるようにするものである。
領域選択インタフェース画像80内では、領域選択画像81が表示される。
領域選択画像81は、例えば地図画像MPに重畳して、撮像された各画像データについての、画像平面上に投影される領域を明示するものとされる。即ち投影面に投影される各画像の領域の輪郭が枠Wとして示される。
投影面は、例えば各画像データを投影配置して表示する平面であり、例えば圃場210等の範囲を含む画像を表現する水平面である。即ちマッピング画像を生成するために、個々の画像データを、その撮像時の位置情報や姿勢情報に従って投影することで、平面上で各画像の範囲が表現されるようにする二次元の面を投影面とする。
なお投影面は平面として説明するが、必ずしも平面でなくてもよく、湾曲面、球面などでもよい。
上述のリモートセンシングを行う場合、圃場210の上空で移動しながら多数の画像を撮像するため、図2に示すように、それぞれの画像についての投影領域を示す枠Wが多数、表示されることになる。
例えば飛行体200が飛び始めたときから着陸まで、所定の飛行経路で飛行している期間に所定時間間隔で定期的に撮像したとすると、撮像されたそれぞれの画像に対応する枠Wが時間的な順番に並ぶことになる。図では、圃場210の上空を折り返しながら飛行して撮像することで、ほぼ圃場210の全体をカバーするように撮像した場合の例を示している。
それぞれの枠Wの形状は、それぞれ対応する画像に表れている領域(撮像された範囲)となるが、その枠Wの形状は一定ではなく、多様である。
仮に、飛行体200に搭載された撮像装置250の撮像方向(視野方向)が常に直下を向いている状態を維持していれば、撮像画像が投影される領域(撮像された領域範囲)は長方形になる(撮像装置のイメージセンサの画素配列が長方形であると仮定している)。
ところが、実際には飛行体200の姿勢は常に水平ではなく、飛行中に変化し、また高度も一定ではない。飛行体200に取り付けられている撮像装置250の相対的な撮像方向が変化する場合もある。更に圃場210としての土地の起伏や植生状態により各画素位置で被写体距離が異なる場合もある。これらのことから、各画像に対応する各枠Wの形状やサイズは多様になる。
また領域選択画像81には、各画像に対応する撮像ポイントPTが示されている。撮像ポイントPTは、画像の撮像時点での撮像装置250の位置情報に応じて表示される。つまり撮像ポイントPTは飛行中の撮像位置に対応する座標情報である。
もし、撮像装置250が直下を向いて撮像したとすると、当該撮像した画像についての長方形の枠Wの中央に撮像ポイントPTが位置するように表示されることになる。ところが飛行中には撮像装置250の撮像方向は変動し、撮像装置250が斜め下方を撮像することも多いため、撮像ポイントPTの位置は、必ずしも対応する枠Wの中央とはならない。例えば飛行体200の姿勢の傾斜が大きい場合などは、撮像ポイントPTの位置は、対応する枠Wから外れた位置になることもある。
このように各画像に対応して枠Wと撮像ポイントPTが示される領域選択画像81により、ユーザは、圃場210の上空での撮像により、どのような範囲の画像が得られたかを確認できる。
また地図画像MPに枠Wが重畳されることで、地図上でどのような範囲の画像が撮像できたかも確認できることになる。例えば圃場210としての範囲の全てをカバーする撮像ができたか、或いは特定の範囲をカバーする撮像ができたか、なども確認できる。
なお、この例では地図画像MPを背景としたが、地図画像MPは、いわゆる地図の他、航空写真画像、地形図画像などでもよい。
また地図画像MPを背景としない例も考えられる。例えば無地背景、或いは特定の色の背景などにより、枠Wや撮像ポイントPTを見やすくしてもよい。
またユーザは、領域選択画像81において枠Wと撮像ポイントPTによって撮像した各画像の領域が表示されることで、マッピング画像91の生成に用いる画像(もしくはマッピング画像91の生成から除外する画像)を選択することも可能となる。
このようなユーザの確認や指定操作のために、領域選択インタフェース画像80では領域選択画像81上での枠Wや撮像ポイントPTの指定操作が可能とされたり、多様な操作子(操作ボタン/アイコン)が用意されている。
例えば領域選択画像81上では、マウスによるクリック操作やタッチ操作などにより、特定の撮像ポイントPTや枠Wの指定や、範囲指定操作などが可能とされる。
さらに後述するが、指定に応じたポップアップメニュー表示も行われる各種の操作が可能とされる。
またそのような指定操作と共に、多様な操作子が利用可能とされる。
撮像ポイント表示ボタン82は、領域選択画像81において撮像ポイントPTの表示のオン/オフを切り換えるための操作子である。
投影面表示ボタン83は、領域選択画像81において投影面を示す枠Wの表示のオン/オフを切り換えるための操作子である。
除外領域表示ボタン84は、ユーザの操作によりマッピング画像91の生成に用いないとされた画像に対応する枠W(及び撮像ポイントPT)の表示のオン/オフを切り換えるための操作子である。
塗りつぶしボタン85は、各枠Wの塗りつぶし表示の実行/終了を指示する操作子である。
スタート/エンドボタン86は、ユーザが領域指定操作をスタート指定とエンド指定により行うための操作子である。
条件設定部87は、ユーザが領域指定のための各種の条件を設定するために設けられる。例えば高度の条件、高度変化の条件、傾きの条件、傾き変化の条件、間引き条件などを設定可能とされる。
高度の条件とは、例えば撮像が行われた高度(地表面からの高度)について、高度(x)m以上、高度(x)m未満、高度(x)mから(y)mの範囲内、高度(x)mから(y)mの範囲外、などの条件を設定可能とすることが考えられる。
高度変化の条件とは、高度変化の大小により領域を指定するものである。例えば各撮像時点での高度の微分値に対する閾値を選択することで、高度変化の程度を選択できるようにすることが考えられる。例えばユーザにとっては、高度変化小の画像(領域)を指定するか、高度変化については条件に入れないようにするかを選択可能とする。
傾きの条件とは、例えば撮像が行われた際の飛行体200(撮像装置250)の姿勢の傾き(例えば水平方向からの角度)が(x)度以上、(x)度未満、(x)度から(y)度の範囲内、(x)度から(y)度の範囲外、などの条件を設定可能とすることが考えられる。
傾き変化の条件とは、姿勢変化の大小により領域を指定するものである。例えば各撮像時点での傾きの値の微分値に対する閾値を選択することで、傾き変化の程度を選択できるようにすることが考えられる。例えばユーザにとっては、傾き変化小の画像(領域)を指定するか、傾き変化については条件に入れないようにするかを選択可能とする。
間引き条件とは、例えば規則的に画像(領域)を間引く場合の条件である。例えば奇数番目、偶数番目、2つ置き、3つ置き、などを設定可能とすることが考えられる。
条件選択実行ボタン88は、条件設定部87で設定した条件での画像(領域)の指定を指示する操作子である。
なお設定した条件に応じた画像の指定は領域選択部12が行うが、条件設定部87でユーザが入力した高度の条件、傾きの条件によって画像を選択するためには、領域選択部12は、各画像について紐づけられている高度或いは傾きの情報を参照する。そしてそれらが条件設定部87への入力により指定された条件に該当しているか否かにより、各画像が条件を満たしているか否かを判定するものとなる。
また高度変化の条件、傾き変化の条件が指定される場合、領域選択部12は、各画像について高度情報や傾き情報の微分値(直前時点からの変化量)の算出を行い、各画像のついての微分値をもって、条件設定部87への入力により指定された条件に該当しているか否かを判定するものとなる。
マッピングボタン89は、以上の各種操作子やタッチ操作、マウス操作などで行ったユーザの指定操作に応じて、使用する画像(領域)を用いてのマッピング画像生成を指示する操作子である。
なお、このような領域選択インタフェース画像80を用いたユーザの操作は、枠Wで示される領域を指定するもので、その指定操作に基づいて、情報処理装置1がマッピング画像91の生成を行う。このようなユーザの領域(枠W)の指定は、その領域に対応する画像を指定することを意味する。従って領域の指定操作は、画像の指定操作であるともいえる。
また、ユーザの指定操作は、マッピング画像91の生成に用いる領域(画像)の指定もあれば、マッピング画像91の生成には用いない除外領域(除外する画像)の指定もある。
図3はマッピング画像91の例を示す。上記図2の領域選択インタフェース画像80を用いたユーザ操作に基づいて選択された領域の画像を用いてマッピング画像91の生成が行われ、図3のように植生観察画像90が表示される。この植生観察画像90にはマッピング画像91が含まれる。
マッピング画像91は、使用するものとして選択された画像のマッピング処理を行って、例えばNDVI画像としての所定の範囲の植生状態を色により示す画像として生成される。なお図ではNDVI画像は表現が困難であるため、マッピング画像91は極めて模式的に示したものとなっている。
カラーマップ92は、マッピング画像91上で表現される色の範囲と、各色で表現される領域の面積分布を示している。
チェックボックス93は、例えば「TRACKS」「NDVI」「RGB」のチェックが可能とされる。「TRACKS」は飛行(画像撮像経路)の軌跡を示す表示、「NDVI」はNDVI画像の表示、「RGB」はRGB画像の表示を意味し、チェックボックス93によりこれらの表示をユーザが任意にオン/オフできるようにしている。
<2.装置構成>
図4に飛行体200に搭載される撮像装置250の構成例を示す。
撮像装置250は、撮像部31、撮像信号処理部32、カメラ制御部33、格納部34、通信部35、センサ部251を有する。
撮像部31は、撮像レンズ系、露光部、フィルタ、及びイメージセンサ等を有し、被写体光を受光して電気信号としての撮像画像信号を出力する。
即ち撮像部31において、被測定対象物等の被写体からの光(反射光)は、レンズ系とフィルタを介してイメージセンサに入射される。
レンズ系とは入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなど各種レンズを含む入射光学系のことをいう。
フィルタとは被測定対象物についての測定しようとする波長を取り出すためのフィルタである。これは一般にイメージセンサ上に構成されるカラーフィルタとその前に配置される波長フィルタなどをいう。
露光部とは、イメージセンサにおいて、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ系等の光学系やアイリス(絞り)による開口量などを調整することで、露光制御を行う部位をいう。
イメージセンサは、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子を有して構成される。
イメージセンサは、フィルタを通過した光を、センシング素子により検出することで、光の光量に応じた撮像画像信号を撮像信号処理部32に出力する。
撮像信号処理部32は、撮像部31のイメージセンサから出力される撮像画像信号に対し、AGC処理、A/D変換処理等を施してデジタルデータに変換し、さらに必要な各種信号処理を行って、測定対象物の画像データとしてカメラ制御部33に出力する。
例えば測定対象の画像データとして、RGBカラー画像としての画像データをカメラ制御部33に出力する。或いは例えば赤波長領域(RED)と近赤外領域(NIR)の撮像画像を得る場合はRED画像データ、NIR画像データを生成し、カメラ制御部33に出力することになる。
カメラ制御部33は例えばマイクロコンピュータにより構成され、撮像動作、画像データの格納動作、通信動作等、撮像装置250の全体の動作制御を行う。
カメラ制御部33は、逐次、撮像信号処理部32から供給される画像データを格納部34に格納していく処理を行う。この際、センサ部251で得られる各種のセンサデータを付加して画像ファイル化して格納部34に格納する。或いはセンサデータを画像データに対応づけたファイルとして格納させてもよい。
格納部34は、例えば撮像装置250の内部メモリとしてのフラッシュメモリや、可搬性のメモリカードなどとされる。もちろん他の種類の記憶媒体が用いられてもよい。
通信部35は、有線又は無線の通信により外部機器との間でデータ送受信を行う。例えばUSB(Universal Serial Bus)等の規格による有線通信でもよいし、ブルートゥース(登録商標)、WI-FI(登録商標)等の無線通信規格の通信を行うものでもよい。
いずれにしても通信部35により、格納部34に格納された画像データ等は、例えば情報処理装置1等の外部機器に転送できるようにされている。
なお、格納部34が可搬性のメモリカード等とされる場合、メモリカード等の記憶媒体の受け渡しによって、格納されたデータが情報処理装置1等に受け渡されるようにしてもよい。
センサ部251としては、位置検出部41、時計部42、姿勢検出部43、高度検出部44が設けられる。
位置検出部41は例えばいわゆるGPS受信器とされ、現在位置としての緯度、経度の情報を取得することができる。
時計部42は現在時刻を計時する。
姿勢検出部43は例えば3軸のジャイロと3方向の加速度計を有するIMU(inertial measurement unit)を用いて所定のアルゴリズムで飛行体200の飛行姿勢、例えば水平方向或いは直下方向に対する傾きを検出するセンサとされる。これは撮像装置250の撮像方向(例えば撮像部31の入射光学系の光軸方向)の傾きを直接的又は間接的に検出するものともなる。
高度検出部44は、地表面からの飛行体200による高度、つまり撮像場所としての高度を検出する。
例えばこれらのセンサを備えたセンサ部251を搭載することにより、カメラ制御部33は、各時点の画像データに、位置検出部41によって得られる位置情報や、時計部42によって得られる日時情報、姿勢検出部43によって得られる傾き情報、高度検出部44によって得られる高度情報を対応づけてファイル化することができる。
情報処理装置1側では、画像データとともにこれらの検出データも取得することで、各画像についての撮像時の位置、時刻、姿勢、高度を確認できる。
なお高度検出部44は、例えば海抜としての高度を検出するものであってもよいが、撮像した画像に紐づける高度情報としては、撮像場所での地表面(例えば圃場210)からの高度を算出して記憶することが望ましい。
なお図4では撮像装置250がセンサ部251を内蔵しているように示しているが、例えば位置検出部41、時計部42、姿勢検出部43、高度検出部44等を備えたセンサボックスが撮像装置250とは別体とされて飛行体200に搭載され、撮像装置250に検出情報を送信可能とされてもよい。
また、センサの例は一例である。センサ部251には上記以外に、照度センサ、温度センサ等、他のセンサが設けられ、それらの検出値が画像データに対応づけられるようにしてもよい。
続いて図5、図6により情報処理装置1の構成を説明する。
図5はPC等で実現される情報処理装置1のハードウエア構成例を示している。
図5に示すように情報処理装置1は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
入出力インタフェース55には、表示部56、入力部56、音声出力部58、記憶部59、通信部60、メディアドライブ61などが接続可能である。
表示部56は液晶ディスプレイパネル或いは有機EL(Electroluminescence)ディスプレイパネル、及びこれらのディスプレイパネルの駆動回路を備えた表示装置として構成される。この表示部56は情報処理装置1と一体でも良いし別体の機器でもよい。
表示部56では、例えば撮像画像や合成画像の表示、評価指標の表示などが行われる。
特に本実施の形態の場合、図2の領域選択インタフェース画像80や図3の植生観察画像90の表示が行われる。
入力部57は、情報処理装置1を使用するユーザが用いる入力デバイスを意味する。入力デバイスとしては例えばキーボード、マウスが想定される。もちろんこれに限らず、例えば表示部56と一体形成されたタッチパネル、タッチパッド、撮像装置により構成されユーザの挙動を検出して操作入力と認識するジェスチャー入力装置、ユーザの視線を検知する視線入力装置なども入力デバイスとなり得る。
音声出力部は、スピーカやスピーカを駆動するパワーアンプユニットなどより構成され、必要な音声出力を行う。
記憶部59は例えばHDD(Hard Disk Drive)などより構成され、各種データやプログラムが記憶される。例えば図6で後述する機能を実現するためのプログラムが記憶部59に記憶される。また撮像装置250で得られた画像データや各種付加データも記憶部59に格納され、これにより画像データを用いた各種の画像表示のための処理が可能となる。
通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。情報処理装置1は通信部60によるネットワーク通信により各種プログラムをダウンロードしたり、画像データその他のデータを外部機器に転送できる。
また通信部60は、撮像装置250の通信部35との間で有線又は無線通信を行うものとしてもよい。これにより撮像装置250で撮像した画像データ等を取得できる。
なお通信部60は例えば撮像装置250の撮像中に逐次無線通信を行い、画像データ等を受信取得していってもよいし、撮像終了後にまとめて各時点のデータを受信取得してもよい。
入出力インタフェース55にはまた、必要に応じてメディアドライブ61が接続され、メモリカード62が装着され、メモリカード62に対して情報の書込、読出ができるようにされている。
例えばメモリカード62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされる。
また例えば撮像装置250で画像データ等が記録されたメモリカード62がメディアドライブ61に装着された場合、その画像データ等を読み出して記憶部59に格納できる。
なおもちろんメディアドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
実施の形態の情報処理装置1では、このようなハードウエア構成において、CPU51が図6に示す機能を備える。
即ちCPU51では、ソフトウエアにより実現される機能として、記憶再生制御部10、領域情報生成部11、領域選択部12、検出部13、画像生成部14、画像生成部15、表示制御部16が設けられる。
記憶再生制御部10は例えば記憶部59、メディアドライブ61等に対してデータの記憶や再生動作の制御を行う機能である。
ここでは特に撮像装置250で撮像された画像データ及び各種検出データを含む付加データを用いた処理のための機能として示している。
記憶再生制御部10は通信部60に対するデータの授受を行う場合もある。
領域情報生成部11は投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する処理を行う。画像とは撮像装置250で撮像した画像データである。
領域情報とは、画像データで撮像されている範囲を示す空間座標や関数の情報が考えられ、具体的には、各画像に対応する領域を示す枠Wや撮像ポイントPTを表示するための情報である。
上述のように情報処理装置1は、図1のように圃場210を撮像し、時系列的に並ぶように関連づけられた一連の画像データについて、マッピング処理を行いマッピング画像91を生成するが、そのためにマッピング処理の対象となる画像をユーザ操作に基づいて選択する処理を行う。
領域情報生成部11では、その選択に用いる領域選択インタフェース画像80の生成のため、各画像の領域(撮像した場所の範囲としての領域)を示す領域情報を生成する。特には、領域を示す枠(枠W)や撮像した位置(撮像ポイントPT)の情報を生成する。
枠Wの情報には、その輪郭形状で示す範囲の位置情報が含まれる。
撮像ポイントPTの情報は、例えば撮像時点で得られた位置情報である。
画像生成部14は、領域情報を用いて、ユーザが領域(つまり画像)を指定する操作を行うための、領域選択画像81を含む領域選択インタフェース画像80を生成する。
検出部13は、領域情報に基づいて領域選択画像81により提示される複数の領域(枠W)のうちでユーザ操作により指定された領域を検出する。
ユーザは領域選択画像81が表示部56に表示されている状態で、入力部57を用いた操作入力により各領域を指定する操作を行うことができる。検出部13はその指定操作を検出する。
領域選択部12は、検出部13が検出した領域(ユーザが指定した領域)に基づいて、複数の領域のうち少なくとも一部の領域を、マッピング画像91の生成に用いる領域として、その領域に対応する画像を選択する処理を行う。
画像生成部15は、領域選択部12が選択した画像を用いてマッピング処理を行い、マッピング画像91を生成する処理を行う。例えばNDVI画像としてのマッピング画像91を生成する。マッピングの具体的手法としては例えばスティッチやオルソマッピングがある。
表示制御部16は、画像生成部14が生成する領域選択画像81を含む領域選択インタフェース画像80や、画像生成部15が生成するマッピング画像91を含む植生観察画像90を表示部56において表示させる制御を行う。
具体的な処理例は後述するが、例えば図5の構成の情報処理装置1が、CPU51において図6の機能をハードウエア又はソフトウエアにより具備すること、特には少なくとも領域情報生成部11、領域選択部12、検出部13を備えることで、本開示の情報処理装置の実施の形態としての処理が実行される。
これら図6の機能をソフトウエアにより実現する場合、そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図5の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59としてのHDD等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
なお、実施の形態の情報処理装置1は、図5のようなハードウエア構成のコンピュータ装置(情報処理装置)150が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN(Local Area Network)等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
またこの図5の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、撮像装置、テレビジョン装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1としての機能を搭載することができる。
撮像装置250から取得した画像データと、画像データに対応づけられる各種の付加データの態様を説明する。付加データとは、上述のように各種の検出情報、撮像装置情報、画像情報などである。
例えば図7Aは、画像ファイルに付随するメタデータとして各種の付加データが対応づけられている例を示している。
1つの画像は1つの画像ファイルFL(ファイル名FL1,FL2,FL3・・・)とされる。
各画像ファイルFLは、識別子P(P001、P002、P003・・・)、画像データPCT(PCT1、PCT2、PCT3・・・)、メタデータMT(MT1、MT2、MT3・・・)が所定のファイルフォーマットで含まれている。
例えば画像ファイルFL1は、識別子P001、画像データPCT1、メタデータMT1を含む。識別子P001は例えば画像データPCT1に対して付された固有の識別子である。本実施の形態の場合、例えば、少なくとも1回の飛行で撮像される複数の画像は、それぞれ固有の識別子を有するものとする。画像データPCT1は、実際の撮像された画像データである。メタデータMT1が、画像データPCT1に対応する付加データであり、つまり画像データPCT1の撮像時の時刻、位置、高度、姿勢等のセンサデータや、撮像装置250の装置情報、撮像画像情報等である。
画像ファイルFL2についても同様に、識別子P002、画像データPCT2、メタデータMT2を含む。
このように画像データPCTについてメタデータMTによりセンサ部251の各センサによるセンサデータを含む付加データが対応づけられることで、情報処理装置1側では、画像データPCTに対する位置情報、高度情報、姿勢情報、時刻情報を認識できる。
図7Bは、画像データとセンサデータが別ファイルとされる例を示している。
例えば画像ファイルFL(ファイル名FL1,FL2,FL3・・・)は、識別子P、画像データPCT、メタデータMTを有する構成とされる。ここでメタデータMTは、例えば装置情報、撮像画像情報等を含み、センサデータを含まないものとする。
これとともにセンサデータファイルSFL(ファイル名SFL1,SFL2,SFL3・・・)が設けられ、識別子P、センサデータSD(SD1,SD2,SD3・・・)を有するファイル構造とされる。このセンサデータSDとして位置情報、高度情報、姿勢情報、時刻情報等が記述される。
このセンサデータファイルSFLは、例えば識別子Pが、対応する画像ファイルFLと同じものとされるか、もしくは対応するものとされることで、センサデータファイルSFLと画像ファイルFLが対応づけられるようにされる。これにより情報処理装置1側では、画像データPCTに対する位置情報、高度情報、姿勢情報、時刻情報を認識できる。
この例は、例えばセンサ部251の構成のセンサボックスが撮像装置250とは別体に設けられ、センサボックス内でファイル化までを行うような場合に採用できるデータ形態となる。
例えば図7A、図7Bに挙げた各画像ファイルFLの画像PCTについては、図2の領域選択画像81において、それぞれの撮像範囲(投影される領域)が枠Wによって表現されることになる。
そして図2のように枠Wで表示された各領域(即ち各画像)からは、ユーザの指定操作に基づいて、マッピング画像91に用いられる領域(画像)が選択される。
このため情報処理装置1においては、枠Wで示す各領域(画像)について、ユーザの指定操作に応じた選択フラグを管理する。これを図8で説明する。
図8Aは、各画像ファイルの識別子P(P001、P002、P003・・・)に対応して選択フラグFselが管理されている状態を示している。
例えば選択フラグFselについては、Fsel=0が「マッピングに使用する画像」を表し、Fsel=1が「マッピングに使用しない除外画像」を表すものとする。
例えばユーザが図2の領域選択インタフェース画像80上の操作により、枠Wや撮像ポイントPTで表される特定の領域に対する操作を行うことで、当該特定の領域(画像)をマッピング処理から除外したり、マッピング処理に加えたりすることができる。
例えば図8Aは初期状態として、撮像された全ての画像がマッピングに使用する画像であるとして選択フラグFsel=0とされている状態とする。
ここでユーザが識別子P001,P002の画像の領域をマッピングから除外する指定操作を行うと、図8Bのように、これらの選択フラグFsel=1とされる。
また図8Cは、識別子P001~P004の画像が選択フラグFsel=1とされ除外されている状態であるとし、これに対してユーザが、これらをマッピングに使用するものとする操作を行うと、図8Dのように選択フラグFsel=0とされる。
情報処理装置1は、各画像データについては、管理されている選択フラグFsel=0の画像データを用いてマッピング処理を行う。
このようにすることで、ユーザによる画像選択に応じたマッピング処理が実現される。
具体例を図9,図10で説明する。なお、以下では選択フラグFsel=0であってマッピングに使用するものとされている画像や領域を「使用画像」「使用領域」という場合がある。また選択フラグFsel=1であってマッピングに使用しないものとされている画像や領域を「除外画像」「除外領域」という場合がある。
いま、図2のような領域選択画像81の初期状態において、全ての領域が使用画像とされているとする。これに対して、ユーザがいくつかの領域を除外領域として指定したとする。領域選択画像81上では、図9Aのように、ユーザが指定した領域が、除外領域を示すものとして表示態様が変化される。例えば使用領域の場合は実線の不透明表示(枠W、撮像ポイントPT)。とされていたものが、半透明表示、薄い表示、破線表示などとされる(枠Wj、撮像ポイントPTj)。
またこのように指定された場合、選択フラグFselについては、図9Bのように、除外領域とされた領域に対応する画像についてFsel=1とされる。なお図9Bでは、全領域数(撮像された画像の数)が200と仮定し、それぞれに対応する識別子Pを識別子P001~P200として示している。
このような状態で、マッピング画像91の生成が指示されると、選択フラグFsel=0とされている画像のみが使用されて生成処理が実行される。
図9Aの例では、飛行体200の飛び始めの時点から撮像された時系列上の先頭からいくつかの画像が除外画像とされ、また飛行体200が着陸を開始した時点以降のいくつかの画像が除外画像とされたものとした。この場合に生成されるマッピング画像91は図10のようになる。即ち飛び始め期間や着陸期間の領域が含まれていない画像となる。なお、図10では、除外領域における撮像ポイントPTjを示す例としているが、このような撮像ポイントPTjの表示は行わないことも考えられる。
ところで、以上のような表示動作を行うための図6の機能構成は一例であり、例えば図11のような機能構成も考えられる。
これは、例えば領域選択インタフェース画像80を提示する情報処理装置1と、マッピング処理を行ってマッピング画像91を提示する情報処理装置(「情報処理装置1A」とする)とが別体の場合を想定して、情報処理装置1のCPU51と情報処理装置1AのCPU51Aの機能構成を示しているものである。
なお情報処理装置1Aもハードウエア構成については情報処理装置1と同様に例えば図5で説明したような構成を想定することができる。
図11のようにCPU51では、例えばソフトウエアにより実現される機能として、記憶再生制御部10、領域情報生成部11、領域選択部12、検出部13、画像生成部14、表示制御部16が設けられる。これらの機能は基本的には図6と同様である。
但し表示制御部16は表示制御を行う機能であるが、この場合は画像生成部14で生成される領域選択画像81を含む領域選択インタフェース画像80を表示させる機能を有することになる。
また記憶再生制御部10は、領域選択部12が選択した使用領域または除外領域の情報を受けとり、これらの使用領域または除外領域の情報や、画像データ等を、通信部60により情報処理装置1Aに送信したり、メディアドライブ61によりメモリカード等の記憶メディアに保存させる処理を行う。
情報処理装置1Aは、情報処理装置1から画像データ等の情報を、メモリカード62の受け渡しや、或いは有線又は無線通信、ネットワーク通信などにより取得するものとされる。その情報処理装置1AのCPU51Aでは、例えばソフトウエアにより実現される機能として、記憶再生制御部10、画像生成部14、表示制御部16が設けられる。
記憶再生制御部10は、CPU51の記憶再生制御部10と同様に、例えば記憶部59、メディアドライブ61等に対してデータの記憶や再生動作の制御を行ったり、通信部60に対するデータの授受を行う機能である。但し、このCPU51Aの場合は、記憶再生制御部10は、マッピング処理に使用する画像データを取得する処理を行う。即ち情報処理装置1において選択され、選択フラグFsel=0とされている画像を取得する。
もしくは全ての画像と、各画像についての選択フラグFselを取得するものとしてもよい。いずれにしても、CPU51Aの記憶再生制御部10は、マッピング処理に仕様する画像データを取得できるものとすればよい。
画像生成部15は、図6で説明した場合と同様にマッピング画像91の生成処理を行う機能を示している。
表示制御部16は表示制御を行う機能であるが、この場合は画像生成部15で生成されるマッピング画像91を含む植生観察画像90を表示させる機能を有することになる。
この図11の構成により、例えば複数のコンピュータ装置を情報処理装置1、1Aとし、情報処理装置1でマッピング画像91の生成に使用する使用画像を選択する処理を行うとともに、情報処理装置1Aでマッピング処理及びマッピング画像91の提示を行うようなシステムが実現できる。
なお機能構成の例は図6や図11に示したものに限られない。更に多様な構成例が考えられる。また情報処理装置1が飛行体200の制御機能、撮像装置250との通信機能、他のインタフェース機能などをさらに備える例も考えられる。
<3.第1の実施の形態>
[3-1:全体処理]
以下では、図6の構成例とされる場合を想定して、第1の実施の形態としての情報処理装置1のCPU51の処理例を説明していく。
図12の処理は、例えば1回の飛行で撮像装置250で撮像された多数の画像データ及び付加データが、記憶メディア又は通信を介して情報処理装置1に受け渡された状態において、情報処理装置1が領域選択インタフェース画像80を表示させる場合の処理となる。CPU1は図6の機能により、以下説明する処理を実行する。
図12のステップS101でCPU51は、撮像された各画像が投影される領域の領域情報を生成する。領域情報とは、例えば枠Wや撮像ポイントPTの情報である。
ステップS102でCPU51は、領域選択画像81の表示制御を行う。具体的にはCPU51は、領域選択画像81を含む領域選択インタフェース画像80(図2参照)を表示部56に表示させる制御を行う。
領域選択インタフェース画像80を表示させている期間は、CPU51はユーザの操作を監視する。
即ちCPU51は、ステップS103で領域選択又は領域選択画像の表示のための何らかの指示操作を監視する。例えば図2の例でいえば、マウスクリックやタッチ等による領域選択画像81に対する指定操作や、撮像ポイント表示ボタン82、投影面表示ボタン83、除外領域表示ボタン84、塗りつぶしボタン85、スタート/エンドボタン86、条件設定部87、条件選択実行ボタン88の操作を監視する。もちろんこれ以外の操作も想定されるが、少なくともここではマッピングボタン89によるマッピング画像91の生成指示以外の操作として、領域選択画像81に関する操作を監視するものとなる。
また後述するが、CPU51はある操作に応じてポップアップメニュー表示を行う場合もあるが、そのポップアップメニュー表示に対する操作も、ステップS103でいう指示操作として検出する。
またCPU51はステップS105で、マッピングボタン89によるマッピング画像91の生成指示の操作を監視する。
なお実際には、終了操作、設定操作、その他各種操作が可能とされるが、本開示の技術と直接関係のない操作に関しての説明は省略している。
ステップS103又はS105での操作検知がなされていない期間は、CPU51はステップS102の処理、即ち領域選択インタフェース画像80の表示制御を継続する。
ステップS103で指示操作を検出した場合、CPU51はステップS104に進み、領域選択画像81に関する操作に対応する処理(領域選択関連処理)を実行する。この領域選択関連処理には、領域選択画像81の表示に関する処理や、領域選択画像81に挙げられた領域のうちで使用領域を選択する処理が含まれる。具体的な処理例については後述する。
ステップS105でマッピング画像91の生成指示の操作を検出した場合、CPU51はステップS106に進み、その時点で使用領域として選択されている画像(選択画像)を用いて、マッピング画像91の生成処理を行う。
そしてCPU51はステップS107で、マッピング画像91の表示制御を行う。つまりCPU51は表示部56に植生観察画像90(図3参照)を表示させる処理を行う。これにより情報処理装置1のユーザは、撮像画像のうちで選択した画像を用いたマッピング画像81をみて植生状態を確認できることになる。
[3-2:領域選択関連処理]
図12のステップS104としての領域選択関連処理の例を図13,図14,図15に示す。
CPU51は、領域選択関連処理として、各種の指示操作に対応した処理を行う。なお図13,図14,図15は“D2”“D3”で示すように連続するもので、ステップS104としての一連の処理のフローチャートを3つの図に分けて示している。CPU51は、図12のステップS103で検知された指示操作の種別を、図13,図14,図15のステップS201,S202,S203,S204,S205,S206,S207,S208,S209で判定する。
撮像ポイント表示ボタン82の操作が行われることでステップS104に進んだ場合、CPU51は図13のステップS201からS211に進み、現在、領域選択画像81において撮像ポイントPTが表示中であるか否かを確認する。
例えば図2は領域選択画像81において撮像ポイントPTが表示されている。現在、このような表示状態であれば、CPU51はステップS212に進み、撮像ポイントPTを非表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、撮像ポイントPTが非表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で撮像ポイントPTが非表示となるように制御することになる。結果、領域選択画像81は図16のように撮像ポイントPTが非表示となる。これにより、ユーザは枠Wのみで各画像の領域を確認できる。例えば撮像ポイントPTが込み入っているような場合に便利な表示状態となる。
図13のステップS211で、現在、領域選択画像81において撮像ポイントPTが非表示であると判定された場合は、CPU51はステップS213に進み、撮像ポイントPTを表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。これは例えば図16のような表示状態のときに撮像ポイント表示ボタン82の操作が行われた場合の処理となる。
この場合、撮像ポイントPTが表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で撮像ポイントPTが表示状態となるように制御する。結果、領域選択画像81は例えば図2のように撮像ポイントPTが表示された状態に復帰する。
以上の制御が行われることで、ユーザは撮像ポイント表示ボタン82を用いて、領域選択画像81上で、撮像ポイントPTを非表示としたり、再び表示させたりすることができる。
投影面表示ボタン83の操作が行われることで図12のステップS104に進んだ場合、CPU51は図13のステップS202からS221に進み、現在、領域選択画像81において枠Wが表示中であるか否かを確認する。
例えば図2は領域選択画像81において各領域の枠Wが表示されている。現在、このような表示状態であれば、CPU51はステップS222に進み、枠Wを非表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、枠Wが非表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で枠Wが非表示となるように制御することになる。結果、領域選択画像81は図17のように枠Wが非表示となる。これにより、ユーザは例えば撮像ポイントPTのみで各画像の領域を確認できる。例えば撮像位置の遷移を確認したいような場合に便利な表示状態となる。
図13のステップS221で、現在、領域選択画像81において枠Wが非表示であると判定された場合は、CPU51はステップS223に進み、枠Wを表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。これは例えば図17のような表示状態のときに投影面表示ボタン83の操作が行われた場合の処理となる。
この場合、枠Wが表示設定とされたことで、直後の図12のステップS102で、CPU51は領域選択画像81上で枠Wが表示状態となるように制御する。結果、領域選択画像81は例えば図2のように枠Wが表示された状態に復帰する。
以上の制御が行われることで、ユーザは投影面表示ボタン83を用いて、領域選択画像81上で、各領域の輪郭を示す枠Wを非表示としたり、再び表示させたりすることができる。
除外領域表示ボタン84の操作が行われることで図12のステップS104に進んだ場合、CPU51は図13のステップS203からS231に進み、現在、領域選択画像81において除外領域が表示中であるか否かを確認する。
ユーザ操作により除外領域と指定された領域は、その枠Wや撮像ポイントPTが、例えば半透明表示、異なる色の表示、薄い表示、破線表示などとされ、使用領域と区別されるようにする。これは使用領域に対して除外領域を目立たない表示とする例である。
例えば図18には、一部の領域についての枠Wや撮像ポイントPTが、使用領域より目立たない状態とされたことを破線で示している(図では除外領域の枠を「Wj」、撮像ポイントを「PTj」として示している)。
例えば現在、図18のように除外領域の枠Wj或いは撮像ポイントPTjが表示されている表示状態であれば、CPU51はステップS232に進み、除外領域に関する枠Wjや撮像ポイントPTjを非表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で除外領域についての枠Wjや撮像ポイントPTjが非表示となるように制御することになる。結果、領域選択画像81は図19のように、図18で除外領域の枠Wjや撮像ポイントPTjとして示されていた部分が非表示となる。これにより、ユーザは、現在、使用領域として指定している領域のみで、目的とする範囲のマッピング画像81が生成できるか否かを容易に確認できるようになる。
図13のステップS231で、現在、領域選択画像81において除外領域については図19のように枠Wjや撮像ポイントPTjが非表示であると判定された場合は、CPU51はステップS233に進み、除外領域に関する枠Wjや撮像ポイントPTjを表示設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で除外領域の枠Wjや撮像ポイントPTjが表示状態となるように制御する。結果、領域選択画像81は例えば図19から図18のように変更される。
以上の制御が行われることで、ユーザは除外領域表示ボタン84を用いて、領域選択画像81上で、除外領域を非表示としたり表示させたりすることができる。
なお、通常状態では、使用領域より除外領域を目立たせるような表示を行うことも考えられる。特に除外するものとして指定した操作をわかりやすくするために、指定した領域枠Wjをハイライト表示するなどである。そのような表示を行う場合でも、除外領域表示ボタン84の操作に応じて、除外領域についての表示がオン/オフされるようにするとよい。
塗りつぶしボタン85の操作が行われることで図12のステップS104に進んだ場合、CPU51は図14のステップS204からS241に進み、現在、領域選択画像81において塗りつぶし表示中であるか否かを確認する。
塗りつぶし表示とは、例えば全ての枠Wで示され輪郭内を塗りつぶした状態とするもので、例えば図20に塗りつぶし表示状態を示す。
この塗りつぶされた範囲は、少なくとも1枚以上の画像により撮像されている範囲といえる。例えば図21に図20の塗りつぶし表示の一部を拡大して示しているが、塗りつぶされていない空領域AEが存在することがある。これは、どの枠Wにも入っていない領域である。即ち空領域AEは、どの画像によっても撮像されていない領域ということになる。
このような空領域AEを生じさせる空領域AEの周囲の画像は、撮像した範囲の重なりが十分でない画像として、マッピングによる合成に適していない画像となっている。
従ってユーザは、もし塗りつぶし表示をさせた際に、空領域AEが存在する場合は、圃場210において撮像できていなかった領域が存在することが容易に認識できることになる。するとユーザは、例えば飛行体200による飛行を再度行って撮像をやり直すべきか否かということなどを適切に判断できることにもなる。なお、空領域AEが存在する場合は、飛行体200の再飛行により当該空領域AEの再撮影を行うことをリコメンドする情報を提示することも可能である。
もちろん、空領域が、マッピング画像81の生成に不必要な領域であれば、飛行及び撮像をやり直すことなく、マッピング処理に進むといったことも、ユーザは的確に判断できるようになる。
図14のステップS241の時点で、例えば現在、図2のような通常の表示状態であれば、CPU51はステップS243に進み、塗りつぶしオン設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で塗りつぶし表示が行われるように制御することになる。これにより領域選択画像81は図20のような塗りつぶし表示とされる。
図14のステップS241で、現在、領域選択画像81において塗りつぶし表示中であると判定された場合は、CPU51はステップS242に進み、塗りつぶしオフ設定とする。そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は領域選択画像81上で塗りつぶし表示が終了されるように制御することになる。これにより領域選択画像81は図20のような塗りつぶし表示から例えば図2のような通常の表示に復帰される。
以上の制御が行われることで、ユーザは塗りつぶしボタン85を用いて領域選択画像81上で塗りつぶし表示をオン/オフできることとなる。
なお、塗りつぶしは、全ての画像についての枠Wについて行う他、その時点で使用領域として選択されている全ての枠Wについて行うようにしてもよいし、ユーザが特定の範囲を指定して、その範囲内の枠Wについて行うようにしてもよい。
いずれにしても塗りつぶし表示によれば、ユーザは、撮像画像がカバーしている範囲を容易に確認できる。
領域指定操作が行われることで図12のステップS104に進んだ場合、CPU51は図14のステップS205からS251に進み、指定された領域についての撮像ポイントPTと枠Wをハイライト表示設定とする。
ここでの領域指定操作とは、ユーザが、マウスクリック操作やタッチ操作、或いはキーボード操作などにより、領域選択画像81上で1つの領域を指定する操作のことをいう。例えば撮像ポイントPTをクリックする、或いは枠W内をクリックするなどの操作となる。
これらのマウスクリックやタッチ操作の場合、例えばタッチ操作等で指定された座標点と領域の範囲(空間座標)を比較し、座標点が範囲に含まれる領域が指定されたとして検出する。
なお、キー操作で順番に領域にカーソルが位置する状態とし、指定操作によりそのときのカーソルが位置する領域を指定されたものとすることも考えられる。
そしてCPU51はステップS252で、当該指定された領域が既に除外領域とされているか否かを確認する。各領域について除外領域とされているか否かの検出は、上述の選択フラグFselのステータスを確認すればよい。
指定された領域が除外領域とされている場合は、CPU51はステップS253に進み、追加用ポップアップ表示設定を行う。
一方、指定された領域が使用領域とされている場合は、CPU51はステップS254に進み、除外用ポップアップ表示設定を行う。
そしていずれの場合も“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は指定された領域のハイライト表示を実行させると共に、その領域についての操作メニューを示したポップアップ表示を実行させる。
使用領域とされている領域が指定される操作であってステップS254を経た場合は、CPU51は図22のような除外用ポップアップ表示を実行させる。
例えばユーザが指定した領域(枠Wや撮像ポイントPT)を際立たせる表示とした上で、その領域についてのポップアップメニューPMとして、
・この領域を除外
・この領域以前を除外
・この領域以降を除外
の項目のいずれかを指定できるようにする。
CPU51はこのようなポップアップメニューPMにより1つ又は複数の領域を除外領域として指定する手段をユーザに提供することになる。
なおポップアップメニューPMにはポップアップメニューPMを閉じる“×”ボタンも設けられている。以降説明するポップアップメニューPMも同様である。
また除外領域とされている領域が指定される操作であってステップS253を経た場合は、CPU51は図22のような追加用ポップアップ表示を実行させる。
例えばユーザが指定した除外領域(枠Wjや撮像ポイントPTj)を際立たせる表示とした上で、その領域についてのポップアップメニューPMとして、
・この領域を追加
・この領域以前を追加
・この領域以降を追加
の項目のいずれかを指定できるようにする。
CPU51はこのようなポップアップメニューPMにより1つ又は複数の領域を使用領域として指定する手段をユーザに提供する。
以上の制御が行われることで、ユーザは、ある1つの領域を指定し、その領域を起点として各種の指示を行うことができる。ポップアップメニューPMに対する操作については後述する。
範囲指定操作が行われることで図12のステップS104に進んだ場合、CPU51は図14のステップS206からS261に進み、指定された範囲に含まれる領域についての撮像ポイントPTと枠Wをハイライト表示設定とする。
ここでの範囲指定操作とは、ユーザが、マウス操作やタッチ操作などにより、領域選択画像81上で複数の領域を含む範囲を指定する操作のことをいう。
範囲指定に該当する領域は、指定された範囲に相当する座標範囲と、各領域の撮像ポイントPTの座標値を比較し、撮像ポイントPTの座標が指定範囲に含まれているか否かにより判定すればよい。
そしてCPU51はステップS262で、当該指定された範囲内の領域が既に除外領域とされているか否かを確認する。
なお、指定範囲内にある複数の領域の一部が除外領域で一部が使用領域であることも当然有り得る。そこで、そのような場合は、除外領域と使用領域のいずれが多数であるかで判断したり、範囲指定の起点又は終点に最も近い領域が除外領域と使用領域のいずれであるかにより判断しても良い。
範囲指定に該当する領域が除外領域とされている場合は、CPU51はステップS263に進み、追加用ポップアップ表示設定を行う。
一方、範囲指定に該当する領域が使用領域とされている場合は、CPU51はステップS264に進み、除外用ポップアップ表示設定を行う。
そしていずれの場合も“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終える。
この場合、直後の図12のステップS102で、CPU51は指定された範囲の領域のハイライト表示を実行させると共に、その領域についての操作メニューを示したポップアップ表示を実行させる。
使用領域についての範囲指定が行われてステップS264を経た場合は、CPU51は図24のような除外用ポップアップ表示を実行させる。
例えばユーザが指定した範囲DAを際立たせる表示とした上で、ポップアップメニューPMとして、
・この範囲の領域を除外
を指示できるようにする。
また除外領域についての範囲指定が行われてステップS263を経た場合は、CPU51は追加用ポップアップ表示を実行させる。図示しないが、例えばユーザが指定した範囲を際立たせる表示とした上で、ポップアップメニューPMとして、
・この範囲の領域を追加
を指示できるようにする。
CPU51はこのようなポップアップメニューPMにより範囲指定により1つ又は複数の領域を除外領域又は使用領域として指定する手段をユーザに提供することになる。
なお、範囲指定の場合は、指定範囲に含まれる領域が除外領域か使用領域かの別によらずに、範囲指定用のポップアップメニューPMを表示させるようにしてもよい。
例えば図25に示すように、指定範囲DAについてのポップアップメニューPMとして、
・この範囲の領域を除外
・この範囲の領域を追加
のいずれかを指示できるようにする。
このようにすることでも、ユーザに範囲指定による一括しての手段を提供できることになる。
この場合において、指定範囲に含まれる領域が全て除外領域であった場合は、「この範囲の領域を除外」の項目を非アクティブ(選択不能)とし、また指定範囲に含まれる領域が全て使用領域であった場合は、「この範囲の領域を追加」の項目を非アクティブとすることも考えられる。
以上の制御が行われることで、ユーザは、ある範囲を指定し、その範囲に属する領域に関する各種の指示を行うことができる。
スタート/エンドボタン86の操作により開始されるスタート/エンド操作中における操作により図12のステップS104に進んだ場合は、CPU51は図15のステップS207からS271に進み、今回検出した操作がスタート/エンドボタン86の操作であるか否かを確認する。
例えばユーザは、スタート/エンドボタン86を操作した後に、領域選択画像81上でスタート(始点)となる領域を指定し、次いでエンド(終点)となる領域を指定する操作を行う。このため、領域を指定するまでのユーザの操作としてはスタート/エンドボタン86の操作、スタート指定操作、エンド指定操作の3段階で行われることになる。
最初にスタート/エンドボタン86が操作された段階では、CPU51はステップS271からS272に進み、スタート/エンド操作設定を行う。これはユーザにスタート/エンド操作中であることを提示するための設定である。
そして“D1”として示すように図15の末尾に進み、領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はスタート/エンド操作中の提示と共に、スタート指定をユーザに求めるような表示制御を行う。例えば領域選択画像81上で「始点を指定してください」等の表示を実行させる。
これに応じてユーザがスタート指定を行う。例えば任意の領域を指定する操作を行う。この場合CPU51はステップS207→S271→S273と進み、スタート指定操作であるためステップS274に進む。この場合CPU51はスタート領域のハイライト設定を行う。そして“D1”として示すとおり領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はスタート指定された領域をハイライト表示させる制御をおこなう。例えば図26に示すように、ユーザが指定した領域の枠Wが強調されるとともにスタート表示STDによりスタート領域として明示される。またエンド指定をユーザに求めるため、図示のように「終点を指定してください」のようなメッセージ表示MSを実行させる。
これに応じてユーザがエンド指定を行う。例えば任意の領域を指定する操作を行う。この場合CPU51はステップS207→S271→S273と進み、エンド指定操作であるためステップS275に進む。この場合CPU51はスタート領域からエンド領域までのハイライト設定及び始点、終点の明示の設定を行う。さらにステップS275では、スタート/エンド指定用のポップアップ表示設定を行う。
そして“D1”として示すとおり領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はハイライト設定、明示設定、ポップアップ設定に従った表示制御を行う。
例えば図27に示すように、ユーザが指定した始点から終点までの領域の枠Wや撮像ポイントPTが強調されるようにする。またスタート表示STDとエンド表示EDによりスタート領域、エンド領域が明示される。またスタート/エンド指定用のポップアップ表示が行われる。
例えば図示するようにスタート/エンド指定用のポップアップメニューPMとして、
・この範囲の領域を除外
・この範囲の領域を追加
のいずれかを指示できるようにする。
このようにすることで、ユーザに任意の始点/終点の範囲で一括しての除外領域としたり使用領域としたりする手段を提供できることになる。
なお、この場合において、スタート/エンド指定の範囲に含まれる領域が全て除外領域であった場合は、「この範囲の領域を除外」の項目を非アクティブとし、またスタート/エンド指定の範囲に含まれる領域が全て使用領域であった場合は、「この範囲の領域を追加」の項目を非アクティブとすることも考えられる。
また、スタート/エンド指定の範囲に含まれる領域の全部、もしくは多数の領域、もしくはスタート領域、エンド領域などの代表的な領域が除外領域であった場合は、「この範囲の領域を追加」の項目のみが表示されるようにすることも考えられる。
同様に、スタート/エンド指定の範囲に含まれる領域の全部、もしくは多数の領域、もしくはスタート領域、エンド領域などの代表的な領域が使用領域であった場合は、「この範囲の領域を除外」の項目のみが表示されるようにすることも考えられる。
以上の制御が行われることで、ユーザは、始点、終点となる領域を指定し、その範囲に属する領域に関する各種の指示を行うことができる。
条件選択実行ボタン88の操作により図12のステップS104に進んだ場合は、CPU51は図15のステップS208からS281に進み、条件に該当する領域を判定する。
条件は、条件設定部87の操作により設定された条件である。
条件設定部87に関する操作に対するCPU51の処理についてはフローチャート上での図示及び説明は省略するが、例えばユーザは、高度、高度変化、傾き、傾き変化、間引き条件のうちの1又は複数の任意の項目について、プルダウン選択或いは直接入力などにより、条件を指定できる。そして望みの条件を入力した時点で条件選択実行ボタン88を操作することになる。
従って、ステップS281でCPU51が判定するための条件とは、当該時点でユーザが条件選択部87の操作により指定していた条件となる。
CPU51は、各画像について対応づけられているセンスデータ等の付加情報を参照して、条件に合致する画像(領域)を判定する。
ステップS282でCPU51は、条件に該当する領域についてハイライト設定を行う。さらにステップS283でCPU51は、条件指定用のポップアップ設定を行う。
そして“D1”として示すとおり領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51は表示部56において、条件に該当する領域についてのハイライト表示やポップアップ表示が行われるように表示制御を行う。
図28は、間引き条件が設定された場合の表示例である。例えば偶数番目の領域という条件が指定された場合、偶数番目の領域の枠Wや撮像ポイントPTが強調表示される。そしてその条件合致領域に関する操作として、ポップアップメニューPMが表示され、例えば、
・該当の領域を除外
・該当の領域を追加
が指示可能とされる。
図29は、例えば高度条件などが設定された場合の表示例であり、条件に該当する領域の枠Wや撮像ポイントPTが強調表示される。そしてその条件合致領域に関する操作として、同様にポップアップメニューPMが表示される。
なお、この場合において、条件に該当する領域が全て除外領域であった場合は、「この範囲の領域を除外」の項目を非アクティブとし、また条件に該当する領域が全て使用領域であった場合は、「この範囲の領域を追加」の項目を非アクティブとすることも考えられる。図29は、「この範囲の領域を追加」の項目を非アクティブとした状態を示している。
また、条件に該当する領域の全部、もしくは多数の領域、もしくは代表的な領域が除外領域であった場合は、「この範囲の領域を追加」の項目のみが表示されるようにし、条件に該当する領域の全部、もしくは多数の領域、もしくは代表的な領域が使用領域であった場合は、「この範囲の領域を除外」の項目のみが表示されるようにすることも考えられる。
以上の制御が行われることで、ユーザは、任意の条件を指定し、その条件に合致する領域に関する各種の指示を行うことができる。
なお、ユーザが指定できる条件、つまりステップS281でCPU51は条件該当領域を判定する条件は、1つの条件でも複数の条件の組み合わせでもよい。また、複数の場合はアンド条件、オア条件が指定できたり、ノット条件が指定できるようにしてもよい。
例えば「高度30m以上」AND「傾き10°未満」という指定や、「高度変化小」or「偶数番目」という指定なども可能とすることが考えられる。
以上では、ポップアップメニューPMが表示される場合について述べたが、これによりポップアップメニューPMに対する操作が行われる場合も生ずる。
ポップアップメニューPMに対する操作が検知されることで図12のステップS104に進んだ場合、CPU51は図15のステップS209からS291に進み、その操作がポップアップメニューPMを閉じる操作(例えば“×”ボタンの操作)であった場合は、ステップS291からS295に進んで、ポップアップメニューPMの非表示設定を行う。
この場合、“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させる。なお、この場合、ポップアップメニューPMを表示することになった操作についてもキャンセルとして、指定領域のハイライト表示を終了させるようにしてもよい。
ここまで説明してきたポップアップメニューPMにおいて、除外操作の項目と追加操作の項目が指定される可能性がある。ステップS292ではCPU51は、除外操作の項目の指定であるか、追加操作の項目の指定であるかにより処理を分岐する。
除外操作の項目が指定された場合は、CPU51はステップS209→S291→S292→S293→S294と進み、当該指定された項目の対象の領域について除外設定を行う。
例えば図22のポップアップメニューPMにおいて「この領域を除外」の項目が指定された場合、CPU51は、当該指定された領域について選択フラグFsel=1とする。
また「この領域以前を除外」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の先頭となる領域までの全ての領域について選択フラグFsel=1とする。
また「この領域以降を除外」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の最後となる領域までの全ての領域について選択フラグFsel=1とする。
そして“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させるとともに、除外設定を反映した表示を実行させる制御を行う。
例えば操作前の領域選択画像81が図30の状態であったとする。
ここで矢印AT1で示す領域の指定操作が行われ、図22のように指定領域のハイライト及びポップアップメニューPMの表示が行われたとする。
このときに「この領域を除外」の項目が指定された場合、表示される領域選択画像81は図31のように、当該領域が除外領域とされたことを示すように枠Wjや撮像ポイントPTjによる表示となる。もしくは表示自体が消去される。
また図30において矢印AT2で示す領域の指定操作が行われ、図22のポップアップメニューPMが表示された状態で「この領域以前を除外」の項目が指定された場合、図32のように、当該指定された領域から時系列上の先頭となる領域までの全ての領域が除外領域であることを示す枠Wjや撮像ポイントPTjによる表示状態(もしくは消去状態)になる。
また、図30において矢印AT3で示す領域が指定されてポップアップメニューPMが表示され、「この領域以降を除外」の項目が指定された場合、図33のように、当該指定された領域から時系列上の最後の領域までの全ての領域が除外領域であることを示す枠Wjや撮像ポイントPTjによる表示状態(もしくは消去状態)になる。
以上のような選択フラグFselの設定や除外領域を提示するような表示変更は図24、図25、図27、図28、図29における除外操作の項目が指定された場合も同様に、該当の領域に関して行われる。
ポップアップメニューPMの操作として追加操作の項目が指定された場合は、CPU51は図15のステップS209→S291→S292→S293と進み、当該指定された項目の対象の領域について追加設定を行う。
例えば図23のポップアップメニューPMにおいて「この領域を追加」の項目が指定された場合、CPU51は、当該指定された領域について選択フラグFsel=0とする。
また「この領域以前を追加」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の先頭となる領域までの全ての領域について選択フラグFsel=0とする。
また「この領域以降を追加」の項目が指定された場合、CPU51は、当該指定された領域から時系列上の最後となる領域までの全ての領域について選択フラグFsel=0とする。
そして“D1”により示すように領域選択関連処理(S104)を終え、直後の図12のステップS102で、CPU51はポップアップ表示を終了させるとともに、追加設定を反映した表示を実行させる制御を行う。
この場合は、それまで半透明等、目立たない表示とされてきた枠Wjや撮像ポイントPTj(もしくは消去されていた状態)を、通常の枠Wや撮像ポイントPTにより表示するようにする。
このような選択フラグFselの設定や使用領域であることを提示するような表示変更は図25、図27、図28における追加操作の項目が指定された場合も同様に、該当の領域に関して行われる。
ポップアップメニューPMに対する操作に関して以上の制御が行われることで、ユーザは、ポップアップメニューPMに挙げられた項目の種別として提供される操作を実行できるようになる。
ここまで図13,図14,図15により図12のステップS104の領域選択関連処理の例を説明してきたが、これらは一例であり、領域選択画像81の表示変更や、マッピング処理に使用する領域の選択に関する処理としては、多様に考えられる。
但し、図13,図14,図15の処理において、撮像ポイントPTの表示オン/オフ、枠Wの表示のオン/オフ、除外領域の表示のオン/オフ、塗りつぶし表示のオン/オフが行われることで、ユーザは撮像された画像の範囲、各画像のオーバーラップ具合、使用領域でカバーできている範囲などを容易に確認でき、ユーザの作業進行の判断のための有意な情報となる。
また領域指定、範囲指定、スタート/エンド指定、条件指定、ポップアップメニューPMによる操作を使い分けることで、ユーザは効率的にマッピング処理に有用な画像(領域)を選択することができる。これにより少ない処理負担で高品質なマッピング処理を実行するための適切な準備が可能となるとともに、準備処理自体も効率良く進めることができる。
なお以上の例では、ユーザが操作により指定した領域を除外領域(除外画像)としたり、使用領域(使用画像)とする例を述べたが、ユーザが操作により指定した領域以外を除外領域(除外画像)としたり、使用領域(使用画像)とする例も考えられる。
<4.第2の実施の形態>
第2の実施の形態の処理例を説明する。これは第1の実施の形態の図12の処理に代えて採用できる処理例である。なお図12と同じ処理については同じステップ番号を付して詳述を避ける。
図34のステップS101でCPU51は、撮像された各画像が投影される領域の領域情報を生成する。そしてステップS110でCPU51は、タイムアウト判定のためタイマ計数を開始する。
ステップS102でCPU51は、領域選択画像81を含む領域選択インタフェース画像80(図2参照)を表示部56に表示させる制御を行う。
領域選択インタフェース画像80を表示させている期間は、CPU51はステップS103でユーザの操作を監視する。
またステップS112でCPU51はタイムアウトとなったか否かを判定する。即ちタイマ計数が所定の値に達したか否かを確認する。
ステップS103で指示操作が検出された場合は、CPU51はステップS104で領域選択関連処理(例えば図13,図14,図15の処理)を行う。
そしてステップS111では、タイムアウト判定のためのタイマをリセットしたうえで、タイマ計数をリスタートさせる。
つまり、何らかの指示操作が行われることで、タイマがリセットされることになる。
また、領域選択インタフェース画像80が表示されたまま、指示操作が行われずに所定時間を経過すると、ステップS112でタイムアウトと判定される。
タイムアウトとなったら、CPU51はステップS106に進み、その時点で使用領域として選択されている画像(選択画像)を用いて、マッピング画像91の生成処理を行う。
そしてCPU51はステップS107で、マッピング画像91の表示制御を行う。つまりCPU51は表示部56に植生観察画像90(図3参照)を表示させる処理を行う。
つまり以上の図34の処理例は、マッピング処理に移るためのユーザ操作は特に必要とせず、タイムアウトにより自動的にマッピング処理が開始されるようにした例である。
マッピング処理は、比較的時間がかかる処理であるため、ユーザによる操作が行われていない場合に、マッピング処理を開始してしまうようにすることは、ユーザにとっては時間を有効に使用してマッピングが行われることにもなる。
<5.第3の実施の形態>
第3の実施の形態を説明する。
これまでの説明では、ユーザがマッピング処理のための一連の画像に対応する領域を示す枠W等を見ながら、マッピング処理に使用する適切な画像を選択できるようにしたものであるが、上述してきたユーザ操作をサポートする機能を設けることも考えられる。
例えば図6の領域情報生成部11がユーザに対するリコメンデーションを行うための情報を生成する機能を備えるようにする。
この場合、領域情報生成部11が、ユーザに対する操作支援のために領域を示す領域情報を生成するようにする。例えばリコメンデーションの対象の領域を示す領域情報を生成する。
例えば領域情報生成部11は、各領域が所定の条件を満たすかどうかを判定し、所定の条件を満たす領域を「不要な領域」候補として選択し、画像生成部14に指示して表示させる。
ここでいう「不要」の基準としては、
・隣接する矩形(枠W)の重なりが所定以上となっている領域
・矩形(枠W)のサイズ/歪みが所定以上となっている領域
・矩形パターンの連続性が所定の範囲外となっている領域
・過去のユーザ指定領域に基づき学習された領域
・データ許容枠に基づき指定した領域
などが考えられる。なお、領域情報生成部11は各画像に対応づけられた付加データ(位置情報、高度情報等)に基づき、「不要な領域」候補を選択することも可能である。
隣接する矩形(枠W)の重なりが所定以上となっている領域同士(例えば画像範囲が殆ど同じような画像同士)は、画像の重複面積が多くマッピング処理の効率が低くなるとともに一方は不要とも考えられる。そこで、その不要の領域とされた枠Wをユーザに対してマッピング処理の使用から除外する領域の候補として提示するようにする。
矩形(枠W)のサイズ/歪みが所定以上となっている領域は、マッピング処理(例えばスティッチ)の際に補正演算の処理負荷が大きくなったり、周辺画像との整合がとりにくいものとなりやすい。そこで、そのような領域を除外しても問題ない場合は、不要な領域とし、その枠Wをマッピング処理の使用から除外する領域の候補としてユーザに提示するようにしてもよい。
なお、領域情報生成部11はさらに所定の条件を満たす領域の周辺に代替となる画像が存在するかどうか(当該領域を含む画像)の判定を行い、その結果代替となる画像が存在する場合にその領域を「不要な領域」候補として選択することも可能である。
矩形パターンの連続性が所定の範囲外となっている領域は、適切にマッピング処理ができなくなる可能性がある。そこでこれを不要な領域と判定し、その枠Wをマッピング処理の使用から除外する領域の候補としてユーザに提示するようにしてもよい。
具体的には、撮像位置がフライトプランで指定されている飛行ルート上から外れた距離が所定の範囲外である場合に、その撮像位置で得られた画像の領域を「不要な領域」候補として選択することも可能である。
過去のユーザ指定領域に基づき学習された領域としては、例えばユーザが何度も除外領域として指定するような領域である。例えばユーザが毎回、図32で例示したように一連の画像の先頭の領域を除外しているような場合、予めそれを除外候補として提示する。
データ許容枠に基づき指定した領域としては、例えばマッピング処理のための容量負荷、演算負荷に応じて、例えば使用する画像の数の上限を設定し、その上限以内となるように、所要数の領域を「不要な領域」候補として提示する。
例えば、時系列的に連続した複数の画像から規則的に画像(領域)を間引いて、他を「不要な領域」候補として選択することも可能である。データ許容枠に基づいて間引き率を変更することも可能である。
これらのように マッピング処理の使用から除外する領域の候補を提示した場合は、検出部13が検出するユーザの許可操作に応じて、領域選択部12がそれらの領域をマッピング処理の使用から除外することとすればよい。
或いは、ユーザの操作にかかわらず、領域選択部12が自動的に除外してしまうことも考えられる。
なお、不要な領域として抽出した候補の表示については、枠Wや撮像ポイントPTの表示の色、或いは枠W内の色を変化させたり、強調表示させたりすることが考えられる。
このような操作支援の処理を行うことで、マッピング処理のデータ量の削減に有用であり、またユーザへの分かりやすさも向上させることができる。
なおリコメンデーションとしては、例えばユーザが除外しようとした領域について、除外によってマッピング処理に影響がある場合、例えば図21で述べたような空領域AEが生じてしまうような場合には、その除外による影響を提示し、除外しないことを薦めるようにすることも考えられる。
以上の操作支援に加えて、或いは以上の操作支援とは別の処理として、領域選択部12が情報処理装置1のデータ許容量に基づいてマッピングに使用する領域の量を選択できるようにすることが考えられる。
例えば検出部13によってユーザが指示する領域を検出した場合に、領域選択部12は、検出部13が検出した領域に基づいて、複数の領域のうち少なくとも一部の領域を、マッピング処理の対象となる領域として選択するようにする。
即ちユーザが指定する全ての領域を無条件にマッピング処理の対象とするのではなく、適切なデータ量となるように、領域選択部12が一部をマッピング処理の対象となるようにする。
このようにすることで、データ量の削減効果が得られ、システム負荷も軽減させることができる。
また上記の「不要な領域」の判断を組み合わせ、ユーザが指定する領域の中で、不要な領域を判断して、それらをマッピング処理への使用から除外することで、少ない容量で適切なマッピング画像を生成できることにもなる。
<6.まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の情報処理装置1は、投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部11と、領域情報に基づいて提示される複数の領域のうちでユーザ操作により指定された領域を検出する検出部13と、検出部13が検出した領域に基づいて、複数の領域のうち少なくとも一部の領域を選択する領域選択部12とを備える。
即ち実施の形態では、例えば移動しながら連続して撮像されることで時系列的に並ぶ複数の画像をそれぞれ、撮像位置に応じて投影面である例えば平面上に投影する。このような場合に、撮像された各画像について、投影面で投影される領域を示す領域情報を生成し、領域選択画像81において領域情報に基づいて示される領域のそれぞれに対して、ユーザが指定操作を行うことを可能とする。そして、その操作に応じて指定操作の対象の一部の領域を次処理で使用する領域もしくは使用しない領域として選択する。
特に実施の形態では、次処理として植生を示すマッピング画像の生成を行うわけであるが、そのマッピング画像生成に用いる領域を選択することになる。つまり、各画像が投影される複数の領域をユーザに提示し、複数の領域の中からユーザが指示する領域に基づいて、マッピングに使用する領域を選択する。
例えばユーザ操作で指示された領域をマッピングに使用する領域から除外する。あるいはユーザ操作で指示された領域をマッピングに使用する領域とするようにしてもよい。
いずれにしても、これにより、撮像した画像としての全ての領域(画像)を用いてマッピングするのでなく、選択された一部の領域の画像を用いてマッピングすることができ、マッピング画像生成の処理量を低減できる。
特に多くの撮像画像を用いた画像マッピング処理は時間のかかる処理であり、その処理量を低減することは、マッピング画像提示までの時間短縮、システム動作の効率化に有用となる。
さらには、マッピング処理前での領域選択画像81の表示による各画像の投影位置の確認により、ユーザは、マッピング画像生成に進んで良いかの否かの判断(図12のステップS105で検出するマッピング画像生成開始指示の操作の適否の判断)もできるようになり、例えば飛行体200による撮像のやり直しなども的確に判断できるようになる。またマッピング処理後の失敗の発生を防止することもできる。
また、これらによってマッピング処理や撮像のリトライの手間・時間的ロスの削減ができ、ひいては情報処理装置1の消費電力削減や作業時間の削減、データ容量削減などの効果も得られる。これらは飛行体200の搭載部品の削減、軽量化、コストダウンなどにもつながる。
また実施の形態では、マッピング処理の対象となる複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である。例えば複数の画像とは、撮像装置の場所を移動させながら連続して行われた一連の撮影により得られた画像などとして、時系列的に並ぶように関連づけられた画像である。実施の形態に即していえば飛行体200に搭載された撮像装置250により、飛行開始から飛行終了までの間において撮像されることで、撮像装置の場所を移動させながら連続して行われた一連の撮影により得られた画像である。
実施の形態で説明した技術は、このような時系列的に並ぶように関連づけられた複数の画像についてマッピング処理を行う際に、その中でマッピングによる合成に適さない画像を除く作業をユーザの意思に基づいて効率化できるものである。
但し、複数の画像は、マッピング対象の画像とされる、関連づけられた一連の画像であって、時系列的に並ぶものであれば、上述のリモートセンシングによる画像以外の画像に対しても適用できる。
実施の形態では、情報処理装置1が、複数の画像のうち領域選択部12が選択した領域に対応する画像を用いてマッピング処理を行い、マッピング画像を生成する画像生成部15を備えた例を示した(図6参照)。
これにより、領域選択からマッピング画像生成までの一連の処理が情報処理装置1(CPU51)で行われるようになる。これはユーザによる領域選択画像に対する操作と、当該操作に続いてのマッピング画像の閲覧を一連の処理として実現できる。その場合においてマッピング画像生成の処理が効率化されることで、マッピング画像生成や領域選択操作なども繰り返し実行が容易となる。
特に実施の形態では、マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理であるとした。これにより領域選択部12の機能により選択された画像を用いて、異なる時刻で撮像した範囲の合成画像を得ることができる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図14のS205,S251~S254、図15のS209,S291~S294参照)。
これにより、マッピング処理のための領域選択として、指定したい領域が点在している場合でも、ユーザは容易に指定操作を行うことができる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって個々に指定された領域を、マッピング処理に使用する領域として選択する処理を行う例を述べた(図14のS253、図15のS293参照)。
即ちユーザが領域情報によって示される領域の1つ1つを直接指定操作できる場合に、指定された領域を、マッピング処理に使用する画像に対応する領域として選択できるようにする。
これにより、マッピング処理に用いたい領域(領域に対応する画像)が点在しているときに、ユーザは容易にそれらを指定できるようになる。
なおユーザが直接指定した領域以外を、マッピング処理に使用する画像に対応する領域として選択できるようにすることも考えられる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって個々に指定された領域を、マッピング処理の使用から除外する領域として選択する処理を行う例を述べた(図14のS254、図15のS294参照)。
即ちユーザが領域情報によって示される領域の1つ1つを直接指定操作できる場合に、指定された領域を、マッピング処理には使用しない画像に対応する領域として選択できるようにする。
これにより、マッピング処理に不要な領域(領域に対応する画像)や、マッピングに適していない画像(撮像した範囲の重なりが十分でない画像や圃場が正しくとらえられていない画像など)の領域が点在しているときに、ユーザは容易にそれらを指定できるようになる。
なおユーザが直接指定した領域以外を、マッピング処理には使用しない画像に対応する領域として選択できるようにすることも考えられる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図13、図14、図15参照)。
これにより、マッピング処理のための領域選択として、指定したい領域が連続している場合でも、ユーザは容易に指定操作を行うことができる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図15のS207、S271~S276、S209、S291~S294参照)。
即ちユーザ操作としては、スタート/エンド指定の操作をすることで、そのスタート領域からエンド領域に至るまでの複数の領域を指定できるようにする。
これにより、マッピング処理に不要な領域(領域に対応する画像)が連続しているときに、ユーザは容易にそれらを指定できるようになる。或いはマッピング処理に使用したい領域(領域に対応する画像)が連続している場合でも、ユーザは容易に指定操作を行うことができる。
なおユーザがまとめて指定した領域以外を、マッピング処理には使用しない画像に対応する領域として選択できるようにしたり、或いはマッピング処理に使用する画像に対応する領域として選択できるようにすることも考えられる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって指定された指定終了領域に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図15のS205、S251~S254、S209、S291~S294参照)。
例えば、ユーザ操作としては、指定した領域について「この領域以前を除外」「この領域以前を追加」を指示できる。
これにより、マッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)が、全領域の先頭から連続しているときに、ユーザは容易にそれらを指定できるようになる。先頭の領域とは、例えば飛行体200に搭載された撮像装置250によって連続的に撮像が行われ一連の画像として関連づけられて時系列的に並べられた複数の画像のうちで最初に撮影された画像に対応する領域である。
具体的には、例えば飛行体200が飛行を開始し、撮像装置250による撮像を開始してから所定枚数目までの画像が不安定な画像(例えば撮像方向がずれているとか、高度が足りないとか、圃場210を適切に撮像できていない画像等)の場合、それらの合成に適していない画像をまとめてマッピング処理から除外したいときに非常に便利な操作を提供できる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザ操作によって指定された指定開始領域に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図14のS205、S251~S254、図15のS209、S291~S294参照)。
例えば、ユーザ操作としては、指定した領域について「この領域以降を除外」「この領域以降を追加」を指示できる。
これにより、マッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)が、全ての領域のうちの終端側で連続しているときに、ユーザは容易にそれら、つまり指定開始領域から最後の領域に至るまでを指定できるようになる。最後の領域とは、例えば飛行体200に搭載された撮像装置250によって連続的に撮像が行われ、一連の画像として関連づけられて時系列的に並べられた複数の画像のうちで最後に撮像された画像に対応する領域である。
具体的には、例えば飛行体200が飛行を一定高度の飛行を終了し着地に至るまでの期間に撮像された画像が合成に適していないため不要とされる場合、それらをまとめてマッピング処理から除外したいときに非常に便利な操作を提供できる。
実施の形態では、領域選択部12は、検出部13が検出した、ユーザの条件指定操作に該当する領域に基づいて、マッピング処理のための領域を選択する処理を行う例を述べた(図15のS208、S281~S283、S209、S291~S294参照)。
即ちユーザが各種条件を指定できるようにし、条件に該当する領域として領域指定ができるようにする。
これにより、マッピング処理のための領域選択として、特定の条件に該当する領域を指定したい場合に、ユーザは容易に指定操作を行うことができる。
実施の形態では、条件指定操作として、画像の撮像時に撮像装置250が位置した高度の条件による領域の指定が可能とされている例を述べた。例えば領域を指定する条件として、「高度(x)m以上」、「高度(x)m以下」、或いは「高度(x)m以上で(y)m以下」、などを指定できるようにする。
これにより、特定の高度条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
例えば飛行体200が所定高度で飛行しているときに撮像された画像の領域のみを指定したい場合、飛び始めの画像を除外したい場合、飛び終わり(着地に至るとき)の画像を除外したい場合などの場合に、効率的な指定操作を行うことができる。
特に高度によって撮像範囲の変化、焦点距離の変動やそれらによる被写体画像サイズの変化なども生じることから、高度がある程度一定の状態にある画像を用いてマッピング処理を行いたいという要請もある。そのような要請にも容易に対応できることになり、結果として品質の良いマッピング画像の生成に寄与できる。
実施の形態では、条件指定操作として、画像の撮像時における撮像装置250の位置の高度変化の条件による領域の指定が可能とされている例を述べた。例えば領域を指定する条件として、高度変化が所定値以内、所定値以上、所定範囲などを指定できるようにする。
これにより、特定の高度変化の条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
例えば飛行体200が所定高度で安定して飛行しているとき(高度の変動中でないとき)に撮像された画像の領域のみを指定したい場合などに好適である。
実施の形態では、条件指定操作として、画像の撮像時における撮像装置250の撮像姿勢の条件による領域の指定が可能とされている例を述べた。例えば領域を指定する条件として、撮像姿勢としての傾斜角度が所定値以内、所定値以上、所定範囲などを指定できるようにする。
これにより、特定の撮像姿勢の条件でマッピング処理に不要な領域(領域に対応する画像)、或いはマッピング処理に使用したい領域(領域に対応する画像)を指定したい場合に、ユーザは容易に指定操作を行うことができる。
特に飛行体200の姿勢(飛行体200に搭載された撮像装置250の撮像姿勢)は、風の影響や、飛行速度、飛行方向変換などにより変動し、常に撮像装置250が直下を垂直に撮像できているものではない。すると撮像装置250の撮像姿勢(角度)によっては、適切に圃場210を撮像できていない画像、つまり合成に適していない画像も生じることがある。このため撮像姿勢の条件により、例えば使用しない領域(画像)を指定できることは、不要な画像をマッピング画像の生成に用いないという観点で非常に便利な機能となる。
実施の形態では、領域情報は、投影面に投影される画像の領域の輪郭の情報を含むものとした。
輪郭の情報により、例えば投影面の枠Wとして投影される画像の領域を示す表示が行われる。これにより、例えばユーザインタフェースのための表示上で、領域を明確に提示でき、ユーザは領域の指定のための操作を、各領域の位置や範囲を明確に把握しながら実行できるようになる。
なお領域の輪郭を示す表示態様は枠Wに限られない、輪郭を少なくともユーザが認識できるようにすればよく、輪郭を含む形状を有する図形、特定の色による輪郭を示す範囲、ハッチング、点描などによる範囲として輪郭が認識可能な表示など、多様な表示例が想定される。
さらに領域選択画像80を平面画像とするのではなく、立体画像、任意の角度からの俯瞰画像などとしてもよい。それに応じて枠Wの態様も多様に考えられる。
また同様に撮像ポイントPTの表示態様も多様に考えられる。
なお、領域選択画像81としては、枠Wの表示を行わずに、撮像ポイントPTのみを表示する例も考えられる。撮像ポイントPTのみを表示する場合は、撮像ポイントPTの情報が点の座標値のみで構成できるため、情報量を抑えられるという利点がある。
実施の形態の情報処理装置1は、投影面に投影される複数の画像のそれぞれの領域を視覚的に示す領域視覚情報を表示させる処理と、領域視覚情報を用いた表示に対するユーザ操作による領域の指定に基づいて、複数の領域のうちで、少なくとも一部の領域を表示させる処理と、を行う表示制御部16を有する。
投影面に投影される画像の領域のそれぞれを、例えば領域の位置及び範囲を示す領域視覚情報(例えば枠W、撮像ポイントPT)により表示させる。そして領域視覚情報を用いた表示に対してユーザが指定操作を行うことを可能とし、その操作に応じて少なくとも一部の領域を表示させる状態とする。
このような領域視覚情報として投影面の枠Wや撮像ポイントPTの表示により、撮像画像が投影される領域をユーザは明確に認識した上で指定操作を行うことができる。これにより操作の容易性、利便性を向上させることができる。
実施の形態の情報処理装置1は、ユーザ操作による領域の指定に基づいて選択された領域に対応する画像を用いて生成されたマッピング画像を表示させる処理を行うようにした。
即ち領域視覚画像(例えば枠W、撮像ポイントPT)の表示による領域選択に続き、選択された領域に対応する画像を用いたマッピング処理が行われる場合に、そのマッピング画像91の表示制御も行うようにする。
これにより、領域選択からマッピング画像生成までの一連の処理のための表示制御が情報処理装置(CPU51)で行われるようになる。これによりユーザは領域指定操作からマッピング画像の閲覧までを一連のインタフェース画面として見ることができ、ユーザの作業の効率化がはかられる。
実施の形態のプログラムは、投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成処理と、領域情報に基づいて提示される複数の領域のうちでユーザ操作により指定された領域を検出する検出処理と、この検出処理で検出した領域に基づいて、複数の領域のうち少なくとも一部の領域を選択する領域選択処理とを、情報処理装置に実行させるプログラムである。
即ち図12や図34の処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより本実施の形態の情報処理装置1の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムにより本技術に係る情報処理装置、情報処理方法を、コンピュータ装置を用いて実現させ、広く提供できる。
なお実施の形態では植生を示すマッピング画像を生成する例を挙げたが、本技術は植生画像のマッピングに限らず広く適用できる。例えば地形画像、地図画像、都市画像などを、多数の撮像画像をマッピングして配置していくようなマッピング画像生成を行う装置において本技術は広く適用できる。
また本技術は植生指数画像のマッピングの場合に適用できるだけでなく、可視光画像(RGB画像)を含め、各種の画像のマッピングの場合に適用できるものである。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備えた
情報処理装置。
(2)
前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である
上記(1)に記載の情報処理装置。
(3)
前記複数の画像のうち前記領域選択部が選択した領域に対応する画像を用いてマッピング処理することで、マッピング画像を生成する画像生成部を備えた
上記(1)又は(2)に記載の情報処理装置。
(4)
前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理である
上記(3)に記載の情報処理装置。
(5)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理に使用する領域として選択する処理を行う
請求項5に記載の情報処理装置。
上記(5)に記載の情報処理装置。
(7)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理の使用から除外する領域として選択する処理を行う
上記(5)又は(6)に記載の情報処理装置。
(8)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(9)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)に記載の情報処理装置。
(10)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)又は(9)に記載の情報処理装置。
(11)
前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定開始領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(8)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記領域選択部は、前記検出部が検出した、ユーザの条件指定操作に該当する領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(13)
前記条件指定操作として、画像の撮像時に撮像装置が位置した高度の条件による領域の指定が可能とされている
上記(12)に記載の情報処理装置。
(14)
前記条件指定操作として、画像の撮像時における撮像装置の位置の高度変化の条件による領域の指定が可能とされている
上記(12)又は(13)に記載の情報処理装置。
(15)
前記条件指定操作として、画像の撮像時における撮像装置の撮像姿勢の条件による領域の指定が可能とされている
上記(12)又は(13)に記載の情報処理装置。
(16)
前記領域情報は、投影面に投影される画像の領域の輪郭の情報を含む
上記(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成手順と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出手順と、
前記検出手順で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択手順と、
を情報処理装置が実行する情報処理方法。
(18)
投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成処理と、
前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出処理と、
前記検出処理で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択処理と、
を情報処理装置に実行させるプログラム。
(19)
投影面に投影される複数の画像のそれぞれの領域を視覚的に示す領域視覚情報を表示させる処理と、前記領域視覚情報を用いた表示に対するユーザ操作による領域の指定に基づいて、複数の前記領域のうちで、少なくとも一部の領域を表示させる処理と、を行う表示制御部を有する
情報処理装置。
(20)
前記ユーザ操作による領域の指定に基づいて選択された領域に対応する画像を用いて生成されたマッピング画像を表示させる処理を行う
上記(17)に記載の情報処理装置。
1…情報処理装置、10…記憶再生制御部、11…領域情報生成部、12…領域選択部、13…検出部、14…画像生成部、15…画像生成部、16…表示制御部、31…撮像部、32…撮像信号処理部、33…カメラ制御部、34…格納部、35…通信部、41…位置検出部、42…時計部、43…姿勢検出部、44…高度検出部、51…CPU、52…ROM、53…RAM、54…バス、55…入出力インタフェース、56…表示部、57…入力部、58…音声出力部、59…記憶部、60…通信部、61…メディアドライブ、62…メモリカード、80…領域選択インタフェース画像、81…領域選択画像、82…撮像ポイント表示ボタン、83…投影面表示ボタン、84…除外領域表示ボタン、85…塗りつぶしボタン、86…スタート/エンドボタン、87…条件設定部、88…条件選択実行ボタン、89…マッピングボタン、90…植生観察画像、91…マッピング画像、200…飛行体、210…圃場、250…撮像装置、251…センサ部、W…枠、PT…撮像ポイント、MP…地図画像

Claims (17)

  1. 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
    前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
    前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
    前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域に基づいて、マッピング処理のための領域を選択する処理を行う
    情報処理装置。
  2. 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理に使用する領域として選択する処理を行う
    請求項1に記載の情報処理装置。
  3. 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって個々に指定された領域を、前記マッピング処理の使用から除外する領域として選択する処理を行う
    請求項1に記載の情報処理装置。
  4. 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
    前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
    前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
    前記領域選択部は、前記検出部が検出した、前記ユーザ操作による連続した領域の指定に基づいて、マッピング処理のための領域を選択する処理を行う
    情報処理装置。
  5. 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって特定される指定開始領域と指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
    請求項4に記載の情報処理装置。
  6. 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定終了領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
    請求項4に記載の情報処理装置。
  7. 前記領域選択部は、前記検出部が検出した、前記ユーザ操作によって指定された指定開始領域に基づいて、前記マッピング処理のための領域を選択する処理を行う
    請求項4に記載の情報処理装置。
  8. 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する領域情報生成部と、
    前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により指定された領域を検出する検出部と、
    前記検出部が検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域を選択する領域選択部と、を備え、
    前記領域選択部は、前記検出部が検出した、ユーザの条件指定操作に該当する領域に基づいて、マッピング処理のための領域を選択する処理を行う
    情報処理装置。
  9. 前記条件指定操作として、画像の撮像時に撮像装置が位置した高度の条件による領域の指定が可能とされている
    請求項8に記載の情報処理装置。
  10. 前記条件指定操作として、画像の撮像時における撮像装置の位置の高度変化の条件による領域の指定が可能とされている
    請求項8に記載の情報処理装置。
  11. 前記条件指定操作として、画像の撮像時における撮像装置の撮像姿勢の条件による領域の指定が可能とされている
    請求項8に記載の情報処理装置。
  12. 前記複数の画像は、異なる時刻に撮像され時系列的に並べられた複数の画像である
    請求項1から請求項11の何れかに記載の情報処理装置。
  13. 前記複数の画像のうち前記領域選択部が選択した領域に対応する画像を用いてマッピング処理することで、マッピング画像を生成する画像生成部を備えた
    請求項1から請求項11の何れかに記載の情報処理装置。
  14. 前記マッピング処理は、異なる時刻に撮像され時系列的に並べられた複数の画像を関連付けて合成してマッピング画像を生成する処理である
    請求項13に記載の情報処理装置。
  15. 前記領域情報は、投影面に投影される画像の領域の輪郭の情報を含む
    請求項1から請求項11の何れかに記載の情報処理装置。
  16. 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成手順と、
    前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により個々に指定された領域を検出する検出手順と、
    前記検出手順で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域をマッピング処理のための領域として選択する領域選択手順と、
    を情報処理装置が実行する情報処理方法。
  17. 投影面に投影される複数の画像のそれぞれの領域を示す領域情報を生成する生成処理と、
    前記領域情報に基づいて提示される複数の前記領域のうちでユーザ操作により個々に指定された領域を検出する検出処理と、
    前記検出処理で検出した領域に基づいて、複数の前記領域のうち少なくとも一部の領域をマッピング処理のための領域として選択する領域選択処理と、
    を情報処理装置に実行させるプログラム。
JP2018147247A 2018-08-03 2018-08-03 情報処理装置、情報処理方法、プログラム Active JP7298116B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2018147247A JP7298116B2 (ja) 2018-08-03 2018-08-03 情報処理装置、情報処理方法、プログラム
AU2019313802A AU2019313802A1 (en) 2018-08-03 2019-07-24 Information processing apparatus, information processing method, and program
EP19843093.6A EP3830794A4 (en) 2018-08-03 2019-07-24 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING PROCESS AND PROGRAM
PCT/JP2019/029087 WO2020026925A1 (en) 2018-08-03 2019-07-24 Information processing apparatus, information processing method, and program
BR112021001502A BR112021001502A2 (pt) 2018-08-03 2019-07-24 Aparelho e método de processamento de informação, e, mídia legível por computador não transitória
CN201980049971.6A CN112513942A (zh) 2018-08-03 2019-07-24 信息处理装置、信息处理方法和程序
US17/258,980 US20210304474A1 (en) 2018-08-03 2019-07-24 Information processing apparatus, information processing method, and program
AU2022228212A AU2022228212B2 (en) 2018-08-03 2022-09-09 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018147247A JP7298116B2 (ja) 2018-08-03 2018-08-03 情報処理装置、情報処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020021437A JP2020021437A (ja) 2020-02-06
JP7298116B2 true JP7298116B2 (ja) 2023-06-27

Family

ID=69230635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018147247A Active JP7298116B2 (ja) 2018-08-03 2018-08-03 情報処理装置、情報処理方法、プログラム

Country Status (7)

Country Link
US (1) US20210304474A1 (ja)
EP (1) EP3830794A4 (ja)
JP (1) JP7298116B2 (ja)
CN (1) CN112513942A (ja)
AU (2) AU2019313802A1 (ja)
BR (1) BR112021001502A2 (ja)
WO (1) WO2020026925A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6896962B2 (ja) * 2019-12-13 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、飛行体、決定方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189940A (ja) 2004-12-28 2006-07-20 Ntt Data Corp モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
JP2013156609A (ja) 2012-02-01 2013-08-15 Mitsubishi Electric Corp 写真地図作成システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP2008158788A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp 情報処理装置および情報処理方法
JP5966584B2 (ja) * 2012-05-11 2016-08-10 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
KR20150059534A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 파노라마 영상 생성 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 파노라마 영상 생성 장치.
US9798322B2 (en) * 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
KR20170081488A (ko) * 2016-01-04 2017-07-12 삼성전자주식회사 무인 촬영 장치를 이용한 이미지 촬영 방법 및 전자 장치
US10621780B2 (en) * 2017-02-02 2020-04-14 Infatics, Inc. System and methods for improved aerial mapping with aerial vehicles
KR102609477B1 (ko) * 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
US10535191B2 (en) * 2017-12-21 2020-01-14 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN112425148B (zh) * 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质
WO2020014680A1 (en) * 2018-07-12 2020-01-16 TerraClear Inc. Object identification and collection system and method
CN111344644B (zh) * 2018-08-01 2024-02-20 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
US11032527B2 (en) * 2018-09-27 2021-06-08 Intel Corporation Unmanned aerial vehicle surface projection
US10853914B2 (en) * 2019-02-22 2020-12-01 Verizon Patent And Licensing Inc. Methods and systems for automatic image stitching failure recovery
US20220261957A1 (en) * 2019-07-09 2022-08-18 Pricer Ab Stitch images
US10825247B1 (en) * 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189940A (ja) 2004-12-28 2006-07-20 Ntt Data Corp モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
JP2013156609A (ja) 2012-02-01 2013-08-15 Mitsubishi Electric Corp 写真地図作成システム

Also Published As

Publication number Publication date
AU2022228212B2 (en) 2024-06-13
AU2022228212A1 (en) 2022-10-06
EP3830794A1 (en) 2021-06-09
AU2019313802A1 (en) 2021-02-11
CN112513942A (zh) 2021-03-16
BR112021001502A2 (pt) 2022-08-02
US20210304474A1 (en) 2021-09-30
WO2020026925A1 (en) 2020-02-06
JP2020021437A (ja) 2020-02-06
EP3830794A4 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
RU2741443C1 (ru) Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
US20160180599A1 (en) Client terminal, server, and medium for providing a view from an indicated position
US10360572B2 (en) Image processing system, method and computer program product for evaluating level of interest based on direction of human action
KR102508663B1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
KR20210104684A (ko) 측량 및 매핑 시스템, 측량 및 매핑 방법, 장치 및 기기
JP6544996B2 (ja) 制御装置及び制御方法
WO2021212501A1 (zh) 轨迹生成方法、遥控终端、可移动平台、系统及计算机可读存储介质
CN107667524A (zh) 对运动对象进行成像的方法和成像装置
JP6852293B2 (ja) 画像処理システム、情報処理装置、情報端末、プログラム
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP7298116B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
JPWO2018025825A1 (ja) 撮像システム
JP2015118213A (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法、プログラム、記憶媒体
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
JP6099025B1 (ja) モニタリングシステム、マスク処理設定方法及びコンピュータプログラム
KR20210106422A (ko) 작업 제어 시스템, 작업 제어 방법, 장치 및 기기
JP6112436B1 (ja) モニタリングシステム、映像表示方法及びコンピュータプログラム
WO2021075307A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6099026B1 (ja) モニタリングシステム、映像表示方法及びコンピュータプログラム
JP6098964B1 (ja) モニタリングシステム、映像表示方法及びコンピュータプログラム
WO2023223887A1 (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法
EP4411658A1 (en) Information processing device and information processing method
JP2004085555A (ja) 測量システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230413

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230424

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151