JP7295321B1 - 情報処理装置、プログラム、システム、及び情報処理方法 - Google Patents

情報処理装置、プログラム、システム、及び情報処理方法 Download PDF

Info

Publication number
JP7295321B1
JP7295321B1 JP2022150058A JP2022150058A JP7295321B1 JP 7295321 B1 JP7295321 B1 JP 7295321B1 JP 2022150058 A JP2022150058 A JP 2022150058A JP 2022150058 A JP2022150058 A JP 2022150058A JP 7295321 B1 JP7295321 B1 JP 7295321B1
Authority
JP
Japan
Prior art keywords
imaging
detection target
captured image
area
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022150058A
Other languages
English (en)
Other versions
JP2024044499A (ja
Inventor
敬介 前迫
亮 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2022150058A priority Critical patent/JP7295321B1/ja
Application granted granted Critical
Publication of JP7295321B1 publication Critical patent/JP7295321B1/ja
Publication of JP2024044499A publication Critical patent/JP2024044499A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】汎用性が高く、且つ、撮像画像の検出対象領域内の検出対象を高精度に検出可能なモデルを低コストで生成できる情報処理装置を提供する。【解決手段】対象飛行体に搭載された撮像装置が撮像した撮像画像と、対象飛行体の位置を示す飛行体位置情報と、撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部と撮像画像に対する領域の指定を受け付けることによって、撮像画像の撮像領域内の指定領域を決定する指定領域決定部と、撮像関連情報と、撮像画像の撮像領域に対応する地図データとに基づいて、撮像画像の指定領域に対応する地図データ上の対応エリアを決定する対応エリア決定部と、地図データ上の対応エリアに基づいて、検出対象を検出する検出対象領域を決定する検出対象領域決定部と、地図データに基づいて撮像装置が検出対象領域を撮像するときの対象飛行体の位置を決定する位置決定部とを備える情報処理装置を提供する。【選択図】図１

Description

本発明は、情報処理装置、プログラム、システム、及び情報処理方法に関する。
特許文献１には、飛行体によって撮影された自車両前方の道路の映像を解析した解析結果に基づいて自車両前方の道路上に対向車又は障害物が存在するか否かを判断し、自車両前方の道路に対向車又は障害物が存在すると判断した場合に対向車又は障害物の存在を自車両の運転者に通知する運転支援装置が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１９－１６０１１５号公報
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部を備えてよい。前記情報処理装置は、前記撮像画像に対する領域の指定を受け付けることによって、前記撮像画像の撮像領域内の指定領域を決定する指定領域決定部を備えてよい。前記情報処理装置は、前記撮像関連情報と、前記撮像画像の前記撮像領域に対応する地図データとに基づいて、前記撮像画像の前記指定領域に対応する前記地図データ上の対応エリアを決定する対応エリア決定部を備えてよい。前記情報処理装置は、前記地図データ上の前記対応エリアに基づいて、検出対象を検出する検出対象領域を決定する検出対象領域決定部を備えてよい。前記情報処理装置は、前記地図データに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の位置を決定する位置決定部を備えてよい。
前記位置決定部は、予め定められた撮像条件に適合する撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記位置決定部は、前記検出対象領域を撮像した場合に前記検出対象領域が障害物によって遮蔽されない前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記情報取得部は、前記検出対象領域の周辺領域の環境に関連する環境関連情報を取得し、前記位置決定部は、前記環境関連情報に基づいて決定された、前記周辺領域のうち環境の状態が良好な状態である前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記位置決定部は、予め定められた安全領域の上空の領域である前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記位置決定部は、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置として、前記飛行体位置情報によって示される前記対象飛行体の前記位置から前記撮像適合領域までの距離がより短い位置を決定してよい。
前記いずれかの情報処理装置において、前記位置決定部は、前記検出対象領域決定部によって決定された前記検出対象領域のサイズに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記位置決定部は、前記検出対象領域のサイズが大きいほど、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の高度が高くなるように、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定してよい。
前記いずれかの情報処理装置において、前記検出対象領域決定部は、前記撮像画像及び前記地図データにさらに基づいて、前記撮像画像の前記撮像領域の外側の外側領域を含むように、前記検出対象領域を決定してよい。
前記いずれかの情報処理装置において、前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの離隔度合を示す離隔度合情報をさらに取得してよい。前記情報処理装置は、上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得するモデル取得部と、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記離隔度合と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する検出部とをさらに備えてよい。
前記いずれかの情報処理装置において、前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置と前記検出対象領域決定部によって決定された前記検出対象領域との間の高度差を示す高度差情報を含む前記離隔度合情報を取得し、前記モデル取得部は、前記飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記飛行体の前記位置と当該撮像画像によって撮像された前記検出対象領域との間の高度差及び当該撮像装置が当該撮像画像を撮像した前記撮像角度の組み合わせ毎に、当該撮像画像と、当該高度差と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納する前記モデル格納装置から、前記高度差情報によって示される前記高度差及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記撮像画像を撮像した前記撮像角度の組み合わせに対応するモデルを取得し、前記検出部は、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記高度差情報によって示される前記高度差と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出してよい。
前記いずれかの情報処理装置において、前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの距離を示す距離情報を含む前記離隔度合情報を取得し、前記モデル取得部は、前記飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記飛行体の前記位置から当該撮像画像によって撮像された前記検出対象領域までの距離及び当該撮像装置が当該撮像画像を撮像した前記撮像角度の組み合わせ毎に、当該撮像画像と、当該距離と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納する前記モデル格納装置から、前記距離情報によって示される前記距離及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記撮像画像を撮像した前記撮像角度の組み合わせに対応するモデルを取得し、前記検出部は、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記距離情報によって示される前記距離と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出してよい。
前記いずれかの情報処理装置は、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記検出対象領域を撮像したときの撮像関連情報に基づいて、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域内のオブジェクトまでの距離を決定する距離決定部と、上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像した撮像角度及び当該撮像装置が当該撮像画像を撮像したときの当該飛行体の位置から当該撮像画像の撮像領域内のオブジェクトまでの距離の組み合わせ毎に、当該撮像画像と、当該撮像角度と、当該距離とから、当該撮像領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記検出対象領域を撮像したときの前記撮像関連情報に含まれる撮像角度情報によって示される撮像角度及び前記距離決定部によって決定された前記距離の組み合わせに対応するモデルを取得するモデル取得部と、前記モデル取得部が取得した前記モデルを用いて、前記検出対象領域を撮像したときの前記撮像関連情報に含まれる前記撮像画像及び前記撮像角度と、前記距離決定部によって決定された前記距離とから、当該撮像画像の、前記検出対象領域内の前記検出対象を検出する検出部とをさらに備えてよい。
前記いずれかの情報処理装置において、前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの離隔度合を示す離隔度合情報をさらに取得してよい。前記情報処理装置は、上空を飛行している飛行体に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、当該撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合と、当該撮像装置が当該撮像画像を撮像した撮像角度とを含む学習データを格納する学習データ格納部と、前記学習データ格納部に格納されている複数の前記学習データを教師データとして用いて、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の当該検出対象を検出するモデルを機械学習により生成するモデル生成部と、前記モデル生成部によって生成された、前記離隔度合情報によって示される前記離隔度合及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像画像を撮像した撮像角度の組み合わせに対応する前記モデルを用いて、当該撮像画像と、前記離隔度合と、当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する検出部とをさらに備えてよい。
前記いずれかの情報処理装置において、前記情報処理装置は、前記対象飛行体に搭載されてよい。
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、当該撮像装置が当該撮像画像を撮像したときの前記対象飛行体の位置から当該撮像画像の撮像領域内の検出対象を検出する検出対象領域までの離隔度合を示す離隔度合情報と、当該撮像装置が当該撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部を備えてよい。前記情報処理装置は、上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応するモデルを取得するモデル取得部を備えてよい。前記情報処理装置は、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記対象飛行体の前記撮像装置が撮像した前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出部を備えてよい。
を備える、情報処理装置。
本発明の一実施態様によれば、コンピュータを、前記情報処理装置として機能させるためのプログラムが提供される。
本発明の一実施態様によれば、システムが提供される。前記システムは、前記情報処理装置を備えてよい。前記システムは、前記対象飛行体を備えてよい。
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階を備えてよい。前記情報処理方法は、前記撮像画像に対する領域の指定を受け付けることによって、前記撮像画像の撮像領域内の指定領域を決定する指定領域決定段階を備えてよい。前記情報処理方法は、前記撮像関連情報と、前記撮像画像の前記撮像領域に対応する地図データとに基づいて、前記撮像画像の前記指定領域に対応する前記地図データ上の対応エリアを決定する対応エリア決定段階を備えてよい。前記情報処理方法は、前記地図データ上の前記対応エリアに基づいて、検出対象を検出する検出対象領域を決定する検出対象領域決定段階を備えてよい。前記情報処理方法は、前記地図データに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の位置を決定する位置決定段階を備えてよい。
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、当該撮像装置が当該撮像画像を撮像したときの前記対象飛行体の位置から当該撮像画像の撮像領域内の検出対象を検出する検出対象領域までの離隔度合を示す離隔度合情報と、当該撮像装置が当該撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階を備えてよい。前記情報処理方法は、上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応するモデルを取得するモデル取得段階を備えてよい。前記情報処理方法は、前記モデル取得段階で取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記対象飛行体の前記撮像装置が撮像した前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出段階を備えてよい。
尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
システム１０の一例を概略的に示す。 情報処理装置２００が、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する処理の一例を説明するための説明図である。 飛行体１００に搭載された撮像装置１５０の撮像角度の一例を説明するための説明図である。 情報処理装置２００の機能構成の一例を概略的に示す。 飛行体１００の位置から検出対象領域までの離隔度合の一例を説明するための説明図である。 情報処理装置２００が検出対象を検出するときに用いたモデルを評価する評価指標の一例を説明するための説明図である。 情報処理装置２００に格納されているモデルの一例を概略的に示す。 情報処理装置２００の処理の流れの一例を説明するための説明図である。 情報処理装置２００の処理の流れの他の一例を説明するための説明図である。 情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
近年、上空通信プラットフォームの研究開発に伴って、飛行体に搭載した高解像度カメラで地上を撮影した空撮映像の活用検討が進められている。空撮映像の一活用例として、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を用いて空撮映像から物体を検出することが挙げられる。ＡＩ技術を用いて空撮映像から物体を検出する場合、物体が建物等の障害物によって隠れてしまい、物体が空撮映像に映らない恐れがある。したがって、空撮映像から物体を検出することが困難となる場合がある。本実施形態に係るシステム１０は、例えば、飛行体に搭載されたカメラが撮像した撮像画像と、当該飛行体の座標を示す座標情報及び当該カメラのカメラ角度を示すカメラ角度情報を含む撮影環境情報と、三次元地図データとを活用して、物体の検出に最適な当該飛行体の座標及び当該カメラのカメラ角度を算出し、当該飛行体の座標及び当該カメラのカメラ角度の調整を実施する。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、システム１０の一例を概略的に示す。システム１０は、飛行体１００及び情報処理装置２００を備えてよい。システム１０は、地図データ管理装置３００をさらに備えてよい。
飛行体１００は、撮像装置１５０と、不図示の制御装置及びバッテリとを搭載する。飛行体１００は、バッテリに蓄電された電力を用いて飛行してよい。飛行体１００は、対象飛行体の一例であってよい。
飛行体１００は、例えば、無人航空機、ドローン、ＨＡＰＳ（Ｈｉｇｈ Ａｌｔｉｔｕｄｅ Ｐｌａｔｆｏｒｍ Ｓｔａｔｉｏｎ）、気球、飛行船、又は有人航空機いずれかであってよい。図１では、飛行体１００がドローンである場合の一例を主に説明する。
制御装置は、飛行体１００の各種機能を制御する。制御装置は、例えば、飛行体１００の通信機能を制御する。制御装置は、例えば、飛行体１００が地上に設置された基地局３０を介してネットワーク２０にアクセスするように、飛行体１００の通信機能を制御する。制御装置は、例えば、飛行体１００が不図示のＨＡＰＳを介してネットワーク２０にアクセスするように、飛行体１００の通信機能を制御する。制御装置は、不図示の通信衛星を介してネットワーク２０にアクセスするように、飛行体１００の通信機能を制御してもよい。飛行体１００は、制御装置による制御に従って通信してよい。
ネットワーク２０は、例えば、通信事業者によって提供されるコアネットワークを含む。コアネットワークは、例えば、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信システム、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信システム、又は６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信システムのいずれかに準拠してよい。コアネットワークは、６Ｇ通信システム以降の通信システムに準拠してもよい。ネットワーク２０は、インターネットを含んでよい。
制御装置は、例えば、飛行体１００の飛行機能を制御する。制御装置は、例えば、飛行体１００が自律飛行をするように、飛行体１００を制御する。制御装置は、飛行体１００が飛行体１００の操縦者による遠隔操縦に従って飛行するように、飛行体１００を制御してもよい。
制御装置は、例えば、飛行体１００の飛行速度を制御する。制御装置は、例えば、飛行体１００の飛行方向を制御する。制御装置は、例えば、飛行体１００の飛行高度を制御する。制御装置は、飛行体１００の飛行姿勢を制御してもよい。制御装置は、例えば、飛行体１００のロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、飛行体１００の飛行姿勢を制御する。制御装置は、飛行体１００の飛行姿勢を制御することによって、撮像装置１５０の撮像角度を制御してもよい。飛行体１００は、制御装置による制御に従って飛行してよい。
制御装置は、飛行体１００に搭載された撮像装置１５０を制御してもよい。制御装置は、例えば、撮像装置１５０の撮像角度を制御する。制御装置は、例えば、撮像装置１５０のロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、撮像装置１５０の撮像角度を制御する。制御装置は、撮像装置１５０のズーム倍率を制御してもよい。
制御装置は、撮像装置１５０を搭載したジンバルの角度を制御することによって、撮像装置１５０の撮像角度を制御してもよい。制御装置は、例えば、ジンバルのロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、ジンバルの角度を制御する。
撮像装置１５０は、撮像画像を撮像する機能を有する装置であれば、どのような装置であってもよい。撮像装置１５０は、例えば、光学カメラである。撮像装置１５０は、例えば、赤外線カメラである。撮像装置１５０は、高解像度カメラであってもよい。
撮像画像は、例えば、静止画像である。撮像画像は、動画像であってもよい。
例えば、制御装置は、飛行体１００が予め定められた撮像位置まで飛行するように飛行体１００を制御する。制御装置は、飛行体１００が当該撮像位置まで飛行したことに応じて、飛行体１００が当該撮像位置でホバリングするように飛行体１００を制御してよい。その後、制御装置は、撮像装置１５０が予め定められた撮像領域を撮像するように、撮像装置１５０の撮像角度を制御してよい。
飛行体１００は、例えば、飛行体１００の位置示す位置情報を取得する機能を有する。飛行体１００は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）機能を用いて、飛行体１００の位置情報を取得する。飛行体１００は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を用いて、飛行体１００の位置情報を取得する。飛行体１００は、ＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）機能を用いて、飛行体１００の位置情報を取得してもよい。
飛行体１００の位置情報は、例えば、飛行体１００の緯度を示す緯度情報を含む。飛行体１００の位置情報は、例えば、飛行体１００の経度を示す経度情報を含む。飛行体１００の位置は、例えば、飛行体１００の高度を示す高度情報を含む。
飛行体１００は、飛行体１００の飛行速度を決定する機能を有してもよい。飛行体１００は、例えば、速度センサを用いて、飛行体１００の飛行速度を決定する。飛行体１００は、飛行体１００の飛行姿勢を決定する機能を有してもよい。飛行体１００は、例えば、角度センサを用いて、飛行体１００の飛行姿勢を決定する。
飛行体１００は、飛行体１００の周囲の天気を示す天気情報を取得する機能を有してもよい。飛行体１００は、例えば、気象観測センサを用いて、飛行体１００の周囲の天気情報を取得する。尚、飛行体１００の周囲とは、飛行体１００からの距離が予め定められた距離より短い空間である。
飛行体１００は、例えば、情報処理装置２００と通信する。飛行体１００は、例えば、ネットワーク２０を介して、撮像装置１５０による撮像に関連する撮像関連情報を情報処理装置２００に送信する。
撮像関連情報は、例えば、飛行体１００が上空を飛行している間に撮像装置１５０が撮像した撮像画像を含む。撮像関連情報は、例えば、撮像装置１５０が撮像画像を撮像した撮像角度を示す撮像角度情報を含む。撮像角度は、例えば、撮像装置１５０のロール軸を中心とした回転角であるロール角、撮像装置１５０のピッチ軸を中心とした回転角であるピッチ角、及び撮像装置１５０のヨー軸を中心とした回転角であるヨー角で表される３次元の角度である。撮像関連情報は、例えば、撮像装置１５０が撮像画像を撮像したズーム倍率を示すズーム倍率情報を含む。撮像関連情報は、例えば、撮像装置１５０の解像度を示す解像度情報を含む。撮像関連情報は、例えば、撮像装置１５０が撮像画像を撮像した撮像時刻を示す撮像時刻情報を含む。撮像関連情報は、例えば、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置を示す飛行体位置情報を含む。撮像関連情報は、例えば、撮像装置１５０が撮像画像を撮像したときの飛行体１００の飛行姿勢を示す飛行姿勢情報を含む。撮像関連情報は、撮像装置１５０が撮像画像を撮像したときの飛行体１００の周囲の天気情報を含んでもよい。図１では、撮像装置１５０が撮像領域４０の撮像画像を撮像したものとして、説明を続ける。
情報処理装置２００は、各種処理を実行する。情報処理装置２００は、例えば、飛行体１００からネットワーク２０を介して受信した撮像関連情報に含まれる撮像画像から、予め定められた検出対象を検出する検出処理を実行する。
検出対象は、例えば、四輪自動車、二輪自動車、軽車両、及び電車等の車両である。検出対象は、例えば、船舶である。検出対象は、例えば、人である。検出対象は、人以外の動物であってもよい。図１では、検出対象が四輪自動車である場合の一例を主に説明する。
例えば、情報処理装置２００は、飛行体１００から受信した撮像関連情報に含まれる撮像画像に対する領域の指定を受け付けることによって、撮像画像の撮像領域内の指定領域を決定する。次に、情報処理装置２００は、撮像関連情報と、撮像画像の撮像領域に対応する地図データとに基づいて、撮像画像の指定領域に対応する地図データ上の対応エリアを決定する。
次に、情報処理装置２００は、地図データ上の対応エリアに基づいて、予め定められた検出対象を検出する検出対象領域を決定する。情報処理装置２００は、例えば、地図データ上の対応エリアに基づいて地図データ上の検出対象エリアを決定し、当該検出対象エリアに対応する対応領域を検出対象領域として決定することによって、検出対象領域を決定する。図１では、情報処理装置２００が検出対象領域７０を決定したものとして、説明を続ける。
次に、情報処理装置２００は、地図データに基づいて、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する。情報処理装置２００は、例えば、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置として、検出対象領域内の検出対象を最も高精度に検出可能な位置を決定する。情報処理装置２００は、決定した位置に飛行体１００を移動させる必要がある場合、飛行体１００が当該位置に移動するように、飛行体１００の飛行機能を制御してよい。
その後、情報処理装置２００は、決定した飛行体１００の位置で撮像装置１５０によって撮像された検出対象領域７０内の検出対象を検出する。図１によって示される一例において、情報処理装置２００は、検出対象領域７０内の四輪自動車である検出対象９０を検出する。
情報処理装置２００は、飛行体１００に搭載されてもよい。この場合、情報処理装置２００は、ＭＥＣ（Ｍｕｌｔｉ－ａｃｃｅｓｓ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ）として機能してもよい。
上空を飛行している飛行体に搭載された撮像装置によって撮像された撮像画像を用いて検出対象領域内の検出対象を検出する場合、撮像装置の位置によっては検出対象が建物等の障害物によって遮蔽されてしまい、検出対象を撮像できない恐れがある。したがって、検出対象が障害物によって遮蔽されない位置で検出対象領域を撮像できることが望ましい。
従来のシステムによれば、建物の位置や大きさ、飛行体が飛行可能な領域等の検出対象領域周辺の撮像環境を事前調査した上で、検出対象が障害物によって遮蔽されないように、撮像装置が検出対象領域を撮像するときの飛行体の位置を決定していた。従来のシステムは、検出対象領域毎に周辺の撮像環境の事前調査を実施する必要であるので、撮像装置が検出対象領域を撮像するときの飛行体の位置を決定するために多くのコストを要していた。さらに、従来のシステムは、検出対象領域を事前に把握できない場合、検出対象領域周辺の撮像環境を事前調査することができないので、撮像装置が検出対象領域を撮像するときの飛行体の位置を決定することができなかった。
これに対して、本実施形態に係るシステム１０によれば、情報処理装置２００は、撮像装置１５０による撮像に関連する撮像関連情報と、当該撮像関連情報に含まれる撮像画像に対する領域の指定と、当該撮像画像の撮像領域に対応する地図データとに基づいて、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する。本実施形態に係るシステム１０は、地図データを用いることによって、検出対象領域周辺の撮像環境の事前調査を実施することなく、検出対象領域が障害物によって遮蔽されないように、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定できる。したがって、本実施形態に係るシステム１０は、少ないコストで撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定できる。また、本実施形態に係るシステム１０は、検出対象領域の変化に柔軟に対応できる。さらに、本実施形態に係るシステム１０は、検出対象領域周辺の撮像環境を事前調査することができない場合や検出対象領域を事前に把握でもできない場合でも、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定できる。
図２は、情報処理装置２００が、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する処理の一例を説明するための説明図である。図２では、検出対象領域が駐車場領域である場合の一例を主に説明する。
図２の（Ａ）は、上空を飛行している飛行体１００に搭載された撮像装置１５０によって撮像された撮像画像である。図２の（Ａ）の撮像画像は、駐車場領域の一部が建物８０によって遮蔽されている撮像画像である。図２では、情報処理装置２００が、撮像装置１５０が撮像した図２の（Ａ）の撮像画像と、撮像装置１５０が図２の（Ａ）の撮像画像を撮像したときの飛行体１００の飛行体位置情報と、図２の（Ａ）の撮像画像を撮像した撮像装置１５０の撮像角度情報とを含む撮像関連情報を取得したものとして説明を続ける。
情報処理装置２００は、図２の（Ａ）の撮像画像に対する領域の指定を受け付けることによって、指定領域を決定する。図２では、情報処理装置２００が、図２の（Ａ）に示される指定領域５０を決定したものとして説明を続ける。
図２の（Ｂ）は、撮像画像の撮像領域に対応する三次元地図データである。三次元地図データは、地図データの一例であってよい。図２では、撮像装置１５０が、図２の（Ｂ）に示される三次元地図データ上の点Ｐに対応する位置で図２の（Ａ）の撮像画像を撮像したものとして説明を続ける。
情報処理装置２００は、撮像関連情報と、図２の（Ｂ）の三次元地図データとに基づいて、図２の（Ａ）の撮像画像の指定領域５０に対応する三次元地図データ上の対応エリアを決定する。例えば、情報処理装置２００は、図２の（Ａ）の撮像画像と、飛行体位置情報によって示される撮像装置１５０が図２の（Ａ）の撮像画像を撮像したときの飛行体１００の位置と、撮像角度情報によって示される撮像装置１５０が図２の（Ａ）の撮像画像を撮像した撮像角度と、図２の（Ｂ）の三次元地図データとに基づいて、図２の（Ａ）の撮像画像と図２の（Ｂ）の三次元地図データとの間の対応関係を決定する。情報処理装置２００は、決定した対応関係に基づいて、図２の（Ａ）の撮像画像の指定領域５０に対応する図２の（Ｂ）の三次元地図データ上の対応エリアを決定する。図２では、情報処理装置２００が図２の（Ｂ）に示される対応エリア６０を決定したものとして説明を続ける。
情報処理装置２００は、図２の（Ｂ）の三次元地図データ上の対応エリア６０に基づいて、図２の（Ｂ）の三次元地図データ上の検出対象エリアを決定する。図２では、情報処理装置２００が、図２の（Ｂ）に示される、対応エリア６０を含む駐車場エリアである検出対象エリア６５を決定したものとして説明を続ける。
情報処理装置２００は、図２の（Ａ）の撮像画像と図２の（Ｂ）の三次元地図データとの対応関係に基づいて、検出対象エリア６５に対応する検出対象領域を決定する。その後、情報処理装置２００は、図２の（Ｂ）の三次元地図データに基づいて、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する。図２では、情報処理装置２００が、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置として、図２の（Ｂ）に示される三次元地図データ上の点Ｐ'に対応する位置を決定したものとして説明を続ける。
情報処理装置２００は、飛行体１００が図２の（Ｂ）に示される三次元地図データ上の点Ｐに対応する位置から図２の（Ｂ）に示される三次元地図データ上の点Ｐ'に対応する位置まで移動するように飛行体１００を制御する。その後、情報処理装置２００は、飛行体１００から、ネットワーク２０を介して、飛行体１００に搭載された撮像装置１５０が図２の（Ｂ）に示される三次元地図データ上の点Ｐ' に対応する位置で検出対象領域を撮像した撮像画像を受信し、検出対象領域内の検出対象を検出する。
図３は、飛行体１００に搭載された撮像装置１５０の撮像角度の一例を説明するための説明図である。図３に示される一例において、撮像装置１５０のロール軸、ピッチ軸、及びヨー軸は、それぞれ、ｘ軸、ｙ軸、及びｚ軸である。図３では、飛行体１００に搭載された制御装置が、撮像装置１５０のピッチ角θｙを制御する場合の一例を主に説明する。
当該制御装置は、例えば、撮像装置１５０によって撮像される撮像領域が、検出対象９０が存在する検出対象領域を含むように、θｙを制御する。θｙは、例えば、右回りに回転する場合を正とする。θｙは、例えば、撮像装置１５０が撮像装置１５０から地面に向かって垂直な方向を向いている場合を０°する。θｙの範囲は、－１８０°≦θｙ＜１８０°である。
当該制御装置は、撮像装置１５０のピッチ角θｙを制御する場合と同様にして、撮像装置１５０のロール角θｘを制御してもよい。θｘは、例えば、右回りに回転する場合を正とする。θｘは、例えば、撮像装置１５０が地面と平行な方向を向いている場合を０°とする。θｘの範囲は、－１８０°≦θｘ＜１８０°である。
当該制御装置は、撮像装置１５０のピッチ角θｙを制御する場合と同様にして、撮像装置１５０のヨー角θｚを制御してもよい。θｚは、例えば、ヨー軸を中心に右回りに回転する場合を正とする。θｚは、例えば、撮像装置１５０が真北を向いている場合を０°する。θｚの範囲は、０°≦θｙ＜３６０°である。
図４は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、情報格納部２０２、情報取得部２０４、制御部２０６、情報送信部２０７、指定領域決定部２０８、対応エリア決定部２１０、検出対象領域決定部２１２、位置決定部２１４、検出部２１８、学習データ格納部２２０、モデル生成部２２２、モデル格納部２２４、モデル取得部２２６、距離決定部２２７、及び通知部２２８を備える。尚、情報処理装置２００がこれらの全ての構成を備えることが必須とは限らない。
情報格納部２０２は、各種情報を格納する。情報格納部２０２は、例えば、予め定められた範囲の地図データを格納する。地図データは、例えば、三次元地図データである。三次元地図データは、例えば、物体の位置データ及び形状データを含む。物体は、例えば、ビルや道路等の構造物を含む。物体は、例えば、住宅や店舗等の建物を含む。物体は、例えば、看板や信号機等を含む。物体は、木や岩等の自然物を含んでもよい。情報格納部２０２は、地図データとは別に、物体データとして、物体の位置データ及び形状データを格納してもよい。
情報格納部２０２は、例えば、撮像装置１５０が検出対象領域を撮像するために満たされなければならない撮像条件を格納する。撮像条件は、例えば、撮像装置１５０が検出対象領域を撮像した場合に、検出対象領域が障害物によって遮蔽されないことを含む。障害物は、例えば、三次元地図データに登録されている物体である。障害物は、物体データに対応する物体であってもよい。撮像条件は、例えば、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置が、予め定められた安全領域の上空に位置することを含む。安全領域は、例えば、人が存在しない領域である。安全領域は、地面を含む領域であってもよく、海面を含む領域であってもよい。撮像条件は、例えば、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置が、予め定められた飛行禁止領域の上空に位置しないことを含む。
撮像条件は、撮像装置１５０が検出対象領域を撮像するときの検出対象領域の周辺領域の環境の状態が良好な状態であることを含んでもよい。周辺領域の環境の状態が良好な状態は、例えば、周辺領域の天気の状態が好天状態であることを含む。好天状態は、例えば、風速が予め定められた風速閾値より低い状態を含む。好天状態は、ゲリラ豪雨が発生していない状態を含んでもよい。周辺領域の環境の状態が良好な状態は、周辺領域に鳥等の動物や飛行体等の移動体が存在していない状態を含んでもよい。尚、検出対象領域の周辺領域とは、検出対象領域からの距離が予め定められた距離より短い空間である。
情報取得部２０４は、各種情報を取得する。情報取得部２０４は、例えば、ネットワーク２０を介して、外部装置から各種情報を受信することによって、各種情報を取得する。外部装置は、例えば、飛行体１００である。外部装置は、例えば、地図データ管理装置３００である。外部装置は、例えば、情報処理装置２００のユーザの所有する通信端末である。外部装置は、例えば、環境に関連する環境関連情報を管理する環境関連情報管理装置である。外部装置は、その他の任意の装置であってもよい。情報取得部２０４は、例えば、情報処理装置２００が備える入力部を介して情報処理装置２００のユーザから各種情報の入力を受け付けることによって、各種情報を取得する。情報処理装置２００が飛行体１００に搭載される場合、情報取得部２０４は、飛行体１００の各種機能によって取得された各種情報を飛行体１００から直接取得してもよい。情報取得部２０４は、取得した各種情報を情報格納部２０２に格納する。
情報取得部２０４は、例えば、検出対象を示す検出対象情報を取得する。情報取得部２０４は、例えば、撮像対象領域を示す撮像対象領域情報を取得する。撮像対象領域は、例えば、地面を含む。撮像対象領域は、海面を含んでもよい。情報取得部２０４は、例えば、撮像条件を示す撮像条件情報を取得する。情報取得部２０４は、例えば、撮像関連情報を取得する。
制御部２０６は、各種装置を制御する。制御部２０６は、例えば、飛行体１００を制御する。制御部２０６は、例えば、飛行体１００に搭載された撮像装置１５０を制御する。制御部２０６は、撮像装置１５０を搭載したジンバルを制御してもよい。
制御部２０６は、例えば、情報取得部２０４が取得した各種情報に基づいて、制御信号を生成し、ネットワーク２０を介して生成した制御信号を飛行体１００に送信することによって、飛行体１００、撮像装置１５０、及びジンバルのうちの少なくともいずれかを制御する。飛行体１００に搭載された制御装置は、情報処理装置２００から受信した制御信号に従って、飛行体１００、撮像装置１５０、及びジンバルのうちの少なくともいずれかを制御してよい。情報処理装置２００が飛行体１００に搭載される場合、制御部２０６は、情報取得部２０４が取得した各種情報に基づいて、制御信号を生成し、生成した制御信号で飛行体１００、撮像装置１５０、及びジンバルのうちの少なくともいずれかを直接制御してよい。
制御信号は、例えば、飛行体１００を制御する飛行体制御信号を含む。飛行体制御信号は、飛行体１００の飛行速度を制御する飛行速度制御信号、飛行体１００の飛行方向を制御する飛行方向制御信号、飛行姿勢を制御する飛行姿勢制御信号のうちの少なくともいずれかを含む。飛行姿勢制御信号は、例えば、飛行体１００のロール角を制御するロール角制御信号、飛行体１００のピッチ角を制御するピッチ角制御信号、及び飛行体１００のヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。
制御信号は、例えば、撮像装置１５０を制御する撮像装置制御信号を含む。撮像装置制御信号は、例えば、撮像装置１５０の撮像角度を制御する撮像角度制御信号を含む。撮像角度制御信号は、例えば、撮像装置１５０のロール角を制御するロール角制御信号、撮像装置１５０のピッチ角を制御するピッチ角制御信号、及び撮像装置１５０のヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。撮像装置制御信号は、撮像装置１５０のズーム倍率を制御するズーム倍率制御信号を含んでもよい。
制御信号は、ジンバルの角度を制御するジンバル角度制御信号を含んでもよい。ジンバル角度制御信号は、例えば、ジンバルのロール角を制御するロール角制御信号、ジンバルのピッチ角を制御するピッチ角制御信号、及びジンバルのヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。
制御部２０６は、例えば、情報格納部２０２に格納されている撮像対象領域情報によって示される撮像対象領域を撮像するように、飛行体１００を制御する。制御部２０６は、例えば、当該撮像対象領域を撮像するように、撮像装置１５０を制御する。制御部２０６は、当該撮像対象領域を撮像するように、ジンバルを制御してもよい。
情報送信部２０７は、各種情報を外部装置に送信する。情報送信部２０７は、例えば、ネットワーク２０を介して、各種情報を外部装置に送信する。
情報送信部２０７は、例えば、情報格納部２０２に格納されている撮像関連情報に含まれる飛行体１００の飛行体位置情報を、地図データ管理装置３００に送信する。情報取得部２０４は、情報処理装置２００から飛行体１００の飛行体位置情報を受信したことに応じて地図データ管理装置３００によって送信された、飛行体位置情報によって示される飛行体１００の位置を含む、撮像画像の撮像領域に対応する地図データを受信してよい。
指定領域決定部２０８は、情報格納部２０２に格納されている撮像関連情報に含まれる撮像画像の撮像領域内の指定領域を決定する。指定領域決定部２０８は、例えば、撮像画像に対する領域の指定を受け付けることによって、撮像画像の撮像領域内の指定領域を決定する。
対応エリア決定部２１０は、指定領域決定部２０８によって決定された撮像画像の指定領域に対応する、情報格納部２０２に格納されている地図データ上の対応エリアを決定する。対応エリア決定部２１０は、例えば、撮像関連情報と、地図データと、物体データとに基づいて、撮像画像の指定領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部２１０は、例えば、撮像関連情報と三次元地図データとに基づいて、撮像画像の指定領域に対応する三次元地図データ上の対応エリアを決定する。
例えば、対応エリア決定部２１０は、飛行体位置情報によって示される撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置及び撮像角度情報によって示される撮像装置１５０が撮像画像を撮像した撮像角度に基づいて撮像画像の撮像領域を決定する。対応エリア決定部２１０は、ズーム倍率情報によって示される撮像装置１５０が撮像画像を撮像したズーム倍率にさらに基づいて、撮像画像の撮像領域を決定してもよい。対応エリア決定部２１０は、解像度情報によって示される撮像装置１５０の解像度にさらに基づいて、撮像画像の撮像領域を決定してもよい。
次に、対応エリア決定部２１０は、撮像画像と、決定した撮像画像の撮像領域と、地図データとに基づいて、撮像画像と地図データとの間の対応関係を決定する。対応エリア決定部２１０は、例えば、撮像画像と、地図データに対応する物体データとを比較して撮像画像の撮像領域に対応する地図データ上のエリアを決定することによって、撮像画像と地図データとの間の対応関係を決定する。対応エリア決定部２１０は、例えば、撮像画像と三次元地図データとを比較して撮像画像の撮像領域に対応する三次元地図データ上のエリアを決定することによって、撮像画像と三次元地図データとの間の対応関係を決定する。
その後、対応エリア決定部２１０は、決定した撮像画像と地図データとの間の対応関係に基づいて、撮像画像の指定領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部２１０は、飛行体１００の周囲の天気情報によって示される、撮像装置１５０が撮像画像を撮像したときの飛行体１００の周囲の天気にさらに基づいて、撮像画像の指定領域に対応する地図データ上の対応エリアを決定してもよい。
検出対象領域決定部２１２は、検出対象領域を決定する。検出対象領域決定部２１２は、例えば、対応エリア決定部２１０によって決定された、地図データ上の対応エリアに基づいて、検出対象領域を決定する。検出対象領域決定部２１２は、情報格納部２０２に格納されている撮像関連情報に含まれる撮像画像にさらに基づいて、検出対象領域を決定してもよい。検出対象領域決定部２１２は、情報格納部２０２に格納されている地図データにさらに基づいて、検出対象領域を決定してもよい。
検出対象領域決定部２１２は、例えば、飛行体位置情報によって示される飛行体１００の位置から検出対象領域を撮像した場合に検出対象領域が障害物によって遮蔽される遮蔽領域を含むように、検出対象領域を決定する。検出対象領域決定部２１２は、撮像画像の撮像領域の外側の外側領域を含むように、検出対象領域を決定してもよい。
例えば、検出対象領域決定部２１２は、地図データ上の対応エリアに基づいて、地図データ上の検出対象エリアを決定する。検出対象領域決定部２１２は、例えば、地図データにさらに基づいて、地図データ上の検出対象エリアを決定する。
検出対象エリアは、例えば、地図データ上の対応エリアを含む地図データ上のエリアである。検出対象エリアは、地図データ上の対応エリアと同一の地図データ上のエリアであってもよい。
検出対象エリアは、例えば、駐車場エリアである。検出対象エリアは、例えば、駐車禁止エリアである。検出対象エリアは、例えば、道路エリアである。検出対象エリアは、野外コンサートやスポーツの試合等のイベントが開催されている会場であるイベント会場エリアであってもよい。
その後、検出対象領域決定部２１２は、対応エリア決定部２１０によって決定された、撮像画像と地図データとの間の対応関係に基づいて、決定した検出対象エリアに対応する検出対象領域を決定する。検出対象領域決定部２１２は、決定した検出対象領域を、検出対象領域情報として、情報格納部２０２に格納してよい。
検出対象領域は、例えば、駐車場エリアに対応する駐車場領域である。検出対象領域は、例えば、駐車禁止エリアに対応する駐車禁止領域である。検出対象領域は、例えば、道路エリアに対応する道路領域である。検出対象領域は、イベント会場エリアに対応するイベント会場領域であってもよい。
情報送信部２０７は、ネットワーク２０を介して、検出対象領域情報を環境関連情報管理装置に送信してよい。情報取得部２０４は、情報処理装置２００から検出対象領域情報を受信したことに応じて環境関連情報管理装置によって送信された、検出対象領域情報によって示される検出対象領域の周辺領域の環境関連情報を受信してよい。環境関連情報は、例えば、検出対象領域の周辺領域の天気を示す天気情報を含む。環境関連情報は、検出対象領域の周辺領域を移動する鳥等の動物や飛行体等の移動体の位置情報を含んでもよい。
位置決定部２１４は、撮像装置１５０が検出対象領域決定部２１２によって決定された検出対象領域を撮像するときの飛行体１００の位置を決定する。位置決定部２１４は、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置及び撮像装置１５０が検出対象領域を撮像する撮像角度の組み合わせを決定してもよい。
位置決定部２１４は、例えば、地図データに基づいて、検出対象領域を撮像するときの飛行体１００の位置や撮像装置１５０が検出対象領域を撮像する撮像角度を決定する。位置決定部２１４は、例えば、地図データ及び地図データに対応する物体データに基づいて、飛行体１００の位置や撮像装置１５０が検出対象領域を撮像する撮像角度を決定する。位置決定部２１４は、例えば、三次元地図データに基づいて、飛行体１００の位置や撮像装置１５０が検出対象領域を撮像する撮像角度を決定する。位置決定部２１４は、例えば、撮像装置１５０が撮像関連情報に含まれる撮像画像を撮像したときの飛行体１００の周囲の天気情報にさらに基づいて、飛行体１００の位置や撮像装置１５０が検出対象領域を撮像する撮像角度を決定する。位置決定部２１４は、検出対象領域の周辺領域の環境関連情報にさらに基づいて、飛行体１００の位置や撮像装置１５０が検出対象領域を撮像する撮像角度を決定してもよい。
位置決定部２１４は、例えば、検出対象領域決定部２１２によって決定された検出対象領域のサイズに基づいて、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定する。位置決定部２１４は、例えば、検出対象領域のサイズが大きいほど、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の高度が高くなるように、飛行体１００が検出対象領域を撮像するときの飛行体１００の位置を決定する。位置決定部２１４は、検出対象領域のサイズが予め定められたサイズ閾値より小さい場合に撮像装置１５０が検出対象領域を撮像するときの飛行体１００の高度が第１高度となり、検出対象領域のサイズがサイズ閾値より大きい場合に撮像装置１５０が検出対象領域を撮像するときの飛行体１００の高度が第１高度より高い第２高度となるように、飛行体１００が検出対象領域を撮像するときの飛行体１００の位置を決定してもよい。
位置決定部２１４は、例えば、情報格納部２０２に格納されている撮像条件に適合する撮像適合領域から、撮像装置１５０が検出対象領域決定部２１２によって決定された検出対象領域を撮像するときの飛行体１００の位置を決定する。撮像適合領域とは、撮像装置１５０が検出対象領域を撮像することに適している領域である。
撮像適合領域は、例えば、撮像装置１５０が検出対象領域を撮像した場合に、検出対象領域が障害物によって遮蔽されない領域を含む。撮像適合領域は、例えば、安全領域の上空の領域を含む。撮像適合領域は、例えば、飛行禁止領域の上空以外の領域を含む。撮像適合領域は、環境の状態が良好な状態の領域を含んでもよい。
位置決定部２１４は、例えば、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置として、飛行体位置情報によって示される飛行体１００の位置から撮像適合領域までの距離がより短い位置を決定する。位置決定部２１４は、例えば、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置として、飛行体位置情報によって示される飛行体１００の位置から撮像適合領域までの移動時間がより短い位置を決定する。位置決定部２１４は、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置として、飛行体位置情報によって示される飛行体１００の位置から撮像適合領域までの移動するために消費される飛行体１００のバッテリ消費量がより少ない位置を決定してもよい。
制御部２０６は、情報格納部２０２に格納されている撮像関連情報に含まれる飛行体位置情報によって示される、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置と、位置決定部２１４によって決定された、飛行体１００が検出対象領域決定部２１２によって決定された検出対象領域を撮像するときの飛行体１００の位置とが異なる位置である場合、飛行体１００が位置決定部２１４によって決定された飛行体１００の位置に移動するように、飛行体１００を制御してよい。制御部２０６は、飛行体１００が位置決定部２１４によって決定された飛行体１００の位置に移動したことに応じて、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像するように、撮像装置１５０を制御してもよい。制御部２０６は、例えば、撮像装置１５０の撮像角度を制御する。制御部２０６は、撮像装置１５０のズーム倍率を制御してもよい。制御部２０６は、飛行体１００が位置決定部２１４によって決定された飛行体１００の位置に移動したことに応じて、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像するように、飛行体１００の飛行姿勢を制御してもよい。情報取得部２０４は、飛行体１００に搭載された撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像したときの撮像関連情報を取得してよい。
検出部２１８は、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８は、例えば、位置決定部２１４によって決定された飛行体１００の位置で撮像装置１５０によって撮像された撮像画像の検出対象領域内の検出対象を検出する。
検出部２１８は、例えば、撮像画像に対して画像認識処理を実行することによって、撮像画像の検出対象領域内の検出対象を検出する。検出部２１８は、時間軸で連続撮像された複数の撮像画像に対して画像認識処理を実行することによって、検出した検出対象をトラッキングしてもよい。
情報取得部２０４は、位置決定部２１４によって決定された飛行体１００の位置から検出対象領域決定部２１２によって決定された検出対象領域までの離隔度合を示す離隔度合情報を取得してもよい。離隔度合情報は、例えば、位置決定部２１４によって決定された飛行体１００の位置と検出対象領域との間の高度差を示す高度差情報を含む。当該高度差は、当該離隔度合の一例であってよい。離隔度合情報は、位置決定部２１４によって決定された飛行体１００の位置から検出対象領域までの距離を示す距離情報を含んでもよい。当該距離は、当該離隔度合の一例であってよい。尚、離隔度合情報は、撮像関連情報に含まれてもよい。
情報取得部２０４は、例えば、位置決定部２１４によって決定された飛行体１００の位置と地図データとに基づいて、離隔度合情報を取得する。情報取得部２０４は、例えば、地図データに対応する物体データにさらに基づいて、離隔度合情報を取得する。情報取得部２０４は、位置決定部２１４によって決定された飛行体１００の位置と三次元地図データとに基づいて、離隔度合情報を取得する。
情報取得部２０４は、飛行体１００に搭載されたセンサによって測定された離隔度合情報を取得してもよい。情報取得部２０４は、例えば、飛行体１００に搭載された高度センサによって測定された高度差情報を取得する。情報取得部２０４は、飛行体１００に搭載された測距センサによって測定された距離情報を取得してもよい。
学習データ格納部２２０は、学習データを格納する。学習データは、上空を飛行している飛行体１００に搭載された撮像装置１５０が検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を撮像した撮像画像と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像によって撮像された検出対象領域までの離隔度合と、撮像装置１５０が撮像画像を撮像した撮像角度とを含む。学習データは、高層ビルや鉄塔等の構造物に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、撮像装置が撮像画像を撮像したときの撮像装置の設置位置から撮像画像の検出対象領域までの離隔度合と、撮像装置が撮像画像を撮像した撮像角度とを含んでもよい。
情報取得部２０４は、当該撮像画像と、当該離隔度合と、当該撮像角度とを学習データとして学習データ格納部２２０に格納してよい。情報取得部２０４は、例えば、学習データと、撮像装置１５０が当該撮像画像を撮像したときの飛行体１００の周囲の天気情報とを対応付けて学習データ格納部２２０に格納してよい。
モデル生成部２２２は、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部２２２は、生成したモデルをモデル格納部２２４に格納してよい。
モデル生成部２２２は、学習データ格納部２２０に格納されている複数の学習データを教師データとして用いて、上空を飛行している飛行体１００に搭載された撮像装置１５０が検出対象領域内の検出対象を撮像した撮像画像と、位置決定部２１４によって決定された撮像画像を撮像したときの飛行体１００の位置から撮像画像によって撮像された検出対象領域までの離隔度合と、撮像装置１５０が撮像画像を撮像した撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部２２２は、学習データ格納部２２０に格納されている複数の学習データを教師データとして用いて、当該撮像画像と、位置決定部２１４によって決定された飛行体１００の位置と検出対象領域との間の高度差と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部２２２は、学習データ格納部２２０に格納されている複数の学習データを教師データとして用いて、当該撮像画像と、位置決定部２１４によって決定された飛行体１００の位置から検出対象領域までの距離と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成してもよい。
モデル生成部２２２は、例えば、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部２２２は、例えば、当該高度差及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該高度差と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部２２２は、例えば、当該距離及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該距離と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。
モデル生成部２２２は、複数の学習データのそれぞれに対応付けられて学習データ格納部２２０に格納されている複数の天気情報のそれぞれによって示される飛行体１００の周囲の天気を教師データとしてさらに用いて、当該撮像画像と、当該離隔度合と、当該撮像角度と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の周囲の天気とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成してもよい。モデル生成部２２２は、例えば、当該離隔度合、当該撮像角度、及び当該天気の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度と、当該天気とから、検出対象領域内の検出対象を検出するモデルを機械学習により生成する。
モデル取得部２２６は、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出するモデルを取得する。モデル取得部２２６は、例えば、モデルを格納するモデル格納装置からモデルを取得する。モデル取得部２２６は、取得したモデルをモデル格納部２２４に格納してよい。
モデル取得部２２６は、例えば、モデル格納装置が外部装置である場合、ネットワーク２０を介してモデル格納装置にアクセスすることによって、モデル格納装置からモデルを取得する。モデル取得部２２６は、情報処理装置２００がモデル格納装置を搭載している場合、モデル格納装置からモデルを直接取得してもよい。
モデル格納装置は、例えば、上空を飛行している飛行体１００に搭載された撮像装置１５０が撮像した撮像画像と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像によって撮像された検出対象領域までの離隔度合と、撮像装置１５０が撮像画像を撮像した撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。モデル格納装置は、例えば、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。
モデル格納装置は、例えば、上空を飛行している飛行体１００に搭載された撮像装置１５０が撮像した撮像画像と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置と撮像画像によって撮像された検出対象領域との間の高度差と、撮像装置１５０が撮像画像を撮像した撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。モデル格納装置は、例えば、当該高度差及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該高度差と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。
モデル格納装置は、例えば、上空を飛行している飛行体１００に搭載された撮像装置１５０が撮像した撮像画像と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像によって撮像された検出対象領域までの距離と、撮像装置１５０が撮像画像を撮像した撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。モデル格納装置は、例えば、当該距離及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該距離と、当該撮像角度とから、検出対象領域内の検出対象を検出するモデルを格納する。
モデル取得部２２６は、例えば、モデル格納装置から、情報取得部２０４が取得した離隔度合情報によって示される離隔度合及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得する。モデル取得部２２６は、例えば、モデル格納装置から、離隔度合情報に含まれる高度差情報によって示される当該高度差及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得する。モデル取得部２２６は、モデル格納装置から、離隔度合情報に含まれる距離情報によって示される当該距離及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得してもよい。
検出部２１８は、例えば、モデル生成部２２２によって生成された、離隔度合情報によって示される離隔度合及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを用いて、撮像画像と、当該離隔度合と、撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８は、例えば、モデル生成部２２２によって生成された、離隔度合情報に含まれる高度差情報によって示される当該高度差及び当該撮像角度の組み合わせに対応するモデルを用いて、撮像画像と、当該高度差と、撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８は、モデル生成部２２２によって生成された、離隔度合情報に含まれる距離情報によって示される当該距離及び当該撮像角度の組み合わせに対応するモデルを用いて、撮像画像と、当該距離と、撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出してもよい。
検出部２１８は、例えば、モデル取得部２２６が取得した、情報取得部２０４が取得した離隔度合情報によって示される当該離隔度合及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを用いて、撮像装置１５０が当該位置で撮像した撮像画像と、当該離隔度合と、撮像装置１５０が撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８は、例えば、モデル取得部２２６が取得した、離隔度合情報に含まれる高度差情報によって示される当該高度差及び当該撮像角度の組み合わせに対応するモデルを用いて、撮像装置１５０が当該位置で撮像した撮像画像と、当該高度差と、撮像装置１５０が撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８は、モデル取得部２２６が取得した、離隔度合情報に含まれる距離情報によって示される当該距離及び当該撮像角度の組み合わせに対応するモデルを用いて、撮像装置１５０が当該位置で撮像した撮像画像と、当該距離と、撮像装置１５０が撮像画像を撮像した撮像角度から、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出してもよい。
従来のシステムによれば、１つのモデルを用いて、異なる離隔度合及び撮像角度の組み合わせで撮像された複数の撮像画像のそれぞれの撮像画像内の検出対象を検出していた。この場合、離隔度合や撮像角度の組み合わせによっては、撮像画像内の検出対象を高精度に検出することができなかった。さらに、異なる離隔度合及び撮像角度の組み合わせで撮像された複数の撮像画像のそれぞれの撮像画像内の検出対象を高精度に検出可能な１つのモデルを生成するためには、異なる離隔度合及び撮像角度の組み合わせで撮像された複数の撮像画像の中からモデルを生成するために用いられる学習データを選択することや、モデルのパラメータを設定することに対して多くのコストが必要であった。
これに対して、図４に示される情報処理装置２００の一例によれば、検出部２１８が、情報取得部２０４が取得した離隔度合情報によって示される離隔度合及び撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを用いて、撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。検出部２１８が離隔度合及び撮像角度の組み合わせに対応するモデルを用いて撮像画像の検出対象領域内の検出対象を検出することによって、図４に示される情報処理装置２００は、撮像装置１５０が撮像画像を撮像するときの飛行体１００の位置や撮像装置１５０の撮像角度を調整することが困難である状況下においても、撮像画像の検出対象領域内の検出対象を高精度に検出することができる。さらに、モデル生成部２２２が離隔度合及び撮像角度の組み合わせに対応するモデルを生成することによって、図４に示される情報処理装置２００は、従来のシステムと比較して、学習データの選択やパラメータ設定に必要なコストを低減できる。したがって、図４に示される情報処理装置２００は、汎用性が高く、且つ、撮像画像の検出対象領域内の検出対象を高精度に検出可能なモデルを低コストで生成できる。
距離決定部２２７は、撮像関連情報に基づいて、撮像関連情報に含まれる飛行体位置情報によって示される、飛行体１００に搭載された撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離を決定する。距離決定部２２７は、例えば、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像したときの撮像関連情報に基づいて、位置決定部２１４によって決定された飛行体１００の位置から検出対象領域内のオブジェクトまでの距離を決定する。
例えば、距離決定部２２７は、情報取得部２０４が取得した高度差情報から、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置と撮像画像の撮像領域との間の高度差を決定する。次に、距離決定部２２７は、撮像関連情報に含まれる撮像画像に対して画像認識処理を実行することによって、撮像画像からオブジェクトを検出する。その後、距離決定部２２７は、飛行体１００の位置と撮像画像の撮像領域との間の高度差と、撮像画像におけるオブジェクトの位置と、撮像関連情報に含まれる撮像角度情報によって示される、撮像装置１５０が撮像画像を撮像した撮像角度とに基づいて、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離を決定する。
オブジェクトは、例えば、四輪自動車、二輪自動車、軽車両、及び電車等の車両である。オブジェクトは、例えば、船舶である。オブジェクトは、例えば、人である。オブジェクトは、人以外の動物であってもよい。
学習データ格納部２２０は、上空を飛行している飛行体１００に搭載された撮像装置１５０がオブジェクトを撮像した撮像画像と、撮像装置１５０が撮像画像を撮像した撮像角度と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離とを含む学習データを格納してもよい。学習データ格納部２２０は、高層ビルや鉄塔等の構造物に搭載された撮像装置がオブジェクトを撮像した撮像画像と、撮像装置が撮像画像を撮像した撮像角度と、撮像装置が撮像画像を撮像したときの撮像装置の設置位置から撮像画像の撮像領域内のオブジェクトまでの距離とを含む学習データを格納してもよい。
モデル生成部２２２は、学習データ格納部２２０に格納されている複数の学習データを教師データとして用いて、上空を飛行している飛行体１００に搭載された撮像装置１５０が撮像した撮像画像と、撮像装置１５０が撮像画像を撮像した撮像角度と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離とから、撮像領域内の検出対象を検出するモデルを機械学習により生成してもよい。モデル生成部２２２は、例えば、当該撮像角度及び当該距離の組み合わせ毎に、当該撮像画像と、当該撮像角度と、当該距離とから、撮像領域内の検出対象を検出するモデルを機械学習により生成する。
モデル格納装置は、上空を飛行している飛行体１００に搭載された撮像装置１５０が撮像した撮像画像と、撮像装置１５０が撮像画像を撮像した撮像角度と、撮像装置１５０が撮像画像を撮像したときの飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離とから、撮像領域内の検出対象を検出するモデルを格納してもよい。モデル格納装置は、例えば、当該撮像角度及び当該距離の組み合わせ毎に、当該撮像画像と、当該撮像角度と、当該距離とから、撮像領域内の検出対象を検出するモデルを格納する。モデル取得部２２６は、モデル格納装置から、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像したときの撮像関連情報に含まれる撮像角度情報によって示される撮像角度及び距離決定部２２７によって決定された当該位置から検出対象領域内のオブジェクトまでの距離の組み合わせに対応するモデルを取得してよい。
検出部２１８は、モデル生成部２２２によって生成された、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像したときの撮像関連情報に含まれる撮像角度情報によって示される撮像角度及び距離決定部２２７によって決定された当該位置から検出対象領域内のオブジェクトまでの距離の組み合わせに対応するモデルを用いて、当該撮像画像と、当該撮像角度と、当該距離とから、撮像画像の、検出対象領域内の検出対象を検出する。検出部２１８は、モデル取得部２２６が取得した、撮像装置１５０が位置決定部２１４によって決定された飛行体１００の位置で検出対象領域を撮像したときの撮像関連情報に含まれる撮像角度情報によって示される撮像角度及び距離決定部２２７によって決定された当該位置から検出対象領域内のオブジェクトまでの距離の組み合わせに対応するモデルを用いて、当該撮像画像と、当該撮像角度と、当該距離とから、撮像画像の、検出対象領域内の検出対象を検出してもよい。
通知部２２８は、各種情報を通知する。通知部２２８は、例えば、情報処理装置２００が備える表示部に各種情報を表示することによって、各種情報を通知する。通知部２２８は、ネットワーク２０を介して、各種情報を外部装置に送信することによって、各種情報を通知してもよい。通知部２２８は、例えば、検出部２１８が検出対象を検出した検出結果を通知する。
情報送信部２０７は、ネットワーク２０を介して、撮像関連情報を地図データ管理装置３００に送信してもよい。地図データ管理装置３００は、情報処理装置２００と同様にして、情報処理装置２００から受信した撮像関連情報に基づいて、撮像装置１５０が検出対象領域を撮像するときの飛行体１００の位置を決定してよい。地図データ管理装置３００は、決定した飛行体１００の位置を示す飛行体位置情報を情報処理装置２００に送信してよい。
図５は、飛行体１００の位置から検出対象領域までの離隔度合の一例を説明するための説明図である。図５では、離隔度合が飛行体１００の位置と検出対象領域との間の高度差である場合の一例を主に説明する。
図５に示される一例において、検出対象領域は、高度がｈ１である地面及び高度がｈ２である建物８０の屋上を含む。情報取得部２０４は、飛行体１００の飛行高度ｈ、地面の高度ｈ１、及び建物８０の屋上の高度ｈ２を取得する。情報取得部２０４は、取得した飛行体１００の飛行高度ｈ、地面の高度ｈ１、及び建物８０の屋上の高度ｈ２から、飛行体１００の飛行高度ｈと地面の高度ｈ１との間の高度差Δｈ１＝ｈ－ｈ１、及び、飛行体１００の飛行高度ｈと建物８０の屋上の高度ｈ２との間の高度差Δｈ２＝ｈ－ｈ２を取得する。
情報取得部２０４は、取得したΔｈ１及びΔｈ２に基づいて、飛行体１００の飛行高度ｈと検出対象領域との間の高度差Δｈを取得する。情報取得部２０４は、例えば、Δｈ１及びΔｈ２の平均高度差をΔｈとしてよい。
情報取得部２０４は、高度ｈ１の領域のサイズ及び高度ｈ２の領域のサイズに基づいて、Δｈ１及びΔｈ２のそれぞれに対して重み付けを行い、重み付けされたΔｈ１及びΔｈ２の平均高度差をΔｈとしてよい。情報取得部２０４は、例えば、領域のサイズが大きいほど値が大きくなるように、Δｈ１及びΔｈ２のそれぞれに対して重み付けを行う。
図６は、情報処理装置２００が撮像画像内の検出対象を検出するときに用いたモデルを評価する評価指標の一例を説明するための説明図である。図６では、検出対象が四輪自動車である場合の一例を主に説明する。
図６に示される一例において、ボックス９２は、撮像画像内の検出対象９０の実際の領域を示す正解ボックスである。情報取得部２０４は、例えば、情報処理装置２００が備える入力部を介して情報処理装置２００のユーザからボックス９２の入力を受け付けることによって、ボックス９２を示す情報を取得する。また、図６に示される一例において、ボックス９４は、検出部２１８がモデルを用いて撮像画像内の検出対象９０を検出した領域を示す検出ボックスである。
検出部２１８は、ボックス９２及びボックス９４に基づいて、情報処理装置２００が撮像画像内の検出対象を検出するときに用いたモデルのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を決定する。ＩｏＵは、モデルを評価する評価指標の一例であり、ＩｏＵ＝（ボックス９４の領域）÷（ボックス９２の領域＋ボックス９４の領域）で表される。ボックス９２の領域及びボックス９４の領域が完全に重なる場合にＩｏＵが最大値１となり、ボックス９２の領域及びボックス９４の領域が全く重ならない場合にＩｏＵが最小値０となる。
モデル生成部２２２は、検出部２１８が決定したＩｏＵに基づいて、モデルを生成してよい。モデル生成部２２２は、例えば、予め定められた範囲のＩｏＵにおける平均適合率（Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ；ＡＰ）が予め定められた平均適合率閾値より高くなるように、モデルを生成する。
図７は、情報処理装置２００に格納されているモデルの一例を概略的に示す。図７では、情報処理装置２００が、飛行体１００の位置と検出対象領域との間の高度差Δｈ及び撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のピッチ角θｙの組み合わせ毎にモデルを格納している場合の一例を主に説明する。
検出部２１８は、例えば、情報取得部２０４が取得した離隔度合情報に含まれる高度差情報によって示される、位置決定部２１４によって決定された飛行体１００の位置と検出対象領域決定部２１２によって決定された検出対象領域との間の高度差Δｈが１００ｍより小さく、且つ、ピッチ角θｙが３０°より小さい場合、モデル格納部２２４に格納されているモデルＡを用いて、撮像画像の検出対象領域内の検出対象を検出する。検出部２１８は、例えば、高度差Δｈが１００ｍより小さく、且つ、ピッチ角θｙが３０°以上である場合、モデル格納部２２４に格納されているモデルＢを用いて、撮像画像の検出対象領域内の検出対象を検出する。検出部２１８は、例えば、高度差Δｈが１００ｍ以上であり、且つ、ピッチ角θｙが３０°より小さい場合、モデル格納部２２４に格納されているモデルＣを用いて、撮像画像の検出対象領域内の検出対象を検出する。検出部２１８は、例えば、高度差Δｈが１００ｍ以上であり、且つ、ピッチ角θｙが３０°以上である場合、モデル格納部２２４に格納されているモデルＤを用いて、撮像画像の検出対象領域内の検出対象を検出する。
情報処理装置２００に格納されているモデルは、飛行体１００の位置と検出対象領域との間の高度差Δｈ及び撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のロール角θｘの組み合わせ毎のモデルであってもよい。情報処理装置２００に格納されているモデルは、飛行体１００の位置と検出対象領域との間の高度差Δｈ及び撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のヨー角θｚの組み合わせ毎のモデルであってもよい。情報処理装置２００に格納されているモデルは、飛行体１００の位置と検出対象領域との間の高度差Δｈ、並びに、撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のピッチ角θｙ、ロール角θｘ、及びヨー角θｚのうちの複数の組み合わせ毎のモデルであってもよい。
情報処理装置２００に格納されているモデルは、飛行体１００の位置から検出対象領域までの距離、並びに、撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のピッチ角θｙ、ロール角θｘ、及びヨー角θｚのうちの少なくともいずれかの組み合わせ毎のモデルであってもよい。情報処理装置２００に格納されているモデルは、飛行体１００の位置から撮像画像の撮像領域内のオブジェクトまでの距離、並びに、撮像装置１５０が撮像画像を撮像したときの撮像装置１５０のピッチ角θｙ、ロール角θｘ、及びヨー角θｚのうちの少なくともいずれかの組み合わせ毎のモデルであってもよい。
図８は、情報処理装置２００の処理の流れの一例を説明するための説明図である。図８では、飛行体１００が撮像対象領域を撮像可能な位置に到着した状態を開始状態とする。
ステップ（ステップをＳと省略して記載する場合がある。）１０２において、情報取得部２０４は、飛行体１００から撮像関連情報を取得する。Ｓ１０４において、指定領域決定部２０８は、Ｓ１０２で情報取得部２０４によって取得された撮像関連情報に含まれる撮像画像に対する領域の指定を受け付けることによって、撮像画像の撮像領域内の指定領域を決定する。
Ｓ１０６において、対応エリア決定部２１０は、Ｓ１０２で情報取得部２０４によって取得された撮像関連情報と、情報格納部２０２に格納されている、撮像画像の撮像領域に対応する三次元地図データとに基づいて、Ｓ１０４で指定領域決定部２０８によって決定された撮像画像の指定領域に対応する三次元地図データ上の対応エリアを決定する。Ｓ１０８において、検出対象領域決定部２１２は、Ｓ１０６で対応エリア決定部２１０によって決定された三次元地図データ上の対応エリアに基づいて、検出対象領域を決定する。
Ｓ１１０において、位置決定部２１４は、三次元地図データに基づいて、撮像装置１５０がＳ１０８で検出対象領域決定部２１２によって決定された検出対象領域を撮像するときの飛行体１００の位置を決定する。制御部２０６は、Ｓ１０２で情報取得部２０４によって取得された撮像関連情報に含まれる飛行体位置情報によって示される飛行体１００の位置とＳ１１０で位置決定部２１４によって決定された飛行体１００の位置とが異なる場合、飛行体１００がＳ１１０で位置決定部２１４によって決定された飛行体１００の位置に移動するように、飛行体１００を制御する。尚、情報処理装置２００が撮像画像の検出対象領域内の検出対象を検出する処理については、図９の説明において詳細に説明されるため、図８の説明において説明されない。
Ｓ１１２において、情報取得部２０４は、飛行体１００から撮像関連情報を取得する。Ｓ１１４において、指定領域決定部２０８は、予め定められた期間の間に、Ｓ１１２で情報取得部２０４によって取得された撮像関連情報に含まれる撮像画像に対する領域の指定を受け付けた否かを判定する。予め定められた期間の間に撮像画像に対する領域の指定を受け付けたと指定領域決定部２０８が判定した場合、Ｓ１１６に進む。予め定められた期間の間に撮像画像に対する領域の指定を受け付けていないと指定領域決定部２０８が判定した場合、Ｓ１２２に進む。
Ｓ１１６において、対応エリア決定部２１０は、Ｓ１１２で情報取得部２０４によって取得された撮像関連情報と、撮像画像の撮像領域に対応する三次元地図データとに基づいて、Ｓ１１４で撮像画像に対する領域の指定を受け付けたことによって指定領域決定部２０８によって決定された撮像画像の指定領域に対応する三次元地図データ上の対応エリアを決定する。Ｓ１１８において、検出対象領域決定部２１２は、Ｓ１１６で対応エリア決定部２１０によって決定された三次元地図データ上の対応エリアに基づいて、検出対象領域を決定する。
Ｓ１２０において、位置決定部２１４は、三次元地図データに基づいて、撮像装置１５０がＳ１１８で検出対象領域決定部２１２によって決定された検出対象領域を撮像するときの飛行体１００の位置を決定する。制御部２０６は、Ｓ１１２で情報取得部２０４によって取得された撮像関連情報に含まれる飛行体位置情報によって示される飛行体１００の位置とＳ１２０で位置決定部２１４によって決定された飛行体１００の位置とが異なる場合、飛行体１００がＳ１２０で位置決定部２１４によって決定された飛行体１００の位置に移動するように、飛行体１００を制御する。
Ｓ１２２において、情報取得部２０４が終了指示を取得していない場合、Ｓ１１２に戻る。Ｓ１２２において、情報取得部２０４が終了指示を取得した場合、その後、処理が終了する。
図９は、情報処理装置２００の処理の流れの他の一例を説明するための説明図である。図９では、飛行体１００が撮像対象領域を撮像可能な位置に到着した状態を開始状態とする。
Ｓ２０２において、情報取得部２０４は、飛行体１００から撮像関連情報を取得する。Ｓ２０４において、モデル取得部２２６は、モデル格納装置から、Ｓ２０２で情報取得部２０４によって取得された撮像関連情報に含まれる、離隔度合情報によって示される離隔度合及び撮像角度情報によって示される撮像装置１５０が撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得する。Ｓ２０６において、検出部２１８は、Ｓ２０４でモデル取得部２２６によって取得されたモデルを用いて、当該撮像画像と、当該離隔度合と、当該撮像角度から、当該撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。
Ｓ２０８において、情報取得部２０４は、飛行体１００から撮像関連情報を取得する。Ｓ２１０において、モデル取得部２２６は、Ｓ２０８で情報取得部２０４によって取得された撮像関連情報に含まれる、離隔度合情報によって示される離隔度合及び撮像角度情報によって示される撮像装置１５０が撮像画像を撮像した撮像角度と、情報取得部２０４が前回取得した撮像関連情報に含まれる、離隔度合情報によって示される離隔度合及び撮像角度情報によって示される撮像装置１５０が撮像画像を撮像した撮像角度とに基づいて、離隔度合及び撮像角度の少なくとも一方が変化したか否かを判定する。離隔度合及び撮像角度の少なくとも一方が変化したとモデル取得部２２６が判定した場合、Ｓ２１２に進む。離隔度合及び撮像角度が変化していないとモデル取得部２２６が判定する場合、Ｓ２１６に進む。
Ｓ２１２において、モデル取得部２２６は、モデル格納装置から、Ｓ２０８で情報取得部２０４によって取得された撮像関連情報に含まれる、離隔度合情報によって示される離隔度合及び撮像角度情報によって示される撮像装置１５０が撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得する。Ｓ２１４において、検出部２１８は、Ｓ２１２でモデル取得部２２６によって取得されたモデルを用いて、当該撮像画像と、当該離隔度合と、当該撮像角度から、当該撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。Ｓ２１６において、検出部２１８は、前回検出対象を検出したときのモデルと同一のモデルを用いて、Ｓ２０８で情報取得部２０４によって取得された撮像関連情報に含まれる、撮像装置１５０によって撮像された撮像画像と、離隔度合情報によって示される離隔度合と、撮像角度情報によって示される撮像装置１５０の撮像角度とから、当該撮像画像の、検出対象領域決定部２１２によって決定された検出対象領域内の検出対象を検出する。
Ｓ２１８において、情報取得部２０４が終了指示を取得していない場合、Ｓ２０８に戻る。Ｓ２１８において、情報取得部２０４が終了指示を取得した場合、その後、処理が終了する。
図１０は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボード１２４２のようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０ システム、２０ ネットワーク、３０ 基地局、４０ 撮像領域、５０ 指定領域、６０ 対応エリア、６５ 検出対象エリア、７０ 検出対象領域、８０ 建物、９０ 検出対象、９２ ボックス、９４ ボックス、１００ 飛行体、１５０ 撮像装置、２００ 情報処理装置、２０２ 情報格納部、２０４ 情報取得部、２０６ 制御部、２０７ 情報送信部、２０８ 指定領域決定部、２１０ 対応エリア決定部、２１２ 検出対象領域決定部、２１４ 位置決定部、２１８ 検出部、２２０ 学習データ格納部、２２２ モデル生成部、２２４ モデル格納部、２２６ モデル取得部、２２７ 距離決定部、２２８ 通知部、３００ 地図データ管理装置、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ、１２４２ キーボード

Claims (20)

  1. 上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部と、
    前記撮像画像に対する領域の指定を受け付けることによって、前記撮像画像の撮像領域内の指定領域を決定する指定領域決定部と、
    前記撮像関連情報と、前記撮像画像の前記撮像領域に対応する地図データとに基づいて、前記撮像画像の前記指定領域に対応する前記地図データ上の対応エリアを決定する対応エリア決定部と、
    前記地図データ上の前記対応エリアに基づいて、検出対象を検出する検出対象領域を決定する検出対象領域決定部と、
    前記地図データに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の位置を決定する位置決定部と
    を備える、情報処理装置。
  2. 前記位置決定部は、予め定められた撮像条件に適合する撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、請求項１に記載の情報処理装置。
  3. 前記位置決定部は、前記検出対象領域を撮像した場合に前記検出対象領域が障害物によって遮蔽されない前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、
    請求項２に記載の情報処理装置。
  4. 前記情報取得部は、前記検出対象領域の周辺領域の環境に関連する環境関連情報を取得し、
    前記位置決定部は、前記環境関連情報に基づいて決定された、前記周辺領域のうち環境の状態が良好な状態である前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、
    請求項３に記載の情報処理装置。
  5. 前記位置決定部は、予め定められた安全領域の上空の領域である前記撮像適合領域から、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、請求項３に記載の情報処理装置。
  6. 前記位置決定部は、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置として、前記飛行体位置情報によって示される前記対象飛行体の前記位置から前記撮像適合領域までの距離がより短い位置を決定する、請求項３に記載の情報処理装置。
  7. 前記位置決定部は、前記検出対象領域決定部によって決定された前記検出対象領域のサイズに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、請求項１に記載の情報処理装置。
  8. 前記位置決定部は、前記検出対象領域のサイズが大きいほど、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の高度が高くなるように、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の前記位置を決定する、請求項７に記載の情報処理装置。
  9. 前記検出対象領域決定部は、前記撮像画像及び前記地図データにさらに基づいて、前記撮像画像の前記撮像領域の外側の外側領域を含むように、前記検出対象領域を決定する、請求項１に記載の情報処理装置。
  10. 前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの離隔度合を示す離隔度合情報をさらに取得し、
    前記情報処理装置は、
    上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像画像を撮像した撮像角度の組み合わせに対応するモデルを取得するモデル取得部と、
    前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記離隔度合と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する検出部と
    をさらに備える、請求項１に記載の情報処理装置。
  11. 前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置と前記検出対象領域決定部によって決定された前記検出対象領域との間の高度差を示す高度差情報を含む前記離隔度合情報を取得し、
    前記モデル取得部は、前記飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記飛行体の前記位置と当該撮像画像によって撮像された前記検出対象領域との間の高度差及び当該撮像装置が当該撮像画像を撮像した前記撮像角度の組み合わせ毎に、当該撮像画像と、当該高度差と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納する前記モデル格納装置から、前記高度差情報によって示される前記高度差及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記撮像画像を撮像した前記撮像角度の組み合わせに対応するモデルを取得し、
    前記検出部は、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記高度差情報によって示される前記高度差と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する、
    請求項１０に記載の情報処理装置。
  12. 前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの距離を示す距離情報を含む前記離隔度合情報を取得し、
    前記モデル取得部は、前記飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記飛行体の前記位置から当該撮像画像によって撮像された前記検出対象領域までの距離及び当該撮像装置が当該撮像画像を撮像した前記撮像角度の組み合わせ毎に、当該撮像画像と、当該距離と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納する前記モデル格納装置から、前記距離情報によって示される前記距離及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記撮像画像を撮像した前記撮像角度の組み合わせに対応するモデルを取得し、
    前記検出部は、前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像した前記撮像画像と、前記距離情報によって示される前記距離と、前記対象飛行体に搭載された前記撮像装置が当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する、
    請求項１０に記載の情報処理装置。
  13. 前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で前記検出対象領域を撮像したときの撮像関連情報に基づいて、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域内のオブジェクトまでの距離を決定する距離決定部と、
    上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像した撮像角度及び当該撮像装置が当該撮像画像を撮像したときの当該飛行体の位置から当該撮像画像の撮像領域内のオブジェクトまでの距離の組み合わせ毎に、当該撮像画像と、当該撮像角度と、当該距離とから、当該撮像領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記検出対象領域を撮像したときの前記撮像関連情報に含まれる撮像角度情報によって示される撮像角度及び前記距離決定部によって決定された前記距離の組み合わせに対応するモデルを取得するモデル取得部と、
    前記モデル取得部が取得した前記モデルを用いて、前記検出対象領域を撮像したときの前記撮像関連情報に含まれる前記撮像画像及び前記撮像角度と、前記距離決定部によって決定された前記距離とから、当該撮像画像の、前記検出対象領域内の前記検出対象を検出する検出部と
    をさらに備える、請求項１に記載の情報処理装置。
  14. 前記情報取得部は、前記位置決定部によって決定された前記対象飛行体の前記位置から前記検出対象領域決定部によって決定された前記検出対象領域までの離隔度合を示す離隔度合情報をさらに取得し、
    前記情報処理装置は、
    上空を飛行している飛行体に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、当該撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合と、当該撮像装置が当該撮像画像を撮像した撮像角度とを含む学習データを格納する学習データ格納部と、
    前記学習データ格納部に格納されている複数の前記学習データを教師データとして用いて、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の当該検出対象を検出するモデルを機械学習により生成するモデル生成部と、
    前記モデル生成部によって生成された、前記離隔度合情報によって示される前記離隔度合及び前記対象飛行体に搭載された前記撮像装置が前記位置決定部によって決定された前記対象飛行体の前記位置で撮像画像を撮像した撮像角度の組み合わせに対応する前記モデルを用いて、当該撮像画像と、前記離隔度合と、当該撮像画像を撮像した前記撮像角度から、当該撮像画像の、前記検出対象領域決定部によって決定された前記検出対象領域内の前記検出対象を検出する検出部と
    をさらに備える、請求項１に記載の情報処理装置。
  15. 前記情報処理装置は、前記対象飛行体に搭載される、請求項１に記載の情報処理装置。
  16. 上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、当該撮像装置が当該撮像画像を撮像したときの前記対象飛行体の位置から当該撮像画像の撮像領域内の検出対象を検出する検出対象領域までの離隔度合を示す離隔度合情報と、当該撮像装置が当該撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部と、
    上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応するモデルを取得するモデル取得部と、
    前記モデル取得部が取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記対象飛行体の前記撮像装置が撮像した前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出部と
    を備える、情報処理装置。
  17. コンピュータを、請求項１から１６のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
  18. 請求項１から１６のいずれか一項に記載の情報処理装置と、
    前記対象飛行体と
    を備える、システム。
  19. コンピュータによって実行される情報処理方法であって、
    上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階と、
    前記撮像画像に対する領域の指定を受け付けることによって、前記撮像画像の撮像領域内の指定領域を決定する指定領域決定段階と、
    前記撮像関連情報と、前記撮像画像の前記撮像領域に対応する地図データとに基づいて、前記撮像画像の前記指定領域に対応する前記地図データ上の対応エリアを決定する対応エリア決定段階と、
    前記地図データ上の前記対応エリアに基づいて、検出対象を検出する検出対象領域を決定する検出対象領域決定段階と、
    前記地図データに基づいて、前記撮像装置が前記検出対象領域を撮像するときの前記対象飛行体の位置を決定する位置決定段階と
    を備える、情報処理方法。
  20. コンピュータによって実行される情報処理方法であって、
    上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、当該撮像装置が当該撮像画像を撮像したときの前記対象飛行体の位置から当該撮像画像の撮像領域内の検出対象を検出する検出対象領域までの離隔度合を示す離隔度合情報と、当該撮像装置が当該撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階と、
    上空を飛行している飛行体に搭載された撮像装置が撮像画像を撮像したときの前記飛行体の位置から当該撮像画像によって撮像された検出対象領域までの離隔度合及び当該撮像装置が当該撮像画像を撮像した撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の前記検出対象を検出するモデルを格納するモデル格納装置から、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応するモデルを取得するモデル取得段階と、
    前記モデル取得段階で取得した前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記対象飛行体の前記撮像装置が撮像した前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出段階と
    を備える、情報処理方法。
JP2022150058A 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法 Active JP7295321B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022150058A JP7295321B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022150058A JP7295321B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP7295321B1 true JP7295321B1 (ja) 2023-06-20
JP2024044499A JP2024044499A (ja) 2024-04-02

Family

ID=86772627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022150058A Active JP7295321B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7295321B1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251441A1 (ja) 2020-06-10 2021-12-16 株式会社Clue 方法、システムおよびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811483B2 (ja) * 2017-03-30 2021-01-13 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法
JP6878194B2 (ja) * 2017-07-31 2021-05-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、情報出力方法、プログラム、及び記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251441A1 (ja) 2020-06-10 2021-12-16 株式会社Clue 方法、システムおよびプログラム

Also Published As

Publication number Publication date
JP2024044499A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
US20230213931A1 (en) Unmanned Aerial Vehicle Inspection System
US11017679B2 (en) Unmanned aerial vehicle visual point cloud navigation
CN111527463B (zh) 用于多目标跟踪的方法和系统
US11725940B2 (en) Unmanned aerial vehicle control point selection system
US20230289999A1 (en) Methods and systems for joint pose and shape estimation of objects from sensor data
EP3438953A1 (en) Information processing device
WO2019092418A1 (en) Method of computer vision based localisation and navigation and system for performing the same
EP3438925A1 (en) Information processing method and information processing device
US11892841B2 (en) Distributed sensing for vehicle navigation
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
JP2017016359A (ja) 自律移動ロボット
EP3989034B1 (en) Automatic safe-landing-site selection for unmanned aerial systems
CN114200471B (zh) 基于无人机的森林火源检测系统、方法、存储介质、设备
Al-Darraji et al. A technical framework for selection of autonomous uav navigation technologies and sensors
CN117163049A (zh) 用于自动驾驶的系统和方法
Muller et al. A probabilistic sonar sensor model for robust localization of a small-size blimp in indoor environments using a particle filter
JP7295321B1 (ja) 情報処理装置、プログラム、システム、及び情報処理方法
JP6595284B2 (ja) 自律移動ロボット
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7295320B1 (ja) 情報処理装置、プログラム、システム、及び情報処理方法
KR102515245B1 (ko) 무인 비행체의 분실을 방지하는 방법 및 장치
WO2023228283A1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
EP4174611A1 (en) Mobile robot and a method for controlling the mobile robot
CN114296475A (zh) 一种未知空间探索系统、方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7295321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150