JP7295320B1 - 情報処理装置、プログラム、システム、及び情報処理方法 - Google Patents

情報処理装置、プログラム、システム、及び情報処理方法 Download PDF

Info

Publication number
JP7295320B1
JP7295320B1 JP2022149895A JP2022149895A JP7295320B1 JP 7295320 B1 JP7295320 B1 JP 7295320B1 JP 2022149895 A JP2022149895 A JP 2022149895A JP 2022149895 A JP2022149895 A JP 2022149895A JP 7295320 B1 JP7295320 B1 JP 7295320B1
Authority
JP
Japan
Prior art keywords
area
imaging
captured image
detection target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022149895A
Other languages
English (en)
Other versions
JP2024044400A (ja
Inventor
敬介 前迫
亮 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2022149895A priority Critical patent/JP7295320B1/ja
Application granted granted Critical
Publication of JP7295320B1 publication Critical patent/JP7295320B1/ja
Publication of JP2024044400A publication Critical patent/JP2024044400A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

【課題】カメラによって撮影された撮影画像における処理対象範囲を判定し、処理対象範囲に限定して物体の検出処理を実行する。【解決手段】対象飛行体に搭載された撮像装置が撮像した撮像画像と、対象飛行体の位置を示す飛行体位置情報と、撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部と、撮像関連情報に基づいて、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する対応エリア決定部と、地図データ上の対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する適合エリア決定部と、撮像画像の撮像領域と地図データ上の対応エリアとの間の対応関係に基づいて、地図データ上の適合エリアに対応する撮像画像の撮像領域内の対応領域を、検出対象を検出する検出対象領域として決定する検出対象領域決定部と、撮像画像の検出対象領域内の検出対象を検出する検出部とを備える情報処理装置を提供する。【選択図】図1

Description

本発明は、情報処理装置、プログラム、システム、及び情報処理方法に関する。
特許文献1には、飛行体によって撮影された自車両前方の道路の映像を解析した解析結果に基づいて自車両前方の道路上に対向車又は障害物が存在するか否かを判断し、自車両前方の道路に対向車又は障害物が存在すると判断した場合に対向車又は障害物の存在を自車両の運転者に通知する運転支援装置が記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特開2019-160115号公報
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部を備えてよい。前記情報処理装置は、前記撮像関連情報に基づいて、前記撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する対応エリア決定部を備えてよい。前記情報処理装置は、前記地図データ上の前記対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する適合エリア決定部を備えてよい。前記情報処理装置は、前記撮像画像の前記撮像領域と前記地図データ上の前記対応エリアとの間の対応関係に基づいて、前記地図データ上の前記適合エリアに対応する前記撮像画像の前記撮像領域内の対応領域を、検出対象を検出する検出対象領域として決定する検出対象領域決定部を備えてよい。前記情報処理装置は、前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出部を備えてよい。
前記検出部は、前記撮像画像の前記検出対象領域のみを対象とした検出処理を実行してよい。
前記いずれかの情報処理装置は、前記撮像装置が撮像する対象の領域である撮像対象領域が変化したか否かを判定する領域判定部をさらに備えてよい。前記対応エリア決定部は、前記撮像対象領域が変化したと前記領域判定部が判定した場合、前記撮像装置によって撮像された、変化後の撮像対象領域を撮像対象とした他の撮像画像の撮像領域に対応する前記地図データ上の他の対応エリアを決定し、前記適合エリア決定部は、前記地図データ上の前記他の対応エリア内の前記エリア条件に適合する他の適合エリアを決定し、前記検出対象領域決定部は、前記他の撮像画像の前記撮像領域と前記地図データ上の前記他の対応エリアとの間の対応関係に基づいて、前記地図データ上の前記他の適合エリアに対応する前記他の撮像画像の前記撮像領域内の対応領域を、他の検出対象領域として決定し、前記検出部は、前記撮像対象領域が変化していないと前記領域判定部が判定した場合、前記撮像画像の前記検出対象領域内の前記検出対象を検出し、前記撮像対象領域が変化したと前記領域判定部が判定した場合、前記他の撮像画像の前記他の検出対象領域内の前記検出対象を検出してよい。
前記いずれかの情報処理装置において、前記領域判定部は、前記撮像画像の前記撮像領域と、前記撮像画像が撮像されてから予め定められた期間が経過した後に撮像された撮像画像の撮像領域との間の変化量が予め定められた変化量閾値より大きいか否かを判定することによって、前記撮像対象領域が変化したか否かを判定してよい。
前記いずれかの情報処理装置において、前記検出部は、前記検出対象として車両を検出してよい。
前記いずれかの情報処理装置において、前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定し、前記検出部は、前記撮像画像に基づいて、予め定められた期間の間に前記道路領域を通過した前記車両の数を検出してよい。
前記いずれかの情報処理装置において、前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定してよい。前記情報処理装置は、前記検出部が前記検出対象を検出した検出結果に基づいて、前記道路領域で交通渋滞が発生しているか否かを判定する状況判定部をさらに備えてよい。
前記いずれかの情報処理装置において、前記検出部は、前記検出対象として異常車両を検出してよい。
前記いずれかの情報処理装置において、前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定し、前記検出部は、前記撮像画像に基づいて、前記道路領域の進行方向とは逆方向に進行している前記異常車両を検出してよい。
前記いずれかの情報処理装置において、前記適合エリア決定部は、駐車禁止エリアである前記適合エリアを決定し、前記検出対象領域決定部は、前記適合エリアに対応する駐車禁止領域を前記検出対象領域として決定し、前記検出部は、前記撮像画像に基づいて、前記駐車禁止領域に駐車されている前記異常車両を検出してよい。
前記いずれかの情報処理装置において、前記適合エリア決定部は、道路の幅が予め定められた幅閾値より広い道路エリアである前記適合エリアを決定し、前記検出対象領域決定部は、前記適合エリアに対応する道路の幅が前記幅閾値より広い道路領域を前記検出対象領域として決定してよい。
前記いずれかの情報処理装置において、前記対応エリア決定部は、前記撮像関連情報に含まれる前記撮像画像上の少なくとも4点のそれぞれに対応する前記地図データ上の少なくとも4点を決定することによって、前記地図データ上の対応エリアを決定してよい。
前記いずれかの情報処理装置は、上空を飛行している飛行体に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、当該撮像画像を撮像したときの前記飛行体の位置から当該撮像画像の検出対象領域までの離隔度合と、当該撮像装置が当該撮像画像を撮像した撮像角度とを含む学習データを格納する学習データ格納部と、前記学習データ格納部に格納されている複数の前記学習データを教師データとして用いて、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の当該検出対象を検出するモデルを機械学習により生成するモデル生成部とをさらに備えてよい。前記情報取得部は、前記対象飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の前記位置から前記検出対象領域までの離隔度合を示す離隔度合情報をさらに含む前記撮像関連情報を取得し、前記検出部は、前記モデル生成部によって生成された、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応する前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合情報によって示される前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記検出対象を検出してよい。
前記いずれかの情報処理装置は、前記地図データ上の前記対応エリア内に前記適合エリアが存在しないと前記適合エリア決定部が決定した場合、前記撮像関連情報及び前記地図データに基づいて、前記適合エリアに対応する前記対応領域を含む撮像領域の撮像画像を撮像するように、前記対象飛行体の位置及び前記撮像装置の撮像角度のうちの少なくとも一方を制御する制御部をさらに備えてよい。
前記いずれかの情報処理装置において、前記情報処理装置は、前記対象飛行体に搭載されてよい。
本発明の一実施態様によれば、コンピュータを、前記情報処理装置として機能させるためのプログラムが提供される。
本発明の一実施態様によれば、システムが提供される。前記システムは、前記情報処理装置を備えてよい。前記システムは、前記対象飛行体を備えてよい。
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階を備えてよい。前記情報処理方法は、前記撮像関連情報に基づいて、前記撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する対応エリア決定段階を備えてよい。前記情報処理方法は、前記地図データ上の前記対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する適合エリア決定段階を備えてよい。前記情報処理方法は、前記撮像画像の前記撮像領域と前記地図データ上の前記対応エリアとの間の対応関係に基づいて、前記地図データ上の前記適合エリアに対応する前記撮像画像の前記撮像領域内の対応領域を、検出対象を検出する検出対象領域として決定する検出対象領域決定段階を備えてよい。前記情報処理方法は、前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出段階を備えてよい。
尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
システム10の一例を概略的に示す。 情報処理装置200が撮像画像の検出対象領域を決定する処理の一例を説明するための説明図である。 情報処理装置200が地図データ上の対応エリアを決定する処理の一例を説明するための説明図である。 飛行体100に搭載された撮像装置150の撮像角度の一例を説明するための説明図である。 情報処理装置200の機能構成の一例を概略的に示す。 情報処理装置200の処理の流れの一例を説明するための説明図である。 情報処理装置200として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
近年、上空通信プラットフォームの研究開発に伴って、飛行体に搭載した高解像度カメラで地上を撮影した空撮映像の活用検討が進められている。空撮映像の一活用例として、AI(Artificial Intelligence)技術を用いて空撮映像から物体を検出することが挙げられる。AI技術を用いて空撮映像から物体を検出する場合、空撮映像の撮影範囲が広範囲に及ぶので、空撮映像の撮影範囲のうち物体の検出処理を実行する必要がない範囲にまで物体の検出処理を実行する場合がある。本実施形態に係るシステム10は、例えば、飛行体の飛行座標及び当該飛行体に搭載されたカメラの撮像角度等の情報を含む撮影環境情報と地図データとに基づいて、当該カメラによって撮影された撮影画像における処理対象範囲を判定し、処理対象範囲に限定して物体の検出処理を実行する。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、飛行体100及び情報処理装置200を備えてよい。システム10は、地図データ管理装置300をさらに備えてよい。
飛行体100は、撮像装置150と、不図示の制御装置及びバッテリとを搭載する。飛行体100は、バッテリに蓄電された電力を用いて飛行してよい。飛行体100は、対象飛行体の一例であってよい。
飛行体100は、例えば、無人航空機、ドローン、HAPS(High Altitude Platform Station)、気球、飛行船、又は有人航空機いずれかであってよい。図1では、飛行体100がドローンである場合の一例を主に説明する。
制御装置は、飛行体100の各種機能を制御する。制御装置は、例えば、飛行体100の通信機能を制御する。制御装置は、例えば、飛行体100が地上に設置された基地局30を介してネットワーク20にアクセスするように、飛行体100の通信機能を制御する。制御装置は、例えば、飛行体100が不図示のHAPSを介してネットワーク20にアクセスするように、飛行体100の通信機能を制御する。制御装置は、不図示の通信衛星を介してネットワーク20にアクセスするように、飛行体100の通信機能を制御してもよい。飛行体100は、制御装置による制御に従って通信してよい。
ネットワーク20は、例えば、通信事業者によって提供されるコアネットワークを含む。コアネットワークは、例えば、3G(3rd Generation)通信システム、LTE(Long Term Evolution)通信システム、5G(5th Generation)通信システム、又は6G(6th Generation)通信システムのいずれかに準拠してよい。コアネットワークは、6G通信システム以降の通信システムに準拠してもよい。ネットワーク20は、インターネットを含んでよい。
制御装置は、例えば、飛行体100の飛行機能を制御する。制御装置は、例えば、飛行体100が自律飛行をするように、飛行体100を制御する。制御装置は、飛行体100が飛行体100の操縦者による遠隔操縦に従って飛行するように、飛行体100を制御してもよい。
制御装置は、例えば、飛行体100の飛行速度を制御する。制御装置は、例えば、飛行体100の飛行方向を制御する。制御装置は、例えば、飛行体100の飛行高度を制御する。制御装置は、飛行体100の飛行姿勢を制御してもよい。制御装置は、例えば、飛行体100のロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、飛行体100の飛行姿勢を制御する。制御装置は、飛行体100の飛行姿勢を制御することによって、撮像装置150の撮像角度を制御してもよい。飛行体100は、制御装置による制御に従って飛行してよい。
制御装置は、例えば、飛行体100に搭載された撮像装置150を制御する。制御装置は、例えば、撮像装置150の撮像角度を制御する。制御装置は、例えば、撮像装置150のロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、撮像装置150の撮像角度を制御する。制御装置は、撮像装置150のズーム倍率を制御してもよい。
制御装置は、撮像装置150を搭載したジンバルの角度を制御することによって、撮像装置150の撮像角度を制御してもよい。制御装置は、例えば、ジンバルのロール角、ピッチ角、及びヨー角のうちの少なくともいずれかを制御することによって、ジンバルの角度を制御する。
撮像装置150は、撮像画像を撮像する機能を有する装置であれば、どのような装置であってもよい。撮像装置150は、例えば、光学カメラである。撮像装置150は、例えば、赤外線カメラである。撮像装置150は、高解像度カメラであってもよい。
撮像画像は、例えば、静止画像である。撮像画像は、動画像であってもよい。
例えば、制御装置は、飛行体100が予め定められた撮像位置まで飛行するように飛行体100を制御する。制御装置は、飛行体100が当該撮像位置まで飛行したことに応じて、飛行体100が当該撮像位置でホバリングするように飛行体100を制御してよい。その後、制御装置は、撮像装置150が予め定められた撮像領域を撮像するように、撮像装置150の撮像角度を制御してよい。
飛行体100は、例えば、飛行体100の位置を示す位置情報を取得する機能を有する。飛行体100は、例えば、GNSS(Global Navigation Satellite System)機能を用いて、飛行体100の位置情報を取得する。飛行体100は、例えば、GPS(Global Positioning System)機能を用いて、飛行体100の位置情報を取得する。飛行体100は、RTK(Real Time Kinematic)機能を用いて、飛行体100の位置情報を取得してもよい。
飛行体100の位置情報は、例えば、飛行体100の緯度を示す緯度情報を含む。飛行体100の位置情報は、例えば、飛行体100の経度を示す経度情報を含む。飛行体100の位置情報は、例えば、飛行体100の高度を示す高度情報を含む。
飛行体100は、飛行体100の飛行速度を決定する機能を有してもよい。飛行体100は、例えば、速度センサを用いて、飛行体100の飛行速度を決定する。飛行体100は、飛行体100の飛行姿勢を決定する機能を有してもよい。飛行体100は、例えば、角度センサを用いて、飛行体100の飛行姿勢を決定する。
飛行体100は、飛行体100の周囲の天気を示す天気情報を取得する機能を有してもよい。飛行体100は、例えば、気象観測センサを用いて、飛行体100の周囲の天気情報を取得する。尚、飛行体100の周囲とは、飛行体100からの距離が予め定められた距離より短い空間である。
飛行体100は、例えば、情報処理装置200と通信する。飛行体100は、例えば、ネットワーク20を介して、撮像装置150による撮像に関連する撮像関連情報を情報処理装置200に送信する。
撮像関連情報は、例えば、飛行体100が上空を飛行している間に撮像装置150が撮像した撮像画像を含む。撮像関連情報は、例えば、撮像装置150が撮像画像を撮像した撮像角度を示す撮像角度情報を含む。撮像角度は、例えば、撮像装置150のロール軸を中心とした回転角であるロール角、撮像装置150のピッチ軸を中心とした回転角であるピッチ角、及び撮像装置150のヨー軸を中心とした回転角であるヨー角で表される3次元の角度である。撮像関連情報は、例えば、撮像装置150が撮像画像を撮像したズーム倍率を示すズーム倍率情報を含む。撮像関連情報は、例えば、撮像装置150の解像度を示す解像度情報を含む。撮像関連情報は、例えば、撮像装置150が撮像画像を撮像した撮像時刻を示す撮像時刻情報を含む。撮像関連情報は、例えば、撮像装置150が撮像画像を撮像したときの飛行体100の位置を示す飛行体位置情報を含む。撮像関連情報は、例えば、撮像装置150が撮像画像を撮像したときの飛行体100の飛行姿勢を示す飛行姿勢情報を含む。撮像関連情報は、撮像装置150が撮像画像を撮像したときの飛行体100の周囲の天気情報を含んでもよい。図1では、撮像領域40の撮像画像を撮像装置150が撮像したものとして、説明を続ける。
情報処理装置200は、各種処理を実行する。情報処理装置200は、例えば、飛行体100からネットワーク20を介して受信した撮像関連情報に含まれる撮像画像から、予め定められた検出対象を検出する検出処理を実行する。
検出対象は、例えば、四輪自動車、二輪自動車、軽車両、及び電車等の車両である。検出対象は、例えば、船舶である。検出対象は、例えば、人である。検出対象は、人以外の動物であってもよい。図1では、検出対象が四輪自動車である場合の一例を主に説明する。
例えば、情報処理装置200は、飛行体100から受信した撮像関連情報に基づいて、撮像関連情報に含まれる撮像画像の撮像領域40に対応する地図データ上の対応エリアを決定する。次に、情報処理装置200は、地図データ上の対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する。
次に、情報処理装置200は、地図データ上の適合エリアに対応する撮像画像の撮像領域40内の対応領域を、検出対象を検出する検出対象領域として決定する。情報処理装置200は、例えば、撮像画像の撮像領域40と地図データ上の対応エリアとの間の対応関係に基づいて、撮像画像の検出対象領域を決定する。図1では、情報処理装置200が撮像領域40内の検出対象領域70を決定したものとして、説明を続ける。
その後、情報処理装置200は、撮像画像の検出対象領域70内の検出対象を検出する。図1によって示される一例において、情報処理装置200は、検出対象領域70内の四輪自動車である検出対象90を検出する。
情報処理装置200は、飛行体100に搭載されてもよい。この場合、情報処理装置200は、MEC(Multi-access Edge Computing)として機能してもよい。
上空を飛行している飛行体に搭載された撮像装置で地面や海面を撮像する場合、同一のズーム倍率において、撮像装置が撮像画像を撮像する撮像高度が高いほど、撮像画像の撮像領域がより広い領域をカバーする。よって、上空を飛行している飛行体に搭載された撮像装置が撮像した撮像画像から地面や海面を含む検出対象領域内の検出対象を検出する場合、撮像装置の撮像高度が高くなるにつれて、検出対象領域以外の領域が撮像画像の撮像領域により多く含まれる傾向にある。したがって、撮像画像から検出対象領域内の検出対象を検出する前に検出対象領域を決定しない場合、検出対象領域以外の領域に対しても検出処理を実行する必要があるので、撮像装置の撮像高度が高くなるにつれて、検出対象領域内の検出対象を検出するために不必要な処理が増加する。また、検出対象領域の形状は、四角形形状や八角形形状等といった様々な多角形形状であり得、1つの撮像画像内に複数の検出対象領域が含まれる場合もあり得るので、撮像装置のズーム倍率を調整するだけでは、撮像領域に内に含まれる検出対象領域以外の領域を少なくすることができない場合がある。以上より、上空を飛行している飛行体に搭載された撮像装置が撮像した撮像画像から検出対象領域内の検出対象を検出する場合、検出対象の検出処理を実行する前に検出対象領域を決定することが望ましい。
従来のシステムによれば、撮像装置が撮像画像を撮像するときの飛行体の位置及び撮像装置が撮像画像を撮像する撮像角度を予め設定することによって、撮像画像の撮像領域内の検出対象領域を決定していた。この場合、撮像装置が撮像する対象の領域である撮像対象領域が既知である場合にしか検出対象領域を決定することができず、飛行体が移動する度に検出対象領域を決定する処理を行う必要があるので、従来のシステムは、飛行体の移動性を活かすことができず汎用性に欠けるシステムであった。また、従来のシステムによれば、撮像装置が撮像した撮像画像に対して画像認識処理を実行することによって、撮像画像の撮像領域内の検出対象領域を決定していた。この場合、検出対象領域を決定するための画像認識処理が重い処理であるので、従来のシステムは、撮像画像の撮像領域内の検出対象領域を決定するために時間を要していた。また、検出対象領域を決定するための画像認識処理は、撮像装置が撮像画像を撮像するときの飛行体の位置や撮像装置が撮像画像を撮像する撮像角度によっては、検出対象領域を高精度に決定することができないので、従来のシステムは、検出対象領域を高精度に決定することができない場合があった。
これに対して、本実施形態に係るシステム10によれば、情報処理装置200は、撮像関連情報及び地図データに基づいて撮像画像の撮像領域内の検出対象領域を決定し、検出対象領域内の検出対象を検出する。情報処理装置200は、撮像関連情報及び地図データに基づいて撮像画像の撮像領域内の検出対象領域を決定するので、撮像装置150が撮像画像を撮像するときの飛行体100の位置及び撮像装置150が撮像画像を撮像する撮像角度を予め設定することなく、撮像画像の撮像領域内の検出対象領域を決定できる。したがって、本実施形態に係るシステム10は、飛行体100の移動性を活かすことが可能な汎用性が高い、検出対象領域内の検出対象を検出するシステムを実現できる。また、情報処理装置200は、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定し、撮像画像の撮像領域と地図データ上の対応エリアとの間の対応関係に基づいて、適合エリアに対応する撮像画像の撮像領域内の対応領域を検出対象領域として決定するので、撮像領域内の検出対象領域を決定するために、撮像画像に対して画像認識処理を実行する必要がない。したがって、本実施形態に係るシステム10は、撮像画像の撮像領域内の検出対象領域を短時間で決定することができる。さらに、情報処理装置200は、地図データ上の対応エリア内のエリア条件に適合する適合エリアを決定し、適合エリアに対応する撮像画像の撮像領域内の対応領域を検出対象領域として決定する。したがって、本実施形態に係るシステム10は、撮像装置150が撮像画像を撮像するときの飛行体100の位置や撮像装置150が撮像画像を撮像する撮像角度に関わらず、検出対象領域を高精度に決定できる。
図2は、情報処理装置200が撮像画像の検出対象領域を決定する処理の一例を説明するための説明図である。図2では、検出対象領域が道路領域である場合の一例を主に説明する。
図2の(A)は、上空を飛行している飛行体100に搭載された撮像装置150によって撮像された撮像画像である。図2では、情報処理装置200が、撮像装置150が撮像した図2の(A)の撮像画像と、当該撮像画像を撮像したときの飛行体100の飛行体位置情報と、当該撮像装置150の撮像角度情報とを含む撮像関連情報を取得したものとして説明を続ける。
図2の(B)は、図2の(A)の撮像画像の撮像領域を含む地図データである。情報処理装置200は、当該撮像画像と、飛行体位置情報によって示される当該撮像画像を撮像したときの飛行体100の位置と、撮像角度情報によって示される当該撮像画像を撮像した撮像装置150の撮像角度とに基づいて、当該撮像画像の撮像領域に対応する図2の(B)の地図データ上の対応エリアを決定する。図2では、図2の(B)に示されるように、情報処理装置200が対応エリア50を決定したものとして説明を続ける。
その後、情報処理装置200は、図2の(B)の対応エリア50内のエリア条件に適合する適合エリアを決定する。図2では、図2の(B)に示されるように、情報処理装置200が、道路エリアであるというエリア条件に適合する適合エリア60を決定したものとして説明を続ける。
その後、情報処理装置200は、図2の(A)の撮像画像の撮像領域と図2の(B)のの対応エリア50との間の対応関係に基づいて、図2の(B)の適合エリア60に対応する当該撮像画像の撮像領域内の対応領域を、検出対象領域として決定する。図2の(C)は、情報処理装置200が決定した検出対象領域70を強調表示した、図2の(A)の撮像画像である。情報処理装置200は、検出対象領域70内の検出対象物体を検出する。
図3は、情報処理装置200が地図データ上の対応エリアを決定する処理の一例を説明するための説明図である。図3の(A)は、上空を飛行している飛行体100に搭載された撮像装置150によって撮像された撮像画像である。
情報処理装置200は、図3の(A)の撮像画像上の4点の指定を受け付ける。撮像画像上の各点は、(x,y)で表されてよい。図3では、情報処理装置200が、図3の(A)の撮像画像上の点CAM(x,y)、点CAM(x,y)、点CAM(x,y)、及び点CAM(x,y)の4点の指定をそれぞれ受け付けたものとして説明を続ける。
図3の(B)は、図3の(A)の撮像画像の撮像領域を含む地図データである。情報処理装置200は、図3の(A)の撮像画像上の4点のそれぞれに対応する図3の(B)の地図データ上の4点を決定することによって、図3の(A)の撮像画像の撮像領域に対応する図3の(B)の地図データ上の対応エリア50を決定する。地図データ上の各点は、(x',y')で表されてよい。
情報処理装置200は、例えば、図3の(A)の撮像画像上の4点のそれぞれに対応する図3の(B)の地図データ上の4点の指定を受け付けることによって、図3の(A)の撮像画像上の4点のそれぞれに対応する図3の(B)の地図データ上の4点を決定する。図3では、情報処理装置200が、図3の(A)の撮像画像上の点CAMに対応する図3の(B)の地図データ上の点である点MAP(x',y')、図3の(A)の撮像画像上の点CAMに対応する図3の(B)の地図データ上の点である点MAP(x',y')、図3の(A)の撮像画像上の点CAMに対応する図3の(B)の地図データ上の点である点MAP(x',y')、及び図3の(A)の撮像画像上の点CAMに対応する図3の(B)の地図データ上の点である点MAP(x',y')の4点の指定をそれぞれ受け付けたものとして説明を続ける。
情報処理装置200は、点CAM及び点MAP、点CAM及び点MAP、点CAM及び点MAP、並びに、点CAM及び点MAPを下記の数式にそれぞれ代入することによって、下記の数式に示される行列の各パラメータH11~H32を決定する。情報処理装置200は、各パラメータが決定された下記の数式に示される行列を用いることによって、図3の(A)の撮像画像の撮像領域に対応する図3の(B)の地図データ上の対応エリア50を決定する。尚、下記の数式に示される行列は、拡大、縮小、回転、及び平行移動等の変換を元の画像に対して実行する行列である。下記の数式におけるsは、定数である。
Figure 0007295320000002
図4は、飛行体100に搭載された撮像装置150の撮像角度の一例を説明するための説明図である。図4に示される一例において、撮像装置150のロール軸、ピッチ軸、及びヨー軸は、それぞれ、x軸、y軸、及びz軸である。図4では、飛行体100に搭載された制御装置が、撮像装置150のピッチ角θを制御する場合の一例を主に説明する。
当該制御装置は、例えば、撮像装置150によって撮像される撮像領域が、検出対象90が存在する検出対象領域を含むように、θを制御する。θは、例えば、右回りに回転する場合を正とする。θは、例えば、撮像装置150が撮像装置150から地面に向かって垂直な方向を向いている場合を0°する。θの範囲は、-180°≦θ<180°である。
当該制御装置は、撮像装置150のピッチ角θを制御する場合と同様にして、撮像装置150のロール角θを制御してもよい。θは、例えば、右回りに回転する場合を正とする。θは、例えば、撮像装置150が地面と平行な方向を向いている場合を0°とする。θの範囲は、-180°≦θ<180°である。
当該制御装置は、撮像装置150のピッチ角θを制御する場合と同様にして、撮像装置150のヨー角θを制御してもよい。θは、例えば、ヨー軸を中心に右回りに回転する場合を正とする。θは、例えば、撮像装置150が真北を向いている場合を0°する。θの範囲は、0°≦θ<360°である。
図5は、情報処理装置200の機能構成の一例を概略的に示す。情報処理装置200は、情報格納部202、情報取得部204、制御部206、情報送信部207、対応エリア決定部208、適合エリア決定部210、検出対象領域決定部212、検出部214、領域判定部216、学習データ格納部218、モデル生成部220、モデル格納部222、モデル取得部224、状況判定部226、及び通知部228を備える。尚、情報処理装置200がこれらの全ての構成を備えることが必須とは限らない。
情報格納部202は、各種情報を格納する。情報格納部202は、例えば、予め定められた範囲の地図データを格納する。地図データは、例えば、複数の撮像画像に基づいて生成される。撮像画像は、例えば、人工衛星に搭載された撮像装置よって撮像された衛星画像である。撮像画像は、飛行体に搭載された撮像装置よって撮像された航空画像であってもよい。地図データは、例えば、三次元地図データである。
情報格納部202は、例えば、エリア条件を格納する。エリア条件は、例えば、道路エリアであることを含む。エリア条件は、例えば、道路の幅が予め定められた幅閾値より広い道路エリアであることを含む。エリア条件は、例えば、高速道路エリアであることを含む。エリア条件は、例えば、一般道路エリアであることを含む。エリア条件は、例えば、車両の走行可能な速度が予め定められた速度閾値より速い道路エリアであることを含む。エリア条件は、例えば、車両の走行可能な速度が速度閾値より遅い道路エリアであることを含む。エリア条件は、例えば、駐車場エリアであることを含む。エリア条件は、駐車禁止エリアであることを含む。エリア条件は、野外コンサートやスポーツの試合等のイベントが開催されている会場であるイベント会場エリアであることを含んでもよい。
情報取得部204は、各種情報を取得する。情報取得部204は、例えば、ネットワーク20を介して、外部装置から各種情報を受信することによって、各種情報を取得する。外部装置は、例えば、飛行体100である。外部装置は、例えば、地図データ管理装置300である。外部装置は、例えば、情報処理装置200のユーザの所有する通信端末である。外部装置は、その他の任意の装置であってもよい。情報取得部204は、例えば、情報処理装置200が備える入力部を介して情報処理装置200のユーザから各種情報の入力を受け付けることによって、各種情報を取得する。情報処理装置200が飛行体100に搭載される場合、情報取得部204は、飛行体100の各種機能によって取得された各種情報を飛行体100から直接取得してもよい。情報取得部204は、取得した各種情報を情報格納部202に格納する。
情報取得部204は、例えば、検出対象を示す検出対象情報を取得する。情報取得部204は、例えば、撮像対象領域を示す撮像対象領域情報を取得する。撮像対象領域は、例えば、地面を含む。撮像対象領域は、海面を含んでもよい。情報取得部204は、例えば、エリア条件を示すエリア条件情報を取得する。情報取得部204は、例えば、撮像関連情報を取得する。
制御部206は、各種装置を制御する。制御部206は、例えば、飛行体100を制御する。制御部206は、例えば、飛行体100に搭載された撮像装置150を制御する。制御部206は、撮像装置150を搭載したジンバルを制御してもよい。
制御部206は、例えば、情報取得部204が取得した各種情報に基づいて、制御信号を生成し、ネットワーク20を介して生成した制御信号を飛行体100に送信することによって、飛行体100、撮像装置150、及びジンバルのうちの少なくともいずれかを制御する。飛行体100に搭載された制御装置は、情報処理装置200から受信した制御信号に従って、飛行体100、撮像装置150、及びジンバルのうちの少なくともいずれかを制御してよい。情報処理装置200が飛行体100に搭載される場合、制御部206は、情報取得部204が取得した各種情報に基づいて、制御信号を生成し、生成した制御信号で飛行体100、撮像装置150、及びジンバルのうちの少なくともいずれかを直接制御してよい。
制御信号は、例えば、飛行体100を制御する飛行体制御信号を含む。飛行体制御信号は、例えば、飛行体100の飛行速度を制御する飛行速度制御信号、飛行体100の飛行方向を制御する飛行方向制御信号、飛行姿勢を制御する飛行姿勢制御信号のうちの少なくともいずれかを含む。飛行姿勢制御信号は、例えば、飛行体100のロール角を制御するロール角制御信号、飛行体100のピッチ角を制御するピッチ角制御信号、及び飛行体100のヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。
制御信号は、例えば、撮像装置150を制御する撮像装置制御信号を含む。撮像装置制御信号は、例えば、撮像装置150の撮像角度を制御する撮像角度制御信号を含む。撮像角度制御信号は、例えば、撮像装置150のロール角を制御するロール角制御信号、撮像装置150のピッチ角を制御するピッチ角制御信号、及び撮像装置150のヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。撮像装置制御信号は、撮像装置150のズーム倍率を制御するズーム倍率制御信号を含んでもよい。
制御信号は、ジンバルの角度を制御するジンバル角度制御信号を含んでもよい。ジンバル角度制御信号は、例えば、ジンバルのロール角を制御するロール角制御信号、ジンバルのピッチ角を制御するピッチ角制御信号、及びジンバルのヨー角を制御するヨー角制御信号のうちの少なくともいずれかを含む。
制御部206は、例えば、情報格納部202に格納されている撮像対象領域情報によって示される撮像対象領域を撮像するように、飛行体100を制御する。制御部206は、例えば、当該撮像対象領域を撮像するように、撮像装置150を制御する。制御部206は、当該撮像対象領域を撮像するように、ジンバルを制御してもよい。
情報送信部207は、各種情報を外部装置に送信する。情報送信部207は、例えば、ネットワーク20を介して、各種情報を外部装置に送信する。
情報送信部207は、例えば、情報格納部202に格納されている撮像関連情報に含まれる飛行体100の飛行体位置情報を、地図データ管理装置300に送信する。情報取得部204は、情報処理装置200から飛行体100の飛行体位置情報を受信したことに応じて地図データ管理装置300によって送信された、飛行体位置情報によって示される飛行体100の位置を含む地図データを受信する。
対応エリア決定部208は、飛行体100に搭載された撮像装置150によって撮像された撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部208は、例えば、情報格納部202に格納されている撮像関連情報に基づいて、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。
対応エリア決定部208は、例えば、飛行体位置情報によって示される撮像装置150が撮像画像を撮像したときの飛行体100の位置及び撮像角度情報によって示される撮像装置150が撮像画像を撮像した撮像角度に基づいて撮像画像の撮像領域を決定することによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。
対応エリア決定部208は、ズーム倍率情報によって示される撮像装置150が撮像画像を撮像したズーム倍率にさらに基づいて撮像画像の撮像領域を決定してもよい。対応エリア決定部208は、解像度情報によって示される撮像装置150の解像度にさらに基づいて撮像画像の撮像領域を決定してもよい。対応エリア決定部208は、天気情報によって示される撮像装置150が撮像画像を撮像したときの飛行体100の周囲の天気にさらに基づいて、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定してもよい。
対応エリア決定部208は、例えば、座標変換技術を用いることによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部208は、例えば、撮像関連情報に含まれる撮像画像上の少なくとも4点のそれぞれに対応する地図データ上の少なくとも4点を決定することによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。
対応エリア決定部208は、例えば、撮像画像上の4点のそれぞれに対応する地図データ上の4点を決定することによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部208は、撮像画像上の4点より多いN点のそれぞれに対応する地図データ上のN点を決定することによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定してもよい。
対応エリア決定部208は、例えば、情報処理装置200が備える入力部が撮像画像上の少なくとも4点及び撮像画像上の少なくとも4点のそれぞれに対応する地図データ上の少なくとも4点の情報処理装置200のユーザによる入力を受け付けることによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。対応エリア決定部208は、撮像画像の解析を実行することにより撮像画像上の少なくとも4点及び撮像画像上の4点のそれぞれに対応する地図データ上の少なくとも4点を決定することによって、撮像画像の撮像領域に対応する地図データ上の対応エリアを決定してもよい。
対応エリア決定部208は、撮像画像の撮像領域と地図データ上の対応エリアとの間の対応関係をさらに決定してもよい。撮像画像の撮像領域と地図データ上の対応エリアとの間の対応関係は、例えば、前述の数式によって表される。
適合エリア決定部210は、対応エリア決定部208によって決定された地図データ上の対応エリア内の、情報格納部202に格納されているエリア条件に適合する適合エリアを決定する。適合エリア決定部210は、地図データ上の対応エリア内に適合エリアが複数存在する場合、複数の適合エリアのそれぞれを決定してよい。
適合エリア決定部210は、例えば、道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、道路の幅が幅閾値より広い道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、高速道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、一般道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、車両の走行可能な速度が速度閾値より速い道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、車両の走行可能な速度が速度閾値より遅い道路エリアである適合エリアを決定する。適合エリア決定部210は、例えば、駐車場エリアである適合エリアを決定する。適合エリア決定部210は、例えば、駐車禁止エリアである適合エリアを決定する。適合エリア決定部210は、例えば、イベント会場エリアである適合エリアを決定してもよい。
制御部206は、地図データ上の対応エリア内に適合エリアが存在しないと適合エリア決定部210が決定した場合、情報格納部202に格納されている撮像関連情報及び地図データに基づいて、適合エリアに対応する対応領域を含む撮像領域の撮像画像を撮像するように、飛行体100の位置及び撮像装置150の撮像角度のうちの少なくとも一方を制御してもよい。制御部206は、適合エリアに対応する対応領域を含む撮像領域の撮像画像を撮像するように、飛行体100の飛行姿勢を制御してもよい。制御部206は、適合エリアに対応する対応領域を含む撮像領域の撮像画像を撮像するように、撮像装置150のズーム倍率を制御してもよい。
検出対象領域決定部212は、適合エリア決定部210によって決定された地図データ上の適合エリアに対応する撮像画像の撮像領域内の対応領域を、検出対象領域として決定する。検出対象領域決定部212は、例えば、撮像画像の撮像領域と地図データ上の対応エリアとの間の対応関係に基づいて、撮像画像の撮像領域内の検出対象領域を決定する。
検出対象領域決定部212は、例えば、適合エリアが道路エリアである場合、当該適合エリアに対応する道路領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが道路の幅が幅閾値より広い道路エリアである場合、当該適合エリアに対応する道路の幅が幅閾値より広い道路領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが高速道路エリアである場合、当該適合エリアに対応する高速道路領域を検出対象領域として決定する。検出対象領域決定部212は、適合エリアが一般道路エリアである場合、当該適合エリアに対応する一般道路領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが車両の走行可能な速度が速度閾値より速い道路エリアである場合、当該適合エリアに対応する車両の走行可能な速度が速度閾値より速い道路領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが車両の走行可能な速度が速度閾値より遅い道路エリアである場合、当該適合エリアに対応する車両の走行可能な速度が速度閾値より遅い道路領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが駐車場エリアである場合、当該適合エリアに対応する駐車場領域を検出対象領域として決定する。検出対象領域決定部212は、例えば、適合エリアが駐車禁止エリアである場合、当該適合エリアに対応する駐車禁止領域を検出対象領域として決定する。検出対象領域決定部212は、適合エリアがイベント会場エリアである場合、当該適合エリアに対応するイベント会場領域を検出対象領域として決定してもよい。
情報取得部204は、飛行体100に搭載された撮像装置150が撮像画像を撮像したときの飛行体100の位置から、検出対象領域決定部212によって決定された検出対象領域までの離隔度合を示す離隔度合情報を取得してもよい。離隔度合は、例えば、撮像装置150が撮像画像を撮像したときの飛行体100の位置と検出対象領域との間の高度差である。離隔度合は、撮像装置150が撮像画像を撮像したときの飛行体100の位置から検出対象領域までの距離であってもよい。飛行体100の位置から検出対象領域までの距離を測定してよい。尚、離隔度合情報は、撮像関連情報に含まれてもよい。
情報取得部204は、撮像関連情報に含まれる飛行体位置情報によって示される飛行体100の位置及び情報格納部202に格納されている三次元地図データに基づいて、離隔度合情報を取得する。情報取得部204は、飛行体100に搭載されたセンサによって測定された離隔度合情報を取得してもよい。情報取得部204は、例えば、飛行体100に搭載された高度センサによって測定された当該高度差を示す高度差情報を取得する。情報取得部204は、飛行体100に搭載された測距センサによって測定された当該距離を示す距離情報を取得してもよい。
検出部214は、検出対象領域決定部212によって決定された、撮像画像の検出対象領域内の検出対象を検出する。検出部214は、例えば、撮像画像の検出対象領域のみを対象とした検出処理を実行することによって、撮像画像の検出対象領域内の検出対象を検出する。検出部214は、撮像画像の検出対象領域及び検出対象領域からの距離が予め定められた距離閾値より短い検出対象領域の外側領域を対象とした検出処理を実行することによって、撮像画像の検出対象領域内の検出対象を検出してもよい。
検出部214は、例えば、撮像画像に対して画像認識処理を実行することによって、撮像画像の検出対象領域内の検出対象を検出する。検出部214は、時間軸で連続撮像された複数の撮像画像に対して画像認識処理を実行することによって、検出した検出対象をトラッキングしてもよい。
検出部214は、例えば、検出対象として車両を検出する。検出部214は、例えば、撮像画像に基づいて、予め定められた期間の間に検出対象領域決定部212によって決定された検出対象領域である道路領域を通過した車両の数を検出する。検出部214は、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域である駐車場領域に駐車している車両の数を検出してもよい。
検出部214は、例えば、検出対象として異常車両を検出する。検出部214は、例えば、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域である道路領域の進行方向とは逆方向に進行している車両を検出することによって、異常車両を検出する。検出部214は、例えば、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域である道路領域の進行方向と平行な直線及び車体方向と平行な直線の2直線のなす角が予め定められた角度の範囲に含まれる車両を検出することによって、異常車両を検出する。検出部214は、例えば、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域である、車両の走行可能な速度が速度閾値より遅い道路領域において、速度閾値より速い速度で走行している車両を検出することによって、異常車両を検出する。検出部214は、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域である駐車禁止領域に駐車されている車両を検出することによって、異常車両を検出してもよい。
検出部214は、検出対象として、人を検出してもよい。検出部214は、例えば、撮像画像に基づいて、予め定められた期間の間に検出対象領域決定部212によって決定された検出対象領域である道路領域を通行した人の数を検出する。検出部214は、撮像画像に基づいて、検出対象領域決定部212によって決定された検出対象領域であるイベント会場領域に存在する人の数を検出してもよい。
検出部214は、検出対象領域決定部212によって決定された、撮像画像の検出対象領域内で発生した交通事故を検出してもよい。検出部214は、例えば、検出対象が車両である場合、撮像画像に基づいて、煙や炎が発生している車両を検出することによって、交通事故を検出する。検出部214は、検出対象が車両である場合、撮像画像に基づいて、横転や反転している車両を検出することによって、交通事故を検出してもよい。検出部214は、検出対象が人である場合、倒れている人を検出することによって、交通事故を検出してもよい。
領域判定部216は、撮像対象領域が変化したか否かを判定する。領域判定部216は、例えば、情報取得部204が、情報格納部202に格納されている撮像対象領域情報によって示される撮像対象領域とは異なる撮像対象領域を示す撮像対象領域情報を取得した場合、撮像対象領域が変化したと判定する。
領域判定部216は、飛行体100に搭載された撮像装置150によって撮像された複数の撮像画像に基づいて、撮像対象領域が変化したか否かを判定してもよい。領域判定部216は、例えば、撮像画像の撮像領域と、撮像画像が撮像されてから予め定められた期間が経過した後に撮像された撮像画像の撮像領域との間の変化量が予め定められた変化量閾値より大きいか否かを判定することによって、撮像対象領域が変化したか否かを判定する。
対応エリア決定部208は、撮像対象領域が変化したと領域判定部216が判定した場合、撮像装置150によって撮像された、変化後の撮像対象領域を撮像対象とした他の撮像画像の撮像領域に対応する地図データ上の他の対応エリアを決定してよい。適合エリア決定部210は、地図データ上の他の対応エリア内の、情報格納部202に格納されているエリア条件に適合する他の適合エリアを決定してよい。検出対象領域決定部212は、他の撮像画像の撮像領域と地図データ上の他の対応エリアとの間の対応関係に基づいて、地図データ上の他の適合エリアに対応する他の撮像画像の撮像領域内の対応領域を、他の検出対象領域として決定してよい。
検出部214は、撮像対象領域が変化していないと領域判定部216が判定した場合、検出対象領域決定部212によって決定された、撮像画像の検出対象領域内の検出対象を検出してよい。検出部214は、撮像対象領域が変化したと領域判定部216が判定した場合、検出対象領域決定部212によって決定された、他の撮像画像の他の検出対象領域内の検出対象を検出してよい。
学習データ格納部218は、学習データを格納する。学習データは、例えば、上空を飛行している飛行体100に搭載された撮像装置150が検出対象領域内の検出対象を撮像した撮像画像と、撮像画像を撮像したときの飛行体100の位置から撮像画像の検出対象領域までの離隔度合と、撮像装置150が撮像画像を撮像した撮像角度とを含む。学習データは、高層ビルや鉄塔等の構造物に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、撮像画像を撮像したときの撮像装置の設置位置から撮像画像の検出対象領域までの離隔度合と、撮像装置が撮像画像を撮像した撮像角度とを含んでもよい。情報取得部204は、撮像関連情報に含まれる上空を飛行している飛行体100に搭載された撮像装置150が検出対象領域内の検出対象を撮像した撮像画像と、撮像関連情報に含まれる離隔度合情報によって示させる撮像画像を撮像したときの飛行体100の位置から撮像画像の検出対象領域までの離隔度合と、撮像関連情報に含まれる撮像角度情報によって示される撮像装置150が撮像画像を撮像した撮像角度とを学習データとして学習データ格納部218に格納してよい。
モデル生成部220は、撮像画像の検出対象領域内の検出対象を検出するモデルを機械学習により生成する。モデル生成部220は、例えば、学習データ格納部218に格納されている複数の学習データを教師データとして用いて、撮像画像と、離隔度合と、撮像角度とから、モデルを機械学習により生成する。モデル生成部220は、例えば、学習データ格納部218に格納されている複数の学習データを教師データとして用いて、離隔度合及び撮像角度の組み合わせ毎に、撮像画像と、離隔度合と、撮像角度とから、モデルを機械学習により生成する。モデル生成部220は、生成したモデルをモデル格納部222に格納してよい。
モデル取得部224は、撮像画像の検出対象領域内の検出対象を検出するモデルを取得する。モデル取得部224は、例えば、モデル生成部220と同様にして生成されたモデルを格納するモデル格納装置からモデルを取得する。モデル取得部224は、取得したモデルをモデル格納部222に格納してよい。
モデル取得部224は、例えば、モデル格納装置が外部装置である場合、ネットワーク20を介してモデル格納装置にアクセスしてモデルを取得することによって、モデル格納装置からモデルを取得する。モデル取得部224は、情報処理装置200がモデル格納装置を搭載している場合、モデル格納装置からモデルを直接取得してもよい。
検出部214は、例えば、モデル生成部220によって生成された、情報取得部204が取得した離隔度合情報によって示される離隔度合及び撮像角度情報によって示される撮像角度の組み合わせに対応するモデルを用いて、撮像装置150が撮像した撮像画像と、当該離隔度合情報によって示される離隔度合と、当該撮像角度情報によって示される撮像角度とから、検出対象を検出する。検出部214は、モデル取得部224によって取得された、当該離隔度合及び当該撮像角度の組み合わせに対応するモデルを用いて、当該撮像画像と、当該離隔度合と、当該撮像角度とから、検出対象を検出してもよい。
状況判定部226は、撮像画像の検出対象領域内の状況を判定する。状況判定部226は、例えば、検出部214が検出対象を検出した検出結果に基づいて、検出対象領域内の状況を判定する。
状況判定部226は、例えば、検出対象が車両であり、且つ、検出対象領域が道路領域である場合において、検出部214が検出対象を検出した検出結果に基づいて、道路領域で交通渋滞が発生しているか否かを判定する。状況判定部226は、例えば、予め定められた期間内に検出部214によって検出された車両の数が予め定められた第1車両数閾値より多く、且つ、当該期間内に道路領域を通過した車両の数が予め定められた第2車両数閾値より少ないことを検出部214が検出した場合、道路領域で交通渋滞が発生していると判定する。第1車両数閾値は、第2車両数閾値と同一であってもよく、第2車両数閾値と異なっていてもよい。
領域判定部216は、予め定められた期間内に道路領域内の車両の移動量が予め定められた移動量閾値より少ないことを検出部214が検出した場合、道路領域で交通渋滞が発生していると判定する。領域判定部216は、予め定められた期間の間、道路領域内の車両の速度が予め定められた速度閾値より低いことを検出部214が検出した場合、道路領域で交通渋滞が発生していると判定する。領域判定部216は、予め定められた期間の間、車両が道路領域に滞在していることを検出部214が検出した場合、道路領域で交通渋滞が発生していると判定してもよい。状況判定部226は、検出対象が車両であり、且つ、検出対象領域が駐車場領域である場合において、駐車場領域内で駐車している車両の数が駐車場領域に対応する駐車数閾値より多いことを検出部214が検出した場合、駐車場領域が満車であると判定してもよい。
状況判定部226は、例えば、検出対象が人であり、且つ、検出対象領域がイベント会場領域である場合において、イベント会場領域内の人の数がイベント会場領域に対応する人数閾値より多いことを検出部214が検出した場合、イベント会場領域が混雑していると判定する。状況判定部226は、検出対象が人であり、且つ、検出対象領域がイベント会場領域である場合において、イベント会場領域内の人の密度がイベント会場領域に対応する密度閾値より高いことを検出部214が検出した場合、イベント会場領域が混雑していると判定してもよい。
通知部228は、各種情報を通知する。通知部228は、例えば、情報処理装置200が備える表示部に各種情報を表示することによって、各種情報を通知する。通知部228は、ネットワーク20を介して、各種情報を外部装置に送信することによって、各種情報を通知してもよい。
通知部228は、例えば、検出部214が検出対象を検出した検出結果を通知する。通知部228は、状況判定部226が検出対象領域内の状況を判定した判定結果を通知してもよい。
情報送信部207は、ネットワーク20を介して、撮像関連情報を地図データ管理装置300に送信してもよい。地図データ管理装置300は、情報処理装置200と同様にして、情報処理装置200から受信した撮像関連情報に基づいて、撮像画像の検出対象領域を決定してよい。地図データ管理装置300は、決定した検出対象領域を示す検出対象領域情報を情報処理装置200に送信してよい。検出部214は、撮像画像の、情報取得部204が地図データ管理装置300から受信した検出対象領域情報によって示される検出対象領域内の検出対象を検出してよい。
図6は、情報処理装置200の処理の流れの一例を説明するための説明図である。図6では、飛行体100が撮像対象領域を撮像可能な位置に到着した状態を開始状態とする。
ステップ(ステップをSと省略して記載する場合がある。)102において、情報取得部204は、飛行体100から撮像関連情報を取得する。S104において、対応エリア決定部208は、S102で情報取得部204が取得した撮像関連情報に基づいて、撮像関連情報に含まれる撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。
S106において、適合エリア決定部210は、S104で対応エリア決定部208が決定した地図データ上の対応エリア内のエリア条件に適合する適合エリアを決定する。S108において、検出対象領域決定部212は、撮像画像の撮像領域と、S106で対応エリア決定部208が決定した地図データ上の対応エリアとの間の対応関係に基づいて、S106で適合エリア決定部210が決定した地図データ上の適合エリアに対応する撮像画像の撮像領域内の対応領域を、検出対象領域として決定する。S110において、検出部214は、S108で検出対象領域決定部212が決定した撮像画像の検出対象領域内の検出対象を検出する。
S112において、領域判定部216は、飛行体100に搭載された撮像装置150の撮像対象領域が変化したか否かを判定する。撮像対象領域が変化したと領域判定部216が判定した場合、S114に進む。撮像対象領域が変化していないと領域判定部216が判定した場合、S124に進む。
S114において、情報取得部204は、飛行体100から撮像対象領域の変化後の撮像関連情報を取得する。S116において、対応エリア決定部208は、S114で情報取得部204が取得した撮像関連情報に基づいて、撮像関連情報に含まれる撮像対象領域の変化後の撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する。
S118において、適合エリア決定部210は、S116で対応エリア決定部208が決定した地図データ上の対応エリア内のエリア条件に適合する適合エリアを決定する。S120において、検出対象領域決定部212は、撮像対象領域の変化後の撮像画像の撮像領域と、S116で対応エリア決定部208が決定した地図データ上の対応エリアとの間の対応関係に基づいて、S118で適合エリア決定部210が決定した地図データ上の適合エリアに対応する撮像対象領域の変化後の撮像画像の撮像領域内の対応領域を、検出対象領域として決定する。S122において、検出部214は、S120で検出対象領域決定部212が決定した撮像対象領域の変化後の撮像画像の検出対象領域内の検出対象を検出する。
S124において、情報取得部204が、飛行体100から撮像関連情報を取得する。S126において、検出部214は、検出対象を前回検出したときと同一の検出対象領域で、撮像画像の検出対象領域内の検出対象を検出する。
S128において、情報取得部204が終了指示を取得していない場合、S112に戻る。S128において、情報取得部204が終了指示を取得した場合、その後、処理が終了する。
図7は、情報処理装置200として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、上記実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、上記実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ1226、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブ1226は、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード1242のようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブ1226は、プログラム又はデータをDVD-ROM1227等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM1227又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM1227、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ1226(DVD-ROM1227)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 システム、20 ネットワーク、30 基地局、40 撮像領域、50 対応エリア、60 適合エリア、70 検出対象領域、90 検出対象、100 飛行体、150 撮像装置、200 情報処理装置、202 情報格納部、204 情報取得部、206 制御部、207 情報送信部、208 対応エリア決定部、210 適合エリア決定部、212 検出対象領域決定部、214 検出部、216 領域判定部、218 学習データ格納部、220 モデル生成部、222 モデル格納部、224 モデル取得部、226 状況判定部、228 通知部、300 地図データ管理装置、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ、1242 キーボード

Claims (18)

  1. 上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得部と、
    前記撮像関連情報に基づいて、前記撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する対応エリア決定部と、
    前記地図データ上の前記対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する適合エリア決定部と、
    前記撮像画像の前記撮像領域と前記地図データ上の前記対応エリアとの間の対応関係に基づいて、前記地図データ上の前記適合エリアに対応する前記撮像画像の前記撮像領域内の対応領域を、検出対象を検出する検出対象領域として決定する検出対象領域決定部と、
    前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出部と
    を備える、情報処理装置。
  2. 前記検出部は、前記撮像画像の前記検出対象領域のみを対象とした検出処理を実行する、請求項1に記載の情報処理装置。
  3. 前記撮像装置が撮像する対象の領域である撮像対象領域が変化したか否かを判定する領域判定部をさらに備え、
    前記対応エリア決定部は、前記撮像対象領域が変化したと前記領域判定部が判定した場合、前記撮像装置によって撮像された、変化後の撮像対象領域を撮像対象とした他の撮像画像の撮像領域に対応する前記地図データ上の他の対応エリアを決定し、
    前記適合エリア決定部は、前記地図データ上の前記他の対応エリア内の前記エリア条件に適合する他の適合エリアを決定し、
    前記検出対象領域決定部は、前記他の撮像画像の前記撮像領域と前記地図データ上の前記他の対応エリアとの間の対応関係に基づいて、前記地図データ上の前記他の適合エリアに対応する前記他の撮像画像の前記撮像領域内の対応領域を、他の検出対象領域として決定し、
    前記検出部は、前記撮像対象領域が変化していないと前記領域判定部が判定した場合、前記撮像画像の前記検出対象領域内の前記検出対象を検出し、前記撮像対象領域が変化したと前記領域判定部が判定した場合、前記他の撮像画像の前記他の検出対象領域内の前記検出対象を検出する、
    請求項1に記載の情報処理装置。
  4. 前記領域判定部は、前記撮像画像の前記撮像領域と、前記撮像画像が撮像されてから予め定められた期間が経過した後に撮像された撮像画像の撮像領域との間の変化量が予め定められた変化量閾値より大きいか否かを判定することによって、前記撮像対象領域が変化したか否かを判定する、請求項3に記載の情報処理装置。
  5. 前記検出部は、前記検出対象として車両を検出する、請求項1に記載の情報処理装置。
  6. 前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、
    前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定し、
    前記検出部は、前記撮像画像に基づいて、予め定められた期間の間に前記道路領域を通過した前記車両の数を検出する、請求項5に記載の情報処理装置。
  7. 前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、
    前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定し、
    前記情報処理装置は、
    前記検出部が前記検出対象を検出した検出結果に基づいて、前記道路領域で交通渋滞が発生しているか否かを判定する状況判定部
    をさらに備える、請求項5に記載の情報処理装置。
  8. 前記検出部は、前記検出対象として異常車両を検出する、請求項1に記載の情報処理装置。
  9. 前記適合エリア決定部は、道路エリアである前記適合エリアを決定し、
    前記検出対象領域決定部は、前記適合エリアに対応する道路領域を前記検出対象領域として決定し、
    前記検出部は、前記撮像画像に基づいて、前記道路領域の進行方向とは逆方向に進行している前記異常車両を検出する、請求項8に記載の情報処理装置。
  10. 前記適合エリア決定部は、駐車禁止エリアである前記適合エリアを決定し、
    前記検出対象領域決定部は、前記適合エリアに対応する駐車禁止領域を前記検出対象領域として決定し、
    前記検出部は、前記撮像画像に基づいて、前記駐車禁止領域に駐車されている前記異常車両を検出する、
    請求項8に記載の情報処理装置。
  11. 前記適合エリア決定部は、道路の幅が予め定められた幅閾値より広い道路エリアである前記適合エリアを決定し、
    前記検出対象領域決定部は、前記適合エリアに対応する道路の幅が前記幅閾値より広い道路領域を前記検出対象領域として決定する、
    請求項1に記載の情報処理装置。
  12. 前記対応エリア決定部は、前記撮像関連情報に含まれる前記撮像画像上の少なくとも4点のそれぞれに対応する前記地図データ上の少なくとも4点を決定することによって、前記地図データ上の対応エリアを決定する、請求項1に記載の情報処理装置。
  13. 上空を飛行している飛行体に搭載された撮像装置が検出対象領域内の検出対象を撮像した撮像画像と、当該撮像画像を撮像したときの前記飛行体の位置から当該撮像画像の検出対象領域までの離隔度合と、当該撮像装置が当該撮像画像を撮像した撮像角度とを含む学習データを格納する学習データ格納部と、
    前記学習データ格納部に格納されている複数の前記学習データを教師データとして用いて、当該離隔度合及び当該撮像角度の組み合わせ毎に、当該撮像画像と、当該離隔度合と、当該撮像角度とから、当該検出対象領域内の当該検出対象を検出するモデルを機械学習により生成するモデル生成部と
    をさらに備え、
    前記情報取得部は、前記対象飛行体に搭載された前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の前記位置から前記検出対象領域までの離隔度合を示す離隔度合情報をさらに含む前記撮像関連情報を取得し、
    前記検出部は、前記モデル生成部によって生成された、前記離隔度合情報によって示される前記離隔度合及び前記撮像角度情報によって示される前記撮像角度の組み合わせに対応する前記モデルを用いて、前記対象飛行体に搭載された前記撮像装置が撮像した前記撮像画像と、前記離隔度合情報によって示される前記離隔度合と、前記撮像角度情報によって示される前記撮像角度とから、前記検出対象を検出する、
    請求項1に記載の情報処理装置。
  14. 前記地図データ上の前記対応エリア内に前記適合エリアが存在しないと前記適合エリア決定部が決定した場合、前記撮像関連情報及び前記地図データに基づいて、前記適合エリアに対応する前記対応領域を含む撮像領域の撮像画像を撮像するように、前記対象飛行体の位置及び前記撮像装置の撮像角度のうちの少なくとも一方を制御する制御部をさらに備える、請求項1に記載の情報処理装置。
  15. 前記情報処理装置は、前記対象飛行体に搭載される、請求項1に記載の情報処理装置。
  16. コンピュータを、請求項1から15のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
  17. 請求項1から15のいずれか一項に記載の情報処理装置と、
    前記対象飛行体と
    を備える、システム。
  18. コンピュータによって実行される情報処理方法であって、
    上空を飛行している対象飛行体に搭載された撮像装置が撮像した撮像画像と、前記撮像装置が前記撮像画像を撮像したときの前記対象飛行体の位置を示す飛行体位置情報と、前記撮像装置が前記撮像画像を撮像した撮像角度を示す撮像角度情報とを含む撮像関連情報を取得する情報取得段階と、
    前記撮像関連情報に基づいて、前記撮像画像の撮像領域に対応する地図データ上の対応エリアを決定する対応エリア決定段階と、
    前記地図データ上の前記対応エリア内の予め定められたエリア条件に適合する適合エリアを決定する適合エリア決定段階と、
    前記撮像画像の前記撮像領域と前記地図データ上の前記対応エリアとの間の対応関係に基づいて、前記地図データ上の前記適合エリアに対応する前記撮像画像の前記撮像領域内の対応領域を、検出対象を検出する検出対象領域として決定する検出対象領域決定段階と、
    前記撮像画像の前記検出対象領域内の前記検出対象を検出する検出段階と
    を備える、情報処理方法。
JP2022149895A 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法 Active JP7295320B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022149895A JP7295320B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022149895A JP7295320B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP7295320B1 true JP7295320B1 (ja) 2023-06-20
JP2024044400A JP2024044400A (ja) 2024-04-02

Family

ID=86772635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022149895A Active JP7295320B1 (ja) 2022-09-21 2022-09-21 情報処理装置、プログラム、システム、及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7295320B1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251441A1 (ja) 2020-06-10 2021-12-16 株式会社Clue 方法、システムおよびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811483B2 (ja) * 2017-03-30 2021-01-13 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法
JP6878194B2 (ja) * 2017-07-31 2021-05-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォーム、情報出力方法、プログラム、及び記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251441A1 (ja) 2020-06-10 2021-12-16 株式会社Clue 方法、システムおよびプログラム

Also Published As

Publication number Publication date
JP2024044400A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
JP6637088B2 (ja) ウォルシュ・カーネル・投影技術に基づく自動運転車両の位置決め
US20230274653A1 (en) Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
EP3707466A1 (en) Method of computer vision based localisation and navigation and system for performing the same
US11892841B2 (en) Distributed sensing for vehicle navigation
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN112740268B (zh) 目标检测方法和装置
US20230358537A1 (en) Control Point Identification System
US11709073B2 (en) Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle
KR20200037737A (ko) 자율 주행 차량을 위한 보행자 확률 예측 시스템
EP4058984A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US11255975B2 (en) Systems and methods for implementing a tracking camera system onboard an autonomous vehicle
DE112018006730T5 (de) Steuervorrichtung und steuerverfahren, programm und mobiles objekt
US20220028262A1 (en) Systems and methods for generating source-agnostic trajectories
JP7295320B1 (ja) 情報処理装置、プログラム、システム、及び情報処理方法
JP7295321B1 (ja) 情報処理装置、プログラム、システム、及び情報処理方法
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
JP7094432B1 (ja) 情報処理システム、情報処理装置、プログラム、及び情報処理方法
US11348206B2 (en) System and method for increasing sharpness of image
EP4174611A1 (en) Mobile robot and a method for controlling the mobile robot
JP2024062326A (ja) 情報処理装置及びプログラム
JP2022079954A (ja) 物体検出装置
WO2020073270A1 (en) Snapshot image of traffic scenario
CN115423932A (zh) 道路标注方法、可读介质、程序产品和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7295320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150