JP7153306B2 - 検出対象位置特定システム - Google Patents

検出対象位置特定システム Download PDF

Info

Publication number
JP7153306B2
JP7153306B2 JP2018079448A JP2018079448A JP7153306B2 JP 7153306 B2 JP7153306 B2 JP 7153306B2 JP 2018079448 A JP2018079448 A JP 2018079448A JP 2018079448 A JP2018079448 A JP 2018079448A JP 7153306 B2 JP7153306 B2 JP 7153306B2
Authority
JP
Japan
Prior art keywords
detection
detection target
probability
image data
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018079448A
Other languages
English (en)
Other versions
JP2019185689A (ja
Inventor
大輔 岩倉
Original Assignee
株式会社ロックガレッジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ロックガレッジ filed Critical 株式会社ロックガレッジ
Priority to JP2018079448A priority Critical patent/JP7153306B2/ja
Publication of JP2019185689A publication Critical patent/JP2019185689A/ja
Application granted granted Critical
Publication of JP7153306B2 publication Critical patent/JP7153306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

特許法第30条第2項適用 展示日 平成29年10月19日 展示会名 ドローンフェス in INA Valley 鹿検知コンペティション(技術プレゼンテーションにて) 開催場所 ほりでいドーム 長野県伊那市高遠町勝間176-1 公開者名 岩倉 大輔
本発明は、検出対象の位置を確率値の高低で示す検出対象位置特定システムに関する。
ドローンに搭載されて土地をマッピングするカメラユニットを備え、上空を飛行するドローンから見える土地の一部分の連続的な画像情報をカメラユニットによって撮像し、カメラユニットを通して見える土地部分についての画像情報と少なくとも直前に撮像された土地部分についての画像情報とを比較し、それら画像情報の重複率を決定する重複率決定ステップと、重複率決定ステップによって決定された重複率があらかじめ定められた重複率以下である場合、直ちに土地部分の画像情報の撮影を実行するようにカメラユニットに撮影指示を送信する撮影指示送信ステップとを有する画像撮像管理方法が開示されている(特許文献1参照)。
特開2017-15704号公報
前記特許文献1に開示の画像撮像管理方法は、上空を飛行するドローンに設置されたカメラユニットによって土地の一部分の連続的な画像情報を撮像し、重複率があらかじめ定められた重複率以下である場合、直ちに土地部分の画像情報の撮影を実行するようにカメラユニットに撮影指示を送信することで、画像取得回数を最小限にしつつマッピング対象の土地をマッピングする。しかし、この画像撮像管理方法は、ドローンのカメラユニットによって撮影された所定面積の土地の複数の画像から所定の検出対象ならびに、その検出対象の位置の特定ができず、その位置を疑似カラーまたはアイコンで示す可視化画面を出力することはできない。したがって、所定面積の地域から検出対象を見つけ出すことができず、所定面積の地域における検出対象の位置を把握することができない。
本発明の目的は、撮影機能を有する移動体によって撮影された画像データから所定の検出対象を特定することができ、特定した検出対象の位置を確率値の高低で示すことができる検出対象位置特定システムを提供することにある。本発明の他の目的は、検出対象の位置を確率値の高低で示す可視化画面を出力することができ、所定面積の地域から検出対象を見つけ出すことができるとともに、所定面積の地域における検出対象の位置を把握することができる検出対象位置特定システムを提供することにある。
前記課題を解決するための本発明の検出対象位置特定システムの特徴は、撮影機能を備えた移動体と、移動体によって撮影された画像を受信する演算装置と、演算装置の演算処理によって作られた可視化画像を出力する出力装置とから形成され、移動体が、所定面積の地域を移動しつつその撮影機能によって画像データを取得する撮影手段と、撮影手段によって異なる位置・撮影方向から撮影された複数の画像データを演算装置に送信する画像送信手段とを有し、演算装置が、移動体が移動する地域の確率セル集合を生成する確率セル集合生成手段と、人工知能を利用して画像データに含まれる所定の検出対象の検出尤度および検出対象の画像データ上の位置、大きさを求める検出対象検出手段と、画像送信手段によって移動体から送信された移動体の位置情報および画像データの撮影方向をもとに確率セル集合における更新対象範囲を特定し、更新対象範囲に含まれる各セルの確率値をベイズの定理を応用した所定の更新数式を使用し、検出対象検出手段によって検出した検出対象の検出尤度および検出対象の画像データ上の位置、大きさをもとに更新する確率分布値更新手段と、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで、検出対象を確率セル集合におけるセル毎の確率値の高低として特定する検出対象位置特定手段とを有することにある。
本発明の検出対象位置特定システムの一例としては、検出対象位置特定手段によって特定された検出対象の確率セル集合におけるセル毎の確率値の高低をもとに可視化画面を生成する可視化画面生成手段と、可視化画面生成手段によって生成した可視化画面を出力装置に出力する可視化画面出力手段とを有することにある。
本発明の検出対象位置特定システムの他の一例としては、演算装置が、画像データの各画素に対して検出対象が窺知となる窺知確率を算出する窺知確率算出手段を含み、確率分布値更新手段において利用される更新数式が、窺知確率算出手段によって算出した窺知確率を含む更新数式である。
本発明の検出対象位置特定システムの他の一例としては、可視化画像生成手段によって生成される可視化画面が、確率セル集合におけるセル毎の確率値の高低に基づき、各画素が三原色(RGB)および透明度で構成された疑似カラー表示、および/または、確率セル集合におけるセル毎の確率値が近傍セルに比較して最も高いセルに対する検出対象アイコンの表示である。
本発明の検出対象位置特定システムの他の一例としては、可視化画像生成手段が、航空写真または地図の画面表示に対して疑似カラー表示および検出対象アイコンが重なって表示される。
本発明の検出対象位置特定システムの他の一例としては、演算装置が、検出対象検出手段によって検出した検出対象の検出尤度および検出対象の画像データ上の位置、大きさをもとに画像データの各画素に対する検出尤度を対応付ける2次元尤度データ生成手段を含み、2次元尤度データ生成手段が、画像データの各画素に検出尤度を対応付ける際、複数の検出尤度が対応付く場合はそれら検出尤度のうちの最大の検出尤度をその画素に対応付け、何も検出尤度が対応付けられない場合はその画素に尤度0を対応付ける。
本発明の検出対象位置特定システムの他の一例としては、確率分布値更新手段が、移動体の3次元位置データと撮影機能の姿勢と撮影機能の定数パラメータとから確率セル集合における画像データの各画素に対応する観測方向を算出しつつ、観測方向に存在する確率セルを参照し、窺知確率算出手段において所定の窺知確率算出数式によって検出対象が窺知となる窺知確率を算出する。
本発明の検出対象位置特定システムの他の一例としては、移動体の3次元位置データが、移動体の経度、緯度、高度であり、撮影機能の姿勢が、四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角である。
本発明の検出対象位置特定システムの他の一例としては、確率分布値更新手段が、確率セル集合のセルの確率値を更新数式によって更新する場合、確率セル集合のセルの3次元位置と移動体の3次元位置データと撮影機能の姿勢と撮影機能の定数パラメータとから画像データ上の参照すべき画素を特定し、窺知確率算出手段によって対応付けられた窺知確率および2次元尤度生成手段によって対応付けられた検出尤度を読み出して計算する。
本発明の検出対象位置特定システムの他の一例としては、可視化画面生成手段が、3次元の確率セル集合の1つの座標軸方向に対し、最大値を求める処理を行うことによって3次元の確率セル集合を2次元のデータに圧縮し、その確率値の高低を用いて各画素が三原色(RGB)および透明度で構成された疑似カラー表示を行う。
本発明の検出対象位置特定システムの他の一例としては、移動体が、空中を飛行する無人航空機(ドローン)であり、撮影機能が、無人航空機(ドローン)に設置されて空中から地上を撮影するカメラであり、無人航空機(ドローン)が、衛星測位システムとカメラの撮影時の姿勢計測システムとを有する。
本発明に係る検出対象位置特定システムによれば、移動体が、所定面積の地域を移動しつつその撮影機能によって画像データを取得する撮影手段と、撮影手段によって異なる位置・撮影方向から撮影された複数の画像データを演算装置に送信する画像送信手段とを有し、演算装置が、移動体が移動する地域の確率セル集合を生成する確率セル集合生成手段と、人工知能を利用して画像データに含まれる所定の検出対象の検出尤度および検出対象の画像データ上の位置、大きさを求める検出対象検出手段と、画像送信手段によって移動体から送信された移動体の位置情報および画像データの撮影方向をもとに確率セル集合における更新対象範囲を特定し、更新対象範囲に含まれる各セルの確率値をベイズの定理を応用した所定の更新数式を使用し、検出対象検出手段によって検出した検出対象の検出尤度および検出対象の画像データ上の位置、大きさをもとに更新する確率分布値更新手段と、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで、検出対象を確率セル集合におけるセル毎の確率値の高低として特定する検出対象位置特定手段とを有し、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することにより、撮影機能を有する移動体によって撮影された画像データから所定の検出対象の3次元位置を、移動体と検出対象との相対距離のいかんにかかわらず、確率値の高低で特定することができる。検出対象位置特定システムは、検出対象の3次元位置を確率値の高低で特定することができるから、所定面積の地域に存在する検出対象を見つけ出すことができ、所定面積の地域における検出対象の正確な位置を把握することができる。
演算装置の演算処理によって作られた可視化画像を出力する出力装置を含み、演算装置が、検出対象位置特定手段によって特定された検出対象の確率セル集合におけるセル毎の確率値の高低をもとに可視化画面を生成する可視化画面生成手段と、可視化画面生成手段によって生成した可視化画面を出力装置に出力する可視化画面出力手段とを含む検出対象位置特定システムは、検出対象検出手段によって特定された検出対象の位置を確率値の高低で示す可視化画面を出力することができ、出力装置に出力された可視化画面から所定面積の地域に存在する検出対象を確実に見つけ出すことができるとともに、所定面積の地域における検出対象の正確な位置を確実に把握することができる。
演算装置が画像データの各画素に対して検出対象が窺知となる窺知確率を算出する窺知確率算出手段を含み、確率分布値更新手段において利用される更新数式が窺知確率算出手段によって算出した窺知確率を含む更新数式である検出対象位置特定システムは、更新数式に窺知確率算出手段によって算出した窺知確率を含み、ベイズの定理を応用した窺知確率を含む所定の更新数式を使用することで、検出対象が特定された画像データを含む確率セル集合の各画素の確率分布の確率値が高い精度で更新され、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで、撮影機能を有する移動体によって撮影された画像データから所定の検出対象を特定することができ、移動体と検出対象との相対距離のいかんにかかわらず、検出対象の3次元位置を確率値の高低で特定することができるとともに、検出対象検出手段によって特定された検出対象の位置を確率値の高低で示す可視化画面を出力することができる。検出対象位置特定システムは、検出対象の3次元位置を確率値の高低で特定することができるから、出力装置に出力された可視化画面から所定面積の地域に存在する検出対象を確実に見つけ出すことができ、所定面積の地域における検出対象の正確な位置を確実に把握することができる。
可視化画像生成手段によって生成される可視化画面が確率セル集合におけるセル毎の確率値の高低に基づき、各画素が三原色(RGB)および透明度で構成された疑似カラー表示、および/または、確率セル集合におけるセル毎の確率値が近傍セルに比較して最も高いセルに対する検出対象アイコンの表示である検出対象位置特定システムは、検出対象検出手段によって特定された検出対象の位置を確率値の高低で示す疑似カラー表示、および/または、検出対象検出手段によって特定された検出対象の位置を高い確率で示す検出対象アイコンを出力装置に出力することで、所定面積の地域において検出対象の3次元位置を高い確率で特定することができ、出力装置に出力された疑似カラー表示や検出対象アイコンから所定面積の地域に存在する検出対象を確実に見つけ出すことができるとともに、所定面積の地域における検出対象の正確な位置を確実に把握することができる。
可視化画像生成手段が航空写真または地図の画面表示に対して疑似カラー表示および検出対象アイコンが重なって表示される検出対象位置特定システムは、検出対象検出手段によって特定された検出対象の位置を確率値の高低で示す疑似カラー表示を航空写真または地図の画面表示に重ねた表示、および/または、検出対象検出手段によって特定された検出対象の位置を高い確率で示す検出対象アイコンを航空写真または地図の画面表示に重ねた表示を行うことで、航空写真または地図の画面において検出対象の3次元位置を高い確率で特定することができ、出力装置に出力された疑似カラー表示や検出対象アイコンから航空写真または地図の画面に存在する検出対象を確実に見つけ出すことができるとともに、航空写真または地図の画面における検出対象の正確な位置を確実に把握することができる。
演算装置が検出対象検出手段によって検出した検出対象の検出尤度および検出対象の画像データ上の位置、大きさをもとに画像データの各画素に対する検出尤度を対応付ける2次元尤度データ生成手段を含み、2次元尤度データ生成手段が画像データの各画素に検出尤度を対応付ける際、複数の検出尤度が対応付く場合はそれら検出尤度のうちの最大の検出尤度をその画素に対応付け、何も検出尤度が対応付けられない場合はその画素に尤度0を対応付ける検出対象位置特定システムは、上記のように検出尤度を対応付けることで、検出対象が特定された画像データを含む確率セル集合の各画素の確率分布の確率値を高い精度で更新することができ、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで検出対象の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象の位置を示す可視化画面(疑似カラー表示や検出対象アイコン)を出力することができる。検出対象位置特定システムは、検出対象の3次元位置を高い精度で特定することができるから、出力装置に出力された可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができ、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
確率分布値更新手段が移動体の3次元位置データと撮影機能の姿勢と撮影機能の定数パラメータとから確率セル集合における画像データの各画素に対応する観測方向を算出しつつ、観測方向に存在する確率セルを参照し、窺知確率算出手段において所定の窺知確率算出数式によって検出対象が窺知となる窺知確率を算出する検出対象位置特定システムは、上記の条件を使用して観測方法を算出し、観測方向に存在する確率セルを参照して窺知確率を算出することで、検出対象が特定された画像データを含む確率セル集合の各画素の確率分布の確率値を高い精度で更新することができ、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで検出対象の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象の位置を示す可視化画面(疑似カラー表示や検出対象アイコン)を出力することができる。検出対象位置特定システムは、検出対象の3次元位置を高い精度で特定することができるから、出力装置に出力された可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができ、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
移動体の3次元位置データが移動体の経度、緯度、高度であり、撮影機能の姿勢が四元数または前記四元数と同等の姿勢を表すロール、ピッチ、ヨー角である検出対象位置特定システムは、窺知確率算出手段において、移動体の経度、緯度、高度と四元数または前記四元数と同等の姿勢を表すロール、ピッチ、ヨー角と撮影機能の定数パラメータとから確率セル集合における画像データの各画素に対応する観測方向を算出しつつ、観測方向に存在する確率セルを参照し、所定の窺知確率算出数式によって検出対象が窺知となる窺知確率を算出するから、検出対象が特定された画像データを含む確率セル集合の各画素の確率分布の確率値を高い精度で更新することができ、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで検出対象の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象の位置を示す可視化画面(疑似カラー表示や検出対象アイコン)を出力することができる。検出対象位置特定システムは、検出対象の3次元位置を高い精度で特定することができるから、出力装置に出力された可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができ、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
確率分布値更新手段が確率セル集合のセルの確率値を更新数式によって更新する場合、確率セル集合のセルの3次元位置と移動体の3次元位置データと撮影機能の姿勢と撮影機能の定数パラメータとから画像データ上の参照すべき画素を特定し、窺知確率算出手段によって対応付けられた窺知確率および2次元尤度生成手段によって対応付けられた検出尤度を読み出して計算する検出対象位置特定システムは、確率分布値更新手段が確率セル集合のセルの確率値を更新数式によって更新する場合、上記の条件を使用して画像データ上の参照すべき画素を特定し、窺知確率および検出尤度を読み出して計算するから、検出対象が特定された画像データを含む確率セル集合の各画素の確率分布の確率値を高い精度で更新することができ、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで検出対象の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象の位置を示す可視化画面(疑似カラー表示や検出対象アイコン)を出力することができる。検出対象位置特定システムは、検出対象の3次元位置を高い精度で特定することができるから、出力装置に出力された可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができ、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
可視化画面生成手段が3次元の確率セル集合の1つの座標軸方向に対し、最大値を求める処理を行うことによって3次元の確率セル集合を2次元のデータに圧縮し、その確率値の高低を用いて各画素が三原色(RGB)および透明度で構成された疑似カラー表示を行う検出対象位置特定システムは、所定面積の地域(航空写真や地図の画面)において検出対象の3次元位置を確率値の高低で特定した2次元の各画素が三原色(RGB)および透明度で構成された疑似カラー表示の可視化画面(疑似カラー表示や検出対象アイコン)を出力することができ、出力装置に出力された2次元の可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができるとともに、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
移動体が空中を飛行する無人航空機(ドローン)であり、撮影機能が無人航空機(ドローン)に設置されて空中から地上を撮影するカメラであり、無人航空機(ドローン)が衛星測位システムとカメラの撮影時の姿勢計測システムとを有する検出対象位置特定システムは、無人航空機(ドローン)が所定面積の地域を移動しつつカメラによって画像データを取得する撮影手段と、撮影手段によって異なる位置・撮影方向から撮影された複数の画像データを演算装置に送信する画像送信手段とを実施し、演算装置が無人航空機(ドローン)に設置されたカメラによって撮影された画像データを受信し、検出対象検出手段から確率分布値更新手段までの各手段を1回以上繰り返し実施することで無人航空機(ドローン)のカメラによって撮影された画像データから所定の検出対象を特定することができ、無人航空機(ドローン)と検出対象との相対距離のいかんにかかわらず、検出対象の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象の位置を示す可視化画面(疑似カラー表示や検出対象アイコン)を出力することができる。検出対象位置特定システムは、無人航空機(ドローン)から送信された画像データを利用して検出対象の3次元位置を高い精度で特定することができるから、出力装置に出力された可視化画面(疑似カラー表示や検出対象アイコン)から所定面積の地域(航空写真や地図の画面)に存在する検出対象を確実に見つけ出すことができ、所定面積の地域(航空写真や地図の画面)における検出対象の正確な位置を確実に把握することができる。
検出対象位置特定システムの一例を示すマシン構成図。 検出対象位置特定システムの演算装置で行われる処理の一例を示す図。 確率セル集合19および更新対象範囲の一例を示す図。 更新対象範囲に含まれる各セルの確率値を1回更新したときの更新対象範囲の正面図。 更新対象範囲に含まれる各セルの確率値を2回更新したときの更新対象範囲の正面図。 更新対象範囲に含まれる各セルの確率値を2回更新したときの更新対象範囲の正面図。 ディスプレイ(表示装置)に表示(出力)された可視化画面(確率分布画像)の一例を示す図。
検出対象位置特定システム10の一例を示すマシン構成図である図1等の添付の図面を参照し、本発明に係る検出対象位置特定システムの詳細を説明すると、以下のとおりである。なお、図2は、検出対象位置特定システム10の演算装置12で行われる処理の一例を示す図であり、図3は、確率セル集合19および更新対象範囲20の一例を示す図である。図4は、更新対象範囲20に含まれる各セルの確率値を1回更新したときの更新対象範囲20の正面図であり、図5は、更新対象範囲20に含まれる各セルの確率値を2回更新したときの更新対象範囲20の正面図である。図6は、更新対象範囲20に含まれる各セルの確率値を3回更新したときの更新対象範囲20の正面図であり、図7は、ディスプレイ13(表示装置)に表示(出力)された可視化画面Vi(確率分布画像)の一例を示す図である。
検出対象位置特定システム10は、ドローン11(移動体)(無人航空機)と演算装置12とディスプレイ13(表示装置)とから形成されている。ドローン11は、機体本体と、機体本体から延びる4本のローターアームと、それらローターアームに取り付けられた4つのローター(回転翼)と、それらローターを回転させる4つ電動機(モーター)(図示せず)と備えている。ドローン11は、電動機(モーター)(図示せず)を駆動源としてローターが回転し、ローターの回転による揚力によって空中を飛行し、または、空中にホバリングする。それら電動機は、各ローターに個別に接続され、各電動機によって各ローターが回転する。
ドローン11には、その飛行中またはそのホバリング中に静止画や動画を撮影可能な高解像度カメラ14(撮影機能)が搭載されている。ドローン11には、図示はしていないが、飛行制御装置(コントローラ)、衛星測位システム(GNNSS測位装置)、カメラ搭載用ジンバル、姿勢方位基準システム(AHRS)、無線通信装置(テレメトリデータおよび映像伝送装置)等が搭載されている。ドローン11には、あらかじめ設定された飛行ミッション(フライトプラン)によって自律して飛行(自律飛行)する機種が利用されている。なお、ドローン11には、プロポ(無線操縦装置)による遠隔操作によって飛行(マニュアル飛行)する機種を利用することもできる。
ドローン11に搭載された無線通信装置は、高解像度カメラ14(撮影機能)によって撮影された画像データ(静止画または動画)と、衛星測位システム、カメラ搭載用ジンバル、姿勢方位基準システムから取得された位置データおよびカメラ姿勢データを演算装置12に送信する。
演算装置12は、中央処理部(CPUまたはMPU)とメモリ(メインメモリおよびキャッシュメモリ)とを有して独立したオペレーティングシステム(OS)によって動作するコンピュータ(仮想マシンを含む)であり、地上に設置されている。演算装置は、大容量記憶領域(大容量ハードディスク等)を実装し、送受信機能(通信機能)によってドローンとデータを送受信することができる。演算装置12は、図2に示すように、検出対象検出部15と確率分布計算部16とを備えている。
演算装置12には、キーボード17やマウス(図示せず)等の入力装置、ディスプレイ13(表示装置)やタッチパネル(表示装置)(図示せず)等の出力装置がインターフェイスを介して接続されている。大容量記憶領域には、検出対象位置特定システム10を実行するコンピュータプログラム(ドローンを遠隔飛行させる自動航行機能を含む)および人工知能(AI)が格納(記憶)されている。ディスプレイ13(表示装置)には、演算装置12(コンピュータ)の演算処理によって作られた可視化画面Viが表示(出力)される。
演算装置12(コンピュータ)は、複数の画像データから必要な検出対象18(例えば、人や動物、車等の特定物)を高い精度で認識することができるように人工知能に学習させ、画像データに含まれる検出対象18(人や動物、車等の個体)の検出尤度を求めることができるように人工知能に学習させる。さらに、画像データに含まれる検出対象18の画像データ上の位置を求めることができるように人工知能に学習させ、画像データに含まれる検出対象18の画像データ上の大きさを求めることができるように人工知能に学習させる。
脳のニューロン(神経細胞)を模倣した人工知能(AI/人工ニューラルネットワーク)は、正解の検出対象18を含む画像データとその画像データ上の位置および大きさが組になった大量の訓練データを用いて学習を重ねることで、次第に正解の検出対象18(人や動物、車等の特定物)とそれ以外(背景)を区別する方法を学び、画像データに含まれる検出対象18の検出尤度や画像データ上の位置、画像データ上の大きさを正確に求めることができるようになる。大量の訓練画像データを入力して訓練した人工ニューラルネットワークは、検出対象18とそれ以外を正確に区別し、与えた画像データが訓練画像データ(人工ニューラルネットワークの学習に使用したサンプル画像データ)と異なっていたとしても検出対象18を認識することや、検出対象18の検出尤度、画像データ上の位置、画像データ上の大きさを求めることができるようになる。
検出対象18(人や動物、車等の個体)の認識や検出対象18の検出尤度、画像データ上の位置、画像データ上の大きさを求めるため、人工ニューラルネットワークの入力層では入力画像データ(2次元訓練画像データや3次元訓練画像データ)の個々の画像が解析され、次の層(隠れ層)ではある特定の検出対象18が有する特有の幾何学的な形状を抽出する。中間の層(隠れ層)では各検出対象18の特徴が検出され、さらに深い層(隠れ層)ではそれらを組み合わせた検出対象18全体を認識する。そして、人工ニューラルネットワークの出力層および、出力層側に存在する隠れ層では、その検出対象18が他の検出対象ではなく、検出が必要な検出対象18であると推測するとともに、検出対象18の画像データ上の位置、画像データ上の大きさを推測し、その尤度を出力する。
演算装置12の検出対象位置特定システム10を実行するアプリケーション(ドローンを遠隔飛行させる自動航行機能を含む)を起動させると、図示はしていないが、飛行ミッション作成(フライトプラン作成)画面が演算装置12に接続されたディスプレイ13(表示装置)に表示される。飛行ミッション作成画面には、ドローン11の飛行地域(移動体の移動地域)を選択する飛行地域選択エリア、検出対象18を選択する検出対象選択エリア、選択確認ボタンが表示される。飛行地域選択エリアには、複数の航空写真(飛行地域画像)または地図の画面(飛行地域画像)が表示される。
飛行地域選択エリアに表示された複数の航空写真または複数の地図の画面からドローン11を飛行させる航空写真または地図の画面を選択(反転させ)し、検出対象選択エリアに検出対象18を入力(検出対象選択エリアのプルダウンリストから検出対象18を選択)し、選択確認ボタンをクリックする。なお、検出対象入力エリアに人が入力(検出対象入力エリアのプルダウンリストから人が選択)され、検出対象18として人が選ばれたものとする。
選択確認ボタンをクリックすると、選択された航空写真または地図の画面を表す3次元コンピュータグラフィックスによる三次元航空写真画像または三次元地図画像がディスプレイ13に表示されるとともに、検出対象18(人)を表示した検出対象表示エリアがディスプレイ13に表示される。三次元航空写真画像または三次元地図画像には、ドローン11の飛行速度(離陸速度、移動速度、着陸速度)入力エリア、飛行高度入力エリア条件確定ボタンが表示される。
ディスプレイ13に表示された三次元航空写真画像または三次元地図画像にドローン11の飛行経路(離陸地点および着陸地点を含む)を入力し、飛行速度入力エリアにドローン11の飛行速度(離陸速度、移動速度、着陸速度)を入力し、飛行高度入力エリアにドローン11の飛行高度を入力した後、条件確定ボタンをクリックする。なお、ディスプレイ13に表示された三次元航空写真画像または三次元地図画像に空中の各経由地点(第1~第n経由地点)を入力(各経由地点の位置座標および高度を入力、または、ポインターによって各経由地点を位置決め)することもできる。
条件確定ボタンをクリックすると、それらの飛行条件を有する飛行ミッション(フライトプラン)が作成され、飛行ミッションがドローン11(移動体)の識別子(ドローン11の個体識別番号やユニークな識別番号)および飛行ミッション作成日時に関連付けられた状態で演算装置12(コンピュータ)の大容量記憶領域に格納(記憶)される。次に、演算装置12は、
ドローン11が飛行(移動)する飛行地域(地域)を含む確率セル集合19を生成し初期値を設定して初期化する(確率セル集合生成手段)。つづいて、検出対象検出部15において人工知能(人工ニューラルネットワーク)に学習済みの係数をロードする。確率セル集合生成手段によって生成された確率セル集合19は、図3に示すように、所定容積の六面体の確率セル集合領域である。
演算装置12は、飛行ミッション(フライトプラン)をドローン11の飛行制御装置(コントローラ)に送信する。ドローン11の飛行制御装置は、演算装置12から受信した飛行ミッションをドローン11の飛行制御装置が内蔵する演算装置のメモリに格納(記憶)する。飛行ミッションをドローン11の飛行制御装置に送信した後、ディスプレイ13に表示された飛行開始ボタン(フライト開始ボタン)をクリック(タップ)する。飛行開始ボタンをクリックすると、演算装置12から飛行開始信号(フライト開始信号)がドローン11に送信される。ドローン11は、演算装置12から送信された飛行開始信号を受信すると、自律飛行を開始する。
自律飛行を開始したドローン11は、離陸地点から所定面積の飛行地域(所定面積の地域)に向かって飛行し、入力された飛行経路に従って飛行地域を飛行しつつ(所定面積の地域を移動しつつ)、高解像度カメラ14(撮影機能)を利用して所定面積の撮影エリアSeを撮影し、高解像度カメラ14(撮影機能)によって所定の画像データEiを取得する(撮影手段)。高解像度カメラ14による撮影エリアSeの撮影は、動画像として連続して行われる。
ドローン11は、常に移動しながら異なる位置において撮影エリアSeを撮影する。ドローン11の飛行制御装置(コントローラ)は、高解像度カメラ14(撮影機能)によって動画像(画像データEiを含む)を撮影し、撮影時点の位置および撮影装置の姿勢データとともに通信装置(ハイビジョン画像伝送無線装置)を利用して演算装置12に送信する(画像送信手段)。
ドローン11の飛行制御装置(コントローラ)は、衛星測位システム(GNSS測位装置)を利用し、飛行経路の位置データ(座標情報)を割り出すとともに、画像データEiの撮影時のドローン11の3次元位置データを割り出す。ドローン11の飛行制御装置は、姿勢方位基準システム(AHRS)および、カメラ搭載用ジンバルから得られる姿勢データを利用し、画像データEiの撮影時の高解像度カメラ14(ドローン11)の姿勢を特定する。ドローン11の飛行制御装置は、飛行経路の位置データ(座標情報)を演算装置12に送信するとともに、画像データEiの撮影時のドローン11の3次元位置データと画像データEiの撮影時の高解像度カメラ14(ドローン11)の姿勢とを演算装置12に送信する。ドローン11の3次元位置データは、画像データEiの撮影時におけるドローン11(移動体)の経度、画像データEiの撮影時におけるドローン11の緯度、画像データEiの撮影時におけるドローン11の高度である。また、高解像度カメラ14(ドローン11)の姿勢は、画像データEiの撮影時における四元数または四元数と同等の画像データEiの撮影時における姿勢を表すロール、ピッチ、ヨー角である。
ドローン11の飛行制御装置は、飛行経路の位置データ(座標情報)、画像データEiの撮影時のドローン11の3次元位置データ(ドローン11の経度、緯度、高度)、画像データEiの撮影時の高解像度カメラ14(ドローン11)の姿勢(四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角)を無線通信装置(テレメトリデータおよび映像伝送装置)を利用して演算装置12(コンピュータ)に送信する(位置データ・姿勢送信手段)。
なお、プロポによってドローン11を遠隔操作する場合、飛行経路は飛行ミッションに指定された経路ではなく、操縦者自身がプロポの操作によって指定される。高解像度カメラ14(撮影機能)による所定の画像データEiの取得は、自律飛行時と同様に動画像として連続して行われる(撮影手段)。プロポは、コンピュータを備えたコントロールシステム(図示せず)に接続されている。プロポによるドローン11の操縦時では、コントロールシステムのディスプレイにドローン11の飛行速度や高度、地図情報、撮影映像表示、バッテリー残量等が表示される。
プロポによるドローン11の遠隔操作においてドローン11の飛行制御装置は、画像データEiの撮影時のドローン11の3次元位置データ(ドローン11の経度、緯度、高度)、画像データEiの撮影時の高解像度カメラ14(ドローン11)の姿勢(四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角)を無線通信装置(テレメトリデータおよび映像伝送装置)を利用して演算装置12(コンピュータ)に送信する(位置データ・姿勢送信手段)。
演算装置12(コンピュータ)は、ドローン11の飛行制御装置から受信した飛行経路の位置データ(座標情報)をドローン11の識別子および飛行日時に関連付けた状態で大容量記憶領域に格納(記憶)する。演算装置12は、ドローン11の飛行制御装置から受信した高解像度カメラ14(撮影機能)によって撮影した複数の画像データEiをドローン11の識別子および撮影日時に関連付けた状態で大容量記憶領域に格納(記憶)し(画像データ記憶手段)、画像データEiの撮影時のドローン11の3次元位置データ(ドローン11の経度、緯度、高度)、画像データEiの撮影時のドローン11の姿勢(四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角)をドローン11の識別子および撮影日時に関連付けた状態で大容量記憶領域に格納(記憶)する(位置データ等記憶手段)。
演算装置12は、人工知能を利用して画像データEiに含まれる所定の検出対象18の検出尤度を求め、人工知能を利用して検出対象18の画像データEI上の位置をもとめるとともに、人工知能を利用して検出対象18の画像データEI上の大きさを求める(検出対象検出手段)。演算装置12は、検出対象検出手段によって検出した検出対象18の検出尤度および検出対象18の画像データEi上の位置、大きさをもとに画像データEiの各画素に対する検出尤度を対応付ける(2次元尤度データ生成手段)。2次元尤度データ生成手段では、画像データEiの各画素に検出尤度を対応付ける際、複数の検出尤度が対応付く場合はそれら検出尤度のうちの最大の検出尤度をその画素に対応付け、何も検出尤度が対応付けられない場合はその画素に尤度0を対応付ける。
Figure 0007153306000001
演算装置12は、画像データEiの各画素に対して検出対象18(人)が窺知(検知)となる窺知確率を算出する(窺知確率算出手段)。 窺知確率算出手段では、画像データEiの撮影時におけるドローン11の経度、画像データEiの撮影時におけるドローン11の緯度、画像データEiの撮影時におけるドローン11の高度(3次元位置データ)と、画像データEiの撮影時における高解像度カメラ14(ドローン11)の姿勢(四元数または四元数と同等の姿勢を表すロール、ピッチ、ヨー角)と、高解像度カメラ14(撮影機構)の定数パラメータ(画角、イメージサイズ)とから確率セル集合19における画像データEiの各画素に対応する観測方向を算出する。続いて、観測方向に存在する確率セルを参照し、以下に示す所定の窺知確率算出数式によって検出対象18(人)が窺知(検知)となる窺知確率をP(X=1)算出する。
P1:その方向に検出対象18(人)が存在していた場合に窺知(検知)となる確率パラメータ(0<P1<1)。
P2:その方向に検出対象18(人)が存在しないが、窺知(検知)となる確率パラメータ(0≦P2<P1)。
:確率分布のセル集合からサンプリングされたk番目の確率。
Figure 0007153306000002
確率分布のセルへの参照を例示すると以下のようになる。
サンプリングは等間隔に行う。pの値は、観測方向のベクトルが通るセルのうち、最近傍点への参照や内挿等により妥当であるものを選ぶ。
演算装置12は、画像送信手段によってドローン11から送信されたドローン11の位置情報および画像データEiの撮影方向をもとに確率セル集合19における更新対象範囲20を特定し、更新対象範囲20に含まれる各セルの確率値をベイズの定理を応用した所定の更新数式を使用し、検出対象検出手段によって検出した検出対象18の検出尤度および検出対象18の画像データEi上の位置、大きさをもとに更新する(確率分布値更新手段)。確率分布値更新手段において利用される更新数式には、窺知確率算出手段によって算出した窺知確率が含まれる。
Figure 0007153306000003
L:尤度。
左辺:更新後の確率。
各セルへの参照を例示すると次のとおりとなる。
Figure 0007153306000004
窺知確率P(X=1)およびLは、高解像度カメラ14の焦点と更新対象のセルを結ぶ直線が通る画素のうち、最近傍点への参照や内挿などにより妥当なものを選ぶ。確率分布値更新手段では、確率セル集合19のセルの確率値を更新数式によって更新する場合、確率セル集合19のセルの3次元位置とドローン11の3次元位置データと撮影機能の姿勢と高解像度カメラ14の定数パラメータとから画像データEi上の参照すべき画素を特定し、窺知確率算出手段によって対応付けられた窺知確率および2次元尤度生成手段によって対応付けられた検出尤度を読み出して計算する。
検出対象検出手段、窺知確率算出手段、確率分布値更新手段までの各手段を1回実施すると、確率セル集合19のうち、図3に示すように、六面体の領域における更新対象範囲20が更新される。演算装置12は、検出対象検出手段、窺知確率算出手段、確率分布値更新手段までの各手段を1回以上(好ましくは、2回以上)繰り返し実施することで、検出対象18(人)を確率セル集合19におけるセル毎の確率値の高低として特定する(検出対象位置特定手段)。確率分布値更新手段によって確率値が更新された更新対象範囲20は、図3に示すように、所定容積の六面体の確率セル集合19の中に存在する所定容積の六面体の更新対象範囲20である。
なお、検出対象18(人)を確率セル集合19におけるセル毎の確率値の高低として確実に特定するためには、2回以上異なる位置、異なる方向から検出対象18を含む撮影エリアSeを撮影し、既述の処理(検出対象検出手段、窺知確率算出手段、確率分布値更新手段までの各手段)を2回以上実施して更新対象範囲20の確率値を複数回更新する必要がある。ドローン11に設置した高解像度カメラ14を下向きに制御して移動しながら複数回撮影を行い、更新対象範囲20の確率値の処理を行った場合の確率分布の変化を図4~図6に示している。
1度だけの撮影で検出対象18(人)が特定された画像データEiを含む確率セル集合19の各画素の確率値を更新(1回の更新対象範囲20の確率値の更新)した更新対象範囲20の確率分布を図4に示す。図4を参照すると、検出対象18の窺知(検知)が行われた領域は確率が増加し、窺知(検知)が行われなかった領域は確率が減少している。1度だけの撮影(1回の更新対象範囲20の確率値の更新)では、高解像度カメラ14(撮影機能)の奥行き方向に対する変化が一様であるため、確率が上昇する領域は柱状となり、検出対象18(人)の位置がまだ曖昧にしか定まっていない。
2回の撮影によって検出対象18(人)が特定された画像データEiを含む確率セル集合19の各画素の確率値を更新(2回の更新対象範囲20の確率値の更新)した更新対象範囲20の確率分布を図5に示す。図5では、1度目の撮影(1回の更新対象範囲20の確率値の更新)、2度目の撮影(2回の更新対象範囲20の確率値のの更新)ともに検出対象18(人)が窺知(検知)となり、2回とも確率が増加した領域を「窺知(検知)が重複した領域」として図示している。1度目に比べ、確率分布がより集中し、検出対象18の位置が定まりつつあるのが分かる。
3回の撮影によって検出対象18(人)が特定された画像データEiを含む確率セル集合19の各画素の確率値を更新(3回の更新対象範囲20の確率値の更新)した更新対象範囲20の確率分布を図6に示す。図6では、1度目の撮影(1回の更新対象範囲20の確率値の更新)、2度目の撮影(2回の更新対象範囲20の確率値の更新)、3度目の撮影(3回の更新対象範囲20の確率値の更新)ともに検出対象18(人)が窺知(検知)となり、3回とも確率が増加した領域は特に高い確率値を持つことを示している。領域はより集中しており、検出対象18(人)の位置がより限定されている。
演算装置12は、検出対象位置特定手段によって特定された検出対象18(人)の確率セル集合19におけるセル毎の確率値の高低をもとに可視化画面Viを生成する(可視化画面生成手段)。 可視化画像生成手段によって生成される可視化画面は、確率セル集合19におけるセル毎の確率値の高低に基づき、各画素が三原色(RGB)および透明度で構成された疑似カラー表示、および/または、確率セル集合19におけるセル毎の確率値が近傍セルに比較して最も高いセルに対する検出対象アイコンの表示である。疑似カラー表示および検出対象アイコンは、航空写真または地図の画面表示に対して重なって表示される。
可視化画面生成手段では、3次元の確率セル集合19の1つの座標軸方向に対し、最大値を求める処理を行うことによって3次元の確率セル集合19を2次元のデータに圧縮し、その確率値の高低を用いて各画素が三原色(RGB)および透明度で構成された疑似カラー表示を行う。演算装置12は、3つの次元のうち、1つの次元に対し最大値を求める計算を行う。
Figure 0007153306000005
Nk:kの次元の要素数。
演算装置12は、図7に示すように、検出対象位置特定手段によって特定された検出対象18(人)の位置を確率値の高低で示す2次元の可視化画面Viをディスプレイ13(出力装置)に表示(出力)する(可視化画面出力手段)。図7では、可視化画面Viとして航空写真に重なった疑似カラー表示が表示されているが、地図の画面表示に重なった疑似カラー表示を表示することもでき、航空写真または地図の画面表示に重なった検出対象アイコンを表示することもできる。図7の可視化画面Vi(航空写真に重なった疑似カラー表示)を確認することで、検出対象18(人)の位置を把握する。演算装置12は、検出対象検出手段、窺知確率算出手段、確率分布値更新手段、可視化画面生成手段、可視化画面出力手段までの各手段を繰り返し実施する。
検出対象位置特定システム10は、ドローン11(移動体)が所定面積の地域を飛行(移動)しつつ高解像度カメラ14(撮影機能)によって画像データを取得する撮影手段と、高解像度カメラ14によって異なる位置・撮影方向から撮影された複数の画像データEiを演算装置に送信する画像送信手段とを有し、演算装置がドローン11が飛行(移動)する地域の確率セル集合19を生成する確率セル集合生成手段と、人工知能を利用して画像データEiに含まれる所定の検出対象18(人)の検出尤度および検出対象18の画像データEi上の位置、大きさを求める検出対象検出手段と、画像データEiの各画素に対して検出対象18が窺知(検知)となる窺知確率を算出する窺知確率算出手段と、画像送信手段によってドローン11から送信されたドローン11の位置情報および画像データEiの撮影方向をもとに確率セル集合19における更新対象範囲20を特定し、更新対象範囲20に含まれる各セルの確率値をベイズの定理を応用した所定の更新数式を使用し、検出対象検出手段によって検出した検出対象18の検出尤度および検出対象18の画像データEi上の位置、大きさをもとに更新する確率分布値更新手段と、検出対象検出手段から確率分布値更新手段までの各手段を1回以上(好ましくは2回以上)繰り返し実施することで、検出対象18を確率セル集合19におけるセル毎の確率値の高低として特定する検出対象位置特定手段と、検出対象位置特定手段によって特定された検出対象の確率セル集合におけるセル毎の確率値の高低をもとに可視化画面を生成する可視化画面生成手段と、可視化画面を出力装置に出力する可視化画面出力手段とを有し、検出対象検出手段から確率分布値更新手段までの各手段を1回以上(好ましくは2回以上)繰り返し実施することにより、高解像度カメラ14を設置したドローン11(撮影機能を有する移動体)によって撮影された画像データEiから所定の検出対象18(人)を特定することができ、ドローン11と検出対象18との相対距離のいかんにかかわらず、検出対象18の3次元位置を確率値の高低で特定することができるとともに、特定された検出対象18の位置を確率値の高低で示す可視化画面Viを出力することができる。
検出対象位置特定システム10は、検出対象18(人)の3次元位置を確率値の高低で特定することができるから、ディスプレイ13(出力装置)に表示(出力)された2次元の可視化画面Vi(2次元の疑似カラー表示または2次元の検出対象アイコン)から所定面積の地域に存在する検出対象18を見つけ出すことができ、所定面積の地域における検出対象18の正確な位置を確実に把握することができる。
10 検出対象位置特定システム
11 ドローン(移動体)
12 演算装置(コンピュータ)
13 ディスプレイ(表示装置)
14 高解像度カメラ(撮影機能)
15 検出対象検出部
16 確率分布計算部
17 キーボード
18 検出対象
19 確率セル集合
20 更新対象範囲
Vi 可視化画面
Ei 画像データ
Se 撮影エリア

Claims (11)

  1. 撮影機能を備えた移動体と、前記移動体によって撮影された画像を受信する演算装置とから形成され、
    前記移動体が、所定面積の地域を移動しつつその撮影機能によって画像データを取得する撮影手段と、前記撮影手段によって異なる位置・撮影方向から撮影された複数の前記画像データを前記演算装置に送信する画像送信手段とを有し、
    前記演算装置が、前記移動体が移動する地域の確率セル集合を生成する確率セル集合生成手段と、人工知能を利用して前記画像データに含まれる所定の検出対象の検出尤度および該検出対象の前記画像データ上の位置、大きさを求める検出対象検出手段と、前記画像送信手段によって前記移動体から送信された該移動体の位置情報および前記画像データの撮影方向をもとに前記確率セル集合における更新対象範囲を特定し、前記更新対象範囲に含まれる各セルの確率値をベイズの定理を応用した所定の更新数式を使用し、前記検出対象検出手段によって検出した前記検出対象の検出尤度および該検出対象の前記画像データ上の位置、大きさをもとに更新する確率分布値更新手段と、前記検出対象検出手段から前記確率分布値更新手段までの各手段を1回以上繰り返し実施することで、前記検出対象を前記確率セル集合におけるセル毎の確率値の高低として特定する検出対象位置特定手段とを有することを特徴とする検出対象位置特定システム。
  2. 前記検出対象位置特定システムが、前記演算装置の演算処理によって作られた可視化画像を出力する出力装置を含み、前記演算装置が、前記検出対象位置特定手段によって特定された前記検出対象の前記確率セル集合におけるセル毎の確率値の高低をもとに可視化画面を生成する可視化画面生成手段と、前記可視化画面生成手段によって生成した可視化画面を前記出力装置に出力する可視化画面出力手段とを含む請求項1に記載の検出対象位置特定システム。
  3. 前記演算装置が、前記画像データの各画素に対して前記検出対象が窺知となる窺知確率を算出する窺知確率算出手段を含み、前記確率分布値更新手段において利用される前記更新数式が、前記窺知確率算出手段によって算出した窺知確率を含む更新数式である請求項1または請求項2に記載の検出対象位置特定システム。
  4. 前記可視化画生成手段によって生成される前記可視化画面が、前記確率セル集合におけるセル毎の確率値の高低に基づき、各画素が三原色(RGB)および透明度で構成された疑似カラー表示、および/または、前記確率セル集合におけるセル毎の確率値が近傍セルに比較して最も高いセルに対する検出対象アイコンの表示である請求項2または請求項2を引用する請求項3に記載の検出対象位置特定システム。
  5. 前記可視化画生成手段が、航空写真または地図の画面表示に対して前記疑似カラー表示および前記検出対象アイコンが重なって表示される請求項4に記載の検出対象位置特定システム。
  6. 前記演算装置が、前記検出対象検出手段によって検出した前記検出対象の検出尤度および該検出対象の画像データ上の位置、大きさをもとに前記画像データの各画素に対する検出尤度を対応付ける2次元尤度データ生成手段を含み、前記2次元尤度データ生成手段が、前記画像データの各画素に前記検出尤度を対応付ける際、複数の検出尤度が対応付く場合はそれら検出尤度のうちの最大の検出尤度をその画素に対応付け、何も検出尤度が対応付けられない場合はその画素に尤度0を対応付ける請求項3ないし請求項5いずれかに記載の検出対象位置特定システム。
  7. 前記確率分布値更新手段が、前記移動体の3次元位置データと前記撮影機能の姿勢と該撮影機能の定数パラメータとから前記確率セル集合における前記画像データの各画素に対応する観測方向を算出しつつ、前記観測方向に存在する確率セルを参照し、前記窺知確率算出手段において所定の窺知確率算出数式によって前記検出対象が窺知となる窺知確率を算出する請求項3、請求項3を引用する請求項4ないし請求項6いずれかに記載の検出対象位置特定システム。
  8. 前記移動体の3次元位置データが、前記移動体の経度、緯度、高度であり、前記撮影機能の姿勢が、四元数または前記四元数と同等の姿勢を表すロール、ピッチ、ヨー角である請求項7に記載の検出対象位置特定システム。
  9. 前記確率分布値更新手段が、前記確率セル集合のセルの確率値を前記更新数式によって更新する場合、該確率セル集合のセルの3次元位置と前記移動体の3次元位置データと前記撮影機能の姿勢と該撮影機能の定数パラメータとから前記画像データ上の参照すべき画素を特定し、前記窺知確率算出手段によって対応付けられた前記窺知確率および前記2次元尤度データ生成手段によって対応付けられた前記検出尤度を読み出して計算する請求項3および請求項7を引用する請求項6ないし請求項8いずれかに記載の検出対象位置特定システム。
  10. 前記可視化画面生成手段が、3次元の前記確率セル集合の1つの座標軸方向に対し、最大値を求める処理を行うことによって前記3次元の確率セル集合を2次元のデータに圧縮し、その確率値の高低を用いて前記各画素が三原色(RGB)および透明度で構成された疑似カラー表示を行う請求項2を引用する請求項4ないし請求項9いずれかに記載の検出対象位置特定システム。
  11. 前記移動体が、空中を飛行する無人航空機(ドローン)であり、前記撮影機能が、前記無人航空機(ドローン)に設置されて空中から地上を撮影するカメラであり、前記無人航空機(ドローン)が、衛星測位システムと前記カメラの撮影時の姿勢計測システムとを有する請求項1ないし請求項10いずれかに記載の検出対象位置特定システム。


JP2018079448A 2018-04-17 2018-04-17 検出対象位置特定システム Active JP7153306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018079448A JP7153306B2 (ja) 2018-04-17 2018-04-17 検出対象位置特定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018079448A JP7153306B2 (ja) 2018-04-17 2018-04-17 検出対象位置特定システム

Publications (2)

Publication Number Publication Date
JP2019185689A JP2019185689A (ja) 2019-10-24
JP7153306B2 true JP7153306B2 (ja) 2022-10-14

Family

ID=68341471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018079448A Active JP7153306B2 (ja) 2018-04-17 2018-04-17 検出対象位置特定システム

Country Status (1)

Country Link
JP (1) JP7153306B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021081830A1 (en) * 2019-10-30 2021-05-06 SZ DJI Technology Co., Ltd. Computation load distribution
JP7040827B1 (ja) 2021-01-14 2022-03-23 株式会社ロックガレッジ 捜索支援システムおよび救助支援プログラム
KR102659185B1 (ko) * 2021-11-16 2024-04-18 동국대학교 산학협력단 객체 위치 추정 장치 및 방법
CN114476065B (zh) * 2022-03-28 2022-11-22 黄河水利职业技术学院 一种测绘工程测量用无人机遥感装置
KR102622623B1 (ko) * 2022-05-12 2024-01-10 한국광기술원 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010101227A1 (ja) 2009-03-04 2010-09-10 日本電気株式会社 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
JP2010257341A (ja) 2009-04-27 2010-11-11 Nippon Telegr & Teleph Corp <Ntt> 適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体
JP2017022574A (ja) 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010101227A1 (ja) 2009-03-04 2010-09-10 日本電気株式会社 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
US20120020523A1 (en) 2009-03-04 2012-01-26 Hiroo Ikeda Information creation device for estimating object position and information creation method and program for estimating object position
JP2010257341A (ja) 2009-04-27 2010-11-11 Nippon Telegr & Teleph Corp <Ntt> 適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体
JP2017022574A (ja) 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
園田 潤 外4名,屋内外シームレス電波環境解析のためのUAV-SfMによるFDTD実環境マルチスケール数値モデル構築,電子情報通信学会論文誌B,電子情報通信学会,2017年09月01日,第J100-B巻 第9号,pp. 773-781
宮里 太也 外2名,多目的自律型ドローンのための俯瞰視点人物検知システムに関する研究,電気学会研究会資料,日本,一般社団法人電気学会,2017年09月21日,pp. 11-16

Also Published As

Publication number Publication date
JP2019185689A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP7153306B2 (ja) 検出対象位置特定システム
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
US20210012520A1 (en) Distance measuring method and device
US20210116943A1 (en) Systems and methods for uav interactive instructions and control
US10475209B2 (en) Camera calibration
US11032527B2 (en) Unmanned aerial vehicle surface projection
CN109219785B (zh) 一种多传感器校准方法与系统
CN108351653B (zh) 用于uav飞行控制的系统和方法
US20190385339A1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US10852723B2 (en) Unmanned aerial vehicle swarm photography
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
WO2021250914A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
EP2523062B1 (en) Time phased imagery for an artificial point of view
US10521663B1 (en) Iterative image position determination
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20230296793A1 (en) Motion-Based Calibration Of An Aerial Device
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7153306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150