JP7044147B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP7044147B2
JP7044147B2 JP2020185181A JP2020185181A JP7044147B2 JP 7044147 B2 JP7044147 B2 JP 7044147B2 JP 2020185181 A JP2020185181 A JP 2020185181A JP 2020185181 A JP2020185181 A JP 2020185181A JP 7044147 B2 JP7044147 B2 JP 7044147B2
Authority
JP
Japan
Prior art keywords
fallable
information processing
area
fall
flying object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020185181A
Other languages
English (en)
Other versions
JP2021035831A (ja
Inventor
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020185181A priority Critical patent/JP7044147B2/ja
Publication of JP2021035831A publication Critical patent/JP2021035831A/ja
Application granted granted Critical
Publication of JP7044147B2 publication Critical patent/JP7044147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
上記技術分野において、特許文献1には、無人飛行機に障害物の座標をあらかじめ飛行ルートと共に入力しておくことで、無人飛行機に障害物を自動的に回避させる技術が開示されている。
特開2003-127994号公報
しかしながら、上記文献に記載の技術では、飛行体の落下に伴う危険を回避するものではなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る装置は、
落下した場合の地表面における落下範囲を推定する落下範囲推定手段と、
地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定手段と、
を備え
前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
前記決定手段は、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理装置である。
上記目的を達成するため、本発明に係る方法は、
落下範囲推定部が、落下した場合の地表面における落下範囲を推定する落下範囲推定ステップと、
決定部が、地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定ステップと、
を含み
前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
前記決定ステップは、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理方法である。
上記目的を達成するため、本発明に係るプログラムは、
落下した場合の地表面における落下範囲を推定する落下範囲推定ステップと、
地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
前記決定ステップは、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理プログラムである。
本発明によれば、落下可能領域に応じた飛行ルートを決定するので、飛行体を安全に飛行させることができる。
本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置の利用状況を説明する図である。 本発明の第2実施形態に係る情報処理装置の利用状況を説明する図である。 本発明の第2実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置で用いられるテーブルを示す図である。 本発明の第2実施形態に係る情報処理装置で用いられるテーブルを示す図である。 本発明の第2実施形態に係る飛行ルートの決定方法を説明する図である。 本発明の第2実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、下記において「飛行体」とは、いわゆるドローン(Drone)であり、無人で遠隔操作や自律制御によって飛行できる航空機(UAV(Unmanned Aerial Vehicle))である。
[第1実施形態]
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、飛行体による飛行ルートを決定するための装置である。
図1に示すように、情報処理装置100は、落下可能領域検知部101と落下範囲推定部102と飛行ルート決定部103とを含む。
落下可能領域検知部101は、飛行体110が地上領域を撮影することにより得られた飛行体映像に基づいて、地表面における落下可能領域を検知する。
落下範囲推定部102は、飛行体110が落下した場合の地表面における落下範囲を推定する。
飛行ルート決定部103は、検知された落下可能領域に落下範囲が含まれるように飛行体110の飛行ルートを決定する。
以上の構成によれば、落下可能領域に応じた飛行ルートを決定するので、飛行体をより安全に飛行させることができる。
[第2実施形態]
次に本発明の第2実施形態に係る情報処理システムについて、図2以降を用いて説明する。図2、図3は、本実施形態に係る情報処理装置によって決定される飛行ルートの一例を示す図である。
図2において、飛行体210が、スタート位置201から、目的位置202に飛行し、ゴール位置203に移動する際のルートを策定するにあたり、撮像した映像を解析して、川204や木205が存在する領域を、落下可能領域として検知する。
飛行体110が落下した場合の地表面における落下範囲を推定し、検知された落下可能領域に推定落下範囲が含まれるように飛行体210の飛行ルートを決定する。
図3も同様に、飛行体210が、スタート位置201から、目的位置202に飛行し、ゴール位置203に移動する際のルートを策定するにあたり、撮像した映像を解析して、家の屋根304や木205が存在する領域を、落下可能領域として検知する。家の屋根304は、川204に比べて、落下可能レベルが低いものの、道路に比べて落下可能レベルが高いため、例えば緊急時には、飛行ルートとして上空を移動可能である。
図4は、本実施形態に係る情報処理システム400の構成を示すブロック図である。情報処理システム400は、コントローラ401と飛行体210とを含む。
コントローラ401は、いわゆるプロポやノートPCといった演算能力を備えた装置であり、映像取得部411、落下可能領域検知部412、地表物体データベース413、落下範囲推定部414、飛行体判定部415、緊急性判定部416および飛行ルート決定部417を備えている。また、コントローラ401は、さらに、表示部418、操作部419、制御部420を備えている。一方、飛行体210は、プロペラやモータを含む飛行駆動部421と、飛行駆動部421を制御する飛行制御部422と、映像を撮像する撮像部423とを備えている。
映像取得部411は、飛行体210の撮像部423で撮像された映像データを取得する。落下可能領域検知部412は、映像取得部411が取得した映像データを用いて、地表面に存在する様々な物体を識別し、さらに、地表物体データベース413を参照することにより、地表面上の落下可能領域を検知する。図5に、地表物体データベース413の内容を示す。物体の種類ごとに、映像中の特徴量と落下可能レベルとが対応付けられている。具体的には、例えば、海・川・湖・池などは、ドローンが落下しても他に与える被害が小さいと考えられるため、落下可能レベルは高く設定されている。一方、人・自転車・バイクなどは、落下可能レベルは最も低く設定されている。
落下範囲推定部414は、飛行体210の飛行制御部422から現在位置(緯度経度高度)を取得して、その位置からその飛行体210の落下範囲を推定する。落下範囲とは、地表面上の領域であり、通常は、飛行高度が高い程、広い領域となる。落下範囲推定部414は、落下範囲を推定するにあたり、飛行体210の高度および移動方向ならびに移動速度の他、飛行体210の位置における風に関する情報(風速や風向など)を用いてもよい。
飛行体判定部415は、飛行体210の機種情報を飛行体210から受信し、落下可能領域検知部412に通知する。落下可能領域検知部412は、飛行体210の重さ・大きさに応じて、落下可能レベルに重み付け(加減算、係数倍など)を行なう。例えば、飛行体210が、1キロ未満で20cm四方以下である場合には、落下可能レベルに2を加算する等といった方法が可能である。一方、飛行体210が重くて大きい場合には、落下可能レベルを引き下げ、飛行可能領域を小さくする。
緊急性判定部416は、飛行の緊急性を判定して、飛行ルート決定部417に通知する。
飛行ルート決定部417は、判定した飛行の緊急性と、検知した落下可能領域と、推定した落下範囲とに応じて、飛行ルートを決定する。例えば図6に示すテーブル600を用いて、緊急性に基づいた飛行可能領域を決定し、その飛行可能領域を通る飛行ルートを決定する。飛行ルート決定部417は、ポテンシャル関数算出部471を備えている。
ポテンシャル関数算出部471は、落下可能物体の位置および種類と、飛行体の地表面からの高さと、に応じて定義された3次元ポテンシャル関数を算出する。さらに、その3次元ポテンシャル関数と、移動目標の座標に応じて定義された目標位置ポテンシャル関数とを重ね合わせて図7に示すようなポテンシャル場を生成する。図7において、スタート位置201からゴール位置203に到達するまでのポテンシャル場の勾配に基づいて、飛行ルートを策定する。具体的には、落下可能領域においては、落下可能エリアと落下可能レベルに応じて負のガウス分布となるポテンシャル関数を設定する。あるいは、落下可能領域以外の領域のポテンシャル場を高く設定する。また、落下不可領域が存在する場合は、正のガウス分布となるポテンシャル関数を設定してもよい。
また、このとき、落下範囲推定部414が推定した落下範囲もポテンシャル関数に組み込む。具体的には、飛行高度が一定値より高い場合には、回避物ごとに定義された固有危険度にその高さに応じた係数を加算または積算して大きくとり、その状況ごとの危険度をポテンシャル関数に反映させる。一方、飛行高度が一定値より高い場合には、落下可能物体ごとに定義された固有安全度にその高さに応じた係数を加算または積算して大きくし、その状況ごとの安全度をポテンシャル関数に反映させる。風向きや風力に応じて、危険度・安全度を変化させてもよく、さらには、落下可能領域の形状についても、風向きに応じて非等方性を有する形状に変形してもよい。
表示部418は、撮像部423で撮像された映像を表示する。その際、落下可能領域検知部412からの情報に基づいて、落下可能領域と、落下不可領域とを識別可能に表示してもよい。
操作部419は、ユーザによる操作を受け付けて、飛行体210の飛行制御部422に対して制御指示を送る。
また、制御部420は、飛行ルート決定部417で決定した飛行ルートを通るように飛行体210を飛行制御する。
図8は、コントローラ401における処理の流れを示すフローチャートである。まずステップS801で、飛行体210から飛行体の種類に関する情報を取得する。次にステップS803において、飛行体210を目的位置まで飛行させる緊急性を判定する。さらにステップS805において、飛行体210が飛行中に撮像した映像データを取得する。
次に、ステップS807において、映像データに対し、既知の特徴量分析技術などを用いて、地表に存在する様々な物体を識別する。さらにステップS809において、落下可能領域検知部412が、地表物体データベース413を参照しつつ、落下可能領域を検知する。
次にステップS811において、飛行体210の種類、飛行高度、および飛行速度などに基づいて、落下範囲を推定する。
ステップS813においては、落下可能物体の位置および種類と、飛行体の地表面からの高さと、に応じて定義された3次元ポテンシャル関数を算出する。さらに、その3次元ポテンシャル関数と、移動目標の座標に応じて定義された目標位置ポテンシャル関数とを重ね合わせてポテンシャル場を生成する。そして、スタート位置からゴール位置に到達するまでのポテンシャル場の勾配に基づいて、飛行ルートを策定する。
以上の構成によれば、ポテンシャル関数を利用して、落下可能領域を優先的に通る飛行ルートを決定するので、飛行体をより安全に飛行させることができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。

Claims (8)

  1. 落下した場合の地表面における落下範囲を推定する落下範囲推定手段と、
    地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定手段と、
    を備え
    前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
    前記決定手段は、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理装置。
  2. 前記落下範囲推定手段は、前記飛行体の位置、高さおよび移動速度に基づいて、前記飛行体が落下した場合の地表面における落下範囲を推定する請求項1に記載の情報処理装置。
  3. 前記落下範囲推定手段は、さらに、前記飛行体に影響を及ぼす風に関する情報に基づいて、前記落下範囲を推定する請求項1または2に記載の情報処理装置。
  4. 前記落下可能領域は、前記飛行体の種類に応じて検知された請求項1からのいずれか1項に記載の情報処理装置。
  5. 前記落下可能領域は、前記飛行体映像に含まれる落下可能物体の種類に応じて検知された請求項1からのいずれか1項に記載の情報処理装置。
  6. 前記決定手段は、前記落下可能物体の種類と、前記飛行体の地表面からの高さに応じて定義された3次元ポテンシャル関数と、移動目標の座標に応じて定義された目標位置ポテンシャル関数との重ね合わせにより生成されるポテンシャル場の勾配に従って、前記飛行体の飛行ルートを決定する請求項に記載の情報処理装置。
  7. 落下範囲推定部が、落下した場合の地表面における落下範囲を推定する落下範囲推定ステップと、
    決定部が、地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定ステップと、
    を含み
    前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
    前記決定ステップは、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理方法。
  8. 落下した場合の地表面における落下範囲を推定する落下範囲推定ステップと、
    地表面に存在する物体の識別結果と地表物体データベースとに基づいて、飛行体が移動しながら下方に広がる領域を撮影することにより得られた飛行体映像から検知された落下可能領域と、前記落下範囲とに応じて前記飛行体の飛行ルートを決定する決定ステップと、
    をコンピュータに実行させる情報処理プログラムであって、
    前記落下可能領域は、落下を許容できる程度に応じて段階的に評価されて複数レベルの落下可能領域に分けられ、
    前記決定ステップは、前記飛行体の移動の緊急性に応じて、前記複数レベルの落下可能領域から、一つのレベルの落下可能領域を選択する情報処理プログラム
JP2020185181A 2020-11-05 2020-11-05 情報処理装置、情報処理方法、および情報処理プログラム Active JP7044147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020185181A JP7044147B2 (ja) 2020-11-05 2020-11-05 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020185181A JP7044147B2 (ja) 2020-11-05 2020-11-05 情報処理装置、情報処理方法、および情報処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019508476A Division JP6791365B2 (ja) 2017-03-31 2017-03-31 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2021035831A JP2021035831A (ja) 2021-03-04
JP7044147B2 true JP7044147B2 (ja) 2022-03-30

Family

ID=74716695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020185181A Active JP7044147B2 (ja) 2020-11-05 2020-11-05 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7044147B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006143193A (ja) 2004-11-16 2006-06-08 Northrop Grumman Corp 自動で不測事態に対応するジェネレータ
JP2014199548A (ja) 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法
US20160378121A1 (en) 2015-06-25 2016-12-29 Bell Helicopter Textron Inc. Landing aircrafts with optimal landing spot selection
WO2017033976A1 (ja) 2015-08-25 2017-03-02 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006143193A (ja) 2004-11-16 2006-06-08 Northrop Grumman Corp 自動で不測事態に対応するジェネレータ
JP2014199548A (ja) 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法
US20160378121A1 (en) 2015-06-25 2016-12-29 Bell Helicopter Textron Inc. Landing aircrafts with optimal landing spot selection
WO2017033976A1 (ja) 2015-08-25 2017-03-02 日本電気株式会社 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2021035831A (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
JP6791365B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN110069071B (zh) 无人机导航方法与装置、存储介质、电子设备
US11726498B2 (en) Aerial vehicle touchdown detection
CN111527463B (zh) 用于多目标跟踪的方法和系统
JP2024053085A (ja) 飛行体制御装置、飛行体制御方法、及びプログラム
US20200027357A1 (en) Method for controlling aircraft, device, and aircraft
JP6324649B1 (ja) 検出システム、検出方法、及びプログラム
JP2021513714A (ja) 航空機のスマート着陸
KR101350242B1 (ko) 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치
CN110597296A (zh) 一种无人机的飞行控制方法、装置、无人机和存储介质
WO2020199173A1 (zh) 定位方法和定位装置
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
CN112378397A (zh) 无人机跟踪目标的方法、装置及无人机
JP7044147B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
EP3989034B1 (en) Automatic safe-landing-site selection for unmanned aerial systems
CN114387533A (zh) 道路违规识别的方法、装置、电子设备及存储介质
CN114373152A (zh) 道路违规识别的方法、装置、电子设备及存储介质
WO2020144936A1 (ja) 情報処理装置、情報処理方法及びプログラム
El Tin et al. Fire Monitoring with a Fixed-wing Unmanned Aerial Vehicle
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
Bouzerzour et al. Robust Vision-Based Sliding Mode Control for Uncooperative Ground Target Searching and Tracking by Quadrotor
CN116540776B (zh) 一种无人机视觉避障方法及系统
Selby Autonomous navigation and tracking of dynamic surface targets on-board a computationally impoverished aerial vehicle
US20240124137A1 (en) Obstacle avoidance for aircraft from shadow analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R151 Written notification of patent or utility model registration

Ref document number: 7044147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151