JP6680498B2 - Autonomous flying vehicle, target tracking method - Google Patents
Autonomous flying vehicle, target tracking method Download PDFInfo
- Publication number
- JP6680498B2 JP6680498B2 JP2015189191A JP2015189191A JP6680498B2 JP 6680498 B2 JP6680498 B2 JP 6680498B2 JP 2015189191 A JP2015189191 A JP 2015189191A JP 2015189191 A JP2015189191 A JP 2015189191A JP 6680498 B2 JP6680498 B2 JP 6680498B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- route
- tracking
- information
- confluence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000007613 environmental effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
本発明は、自律飛行移動体、ターゲット追跡方法に関する。 The present invention relates to an autonomous flying vehicle and a target tracking method.
従来から、ドローンに代表される小型の自律飛行ロボットが存在する。例えば、特許文献1では、目標物が無人航空機のセンサ視野内にとどまるように、移動中の目標物を自律的に追跡するものがある(例えば、特許文献1)。 Conventionally, there are small autonomous flying robots represented by drones. For example, in Patent Document 1, there is one that autonomously tracks a moving target so that the target stays within the sensor field of view of the unmanned aerial vehicle (for example, Patent Document 1).
上記特許文献1では、移動中の目標物をカメラ等で撮像して自律的に追跡することはできる。しかし、追跡時に見失った場合については考慮されていないため、そのような場合には目標物の追跡を続行できなくなる。 In Patent Document 1 described above, it is possible to autonomously track a moving target object by capturing it with a camera or the like. However, since no consideration is given to the case where the target is lost during tracking, in such a case, the target cannot be tracked.
このような点に鑑み、侵入者を見失った場合でも、飛行高度を上げて周囲を俯瞰することにより、見失った侵入者の発見を可能としたものがある(例えば、特許文献2)。 In view of such a point, even if the intruder is lost, there is one that can detect the lost intruder by raising the flight altitude and overlooking the surroundings (for example, Patent Document 2).
上記特許文献2では、飛行高度を上げて周囲を俯瞰することにより、見失った侵入者を再発見することができる。しかし、飛行高度を上げて俯瞰することができない状況(例えば、地下道やトンネル内のように、上空に遮蔽物がある状況)の場合には、追跡を続行することができない。 In Patent Document 2 described above, the intruder that has been lost can be rediscovered by raising the flight altitude and looking around. However, in a situation where the flight altitude cannot be raised and the bird's-eye view cannot be obtained (for example, a situation in which there is a shield in the sky such as an underpass or a tunnel), tracking cannot be continued.
本発明は、上記に鑑みてなされたものであって、俯瞰することができない状況においても目標物の追跡が可能な自律飛行移動体、ターゲット追跡方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an autonomous flying vehicle and a target tracking method capable of tracking a target even in a situation in which a bird's eye view cannot be taken.
上記課題を解決するために、本発明にかかる自律飛行移動体は、自律飛行が可能な自律飛行移動体であって、撮像部と、あらかじめ定められたターゲットを示す第1の画像と前記撮像部が撮像した第2の画像とに基づいて前記ターゲットを認識し、認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する飛行制御部と、前記飛行制御部が前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索部と、を有し、前記飛行制御部は、前記探索部により探索された経路に基づいて、前記ターゲットの追跡を続行する、ことを特徴とする自律飛行移動体として構成される。 In order to solve the above-mentioned problems, an autonomous flying vehicle according to the present invention is an autonomous flying vehicle capable of autonomous flight, and includes an imaging unit, a first image showing a predetermined target, and the imaging unit. A flight control unit that recognizes the target based on a second image captured by, and that tracks the target by flying while maintaining a predetermined distance between the target and the recognized target; And a search unit that searches for a route near the unrecognizable position based on map information when the target cannot be recognized, wherein the flight control unit is based on the route searched by the search unit. And continues the tracking of the target.
また、本発明は、上記自律飛行移動体で行われるターゲット追跡方法としても把握される。 The present invention can also be understood as a target tracking method performed by the above-mentioned autonomous flying vehicle.
本発明によれば、俯瞰することができない状況においても目標物の追跡が可能となる。 According to the present invention, it is possible to track a target even in a situation where it is not possible to look down.
以下に添付図面を参照して、本発明にかかる自律飛行移動体、ターゲット追跡方法の実施の形態を詳細に説明する。以下では、自律飛行移動体であるロボットが目標物である歩行者を追跡する場合において、その歩行者を見失った場合でも、あらかじめ記憶されている地図データを参照してその歩行者の移動経路を予測し、先回りしてその歩行者を再発見して追跡を続行する。このような追跡により、俯瞰することができない状況においても目標物の追跡を続行することができる。なお、歩行者に限らず、例えば、自転車や自動車等の車両についても同様に適用することができる。 Embodiments of an autonomous flying vehicle and a target tracking method according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, when a robot, which is an autonomous flying vehicle, tracks a pedestrian, which is a target object, even if the pedestrian loses sight of the pedestrian, the map data stored in advance is used to determine the route of the pedestrian. Predict, proactively rediscover the pedestrian and continue tracking. With such tracking, it is possible to continue tracking the target even in a situation where the bird's eye cannot be overlooked. Not only pedestrians but also vehicles such as bicycles and automobiles can be similarly applied.
図1は、本発明にかかる自律飛行移動体、ターゲット追跡方法を適用した自律飛行システム1000の機能的な構成を示す図である。図1に示すように、自律飛行システム1000は、自律飛行ロボット100と、サーバ200とを有し、これらが無線通信ネットワークN1を介して接続されている。無線通信ネットワークN1は、例えば、自律飛行ロボット100が飛行するために認可された周波数帯を利用した通信ネットワークである。通信ネットワークN2は、例えば、インターネット回線網である。図において、目標物であるターゲットTは地上Gを矢印Aの向きに移動し、その後方上方に自律飛行ロボット100が飛行し、撮像範囲Rを撮像しながらターゲットTを追跡している。
FIG. 1 is a diagram showing a functional configuration of an autonomous flight system 1000 to which an autonomous flying vehicle and a target tracking method according to the present invention are applied. As shown in FIG. 1, the autonomous flight system 1000 includes an
自律飛行ロボット100は、例えば、ドローンのような、自律して飛行可能な小型の移動体である。図1に示すように、自律飛行ロボット100は、複数のロータ101と、モータ102と、本体部103と、スキッド104と、撮像部105とを有している。自律飛行ロボット100は、本体部103からの指示に従って、モータ102による駆動力を受けてロータ101を回転させて飛行する。スキッド104は、自律飛行ロボット100の離着陸時の足として使用される。撮像部105は、ターゲットを撮像する撮像装置であり、例えば、CCD(Charge Coupled Device)カメラによる構成される。
The
図2は、自律飛行ロボット100が有する本体部103の機能的な構成を示すブロック図である。図2に示すように、本体部103は、記憶部1031と、測位部1032と、探索部1033と、飛行制御部1034と、通信部1035と、制御部1036とを有して構成されている。実際には、これらの各部以外にも、例えば、移動速度を認識するための加速度センサ、高度を認識するための超音波センサ、自身の向きを把握するためのコンパス、バッテリ等、自律飛行ロボット100が通常備えている機能を有している。
FIG. 2 is a block diagram showing a functional configuration of the
記憶部1031は、メモリ等の一般的な記憶媒体から構成され、自律飛行ロボット100に関するデータを記憶する。
The
図3は、記憶部が記憶するデータの例を示す図である。図3に示すように、記憶部101は、撮像情報10311と、地図情報10312とを記憶する。
FIG. 3 is a diagram illustrating an example of data stored in the storage unit. As illustrated in FIG. 3, the
撮像情報10311は、上記撮像部105が撮像した画像データである。撮像情報10311には、例えば、自律飛行ロボット100が飛行する前方を俯瞰した、上記ターゲットを撮像した画面イメージの画像である。
地図情報10312は、ナビゲーションシステム等で用いられる一般的な地図データである。
The
測位部1032は、例えば、GPS(Global Positioning System)モジュールであり、自律飛行ロボット100の現在位置を測位し、その日時および位置を含む現在位置情報を出力する。本例では、上記現在位置情報を随時更新する前提で記載しているが、記憶部1031の記憶容量が許容されるのであれば、過去一定期間分のデータを自律飛行ロボット100内に蓄積してもよい。
The
探索部1033は、上記地図情報10312を読み出し、ターゲットまでの経路を探索する。また、探索部1033は、追跡中のターゲットを見失った場合に、上記地図情報10312を読み出し、見失った場所付近の地図上の経路のうち、ターゲットが移動した方向の経路のなかで最短経路を探索する。探索方法については、従来から知られている様々な技術を適用することができる。上記ターゲットの位置は、サーバ200から送信される。
The
飛行制御部1034は、探索部1033が経路を探索すると、モータ102を駆動してロータ101を回転制御し、ターゲットまでの自律飛行を開始する。飛行制御部1034は、自律飛行を開始すると、超音波センサにより所定の高度(例えば、3メートル)となるように、ロータ101の回転数を制御する。また、飛行制御部1034は、自律飛行を開始すると、撮像部105が撮像した画像データの画面イメージにおけるターゲットの大きさが所定のサイズとなるように、ターゲットとの距離が一定の距離(例えば、ターゲットから2メートル離れた後方位置)を飛行するように、ロータ101の回転数を制御する。このような制御により、自律飛行ロボット100は、飛行開始から飛行終了までの間、地上からある一定の高度でターゲットとの一定の距離を保ちつつ、追跡することができる。
When the
通信部1035は、所定の規格にしたがって、無線通信ネットワークN1を介してサーバ200との間で無線通信して各種情報を送受信する処理部である。
The
制御部1036は、自律飛行ロボット100を構成する上記各部の動作を制御する。自律飛行ロボット100の具体的な動作についてはシーケンス図を用いて後述する。続いて、図1に戻って、サーバ200について説明する。
The
サーバ200は、PC(Personal Computer)等の一般的なコンピュータである。サーバ300は、自律飛行ロボット100によるターゲットの追跡を監視するサーバである。
The
図1に示すように、サーバ200は、記憶部201と、監視部202と、第1通信部203と、第2通信部204と、制御部205とを有して構成されている。
As shown in FIG. 1, the
記憶部301は、HDD(Hard Disk Drive)等の一般的な記憶装置であり、自律飛行ロボット100による追跡に関する情報を記憶する。
The storage unit 301 is a general storage device such as an HDD (Hard Disk Drive), and stores information related to tracking by the
図4は、記憶部201が記憶するデータの例を示す図である。図4に示すように、記憶部301は、自律飛行ロボット100の現在位置情報2011と、自律飛行ロボット100が撮像した撮像情報2012と、追跡している経路周辺の環境情報3013とを記憶する。現在位置情報2011は、自律飛行ロボット100の測位部1032が測位した現在日時および現在位置を示す上記現在位置情報を記憶する。撮像情報2012は、自律飛行ロボット100の撮像部105が撮像した撮像情報10311を記憶する。環境情報2013は、運行情報、道路情報、災害情報等、追跡している経路周辺の環境に関する情報である。
FIG. 4 is a diagram illustrating an example of data stored in the
図5は、環境情報2013の例を示す図である。図5に示すように、環境情報3013は、環境が変化する事象が発生した日時と、その事象の内容を示す事象情報とが対応付けて記憶されている。図5では、例えば、2015年9月1日の12時30分00秒現在、品川区△△通り××交差点付近は工事のため通行止めとなっていることを示している。このように、環境情報3013には、追跡している経路周辺における道路の工事情報等、ターゲットを追跡している経路での移動に影響を与える事象を示す情報が記憶されている。これらの各情報は、例えば、監視部202が、通信ネットワークN2を介して、道路交通情報を提供するサイト、市区町村のホームページ等にアクセスしてこれらの情報を読み取って、上記環境情報2013として格納したり、格納した情報を所定の間隔で更新することにより、最新の状況を記憶している。
FIG. 5 is a diagram showing an example of the
上記例以外にも、ターゲットが上記車両により移動する場合には、これらの情報に加えて交通渋滞情報(例えば、上記事象が発生した日時と、高速道路名と、上記事象情報とを対応付けた情報)を含めてもよい。続いて、図1に戻って、監視部202について説明する。
In addition to the above examples, when the target is moved by the vehicle, in addition to these pieces of information, traffic congestion information (for example, the date and time when the event occurred, the highway name, and the event information are associated with each other). Information) may be included. Subsequently, returning to FIG. 1, the
監視部202は、ターゲットを追跡する経路を飛行している自律飛行ロボット100を監視する処理部である。監視部202は、自律飛行ロボット100から受信した現在位置情報および撮像情報10311を読み取り、現時点で自律飛行ロボット100がターゲットを追跡している経路を飛行していることをチェックする。また、監視部302は、上記環境情報2013を取得するため、通信ネットワークN2を介して、道路交通情報を提供するサイト、市区町村のホームページ等にアクセスし、取得した情報を上記環境情報2013に記録する。
The
第1通信部203は、所定の規格にしたがって、無線通信ネットワークN1を介して自律飛行ロボット100との間で無線通信して各種情報を送受信する処理部である。
The first communication unit 203 is a processing unit that wirelessly communicates with the
第2通信部204は、所定の規格にしたがって、通信ネットワークN2を介して上記道路交通情報を提供するサイト、市区町村のホームページ等にアクセスする処理部である。 The second communication unit 204 is a processing unit that accesses a site that provides the road traffic information, a homepage of a municipality, or the like via the communication network N2 according to a predetermined standard.
制御部205は、サーバ200を構成する上記各部の動作を制御する。サーバ200の具体的な動作についてはシーケンス図を用いて後述する。続いて、本システムで行われる処理について説明する。
The
図6は、本システムで行われる処理(追跡飛行処理)の処理手順を示すシーケンス図である。図6に示すように、追跡飛行処理では、まず、サーバ200が有する不図示の入力装置(例えば、キーボード)が、本システムの管理者からターゲットの位置およびターゲットを識別するための情報(ターゲット情報)の入力を受け付け(ステップS601)、監視部202が、入力されたターゲット情報を自律飛行ロボット100に送信する(ステップS602)。ターゲット情報としては、例えば、ターゲットの現在位置を示す座標情報、ターゲットの顔画像がある。
FIG. 6 is a sequence diagram showing a processing procedure of processing (tracking flight processing) performed in this system. As shown in FIG. 6, in the tracking flight process, first, an input device (for example, a keyboard) (not shown) included in the
自律飛行ロボット100は、サーバ200から上記ターゲット情報を受信すると、現在位置の測位および撮像部105による撮像を開始し、現在位置情報、撮像情報を出力し(ステップS603)、これらの情報をサーバ200に送信する(ステップS604)。以降、これらの情報は、本処理が終了するまでリアルタイムに行われる。
Upon receiving the target information from the
サーバ200の監視部202は、自律飛行移動ロボット100から上記現在位置情報、撮像情報を受信すると、これらの情報を記憶部201に記録する(ステップS605)。
When the
自律飛行ロボット100の飛行制御部1034は、モータ102を駆動してロータ101の回転を制御し、上記ターゲット情報に示されたターゲットの位置まで自律飛行を開始する(ステップS606)。例えば、飛行制御部1034は、ターゲット情報として示されているターゲットの現在位置付近まで飛行した後、ターゲット情報に示されているターゲットの顔画像と、撮像部105が撮像する画像の中から上記ターゲットの顔画像に類似する顔画像を認識し、認識した顔画像を含む人物を上記ターゲットとして設定する。以降、自律飛行ロボット100は、上記現在位置情報および撮像情報を、随時サーバ200に送信する。
The
飛行制御部1034は、飛行を開始した後、ターゲットに到着すると、その旨をサーバ200に送信する(ステップS607)。サーバ200の上記入力装置は、自律飛行ロボット100からターゲットに到着した旨の情報を受信すると、そのターゲットに対する追跡指示の入力を受け付け(ステップS608)、監視部202は、その追跡指示を自律飛行ロボット100に送信する(ステップS609)。
When the
自律飛行ロボット100の飛行制御部1034は、サーバ200から上記追跡指示を受信すると、ターゲットの追跡を開始する。飛行制御部1034は、上記ターゲットとの間の距離を保ちながら飛行するように、ロータ101の回転数を制御してポジショニングする(ステップS610、S611)。例えば、飛行制御部1034は、撮像部105が撮像している画像を解析し、その画像の中で占める上記ターゲットの画像の大きさを判定し、その大きさが一定となるように飛行する。
When the
このように、上記ターゲットの画像の大きさが一定となるように飛行を制御することにより、実際に移動するターゲットとの間の距離を一定に保ちつつ飛行することができる。なお、本例では、画像解析により飛行制御部1034が飛行する位置をポジショニングしているが、ターゲットが携帯端末を所持している場合には、その携帯端末と自律飛行ロボット100との間の電波強度が一定となるように飛行を制御してもよい。
In this way, by controlling the flight so that the size of the image of the target becomes constant, it is possible to fly while keeping the distance between the target actually moving and constant. In this example, the position where the
飛行制御部1034は、上記ポジショニングによりターゲットを認識できているか否かを判定し(ステップS612)、ターゲットを認識できていると判定した場合(ステップS612;Yes)、ステップS611に戻り、その距離を保ちつつ飛行を続行する。
The
一方、飛行制御部1034が、ターゲットを認識できなくなったと判定した場合(ステップS612;No)、探索部1033は、経路探索を実行する(ステップS613)。そして、飛行制御部1034は、経路が探索できたか否かを判定し(ステップS616)、経路が探索できたと判定した場合(ステップS616;Yes)、ステップS610に戻って、追跡を続行する。
On the other hand, when the
具体的には、探索部1033は、記憶部1031に記憶されている地図情報10312を読み出し、見失った位置付近の地図上の経路のうち、ターゲットの移動方向にある経路のうちの最短経路を探索し、その経路をターゲットが移動する経路であると推定する。上記最短経路は、例えば、図7に示すように、ターゲットTが進行方向Aに移動することを前提に、自律飛行ロボット100が分岐点の直前の地点PでターゲットTを見失った場合、探索部1033が経路の合流地点までの経路R1、R2、R3の中から探索したR1である。このように、飛行制御部1034は、探索部1033により探索された進行方向にある経路が分岐した地点から、分岐した経路が合流する地点までの複数の経路の中で最も移動距離が少ない最短経路を探索する。
Specifically, the
そして、飛行制御部1034は、飛行速度を上げて、ターゲットTが合流地点に移動するまでに探索された上記最短経路を移動して先回りし、合流地点付近の位置(例えば、図7に示す自律飛行ロボット100’の位置)で待機して待ち伏せする。そして、飛行制御部1034は、その時点で撮像部105が撮像している画像を解析し、その画像の中で占める上記ターゲットの画像の大きさが一定以上となったか否かを判定する。そして、上記ターゲットの画像の大きさが一定以上となったと判定した場合、合流地点付近までターゲットTが移動してきたと判断し、そのターゲットT(図7では、ターゲットT’)の追跡を続行する。
Then, the
ステップS609において追跡指示が送信されると、サーバ200の監視部202は、通信ネットワークN2を介して、道路交通情報を提供するサイト、市区町村のホームページ等の他のシステムにアクセスし、上記環境情報を取得し、環境情報2013に記録するとともに(ステップS614)、自律飛行ロボット100に送信する(ステップS615)。このとき、監視部202は、取得した環境情報と、記憶部310に記憶した現在位置情報2011および撮像情報2012とを参照し、ユーザの移動に影響を与える事象を示す環境情報(例えば、現在の経路に含まれる交差点名における工事を示す事象)を抽出して上記環境情報2013に記録する。以降、監視部202は、環境情報を取得する都度、環境情報2013を更新するとともに、取得した最新の環境情報を自律飛行ロボット100に送信する。
When the tracking instruction is transmitted in step S609, the
自律飛行ロボット100の探索部1033は、サーバ200から上記環境情報を受信すると、環境情報に示された事象を回避するような迂回経路を探索した上で上記最短経路を再探索し、再対策できた場合(ステップS616;Yes)、ステップS610に戻って自律飛行ロボット100による追跡を継続させる。自律飛行ロボット100は、これらのステップを、環境情報を取得する都度、追跡が終了するまで繰り返す。
Upon receiving the environment information from the
一方、飛行制御部1034は、ステップS616において経路が探索できなかったと判定した場合(ステップS616;No)、ターゲットが建物に入る等して見失ったと判断し、追跡不可通知をサーバ200に送信する(ステップS617)。上記のようにターゲットを見失った場合でも、ターゲットを追跡したそれまでの経路やその時点でのターゲットの位置がわかるため、以降、人手によるターゲットの追跡範囲を限定することができる。
On the other hand, when the
サーバ200の上記入力装置は、自律飛行ロボット100から上記追跡不可通知を受信すると、そのターゲットに対する追跡終了指示の入力を受け付け(ステップS618)、監視部202は、その追跡終了指示を自律飛行ロボット100に送信する(ステップS619)。自律飛行ロボット100は、サーバ200から上記追跡終了指示を受信すると、ターゲットの追跡飛行を終了し、追跡を開始したときの位置まで戻る(ステップS620)。
When the input device of the
このように、本システムでは、上記処理を実行することにより、俯瞰することができない状況においても目標物の追跡ができる。 As described above, in the present system, by executing the above processing, the target object can be tracked even in a situation where the bird's eye view cannot be performed.
上記自律飛行ロボット100、サーバ200で行われる各処理は、実際には、自律飛行ロボット100、サーバ200にインストールされたプログラムを実行することにより実現される。上記プログラムは、ROM等に予め組み込まれて提供されたり、インストール可能な形式又は実行可能な形式のファイルで記録媒体に記録して提供したり、配布してもよい。
Each process performed by the
1000 自律飛行システム
100 自律飛行ロボット
101 ロータ
102 モータ
103 本体部
1031 記憶部
10311 撮像情報
10311 地図情報
1032 測位部
1033 探索部
1034 飛行制御部
1035 通信部
1036 制御部
104 スキッド
105 撮像部
200 サーバ
201 記憶部
2011 現在位置情報
2012 撮像情報
2013 環境情報
202 監視部
203 第1通信部
204 第2通信部
205 制御部
N1 無線通信ネットワーク
N2 通信ネットワーク
1000
Claims (4)
撮像部と、
あらかじめ定められたターゲットを示す第1の画像と前記撮像部が撮像した第2の画像とに基づいて前記ターゲットを認識し、認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する飛行制御部と、
前記飛行制御部が前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索部と、を有し、
前記探索部は、探索した経路の分岐点から合流点までの最短経路を探索し、
前記飛行制御部は、前記最短経路を前記合流点付近まで飛行し、前記第1の画像と前記合流点付近の位置で待機して待ち伏せして撮像した前記第2の画像とに基づいて前記ターゲットが前記合流点付近まで移動したか否かを判定し、前記ターゲットが前記合流点付近まで移動したと判定した場合、前記ターゲットの追跡を続行する、
ことを特徴とする自律飛行移動体。 An autonomous flying vehicle capable of autonomous flight,
An imaging unit,
The target is recognized based on a first image indicating a predetermined target and a second image captured by the image capturing unit, and a flight is performed while maintaining a predetermined distance from the recognized target. A flight controller that tracks the target,
In the case where the flight control unit cannot recognize the target, a search unit that searches for a route near the position that cannot be recognized based on map information,
The search unit searches for the shortest route from the branch point of the searched route to the confluence point,
The flight control unit flies along the shortest route to the vicinity of the confluence, and waits at a position near the confluence to await the target based on the second image captured by ambushing. Determines whether or not it has moved to the vicinity of the confluence, if it is determined that the target has moved to the vicinity of the confluence , continue tracking the target,
An autonomous flying vehicle characterized by the above.
ことを特徴とする請求項1に記載の自律飛行移動体。 The search unit acquires environmental information about the route from another system, extracts an event that affects movement on the route from the environmental information, and avoids the extracted event to avoid the route. To explore,
The autonomous flying vehicle according to claim 1 , wherein:
あらかじめ定められたターゲットを示す第1の画像と前記自律飛行移動体に備えられた撮像部が撮像した第2の画像とに基づいて前記ターゲットを認識する認識ステップと、
認識した前記ターゲットとの間で所定の距離を保ちながら飛行して前記ターゲットを追跡する追跡ステップと、
前記ターゲットを認識できなくなった場合に、地図情報に基づいて前記認識できなくなった位置付近の経路を探索する探索ステップと、
探索された経路に基づいて、前記ターゲットの追跡を続行する続行ステップと、を含み、
前記探索ステップでは、探索した経路の分岐点から合流点までの最短経路を探索し、
前記続行ステップでは、前記最短経路を前記合流点付近まで飛行し、前記第1の画像と前記合流点付近の位置で待機して待ち伏せして撮像した前記第2の画像とに基づいて前記ターゲットが前記合流点付近まで移動したか否かを判定し、前記ターゲットが前記合流点付近まで移動したと判定した場合、前記ターゲットの追跡を続行する、
ことを特徴とするターゲット追跡方法。 A target tracking method using an autonomously flying mobile body capable of autonomous flight,
A recognition step of recognizing the target based on a first image showing a predetermined target and a second image captured by an image capturing section provided in the autonomous flying vehicle;
A tracking step of flying and tracking the target while maintaining a predetermined distance from the recognized target;
A search step of searching for a route in the vicinity of the unrecognizable position based on map information when the target cannot be recognized;
Continuing the tracking of the target based on the searched route ,
In the search step, the shortest route from the branch point of the searched route to the confluence point is searched,
In the continuation step, the target is flown along the shortest path to the vicinity of the confluence point, and the target is based on the first image and the second image captured by awaiting at a position near the confluence point. It is determined whether or not the target has moved to the vicinity of the confluence, and if it is determined that the target has moved to the vicinity of the confluence, the tracking of the target is continued,
A target tracking method characterized by the above.
ことを特徴とする請求項3に記載のターゲット追跡方法。 In the searching step, environmental information around the route is acquired from another system, an event affecting movement on the route is extracted from the environmental information, and the extracted event is avoided to avoid the route. To explore,
The target tracking method according to claim 3 , wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015189191A JP6680498B2 (en) | 2015-09-28 | 2015-09-28 | Autonomous flying vehicle, target tracking method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015189191A JP6680498B2 (en) | 2015-09-28 | 2015-09-28 | Autonomous flying vehicle, target tracking method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017068298A JP2017068298A (en) | 2017-04-06 |
JP6680498B2 true JP6680498B2 (en) | 2020-04-15 |
Family
ID=58492506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015189191A Active JP6680498B2 (en) | 2015-09-28 | 2015-09-28 | Autonomous flying vehicle, target tracking method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6680498B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6912281B2 (en) * | 2017-06-20 | 2021-08-04 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Aircraft, flight control systems, flight control methods, programs and recording media |
KR20190009103A (en) | 2017-07-18 | 2019-01-28 | 삼성전자주식회사 | Electronic Device that is moved based on Distance to External Object and the Control Method |
CN110402421A (en) * | 2017-12-26 | 2019-11-01 | 深圳市道通智能航空技术有限公司 | A kind of aircraft landing guard method, device and aircraft |
WO2019181917A1 (en) * | 2018-03-19 | 2019-09-26 | 本田技研工業株式会社 | Mobile body management system, control method for mobile body management system, and management server for mobile body management system |
JP2021144260A (en) | 2018-06-15 | 2021-09-24 | ソニーグループ株式会社 | Information processing device, information processing method, program, and information processing system |
JP7092344B2 (en) * | 2018-07-27 | 2022-06-28 | 株式会社システック | Mobile flight monitoring terminal, monitoring device and monitoring method |
US11443640B2 (en) * | 2018-10-19 | 2022-09-13 | Anduril Industries, Inc. | Ruggedized autonomous helicopter platform |
JP2020087074A (en) * | 2018-11-28 | 2020-06-04 | 株式会社メルカリ | Mobile object, program, and control method |
WO2021002320A1 (en) * | 2019-07-02 | 2021-01-07 | 株式会社Nttドコモ | Control device |
CN110348418B (en) * | 2019-07-17 | 2022-03-11 | 上海商汤智能科技有限公司 | Target tracking method and device, intelligent mobile device and storage medium |
WO2022085368A1 (en) * | 2020-10-20 | 2022-04-28 | ソニーグループ株式会社 | Information processing device, information processing system, method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6917855B2 (en) * | 2002-05-10 | 2005-07-12 | Honda Motor Co., Ltd. | Real-time target tracking of an unpredictable target amid unknown obstacles |
JP2005199377A (en) * | 2004-01-14 | 2005-07-28 | Sharp Corp | Tracking robot system and tracking robot using the same |
JP2008084135A (en) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | Movement control method, mobile robot and movement control program |
US7970507B2 (en) * | 2008-01-23 | 2011-06-28 | Honeywell International Inc. | Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle |
JP5160322B2 (en) * | 2008-06-30 | 2013-03-13 | 株式会社Ihi | Autonomous mobile robot apparatus and control method for autonomous mobile robot apparatus |
JP6029446B2 (en) * | 2012-12-13 | 2016-11-24 | セコム株式会社 | Autonomous flying robot |
JP5982273B2 (en) * | 2012-12-14 | 2016-08-31 | セコム株式会社 | Shooting system |
JP6195450B2 (en) * | 2013-01-31 | 2017-09-13 | セコム株式会社 | Autonomous flying robot |
JP6155032B2 (en) * | 2013-01-31 | 2017-06-28 | セコム株式会社 | Shooting system |
-
2015
- 2015-09-28 JP JP2015189191A patent/JP6680498B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017068298A (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6680498B2 (en) | Autonomous flying vehicle, target tracking method | |
CN111076732B (en) | Track marking based on vehicle driving and marking scheme for generating high-definition map | |
CN110377025B (en) | Sensor aggregation frame for an autonomous vehicle | |
CN111061261B (en) | Automatic driving method using standard navigation map and lane configuration determined based on previous track of vehicle | |
CN108732589B (en) | Automatic acquisition of training data for object recognition using 3D LIDAR and localization | |
EP2920954B1 (en) | Automatic image capture | |
JP2019167091A (en) | Real-time sensing adjustment and operation adjustment based on behavior of peripheral vehicle of automatic operation vehicle | |
US10969237B1 (en) | Distributed collection and verification of map information | |
WO2015129045A1 (en) | Image acquisition system, terminal, image acquisition method, and image acquisition program | |
JP6721308B2 (en) | Autonomous flight vehicle, Autonomous flight vehicle system | |
CN108139884A (en) | The method simulated the physical model of automatic driving vehicle movement and combine machine learning | |
US20180217607A1 (en) | Object recognition in autonomous vehicles | |
JP2020087134A (en) | Waste collection management system, waste collection management method and program | |
CN102951149A (en) | Method and device for analysing a route section to be driven by a vehicle | |
WO2019159420A1 (en) | Mobile body operation management system and mobile bodies | |
CN114080537A (en) | Collecting user contribution data relating to a navigable network | |
JP2013036930A (en) | Navigation device and navigation system comprising the same | |
JP2012137320A (en) | Guidance apparatus, guidance method, guidance program and recording medium | |
JP6956132B2 (en) | Shooting system, server, control method and program | |
US20210357620A1 (en) | System, moving object, and information processing apparatus | |
EP3731053B1 (en) | Management device, management system, moving body and program | |
CN116583714A (en) | System and method for scheduling and navigating unmanned aerial vehicles | |
KR102368082B1 (en) | Autonomous driving control method of a Robot and System therefor | |
US20240118703A1 (en) | Display apparatus, communication system, display control method, and recording medium | |
TWI813077B (en) | Driving control system, control method, and control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6680498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |