JP7176068B1 - 飛行制御システム、飛行制御方法、及び無人飛行体 - Google Patents

飛行制御システム、飛行制御方法、及び無人飛行体 Download PDF

Info

Publication number
JP7176068B1
JP7176068B1 JP2021136393A JP2021136393A JP7176068B1 JP 7176068 B1 JP7176068 B1 JP 7176068B1 JP 2021136393 A JP2021136393 A JP 2021136393A JP 2021136393 A JP2021136393 A JP 2021136393A JP 7176068 B1 JP7176068 B1 JP 7176068B1
Authority
JP
Japan
Prior art keywords
flying object
air vehicle
unmanned
unmanned air
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021136393A
Other languages
English (en)
Other versions
JP2023030963A (ja
Inventor
満 中澤
順 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2021136393A priority Critical patent/JP7176068B1/ja
Application granted granted Critical
Publication of JP7176068B1 publication Critical patent/JP7176068B1/ja
Publication of JP2023030963A publication Critical patent/JP2023030963A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】無人飛行体が飛行ルートから外れたことを検出する。【解決手段】第1の無人飛行体は(20A)は、所定の飛行ルート(5)の情報を取得する飛行ルート情報取得部(110)と、第1の無人飛行体の位置を検出する測位センサ(24)と、第1の無人飛行体の位置に基づいて、第2の無人飛行体(20B)に先行又は追尾して第1の無人飛行体に所定の飛行ルートを飛行させる飛行制御部(130)と、第1の無人飛行体の位置から所定の方向を撮影するカメラ(25)と、カメラが撮影した画像(6)に基づいて、第2の無人飛行体が所定の飛行ルートから外れたか否かを判定する判定部(180)と、を含む。【選択図】図9

Description

本開示は飛行制御システム、飛行制御方法、及び無人飛行体に関する。
下記特許文献1には、ドローンなどの無人飛行体が所定の飛行ルートに沿って飛行することが記載されている。無人飛行体は、自機の位置を検出する測位センサ(GPSセンサなど)を搭載し、測位センサを用いて特定した位置と、飛行ルートの情報を照らし合わせることにより、その飛行ルートに沿った飛行を行うことが可能である。
下記特許文献2には、橋梁の表面調査などの実務を行う無人飛行体を監視用の別の無人飛行体のカメラで撮影し、撮影した映像を操縦端末に送信してモニターに映すことが記載されている。
特許第6804706号公報 特開2017-87916号公報
例えば突風などにより無人飛行体が制御不能な状況になったり、無人飛行体に搭載される機器の動作が不安定になったりすることで、無人飛行体が所定の飛行ルートから外れることがある。このような状況で、無人飛行体が飛行ルートから外れていることを当該無人飛行体が検出できない場合がある。なお、特許文献2では、実務を行う無人飛行体を監視用の別の無人飛行体のカメラで撮影しているが、撮影した映像を管理者が目視していなければ、当該無人飛行体が飛行ルートから外れたことを検出できない。
本開示の目的は、管理者に依らずに無人飛行体が飛行ルートから外れたことを検出できるようにすることである。
本開示に係る飛行制御システムは、第1の無人飛行体と、所定の飛行ルートを飛行する第2の無人飛行体とを含む飛行制御システムであって、前記第1の無人飛行体は、前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、前記第1の無人飛行体の位置を検出する測位センサと、前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記第1の無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、前記第1の無人飛行体の位置から所定の方向を撮影するカメラと、前記カメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含む。これによれば、管理者に依らずに第2の無人飛行体が飛行ルートから外れたことを検出できる。
また、本開示に係る飛行制御方法は、第1の無人飛行体の飛行と、所定の飛行ルートを飛行する第2の無人飛行体の飛行を制御する飛行制御方法であって、前記第1の無人飛行体が、前記所定の飛行ルートの情報を取得し、前記第1の無人飛行体に含まれる測位センサを用いて前記第1の無人飛行体の位置を検出し、前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記所定の飛行ルートを飛行し、前記第1の無人飛行体のカメラを用いて前記第1の無人飛行体の位置から所定の方向を撮影し、前記カメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する飛行制御方法である。これによれば、管理者に依らずに第2の無人飛行体が飛行ルートから外れたことを検出できる。
また、本開示に係る無人飛行体は、所定の飛行ルートを飛行する無人飛行体であって、前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、前記無人飛行体の位置を検出する測位センサと、前記無人飛行体の位置に基づいて、前記所定の飛行ルートを飛行する他の無人飛行体に先行又は追尾して前記無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、前記無人飛行体の位置から所定の方向を撮影するカメラと、
前記カメラが撮影した画像に基づいて、前記他の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含む。これによれば、管理者に依らずに、所定の飛行ルートを飛行する他の無人飛行体が飛行ルートから外れたことを検出できる。
本開示の実施形態の一例である飛行制御システムの構成を示す図である。 飛行中の無人飛行体の一例を示す図である。 無人飛行体に取り付けられるカメラの一例を示す図である。 飛行制御システムで行う飛行制御の一例を示す図である。 無人飛行体のカメラが撮影する画像の一例を示す図である。 画像における判定領域の中心位置を設定する方法の一例を示す図である。 無人飛行体のカメラが撮影する画像の一例を示す図である。 画像から無人飛行体の位置を算出する方法の一例を示す。 無人飛行体の機能の一例を示す機能ブロック図である。 飛行制御処理の流れの一例を示す図である。
以下、本開示の実施形態について図面を参照しながら説明する。
[1.システム構成]
図1は、本開示の実施形態の一例である飛行制御システムの構成を示す図である。図1に示すように、飛行制御システム1は、管制装置10と、無人飛行体20A(第1の無人飛行体)と、無人飛行体20B(第2の無人飛行体)とを含み、これらはネットワークNに接続されている。なお、飛行制御システム1は、2台の無人飛行体20A,20Bとは異なる図示しない無人飛行体や、ネットワークNに接続されているユーザ端末などの他の装置を含んでもよい。以下の説明では、各無人飛行体20A,20Bを、単に無人飛行体20と称することもある。
管制装置10は、無人飛行体20の飛行を管理するサーバ装置などのコンピュータであり、図1に示すように、プロセッサ11、記憶部12、及び通信部13を含んでいる。プロセッサ11は、例えばコンピュータである管制装置10にインストールされたプログラムに従って動作するCPU(Central Processing Unit)などのプログラム制御デバイスである。記憶部12は、例えばROM(Read Only Memory)やRAM(Random Access Memory)などの記憶素子や、ハードディスクドライブなどである。記憶部12にはプロセッサ11によって実行されるプログラムなどのデータが記憶される。通信部13は、ネットワークボードなどの通信インタフェースである。通信部13は、ルータなどの図示しない中継器を介してネットワークNに接続してよい。ネットワークNは、例えば、スマートフォンや携帯電話用の無線の通信網であり、LTE(Long Term Evolution)などの所定の通信規格(通信速度及び周波数帯の規格)に従って実現される。
本実施形態において、管制装置10の記憶部12は、無人飛行体20が飛行する飛行ルートの情報などのデータを記憶する。また、管制装置10の通信部13は、ネットワークNを介して無人飛行体20とのデータの送受を行う。通信部13は、例えば、無人飛行体20が飛行する飛行ルートの情報や、飛行制御に関する指示情報(例えば、停止指示や帰還指示、着陸指示などの情報)を、当該無人飛行体20に送信する。
[2.無人飛行体の構成]
無人飛行体20は、パイロットなどの人が搭乗しない航空機であり、例えば、バッテリーで駆動する航空機(いわゆるドローン)である。無人飛行体20は、エンジンで駆動する航空機などであってもよい。2台の無人飛行体20A,20Bの各々は、図1に示すように、プロセッサ21、記憶部22、通信部23、測位センサ24、及びカメラ25を含む。プロセッサ21は、CPUなどのプログラム制御デバイスである。記憶部22は、例えばROMやRAMなどの記憶素子や、ハードディスクドライブなどである。記憶部22にはプロセッサ21によって実行されるプログラムなどのデータが記憶され、プロセッサ21は記憶部22に記憶されたプログラムに従って動作する。通信部23は、アンテナなどの通信インタフェースであり、無線によってネットワークNに接続されている。
本実施形態において、無人飛行体20の通信部23は、現在の位置や速度、バッテリー残量などといった当該無人飛行体20の情報であるテレメトリー情報を、管制装置10に送信する。また、各無人飛行体20A,20Bの通信部23は、ネットワークN、又は、Wi-Fi(登録商標)やBluetooth(登録商標)、赤外線などの他の通信経路を介して、互いにデータの送受が可能である。例えば、無人飛行体20Aの通信部23は、当該無人飛行体20Aのテレメトリー情報を無人飛行体20Bに送信する。これと同様に、無人飛行体20Bの通信部23は、当該無人飛行体20Bのテレメトリー情報を無人飛行体20Aに送信する。
無人飛行体20に搭載される測位センサ24は、当該無人飛行体20の現実世界における位置(例えば、緯度、経度、及び高度)を検出するセンサである。無人飛行体20Aの測位センサ24は無人飛行体20Aの位置を検出し、無人飛行体20Bの測位センサ24は無人飛行体20Bの位置を検出する。また、測位センサ24は、1以上のセンサを含んでよく、例えば、自機の緯度及び経度を検出するGPS(Global Positioning System, Global Positioning Satellite)センサと、自機の高度を検出する高度センサとを含んでよい。また、測位センサ24は、出発地点からの相対的な位置を検出するものであってもよく、速度センサ又は加速度センサと、ジャイロセンサとを含んでもよい。
図2は、飛行中の無人飛行体20の一例を示す図である。無人飛行体20は、上述したプロセッサ21や記憶部22、バッテリーなどを収容する筐体27、モータ28、及びプロペラ29を含む。無人飛行体20は複数(図2に示す例では4つ)のモータ28を含み、これと同数のプロペラ29がこれらに接続されている。プロセッサ21が各モータ28の回転速度、すなわち、各プロペラ29の回転速度を制御することにより、無人飛行体20は空中での姿勢制御、すなわち、飛行制御を行うことが可能である。
無人飛行体20のカメラ25は、当該無人飛行体20の位置から所定の方向(上下方向、左右方向、又はこれらの斜め方向)を撮影するものであり、当該無人飛行体20の外面に設けられる。図2に示す例では、無人飛行体20の筐体27の側面(例えば、前面又は後面)にカメラ25が取り付けられている。これに限らず、筐体27の下面にカメラ25が取り付けられてもよい。また、カメラ25は、ステレオカメラであってもよい。この倍、カメラ25は、各画素に被撮影物の距離情報を含むステレオ画像を撮影する。
図3は、無人飛行体20に取り付けられるカメラ25の一例を示す図である。図3に示すように、カメラ25は、筐体27に固定される基部251と、3つのアクチュエータ252a,252b,252cと、レンズ253と、レンズ253を収容するカメラ本体254を含む。アクチュエータ252a,252b,252cは、互いに垂直に交差する回転中心線Axa,Axb,Axcを中心にそれぞれ回転できる。これら3つのアクチュエータ252a,252b,252cを介して、カメラ本体254は基部251に接続されている。このため、カメラ本体254に収容されるレンズ253は、基部251が固定される筐体27から所定の方向に向いたり、筐体27の水平方向に対して回転するように動くことができる。
[3.飛行制御の概要]
[3-1.飛行ルートにおける飛行]
図4は、飛行制御システムで行う飛行制御の一例を示す図である。図4に示すように、飛行制御システム1では、2台の無人飛行体20A,20Bが所定の飛行ルート5を飛行する。飛行ルート5は、無人飛行体20A,20Bの出発地点と到着地点を結ぶ幅と高さを持った連続的な空間である。図4に示す例では、飛行ルート5は、出発地点から到着地点までの複数のポイントで、当該ポイントを中心とした幅ΔW及び高さΔHの領域を有している。なお、飛行ルート5に含まれる領域の幅と高さは、図4に示すように複数のポイントで同じであってもよいし、異なっていてもよい。
飛行制御システム1では、2台の無人飛行体20A,20Bが飛行ルート5の進行方向に所定の距離を空けて、当該飛行ルート5内を飛行する。無人飛行体20Bは、無人飛行体20Aに先行して飛行ルート5内を飛行し、無人飛行体20Aは、先行する無人飛行体20Bを追尾して飛行ルート5内を飛行する。無人飛行体20Aは、無人飛行体20Bとの間で所定の距離を維持しつつ、無人飛行体20Aの位置が飛行ルート5から外れないようにして、飛行ルート5内を飛行する。これと同様に、無人飛行体20Bは、無人飛行体20Aとの間で所定の距離を維持しつつ、無人飛行体20Bの位置が飛行ルート5から外れないようにして、飛行ルート5内を飛行する。図4に示す例は、先行する無人飛行体20Bが、ポイントO2を中心とする幅ΔW及び高さΔHの領域内を飛行しており、これを追尾する無人飛行体20Aが、ポイントO2よりも後方(飛行ルート5の進行方向とは逆方向)のポイントO1を中心とする幅ΔW及び高さΔHの領域内を飛行している状態を示している。
[3-2.飛行ルートから外れたことの検出]
無人飛行体20A,20Bが飛行ルート5から外れているか否かを検出するために、各無人飛行体20A,20Bのカメラ25は、飛行ルート5の飛行中に所定の方向を撮影する。本実施形態において、無人飛行体20Aのカメラ25は、基本的には無人飛行体20Aの前方(すなわち、飛行ルート5の進行方向)を撮影する。また、先行する無人飛行体20Bのカメラ25は、基本的には無人飛行体20Bの後方を撮影する。
図5及び図7は、無人飛行体20のカメラ25が撮影する画像の一例を示す図である。図5及び図7は、無人飛行体20Aのカメラ25が無人飛行体20Aの前方を撮影した画像6を示している。画像6には、飛行ルート5内を飛行する無人飛行体20Bが映っている。無人飛行体20Aは、この画像6に基づいて、無人飛行体20Bが飛行ルート5から外れたか否かを検出する。これと同様に、無人飛行体20Bは、無人飛行体20Bが撮影した画像に基づいて、無人飛行体20Aが飛行ルート5から外れたか否かを検出する。
例えば、無人飛行体20Aは、画像6に、無人飛行体20Bが飛行ルート5を外れたか否かを判定するための判定領域61を設定する。判定領域61は、無人飛行体20Bが飛行しているポイントO2における飛行ルート5の内外を区画する仮想的な領域として設定される。この場合、無人飛行体20Aは、画像6において無人飛行体20Bが判定領域61内に映っているか否かに基づいて、無人飛行体20Bが飛行ルート5から外れたか否かを判定する。無人飛行体20Aは、例えば、無人飛行体20Bが判定領域61内に映っている場合に、無人飛行体20Bは飛行ルート5から外れていないと判定し、無人飛行体20Bが判定領域61外に映っているか、画像6に無人飛行体20Bが映っていない場合に、無人飛行体20Bが飛行ルート5から外れたと判定する。
判定領域61として、例えば、画像6におけるポイントO2の位置を中心とする領域が設定される。画像6におけるポイントO2の位置は、無人飛行体20Aのカメラ25が向いている方向に基づいて設定することができる。
図6は、画像6における判定領域61の中心位置であるポイントO2の位置を設定する方法の一例を示す図である。図6に示すように、例えば無人飛行体20Aは、画像6の解像度と画像6に映る無人飛行体20Bのサイズに基づいて、現実世界における無人飛行体20Aから無人飛行体20Bまでの距離ΔLを算出してよい。この他にも、無人飛行体20Aは、ステレオカメラであるカメラ25で画像6を撮影し、ステレオ画像である画像6に映る無人飛行体20Bの位置における距離情報に基づいて、現実世界における無人飛行体20Aから無人飛行体20Bまでの距離ΔLを算出してもよい。このように、ステレオカメラを用いることにより、無人飛行体20Aから無人飛行体20Bまでの距離ΔLの算出精度を向上できる。
次いで、無人飛行体20Aの測位センサ24から取得した現実世界における無人飛行体20Aの位置(Xa,Ya,Za)と、算出した距離ΔLとに基づいて、無人飛行体20Aの位置から距離ΔLだけ飛行ルート5を進んだ現実世界におけるポイントO2の位置(X2,Y2,Z2)を算出する。次いで、無人飛行体20Aの位置(Xa,Ya,Za)と、ポイントO2の位置(X2,Y2,Z2)とに基づいて、無人飛行体20Aの位置からポイントO2への方向を算出し、その方向に対する無人飛行体20Aのカメラ25が向いている方向を特定する。次いで、ポイントO2を含む幅ΔWと高さΔHを有する領域と、カメラ25が向いている方向との交点(すなわち、画像6の中心位置)Oa´からポイントO2までの距離ΔDを算出し、距離ΔD、無人飛行体20Aから無人飛行体20Bまでの距離ΔL、及び画像6の解像度に基づいて、画像6における中心位置Oa´からのオフセット量Δd(図5を参照)を算出する。そして、無人飛行体20Aは、画像6の中心位置Oa´からのオフセット量Δdだけオフセットさせた位置にポイントO2の位置を設定し、このポイントO2の位置を中心とした判定領域61を設定する。画像6における判定領域61のサイズは、無人飛行体20Aから無人飛行体20Bまでの距離ΔLと画像6の解像度に基づいて設定する。
この他にも、カメラ25が飛行ルート5の中心を向くように制御される場合(すなわち、画像6の中心にポイントO2が映るようにカメラ25の向きが制御される場合)、無人飛行体20Aは、画像6の中心位置Oa´を中心とした判定領域61を設定してもよい。
また、例えば、無人飛行体20Aは、画像6に映る無人飛行体20Bに基づいて、現実世界における無人飛行体20Bの位置を算出する。この無人飛行体20Bの位置が飛行ルート5から外れる場合に、無人飛行体20Bが飛行ルート5から外れたと判定する。
図8は、画像6から現実世界における無人飛行体20Bの位置を算出する方法の一例を示す図である。無人飛行体20Aは、図7及び図8に示すように、例えば、現実世界における基準方向(例えば、無人飛行体20Aから北極点や南極点に向かう方向や、飛行ルート5の進行方向)に対する無人飛行体20Aのカメラ25が向いている方向を特定し、特定した方向と画像6における無人飛行体20Bの位置に基づいて、無人飛行体20Aの位置に対する無人飛行体20Bの相対的な位置(ΔXb,ΔYb,ΔZb)を算出する。そして、この算出した位置(ΔXb,ΔYb,ΔZb)と、無人飛行体20Aの測位センサ24から取得した現実世界における無人飛行体20Aの位置(Xa,Ya,Za)とに基づいて、現実世界における無人飛行体20Bの位置(Xb,Yb,Zb)を算出する。無人飛行体20Aは、このように算出した無人飛行体20Bの位置(Xb,Yb,Zb)の緯度、経度、及び高度のうちの少なくとも1つが、飛行ルート5として設定された空間内に含まれない場合に、無人飛行体20Bが飛行ルート5から外れたと判定する。
なお、無人飛行体20Aの通信部23は、無人飛行体20Bのテレメトリー情報として、無人飛行体20Bの測位センサ24が計測した位置情報を受信しているが、以上のように無人飛行体20Aのカメラ25で撮影した画像6を用いて無人飛行体20Bが飛行ルート5から外れたか否かを判定することにより、無人飛行体20Bから当該無人飛行体20Bの位置情報を受信せずに、無人飛行体20Bが飛行ルート5から外れたことを検出できる。すなわち、無人飛行体20Bが突風などにより制御不能な状況になったり、無人飛行体20Bに搭載される通信部23や測位センサ24などの機器の動作が不安定になったりした場合でも、無人飛行体20Aを用いて無人飛行体20Bが飛行ルート5から外れたことを検出できるようになる。
また、無人飛行体20Bも、無人飛行体20Bのカメラ25で撮影した画像6を用いて無人飛行体20Aが飛行ルート5から外れたか否かを検出する。このようにすることで、無人飛行体20Aから当該無人飛行体20Aの位置情報を受信せずに、無人飛行体20Bを用いて無人飛行体20Aが飛行ルート5から外れたことを検出できるようになる。
無人飛行体20Bが飛行ルート5から外れたことを無人飛行体20Aが検出した場合、無人飛行体20Aは、所定の異常を識別する情報を管制装置10に送信し、飛行ルート5の飛行を中断する。ここで、無人飛行体20Aは、画像6を用いて算出した無人飛行体20Bの位置を管制装置10に送信してもよい。また、無人飛行体20Bが飛行ルート5から外れたことを無人飛行体20Aが検出した場合、無人飛行体20Aは飛行ルート5の飛行を中断してその場でホバリングしたり、所定の場所に着陸したりする。また、無人飛行体20Aは、無人飛行体20Bを追尾して飛行ルート5から外れて飛行してもよい。この場合、無人飛行体20Aは、飛行ルート5から外れることによって当該飛行ルート5での飛行を中断した無人飛行体20Bの位置を特定し、その位置を管制装置10に送信した後に、その場でホバリングしたり着陸したりする。
また、無人飛行体20Bも、無人飛行体20Bのカメラ25で撮影した画像6を用いて無人飛行体20Aが飛行ルート5から外れたか否かを検出する。このようにすることで、無人飛行体20Aが制御不能な状況になったり、無人飛行体20Bに搭載される機器の動作が不安定になったりした場合でも、無人飛行体20Bを用いて無人飛行体20Aが飛行ルート5から外れたことを検出できる。
無人飛行体20Aが飛行ルート5から外れたことを無人飛行体20Bが検出した場合も、無人飛行体20Bは、所定の異常を識別する情報を管制装置10に送信し、飛行ルート5の飛行を中断する。この場合、無人飛行体20Bは、その場でホバリングしたり、着陸したりする。また、無人飛行体20Bは、飛行ルート5から外れた無人飛行体20Aを追尾して当該無人飛行体20Aの位置を特定した後に、その場でホバリングしたり、着陸したりしてもよい。
[3-3.カメラの制御]
無人飛行体20は、当該無人飛行体20からカメラ25が向く方向(より詳細にはレンズ253が向く方向)を制御している。本実施形態では、無人飛行体20Aのカメラ25は、無人飛行体20Bに向くように制御されている。これと同様に、無人飛行体20Bのカメラ25は、無人飛行体20Aに向くように制御されている。
例えば、無人飛行体20Aは、図5に示すように、無人飛行体20Aのカメラ25が撮影した画像6の中央に所定のサイズの中央領域62を設定する。そして、この中央領域62外に無人飛行体20Bが映る場合に、アクチュエータ252a,252b,252cのうちの少なくとも1つを動かすことにより、中央領域62内に無人飛行体20Bが映るように、カメラ25が向く方向を変える。このようにすることで、無人飛行体20Aのカメラ25が撮影する画像6に無人飛行体20Bが映らなくなること(すなわち、無人飛行体20Aのカメラ25が無人飛行体20Bを見失うこと)を抑制でき、無人飛行体20Bが飛行ルート5から外れたか否かの検出を継続することができる。
また、中央領域62外に無人飛行体20Bが映る場合、無人飛行体20Aは、カメラ25の画角を、現在の画角よりも広角にしてもよい。このようにしても、無人飛行体20Aのカメラ25が撮影する画像6に無人飛行体20Bが映らなくなることを抑制できる。
また、無人飛行体20Bも、中央領域62を無人飛行体20Bのカメラ25が撮影した画像に設定し、この中央領域62外に無人飛行体20Aが映る場合に、中央領域62内に無人飛行体20Aが映るようにカメラ25が向く方向を変える。これにより、無人飛行体20Bのカメラ25が撮影する画像6に、無人飛行体20Aが映らなくなること(すなわち、無人飛行体20Bが無人飛行体20Aを見失うこと)を抑制できる。
[4.機能ブロック]
図9は、飛行制御システム1で実装される機能の一例を示す機能ブロック図である。図3に示すように、飛行制御システム1を構成する無人飛行体20A,20Bは、機能的には、飛行ルート情報取得部110と、飛行ルート情報記憶部120と、飛行制御部130と、画像取得部140と、中央領域設定部150と、カメラ制御部160と、カメラ方向特定部170と、判定部180と、異常送信部190と、飛行中断部200とを含む。飛行ルート情報取得部110、飛行制御部130、画像取得部140、中央領域設定部150、カメラ制御部160、カメラ方向特定部170、判定部180、異常送信部190、及び飛行中断部200は、プロセッサ21を主として実現される。飛行ルート情報記憶部120は、記憶部22を主として実現される。なお、無人飛行体20A,20Bにおいて、図9に示す機能のすべてが実装されなくてもよく、図9に示す機能以外の機能が実装されていてもよい。
[4-1.飛行ルート情報取得部、飛行ルート情報記憶部]
飛行ルート情報取得部110は、所定の飛行ルートの情報を取得する。飛行ルート情報記憶部120は、飛行ルート情報取得部110が取得した飛行ルートの情報を記憶する。本実施形態では、無人飛行体20Aと無人飛行体20Bは、同じ飛行ルート5を飛行する。このため、無人飛行体20Aの飛行ルート情報取得部110は、無人飛行体20Bが飛行する飛行ルート5の情報を取得し、無人飛行体20Bの飛行ルート情報取得部110は、無人飛行体20Aが飛行する飛行ルート5の情報を取得する。
[4-2.飛行制御部]
飛行制御部130は、無人飛行体20のモータ28及びプロペラ29の回転速度を制御することにより、飛行ルート情報取得部110が取得した情報に示される飛行ルート5を当該無人飛行体20に飛行させる。ここで、飛行制御部130は、無人飛行体20の測位センサ24が計測した当該無人飛行体20の位置に基づいて、当該無人飛行体20に飛行ルート5を飛行させる。
本実施形態では、無人飛行体20Bの飛行制御部130は、無人飛行体20Aに先行して無人飛行体20Bに飛行ルート5を飛行させる。また、無人飛行体20Aの飛行制御部130は、飛行ルート5を先行する無人飛行体20Bを追尾して、無人飛行体20Aに飛行ルート5を飛行させる。
無人飛行体20Aの飛行制御部130は、例えば、無人飛行体20Aと無人飛行体20Bとの間に所定の距離を維持しつつ、無人飛行体20Aの位置が飛行ルート5から外れないようにして、無人飛行体20Aに飛行ルート5を飛行させる。ここで、飛行制御部130は、無人飛行体20Bから受信した無人飛行体20Bの位置情報や、無人飛行体20Aのカメラ25が撮影した画像6(後述する画像取得部140が取得した画像)における無人飛行体20Bのサイズに基づいて、所定の距離に対して無人飛行体20Aが無人飛行体20Bに近づきすぎていないか、無人飛行体20Aが無人飛行体20Bから離れすぎていないかを判定し、その判定結果に基づいて飛行ルート5における無人飛行体20Aの移動速度を制御する。これと同様に、飛行ルート5を先行する無人飛行体20Bの飛行制御部130も、当該無人飛行体20Bが無人飛行体20Aに近づきすぎていないか離れすぎていないかを判定し、飛行ルート5における無人飛行体20Bの移動速度を制御してよい。
また、無人飛行体20Aの飛行制御部130は、無人飛行体20Aのカメラ25が撮影した画像6において設定された中央領域62内に無人飛行体20Bが映っていない場合に、無人飛行体20Aのカメラ25が無人飛行体20Bに向くように(すなわち、中央領域62内に無人飛行体20Bが映るように)、無人飛行体20Aの向きを制御してもよい。このようにすることでも、無人飛行体20Aのカメラ25が撮影する画像6に、無人飛行体20Bが映らなくなること(無人飛行体20Bを見失うこと)を抑制できる。これと同様に、無人飛行体20Bの飛行制御部130も、無人飛行体20Bのカメラ25が撮影した画像6の中央領域62内に無人飛行体20Aが映っていない場合に、当該カメラ25が無人飛行体20Aに向くように、無人飛行体20Bの向きを制御してもよい。これにより、無人飛行体20Bのカメラ25が撮影する画像6に無人飛行体20Aが映らなくなること(無人飛行体20Aを見失うこと)を抑制できる。
[4-3.画像取得部、中央領域設定部]
画像取得部140は、無人飛行体20のカメラ25が撮影した画像6を取得する。本実施形態では、無人飛行体20Aの画像取得部140は、2台の無人飛行体20A,20Bの双方が飛行ルート5を飛行している間の期間において、無人飛行体20Aのカメラ25が撮影した画像6を取り続ける。これと同様に、無人飛行体20Bの画像取得部140も、2台の無人飛行体20A,20Bの双方が飛行ルート5を飛行している間の期間において、無人飛行体20Bのカメラ25が撮影した画像6を取り続ける。
中央領域設定部150は、無人飛行体20のカメラ25が撮影した画像6における中央領域62を設定する。中央領域設定部150は、中央領域62の中心が画像6と同じ位置になるように、中央領域62を設定する。中央領域設定部150は、中央領域62のサイズを、カメラ25の画角や画像6の解像度に基づいて決定してもよい。
[4-4.カメラ制御部]
カメラ制御部160は、無人飛行体20のカメラ25が当該無人飛行体20の位置から所定の方向を撮影するように、カメラ25が向く方向(より詳細にはレンズ253が向く方向)を制御する。カメラ制御部160は、例えば図3に示したアクチュエータ252a,252b,252cのうちの少なくとも1つを動かすことにより、カメラ25が向く方向を制御する。
例えば、無人飛行体20Aのカメラ制御部160は、無人飛行体20Aのカメラ25が撮影した画像6における無人飛行体20Bの位置が、中央領域62外にある場合に、当該カメラ25が無人飛行体20Bに向くように当該カメラ25が向く方向を変える。例えば、画像6において、中央領域62の下に無人飛行体20Bが映っている場合に、無人飛行体20Aのカメラ制御部160は、カメラ25の向きを下方に傾け、画像6の中央に無人飛行体20Bが映るように制御する。このようにすることで、無人飛行体20Aのカメラ25が撮影する画像6に無人飛行体20Bが映らなくなること(無人飛行体20Bを見失うこと)を抑制できる。
また、無人飛行体20Aのカメラ制御部160は、画像6における無人飛行体20Bの位置が中央領域62外にある場合に、当該カメラ25の画角を現在の画角よりも広い画角に変えてもよい。このようにすることでも、無人飛行体20Aのカメラ25が撮影する画像6に、無人飛行体20Bが映らなくなることを抑制できる。
なお、無人飛行体20Aのカメラ制御部160は、画像6において無人飛行体20Bの位置が中央領域62の内側にある場合には、無人飛行体20Aのカメラ25の画角を現在の画角よりも狭い画角に変更してもよい。このようにすることで、画像6から無人飛行体20Bの位置を特定する際に、画像6に映る別の物体を無人飛行体20Bとして検出することを抑制できる。
無人飛行体20Bのカメラ制御部160も、当該無人飛行体20Bのカメラ25が撮影した画像6における中央領域62の外に無人飛行体20Aがある場合に、当該カメラ25が無人飛行体20Aに向くように当該カメラ25が向く方向を変えたり、当該カメラ25の画角を現在の画角よりも広い画角に変えたりしてよい。これにより、無人飛行体20Bのカメラ25が撮影する画像6に無人飛行体20Aが映らなくなること(無人飛行体20Aを見失うこと)を抑制できる。
[4-5.カメラ方向特定部]
カメラ方向特定部170は、無人飛行体20のカメラ25が向いている方向を特定する。無人飛行体20Aのカメラ方向特定部170は、当該無人飛行体20Aのカメラ25が向いている方向を特定し、無人飛行体20Bのカメラ方向特定部170は、当該無人飛行体20Bのカメラ25が向いている方向を特定する。「カメラ25が向いている方向を特定する」とは、例えば、基準方向とカメラ25が向いている方向とのなす角度(緯度方向での角度、経度方向での角度、及び高さ方向での角度)を特定することである。また、「カメラ25が向いている方向を特定する」とは、カメラ25が向いている現実世界における位置を特定することであってもよい。
カメラ方向特定部170は、例えば、無人飛行体20の位置における飛行ルート5の進行方向に沿った方向を基準方向とし、この基準方向に対してカメラ25が向いている方向を特定してよい。例えば、無人飛行体20Aのカメラ方向特定部170は、無人飛行体20Aの位置から飛行ルート5を規定する領域の中心であるポイントO2(図4~図6を参照)への方向を基準方向としてよいし、無人飛行体20Aから北極点や南極点に向かう方向を基準方向としてもよい。これと同様に、無人飛行体20Bのカメラ方向特定部170は、無人飛行体20Bの位置から飛行ルート5を規定する領域の中心であるポイントO1への方向を基準方向としてよいし、無人飛行体20Bから北極点や南極点に向かう方向を基準方向としてもよい。
[4-6.判定部]
無人飛行体20Aの判定部180は、当該無人飛行体20Aのカメラ25が撮影した画像6に基づいて、無人飛行体20Bが飛行ルート5を外れたか否かを判定する。より具体的には、無人飛行体20Aの判定部180は、当該無人飛行体20Aの測位センサ24が計測した無人飛行体20Aの位置、当該無人飛行体20Aのカメラ25が向いている方向、及び、当該カメラ25が撮影した画像6に基づいて、無人飛行体20Bが飛行ルート5を外れたか否かを判定する。これと同様に、無人飛行体20Bの判定部180は、当該無人飛行体20Bのカメラ25が撮影した画像6に基づいて、無人飛行体20Aが飛行ルート5を外れたか否かを判定する。
無人飛行体20Aの判定部180は、例えば、図5及び図6に示したように、当該無人飛行体20Aの位置における飛行ルート5の進行方向(例えば、無人飛行体20AからポイントO2に向かう方向)に対して無人飛行体20Aのカメラ25が向いている方向に基づいて、当該カメラ25が撮影した画像6内に、飛行ルート5内の領域である判定領域61を設定する。そして、設定した判定領域61内に無人飛行体20Bが映っていないと判定される場合に、無人飛行体20Bが飛行ルート5から外れたと判定する。これと同様に、無人飛行体20Bの判定部180は、当該無人飛行体20Bの位置における飛行ルート5の進行方向の逆方向(例えば、無人飛行体20BからポイントO1に向かう方向)に対して無人飛行体20Bのカメラ25が向いている方向に基づいて、当該カメラ25が撮影した画像6内に判定領域61を設定し、判定領域61内に無人飛行体20Aが映っていないと判定される場合に、無人飛行体20Aが飛行ルート5を外れたと判定してよい。
また、無人飛行体20Aの判定部180は、例えば、図7及び図8に示したように、当該無人飛行体20Aの位置、当該無人飛行体20Aのカメラ25が向いている方向、及び当該カメラ25が撮影した画像6における無人飛行体20Bの位置に基づいて、現実世界における無人飛行体20Bの位置を算出し、この無人飛行体20Bの位置が飛行ルート5内にないと判定される場合に、無人飛行体20Bが飛行ルート5を外れたと判定してもよい。無人飛行体20Aの判定部180は、無人飛行体20Aの位置に対する無人飛行体20Bの相対的な位置を算出し、この算出した位置と、無人飛行体20Aの測位センサ24から取得した現実世界における無人飛行体20Aの位置に基づいて、現実世界における無人飛行体20Bの位置を算出してもよい。これと同様に、無人飛行体20Bの判定部180は、当該無人飛行体20Bの位置、当該無人飛行体20Bのカメラ25が向いている方向、及び当該カメラ25が撮影した画像6における無人飛行体20Aの位置に基づいて、現実世界における無人飛行体20Aの位置を算出し、この無人飛行体20Aの位置が飛行ルート5内にないと判定される場合に、無人飛行体20Aが飛行ルート5を外れたと判定してもよい。
このように、無人飛行体20Aの判定部180が、当該無人飛行体20Aのカメラ25で撮影した画像6を用いて無人飛行体20Bが飛行ルート5から外れたか否かを判定することにより、当該カメラ25で撮った画像を管理者が確認しなくても、無人飛行体20Bが飛行ルート5から外れたことを検出できる。これと同様に、無人飛行体20Bの判定部180が、当該無人飛行体20Bのカメラ25で撮影した画像6を用いて無人飛行体20Aが飛行ルート5から外れたか否かを判定することにより、管理者に依らずに無人飛行体20Aが飛行ルート5から外れたことを検出できるようになる。
[4-7.異常送信部、飛行中断部]
異常送信部190は、無人飛行体20に異常が生じた場合に、所定の異常を識別する識別情報(所定のエラーコードや、異常を示す文言、画像など)を管制装置10に送信する。本実施形態では、無人飛行体20Aの異常送信部190は、判定部180により無人飛行体20Bが飛行ルート5内を外れたと判定された場合に、当該無人飛行体20Bが飛行ルート5を外れたことを示す識別情報を管制装置10に送信する。これと同様に、無人飛行体20Bの異常送信部190は、無人飛行体20Aが飛行ルート5内を外れたと判定された場合に、当該無人飛行体20Aが飛行ルート5を外れたことを示す識別情報を管制装置10に送信する。
例えば、無人飛行体20Aの異常送信部190は、無人飛行体20Aの測位センサ24が計測した無人飛行体20Aの位置や、無人飛行体20Bから受信した無人飛行体20Bの位置を管制装置10に送信してもよい。また、無人飛行体20Aが画像6に基づいて無人飛行体20Bの位置を算出する場合、算出した無人飛行体20Bの位置を、無人飛行体20Bが飛行ルート5を外れたことを示す識別情報とともに管制装置10に送信してもよい。これと同様に、無人飛行体20Bの異常送信部190も、無人飛行体20Aが飛行ルート5を外れたことを示す識別情報とともに、当該無人飛行体20Aの位置を管制装置10に送信してもよい。
飛行中断部200は、無人飛行体20に異常が生じた場合に、当該無人飛行体20に飛行ルート5での飛行を中断させる。本実施形態では、無人飛行体20Aの飛行中断部200は、無人飛行体20Bが飛行ルート5を外れたと判定された場合に、無人飛行体20Aに飛行ルート5での飛行を中断させる。これと同様に、無人飛行体20Bの飛行中断部200は、無人飛行体20Aが飛行ルート5を外れたと判定された場合に、無人飛行体20Bに飛行ルート5での飛行を中断させる。
無人飛行体20に飛行ルート5での飛行を中断させるとは、例えば、現在の無人飛行体20の位置に留らせる(ホバリングさせる)ことであってもよいし、所定の地点に着陸させることであってもよい。例えば、無人飛行体20Aのカメラ25が撮影した画像6に無人飛行体20Bが映らない(無人飛行体20Bを見失った)場合、無人飛行体20Aの飛行中断部200は、無人飛行体20Aにホバリングさせるとともに、無人飛行体20Aの向きを変えたり無人飛行体20Aのカメラ25の向きを変えたりすることを、当該カメラ25が撮影した画像6に無人飛行体20Bが映るまで繰り返す(すなわち、その場から無人飛行体20Bを探索する)ようにしてもよい。
また、無人飛行体20Bが飛行ルート5から外れた場合に、無人飛行体20Aの飛行中断部200は、所定の飛行可能範囲内で無人飛行体20Bを無人飛行体20Aが追尾するように、無人飛行体20Aに飛行ルート5から外れて飛行させてよい。また、無人飛行体20Aの異常送信部190は、無人飛行体20Bの位置を管制装置10に送信してもよい。このようにすることで、飛行ルート5を外れた後の無人飛行体20Bの位置を、無人飛行体20Aを用いて検出することができる。その後、着陸した無人飛行体20Bを管理者が回収する場合に、無人飛行体20Bの探索を円滑に行うことができる。
[5.フローチャート]
図10は、飛行制御システム1で行われる飛行制御処理の流れの一例を示す図である。以下では、無人飛行体20Aが無人飛行体20Bを追尾して飛行ルート5を飛行する場合に無人飛行体20Aのプロセッサ21が実行する処理について説明するが、飛行ルート5を先行して飛行する無人飛行体20Bのプロセッサ21も、これと同様の処理を実行できる。
無人飛行体20Aが飛行ルート5を飛行しているとき、無人飛行体20Aの測位センサ24は無人飛行体20A(自機)の位置を計測する(ステップS101)。この位置に基づいて、無人飛行体20Aの飛行制御部130は、飛行ルート情報取得部110が取得した情報に示される飛行ルート5に沿って、無人飛行体20Aを飛行させる。また、無人飛行体20Aの画像取得部140は、無人飛行体20のカメラ25が撮影した画像6を取得し、中央領域設定部150は、この画像6に、この画像6の中心Oa´と同じ位置に中心を有する中央領域62(図5を参照)を設定する(ステップS102)。
次いで、無人飛行体20Aのカメラ制御部160は、当該無人飛行体20Aのカメラ25が撮影した画像6における無人飛行体20Bの位置が、ステップS102において設定した中央領域62内であるか否かを判定する(ステップS103)。無人飛行体20Bの位置が中央領域62内にない場合(ステップS103のNo)、無人飛行体20Aのカメラ25が無人飛行体20Bを向くように、無人飛行体20Aの飛行制御部130が、無人飛行体20Aの向きを変更する(ステップS104)。ここで、無人飛行体20Aのカメラ制御部160が、無人飛行体20Aのカメラ25が無人飛行体20Bを向くように、当該カメラ25の向きを変更してもよい(ステップS104)。
次いで、無人飛行体20Aのカメラ方向特定部170が、無人飛行体20Aの位置から飛行ルート5の進行方向に向かう方向(例えば、無人飛行体20Aから、図4に示したポイントO2に向かう方向)や、無人飛行体20Aの位置から北極点や南極点に向かう方向などを基準方向とし、この基準方向に対してカメラ25が向いている方向を特定する(ステップS105)。そして、無人飛行体20Aの判定部180は、ステップS101で計測した無人飛行体20Aの位置、ステップS105で特定したカメラ25が向いている方向、及び、ステップS102で取得した画像6に基づいて、無人飛行体20Bが飛行ルート5を外れたか否かを判定する(ステップS106)。
ステップS106では、例えば、図5及び図6に示したように、無人飛行体20Aの位置における飛行ルート5の進行方向に対して無人飛行体20Aのカメラ25が向いている方向に基づいて、ステップS102において取得した画像6内に、飛行ルート5内の領域である判定領域61を設定してよい。そして、設定した判定領域61内に無人飛行体20Bが映っているか否かに基づいて、無人飛行体20Bが飛行ルート5から外れたか否かを判定してよい。
また、ステップS106では、例えば、図7及び図8に示したように、無人飛行体20Aの位置、無人飛行体20Aのカメラ25が向いている方向、及び当該カメラ25が撮影した画像6における無人飛行体20Bの位置に基づいて、現実世界における無人飛行体20Bの位置を算出し、この無人飛行体20Bの位置が飛行ルート5の外にあると判定される場合に、無人飛行体20Bが飛行ルート5を外れたと判定してもよい。
ステップS106において無人飛行体20Bが飛行ルート5を外れていないと判定された場合(ステップS107のNo)、無人飛行体20Aのプロセッサ21は、ステップS101からステップS106の処理を繰り返す。すなわち、無人飛行体20Bが目的地である到着地点に到着するか、無人飛行体20Aが所定の異常を検出するまで、無人飛行体20Aのプロセッサ21は、無人飛行体20Bが飛行ルート5を外れたか否かの判定処理(監視処理)を継続する。
ステップS106において無人飛行体20Bが飛行ルート5を外れたと判定された場合(ステップS107のYes)、無人飛行体20Aの異常送信部190は、無人飛行体20Bが飛行ルート5を外れたという異常を示す識別情報を管制装置10に送信し、無人飛行体20Aの飛行中断部200は、無人飛行体20Aに飛行ルート5での飛行を中断させる(ステップS108)。
ステップS108において、無人飛行体20Aの異常送信部190は、無人飛行体20Bが飛行ルート5を外れたことを示す識別情報とともに、ステップS101で計測した無人飛行体20Aの位置や、無人飛行体20Bから受信した無人飛行体20Bの位置を管制装置10に送信してもよい。また、ステップS106において、無人飛行体20Aが無人飛行体20Bの位置を算出する場合、ステップS108では、算出した無人飛行体20Bの位置を管制装置10に送信してもよい。
また、ステップS108において、無人飛行体20Aの飛行中断部200は、無人飛行体20を現在の位置でホバリングさせてもよいし、所定の地点に着陸させてもよい。無人飛行体20Aの飛行中断部200は、例えば、無人飛行体20Aのバッテリーの残量に基づいて、無人飛行体20Aが着陸する地点(出発地点や飛行ルート5の近傍にある地点など)を定めてもよい。また、ステップS108において、無人飛行体20Aの飛行中断部200は、飛行ルート5から外れた無人飛行体20Bを、所定の飛行可能範囲内で無人飛行体20Aに追尾させてもよい。ここでも、無人飛行体20Aの異常送信部190は、画像6から特定した無人飛行体20Bの位置を管制装置10に送信してもよい。このようにすることで、飛行ルート5を外れた後の無人飛行体20Bの位置を、無人飛行体20Aを用いて検出することができ、その後の無人飛行体20Bの回収を円滑に行うことができる。
[6.まとめ]
以上のように、本実施形態では、無人飛行体20Aは、無人飛行体20Bを追尾して飛行ルート5を飛行し、当該無人飛行体20Aのカメラ25が撮影した画像6に基づいて、無人飛行体20Bが飛行ルート5から外れたか否かを判定する。これによれば、カメラ25の画像(映像)を管理者が目視することなく、無人飛行体20Bが飛行ルートから外れたことを検出できるようになる。
また、無人飛行体20Aは、当該無人飛行体20Aのカメラ25が撮影した画像6における無人飛行体20Bの位置が、中央領域62外にある場合に、当該カメラ25が無人飛行体20に向くように、当該無人飛行体20Aの向きや、当該カメラ25向きを制御してもよい。これによれば、無人飛行体20Aのカメラ25が撮影する画像6に無人飛行体20Bが映らなくなること(すなわち、無人飛行体20Aのカメラ25が無人飛行体20Bを見失うこと)を抑制でき、無人飛行体20Bが飛行ルート5から外れたか否かの検出を継続することができる。
また、飛行ルート5を先行して飛行する無人飛行体20Bも、当該無人飛行体20Bのカメラ25が撮影した画像6に基づいて、無人飛行体20Aが飛行ルート5から外れたか否かを判定してよい。これによれば、無人飛行体20Aが飛行ルートから外れたことも検出できるようになる。
なお、本発明は、以上の実施形態に限定されるものではない。例えば、無人飛行体20Aのカメラ25が飛行ルート5の外を向くように制御し、当該カメラ25が撮影した画像6に無人飛行体20Bが映っている場合に、無人飛行体20Bが飛行ルート5から外れたことを検知してもよい。このようにすることでも、当該カメラ25の画像(映像)を管理者が目視することなく、無人飛行体20Bが飛行ルートから外れたことを検出できるようになる。
1 飛行制御システム、5 飛行ルート、10 管制装置、20,20A,20B 無人飛行体、11,21 プロセッサ、12,22 記憶部、13,23 通信部、24 測位センサ、25 カメラ、251 基部、252a,252b,252c アクチュエータ、253 レンズ、254 カメラ本体、27 筐体、28 モータ、29 プロペラ、6 画像、61 判定領域、62 中央領域、110 飛行ルート情報取得部、120 飛行ルート情報記憶部、130 飛行制御部、140 画像取得部、150 中央領域設定部、160 カメラ制御部、170 カメラ方向特定部、180 判定部、190 異常送信部、200 飛行中断部。

Claims (13)

  1. 第1の無人飛行体と、所定の飛行ルートを飛行する第2の無人飛行体とを含む飛行制御システムであって、
    前記第1の無人飛行体は、
    前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、
    前記第1の無人飛行体の位置を検出する測位センサと、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記第1の無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、
    前記第1の無人飛行体の位置から所定の方向を撮影するカメラと、
    前記カメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含み、
    前記第2の無人飛行体は、
    前記所定の飛行ルートの情報を取得する第2飛行ルート情報取得手段と、
    前記第2の無人飛行体の位置を検出する第2測位センサと、
    前記第2の無人飛行体の位置に基づいて、前記第1の無人飛行体に先行又は追尾して前記第2の無人飛行体に前記所定の飛行ルートを飛行させる第2飛行制御手段と、
    前記第2の無人飛行体の位置から所定の方向を撮影する第2カメラと、
    前記第2カメラが撮影した画像に基づいて、前記第1の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する第2判定手段と、を含む
    飛行制御システム。
  2. 第1の無人飛行体と、所定の飛行ルートを飛行する第2の無人飛行体とを含む飛行制御システムであって、
    前記第1の無人飛行体は、
    前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、
    前記第1の無人飛行体の位置を検出する測位センサと、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記第1の無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、
    前記第1の無人飛行体の位置から所定の方向を撮影するカメラと、
    前記カメラが向いている前記所定の方向を特定するカメラ方向特定手段と、
    前記カメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含み、
    前記判定手段は、前記第1の無人飛行体の位置における前記所定の飛行ルートの進行方向又はその逆方向に対して前記カメラが向いている前記所定の方向に基づいて、前記カメラが撮影した画像内に前記所定の飛行ルート内の領域を設定し、設定した前記領域内に前記第2の無人飛行体が映っていないと判定される場合に、前記第2の無人飛行体が前記所定の飛行ルートから外れたと判定する
    飛行制御システム。
  3. 第1の無人飛行体と、所定の飛行ルートを飛行する第2の無人飛行体とを含む飛行制御システムであって、
    前記第1の無人飛行体は、
    前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、
    前記第1の無人飛行体の位置を検出する測位センサと、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記第1の無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、
    前記第1の無人飛行体の位置から所定の方向を撮影するカメラと、
    前記カメラが向いている前記所定の方向を特定するカメラ方向特定手段と、
    前記カメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含み、
    前記判定手段は、前記第1の無人飛行体の位置、前記カメラが向いている前記所定の方向、及び前記カメラが撮影した画像における前記第2の無人飛行体の位置に基づいて、現実世界における前記第2の無人飛行体の位置を算出し、前記現実世界における前記第2の無人飛行体の位置が前記所定の飛行ルート内にないと判定される場合に、前記第2の無人飛行体が前記所定の飛行ルートから外れたと判定する
    飛行制御システム。
  4. 前記第1の無人飛行体は、前記画像における中央領域を設定する中央領域設定手段をさらに含み、
    前記飛行制御手段は、前記画像における前記第2の無人飛行体の位置が前記中央領域外にある場合に、前記カメラが前記第2の無人飛行体に向くように前記第1の無人飛行体の向きを制御する
    請求項1乃至のいずれかに記載の飛行制御システム。
  5. 前記第1の無人飛行体は、
    前記画像における中央領域を設定する中央領域設定手段と、
    前記画像における前記第2の無人飛行体の位置が前記中央領域外にある場合に、前記カメラが前記第2の無人飛行体に向くように前記カメラが向く方向を変えるカメラ制御手段と、をさらに含む
    請求項1乃至のいずれかに記載の飛行制御システム。
  6. 前記第1の無人飛行体は、
    前記画像における中央領域を設定する中央領域設定手段と、
    前記画像における前記第2の無人飛行体の位置が前記中央領域外にある場合に、前記カメラの画角を現在画角よりも広い画角に変更するカメラ制御手段と、をさらに含む
    請求項1乃至のいずれかに記載の飛行制御システム。
  7. 前記第1の無人飛行体は、前記第2の無人飛行体が前記所定の飛行ルートを外れたと判定された場合に、所定の異常を識別する情報を管制装置に送信する異常送信手段をさらに含む
    請求項1乃至のいずれかに記載の飛行制御システム。
  8. 前記第1の無人飛行体は、前記第2の無人飛行体が前記所定の飛行ルートを外れたと判定された場合に、前記第1の無人飛行体に前記所定の飛行ルートでの飛行を中断させる飛行中断手段を更に含む
    請求項1乃至のいずれかに記載の飛行制御システム。
  9. 第1の無人飛行体の飛行と、所定の飛行ルートを飛行する第2の無人飛行体の飛行を制御する飛行制御方法であって、
    前記第1の無人飛行体が、
    前記所定の飛行ルートの情報を取得し、
    前記第1の無人飛行体に含まれる測位センサを用いて前記第1の無人飛行体の位置を検出し、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記所定の飛行ルートを飛行し、
    前記第1の無人飛行体のカメラを用いて前記第1の無人飛行体の位置から所定の方向を撮影し、
    前記第1の無人飛行体のカメラが撮影した画像に基づいて、前記第2の無人飛行体が前記所定の飛行ルートから外れたか否かを判定し、
    前記第2の無人飛行体が、
    前記所定の飛行ルートの情報を取得し、
    前記第2の無人飛行体に含まれる測位センサを用いて前記第2の無人飛行体の位置を検出し、
    前記第2の無人飛行体の位置に基づいて、前記第1の無人飛行体に先行又は追尾して前記所定の飛行ルートを飛行し、
    前記第2の無人飛行体のカメラを用いて前記第2の無人飛行体の位置から所定の方向を撮影し、
    前記第2の無人飛行体のカメラが撮影した画像に基づいて、前記第1の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する
    飛行制御方法。
  10. 第1の無人飛行体の飛行と、所定の飛行ルートを飛行する第2の無人飛行体の飛行を制御する飛行制御方法であって、
    前記第1の無人飛行体が、
    前記所定の飛行ルートの情報を取得し、
    前記第1の無人飛行体に含まれる測位センサを用いて前記第1の無人飛行体の位置を検出し、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記所定の飛行ルートを飛行し、
    前記第1の無人飛行体のカメラを用いて前記第1の無人飛行体の位置から所定の方向を撮影し、
    前記カメラが向いている前記所定の方向を特定し、
    前記第1の無人飛行体の位置における前記所定の飛行ルートの進行方向又はその逆方向に対して前記カメラが向いている前記所定の方向に基づいて、前記カメラが撮影した画像内に前記所定の飛行ルート内の領域を設定し、設定した前記領域内に前記第2の無人飛行体が映っていないと判定される場合に、前記第2の無人飛行体が前記所定の飛行ルートから外れたと判定する
    飛行制御方法。
  11. 第1の無人飛行体の飛行と、所定の飛行ルートを飛行する第2の無人飛行体の飛行を制御する飛行制御方法であって、
    前記第1の無人飛行体が、
    前記所定の飛行ルートの情報を取得し、
    前記第1の無人飛行体に含まれる測位センサを用いて前記第1の無人飛行体の位置を検出し、
    前記第1の無人飛行体の位置に基づいて、前記第2の無人飛行体に先行又は追尾して前記所定の飛行ルートを飛行し、
    前記第1の無人飛行体のカメラを用いて前記第1の無人飛行体の位置から所定の方向を撮影し、
    前記カメラが向いている前記所定の方向を特定し、
    前記第1の無人飛行体の位置、前記カメラが向いている前記所定の方向、及び前記カメラが撮影した画像における前記第2の無人飛行体の位置に基づいて、現実世界における前記第2の無人飛行体の位置を算出し、前記現実世界における前記第2の無人飛行体の位置が前記所定の飛行ルート内にないと判定される場合に、前記第2の無人飛行体が前記所定の飛行ルートから外れたと判定する
    飛行制御方法。
  12. 所定の飛行ルートを飛行する無人飛行体であって、
    前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、
    前記無人飛行体の位置を検出する測位センサと、
    前記無人飛行体の位置に基づいて、前記所定の飛行ルートを飛行する他の無人飛行体に先行又は追尾して前記無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、
    前記無人飛行体の位置から所定の方向を撮影するカメラと、
    前記カメラが向いている前記所定の方向を特定するカメラ方向特定手段と、
    前記カメラが撮影した画像に基づいて、前記他の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含み、
    前記判定手段は、前記無人飛行体の位置における前記所定の飛行ルートの進行方向又はその逆方向に対して前記カメラが向いている前記所定の方向に基づいて、前記カメラが撮影した画像内に前記所定の飛行ルート内の領域を設定し、設定した前記領域内に前記他の無人飛行体が映っていないと判定される場合に、前記他の無人飛行体が前記所定の飛行ルートから外れたと判定する
    無人飛行体。
  13. 所定の飛行ルートを飛行する無人飛行体であって、
    前記所定の飛行ルートの情報を取得する飛行ルート情報取得手段と、
    前記無人飛行体の位置を検出する測位センサと、
    前記無人飛行体の位置に基づいて、前記所定の飛行ルートを飛行する他の無人飛行体に先行又は追尾して前記無人飛行体に前記所定の飛行ルートを飛行させる飛行制御手段と、
    前記無人飛行体の位置から所定の方向を撮影するカメラと、
    前記カメラが向いている前記所定の方向を特定するカメラ方向特定手段と、
    前記カメラが撮影した画像に基づいて、前記他の無人飛行体が前記所定の飛行ルートから外れたか否かを判定する判定手段と、を含み、
    前記判定手段は、前記無人飛行体の位置、前記カメラが向いている前記所定の方向、及び前記カメラが撮影した画像における前記他の無人飛行体の位置に基づいて、現実世界における前記他の無人飛行体の位置を算出し、前記現実世界における前記他の無人飛行体の位置が前記所定の飛行ルート内にないと判定される場合に、前記他の無人飛行体が前記所定の飛行ルートから外れたと判定する
    無人飛行体。
JP2021136393A 2021-08-24 2021-08-24 飛行制御システム、飛行制御方法、及び無人飛行体 Active JP7176068B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021136393A JP7176068B1 (ja) 2021-08-24 2021-08-24 飛行制御システム、飛行制御方法、及び無人飛行体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021136393A JP7176068B1 (ja) 2021-08-24 2021-08-24 飛行制御システム、飛行制御方法、及び無人飛行体

Publications (2)

Publication Number Publication Date
JP7176068B1 true JP7176068B1 (ja) 2022-11-21
JP2023030963A JP2023030963A (ja) 2023-03-08

Family

ID=84139576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021136393A Active JP7176068B1 (ja) 2021-08-24 2021-08-24 飛行制御システム、飛行制御方法、及び無人飛行体

Country Status (1)

Country Link
JP (1) JP7176068B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037713A (ja) 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
JP2017065467A (ja) 2015-09-30 2017-04-06 キヤノン株式会社 無人機およびその制御方法
US20200043350A1 (en) 2018-07-31 2020-02-06 Walmart Apollo, Llc Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles
WO2020035902A1 (ja) 2018-08-14 2020-02-20 学校法人 千葉工業大学 移動ロボット
CN112859579A (zh) 2021-01-25 2021-05-28 北京大学 一种无人机遥感组网冗余容错控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037713A (ja) 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
JP2017065467A (ja) 2015-09-30 2017-04-06 キヤノン株式会社 無人機およびその制御方法
US20200043350A1 (en) 2018-07-31 2020-02-06 Walmart Apollo, Llc Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles
WO2020035902A1 (ja) 2018-08-14 2020-02-20 学校法人 千葉工業大学 移動ロボット
CN112859579A (zh) 2021-01-25 2021-05-28 北京大学 一种无人机遥感组网冗余容错控制方法

Also Published As

Publication number Publication date
JP2023030963A (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
CN111316066B (zh) 用于无人飞行器的备用导航系统
US10414494B2 (en) Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
CN109417420B (zh) 用于无人飞行器的动态波束转向
US8666571B2 (en) Flight control system for flying object
US20190273909A1 (en) Methods and systems for selective sensor fusion
US20180032042A1 (en) System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US11340634B2 (en) Systems and methods for height control of a movable object
WO2019040254A1 (en) SYSTEMS AND METHODS FOR IMPROVING THE PERFORMANCE OF A ROBOTIC VEHICLE BY MANAGING ONBOARD CAMERA DEFECTS
US20190354116A1 (en) Trajectory determination in a drone race
CN111801717A (zh) 机器人式运载工具的自动探索控制
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US20190354099A1 (en) Augmenting a robotic vehicle with virtual features
US11287261B2 (en) Method and apparatus for controlling unmanned aerial vehicle
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
CN111465556A (zh) 信息处理系统、信息处理方法及程序
CN116830057A (zh) 无人机(uav)集群控制
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
JP2020149640A (ja) 飛行システム及び着陸制御方法
JP2023100642A (ja) 検査システム
JP6396250B2 (ja) 移動通信装置
WO2019022910A2 (en) SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
JP7176068B1 (ja) 飛行制御システム、飛行制御方法、及び無人飛行体
JP2023099565A (ja) 飛行体、点検方法及び点検システム
JP7288947B1 (ja) 飛行制御システム、飛行制御方法、及び無人飛行体
KR20170123801A (ko) 무인비행체의 이착륙용 수평위치 정확도 유지방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7176068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150