JPWO2019230885A1

JPWO2019230885A1 - 無人飛行体のフライト管理サーバ及びフライト管理システム

Info

Publication number: JPWO2019230885A1
Application number: JP2019563630A
Authority: JP
Inventors: 太郎吉井; 高橋　和也; 和也高橋
Original assignee: Sensyn Robotics Inc
Current assignee: Sensyn Robotics Inc
Priority date: 2018-05-30
Filing date: 2019-05-30
Publication date: 2020-06-11
Anticipated expiration: 2039-05-30
Also published as: JP2020140726A; WO2019230885A1; JP6713156B2

Abstract

【課題】本発明は、様々な作業対象を選択するだけで、最適な飛行ルートを自動で設定すること。【解決手段】本発明によるフライト管理サーバ（１）は、ネットワークを介してユーザ端末（２）と無人飛行体（４）と接続されている。フライト管理サーバ（１）は、飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部（１９０）と、少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付ける受付部（１１０）と、フライト依頼に基づいて、飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成する生成部（１３０）と、生成した前記フライトミッションを前記無人飛行体（４）に送信する通信部（１１０）と、を備えている。

Description

本発明は、無人飛行体のフライト管理サーバ及びフライト管理システムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、風車から点検用のデータを取得する無人機の飛行ルートを、風車の制御状態を反映して作成するシステムが開示されている。

特開２０１８−２１４９１号公報

一方、ドローンにおいては、上述した点検のみならず、警備、災害時情報収集、測量等、様々なニーズが生じており、その対象も太陽光発電施設、橋梁、道路等と多岐にわたる。

本発明は、様々な作業対象を選択するだけで、最適な飛行ルートを自動で設定することのできる技術を提供することを一つの目的とする。

本発明によれば、
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部と、
少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付ける受付部と、
前記フライト依頼に基づいて、前記飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する通信部と、
を備える
無人飛行体のフライト管理サーバ。

本発明によれば、様々な作業対象を選択するだけで、最適な飛行ルートを自動で設定することができる。

本発明の実施の形態による飛行管理システムの構成を示す図である。図１の管理サーバのハードウェア構成を示すブロック図である。図１のユーザ端末のハードウェア構成を示すブロック図である。図１の飛行体のハードウェア構成を示すブロック図である。図１の管理サーバの機能を示すブロック図である。図１のユーザ端末の機能を示すブロック図である。目的別飛行アプリケーションの構成例である。本発明の一実施の形態による飛行管理システムのフロー図である。本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。本発明の一実施の形態による飛行管理システムのユーザ端末側に表示される画面例である。本発明の一実施の形態による飛行管理システムのユーザ端末側に表示される画面例である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるフライト管理サーバ及びフライト管理システムは、以下のような構成を備える。
［項目１］
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部と、
少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付ける受付部と、
前記フライト依頼に基づいて、前記飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する通信部と、
を備える
無人飛行体のフライト管理サーバ。
［項目２］
ネットワークを介して接続されたユーザ端末と無人飛行体とフライト管理サーバとを含む、無人飛行体のフライト管理システムであって、
前記フライト管理サーバは：
飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部を備えており；
前記ユーザ端末から、少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付け；
前記フライト依頼に基づいて、前記飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成し；
生成した前記フライトミッションを前記無人飛行体に送信し；
前記無人飛行体は、前記フライトミッションを遂行するとともに、フライトログを前記フライト管理サーバに送信する、
無人飛行体のフライト管理システム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による無人飛行体のフライト管理装置及びフライト管理システムについて、特に、フライト管理システム（以下「本システム」という）の実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本システムは、管理サーバ１と、複数のユーザ端末２、３と、一以上の飛行体４とを有している。管理サーバ１と、ユーザ端末２、３と、飛行体４とは、ネットワークを介して互いに通信可能に接続されている。

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理サーバ１は、複数のユーザ端末２、３と、飛行体４と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理サーバ１をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ユーザ端末２、３＞
図３に示されるユーザ端末２、３もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

＜飛行体４＞
図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリに直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。カメラ４２は飛行体にジンバル４３を介して設置される。

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（ＥｌｅｃｔｒｉｃＳｐｅｅｄＣｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

＜管理サーバの機能＞
図５は、管理サーバ１に実装される機能を例示したブロック図である。管理サーバ１は、通信部１１０、フライトミッション生成部１３０、レポート生成部１５０、アプリケーション部１７０、記憶部１９０を備えている。フライトミッション生成部１３０は、ルート生成部１３２、アプリケーション選定部１３４、評価部１３６、補正部１３８を含む。また、記憶部１９０は、飛行ルート情報１９２、目的別飛行アプリケーション１９４、フライトログ１９６、インターフェース情報１９８の各種データベースを含む。

通信部１１０は、ユーザ端末２や、飛行体４と通信を行う。通信部１１０は、ユーザ端末２から、少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付ける受付部としても機能する。フライトミッション生成部１３０は、フライトミッションを生成する。フライトミッションは、飛行ルート及び目的別飛行アプリケーション１９４から選択されたアプリケーションである。飛行ルートは、飛行ルート情報１９２を参照してルート生成部１３２により生成される。飛行アプリケーションは、目的別飛行アプリケーション１９４を参照して、アプリケーション選定部１３４により選択される。

本実施の形態においては、生成したフライトミッションが適切なものかどうかを評価する評価部１３６を設けることとしてもよい。評価部１３６は、例えば、フライトミッションに対するユーザからの操作や、過去に蓄積されたフライトミッションに基づく機械学習等によりその適切さをスコア等によって評価することとしてもよい。スコアが所定の範囲にない場合には、フライトミッションは補正部１３８により補正される。

本実施の形態においては、飛行体４により取得された情報（静止画、動画、音声その他の情報）はフライトログ１９６に蓄積される。レポート生成部１５０はフライトログに基づいてユーザ端末２に送信するためのレポート情報を生成する。本実施の形態によるレポートは、例えば、点検対象施設の点検結果や、警備対象施設の警備結果等が例示できるが、ニーズに応じた各種レポートとしてよい。

インターフェース情報１９８は、アプリケーション部１７０と共にユーザ端末２の表示部（ディスプレイ等）に表示するための各種制御情報を格納している（画面例については、図１０を参照）。

図６は、ユーザ端末２に実装される機能ブロック図である。ユーザ端末２は、通信部２１０、記憶部２２０、入力部２４０、出力部２５０、およびアプリケーション部２７０を含み、相互に作用する。

＜目的別飛行アプリケーション＞
図７に示されるように、目的別飛行アプリケーション１９４は、本システムによって作業を行う飛行体４の作業目的（用途）毎に用意される。例示すれば、警備・監視用のアプリケーション１９４１、設備点検用のアプリケーション１９４２、測量用のアプリケーション１９４３、災害対策用のアプリケーション１９４４が挙げられるがこれに限られない。各アプリケーションには、例えば、目的に適した飛行制御（高度、速度、範囲等）に関する情報や、取得条件（カメラの解像度、撮影角度、オーバーラップ率、フィルタの有無、飛行予定時間、バッテリーの必要量等）、その他目的を遂行するために必要な飛行体４の制御情報が含まれている。

図８を参照して、本システムの処理の流れを説明する。ユーザは、ユーザ端末２からフライト依頼を送信する（ＳＱ１０１）。フライト依頼は、少なくとも飛行場所と、飛行目的に関する情報を含んでいる。管理サーバ１は、記憶部１９０（図５参照）を参照して（ＳＱ１０２）、フライトミッションを生成する（ＳＱ１０４）。生成されたフライトミッションは、飛行体４に対して、直接（又は端末やプロポを経由等して間接的に）送信される（ＳＱ１０６）。飛行体４はフライトミッション中に取得した情報をリアルタイムで（又は事後に）管理サーバ１に送信（報告）する（ＳＱ１０８）。管理サーバ１は、飛行体から取得した情報（フライトログ）に基づいてレポートを生成する（ＳＱ１１０）。

図９は、太陽光発電施設のフライトミッション（飛行ルート）生成の例である。図示されるように、点検範囲が広い場合には、飛行体の電源（バッテリー）や、点検時間等を考慮して複数台の飛行体による点検を前提としたルートを生成してもよい。図示される例では、飛行区域Ａ１およびＡ２について、飛行体４ａ、４ｂによる飛行ルートＲ１、Ｒ２が生成されている。飛行体４ａ、４ｂにより取得された情報は、管理サーバ１側においてそれぞれ取得した情報に紐づく位置情報及び時間情報などに基づいてマージされ、レポート生成に利用される。複数台の飛行体の飛行ルートは、例えば、飛行体ごとにフライト依頼が送信されて飛行ルートが生成されてもよいし、図１０（ａ）で示すような１台の飛行体４ａのフライト依頼に対して生成された飛行ルートＲ３を基に、図１０（ｂ）で示すように飛行体ごと（例えば飛行体４ａ、４ｂの２台）の飛行ルートＲ４、Ｒ５が割り当てられてもよい。さらに、図１１に示されるように、本来は２台（複数台）で行う飛行区域Ａ１、Ａ２における複数の飛行ルートについて、１台の飛行体４による一連の飛行ルートＲ６を生成してもよい。また、図１２に示されるように、１台の飛行体４による一連の飛行ルートＲ６は長距離となりバッテリー切れの可能性が高いため、上記飛行ルートＲ６の途中で、換装用バッテリー５を換装するための飛行ルートＲ７が設定されてもよい。

＜使用例＞
図１３は、ユーザからのフライト依頼の入力（操作）を受け付ける際のユーザ端末２のディスプレイＤＰに表示される表示例である。図示されるように、ユーザは、太陽光設備の点検という目的を選択し（図示せず）、地図上の特定の範囲Ｓを指定することにより、飛行ルートＲ８が自動で生成される。なお、自動で生成した飛行ルートを含むフライトミッションは、ユーザから追加で詳細な調整を受けることによりカスタマイズも可能である。

図１４は、飛行体により取得された静止画情報に基づいて生成されたレポートをユーザ端末２のディスプレイＤＰに表示した表示例である。図示されるように、予め取得された地図画像Ｍ（例えば、別途取得した情報に基づくオルソ画像や、インターネットなどを通じて取得した地図画像）上に、飛行体により取得された静止画像情報Ｐ１をプロット（重畳）することで、最新の情報を確認しやすいように重畳して表示する。なお、レポートとしてユーザ端末２のディスプレイＤＰに表示される情報はプロットされた静止画像情報に限らず、点検に有用な情報（例えば、日時、飛行体に関する情報、異常個所数など）を表示してもよい。

本発明の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができ、さらに、本発明は、カメラ等を搭載した空撮用の飛行体としても好適に使用することができる他、セキュリティ分野、農業、インフラ監視等の様々な産業にも利用することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１管理サーバ
２ユーザ端末
４飛行体

Claims

ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部と、
少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付ける受付部と、
前記フライト依頼に基づいて、前記飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する通信部と、
を備える
無人飛行体のフライト管理サーバ。
ネットワークを介して接続されたユーザ端末と無人飛行体とフライト管理サーバとを含む、無人飛行体のフライト管理システムであって、
前記フライト管理サーバは：
飛行パラメータを含む飛行ルート情報と、複数の目的別飛行アプリケーションを記憶する記憶部を備えており；
前記ユーザ端末から、少なくとも飛行場所及び飛行目的を含むフライト依頼を受け付け；
前記フライト依頼に基づいて、前記飛行ルート情報を参照して生成された飛行ルートと、前記目的別飛行アプリケーションから選択された飛行アプリケーションとを含むフライトミッションを生成し；
生成した前記フライトミッションを前記無人飛行体に送信し；
前記無人飛行体は、前記フライトミッションを遂行するとともに、フライトログを前記フライト管理サーバに送信する、
無人飛行体のフライト管理システム。