JP7341565B1

JP7341565B1 - 飛行体及び制御方法

Info

Publication number: JP7341565B1
Application number: JP2022203251A
Authority: JP
Inventors: 隆春冨井
Original assignee: Amuse Oneself Inc
Current assignee: Amuse Oneself Inc
Priority date: 2022-12-20
Filing date: 2022-12-20
Publication date: 2023-09-11
Anticipated expiration: 2042-12-20

Abstract

【課題】目標地点に向かって飛行する飛行体であって、目標地点までの飛行が不可となった場合であっても、状況の変化に対応可能な飛行体等を提供する。【解決手段】ドローン等の飛行体１は、下方を撮影可能な撮影部を備え、目標地点に向かって飛行する。飛行体１は、目標地点までの飛行の可否を判定し（ステップＳ３）、目標地点までの飛行不可と判定した場合（ステップＳ３：ＮＯ）、撮影部１２が撮影して得られた撮影データに基づいて、目標地点に代替する代替目標地点を設定する（ステップＳ４）。【選択図】図４

Description

本発明は、飛行体及び飛行体の制御方法に関する。

ドローンと呼ばれる無人の飛行体が、様々な用途に用いられている。このような飛行体は、人による遠隔操作又は自律飛行により飛行する。自律飛行において、飛行体は、設定された目標地点まで飛行する。ただし、飛行体は、搭載している電源が何らかの異常により残量不足となり、目標地点までの飛行ができない場合、異常処理が必要となる。例えば、特許文献１では、ヘリコプタが、蓄電池の残量が所定の閾値以下となった場合、予めメモリに格納されている地図情報や着陸場の情報に基づいて、着陸場を選択する方法を開示している。

特開２０１１－２４０７４５号公報

しかしながら、特許文献１に記載されているような従来の方法では、着陸場に人が侵入してきた場合等のような状況の変化に対応できず、安全な飛行ができないという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、飛行の安全性を高めることが可能な飛行体の提供を目的とする。

また、本願では、本発明に係る飛行体の制御方法を開示する。

上記課題を解決するために、本願開示の飛行体は、目標地点に向かって飛行可能な飛行体であって、飛行中に下方を撮影可能な撮影部と、目標地点までの飛行の可否を判定する飛行可否判定部と、前記飛行可否判定部が、目標地点までの飛行不可と判定した場合に、前記撮影部が撮影して得られた撮影データに基づいて、目標地点に代替する代替目標地点を設定する目標設定部とを備えることを特徴とする。

また、前記飛行体において、撮影データに基づいて、下方の状態に応じた順位を付与する順位付与部を備え、前記目標設定部は、前記順位付与部が付与した順位に基づいて選択した代替目標地点を設定することを特徴とする。

また、前記飛行体において、前記順位付与部は、人及び人が存在する可能性がある場所が、代替目標地点とならないように順位を付与することを特徴とする。

また、前記飛行体において、前記順位付与部は、画像と地上又は水上の状態とを関連付けた学習済みのモデルに基づいて、順位を付与することを特徴とする。

また、前記飛行体において、前記目標設定部が設定する代替目標地点への移動方法を着陸又は落下に設定する移動方法設定部を備えることを特徴とする。

更に、本願開示の制御方法は、飛行中に下方を撮影可能な撮影部を備え、目標地点に向かって飛行可能な飛行体を制御する制御方法であって、目標地点までの飛行の可否を判定し、目標地点までの飛行不可と判定した場合に、前記撮影部が撮影して得られた撮影データに基づいて、目標地点に代替する代替目標地点を設定することを特徴とする。

本願開示の飛行体等は、飛行中の撮影により得られた画像情報に基づいて、目標地点に代替する代替目標地点を設定する。これにより、本願開示の飛行体等は、例えば、目標地点までの飛行が不可となった場合であっても、飛行の安全性を高めることが可能である等、優れた効果を奏する。

本願開示の飛行体の適用例を概念的に示す説明図である。本願開示の飛行体の一例を示す概略外観図である。本願開示の飛行体の機能構成の一例を示す機能ブロック図である。本願開示の飛行体による異常対応処理の一例を示すフローチャートである。

本願開示の飛行体は、例えば、ドローン等の称呼で呼ばれる無人飛行体（ＵＡＶ:Unmanned Aerial Vehicle）として実現される。以下では、図面を参照しながら、図面に例示された飛行体１について説明する。なお、以下の実施形態は、本発明を具現化した一例であって、本発明の技術的範囲を限定する性格のものではない。

＜実施概要＞
図１は、本願開示の飛行体１の適用例を概念的に示す説明図である。本願開示の飛行体１は、例えば、ドローンと呼ばれる小型無人ヘリコプタ等の飛行体１を用いて実現される。飛行体１は、二次電池を用いたバッテリーを動力部１０として備えており、動力部１０に充電された電力の範囲内で、予め設定されている目標地点に向かって飛行可能である。飛行体１は、例えば、動力部１０の電力の残量不足等の理由により、目標地点に到達することができなくなった場合に、人が存在する地点を避けて、空き地等の安全な場所を、目標地点に代替する代替目標地点として設定し、設定した代替目標地点に着陸又は落下する。このように本願開示の飛行体１は、非常時における安全性を高める機能を有する。

図２は、本願開示の飛行体１の一例を示す概略外観図である。図２では、飛行体１を斜め下方からの視点で示している。飛行体１は、飛行及び姿勢制御のための飛行機構１１を備えた小型無人ヘリコプタ等の無人飛行体にて実現される。小型無人ヘリコプタを飛行体１として用いる場合、飛行機構１１は、例えば、ローターを備える。飛行体１は、ローターの数が１つのものであってもよく、図２に例示するように複数のローターが機体の周りに均等に配設されたマルチコプターであってもよい。マルチコプターとしては、４つのローターを有するクアッドコプター、６つのローターを有するヘキサコプター、８つのローターを有するオプトコプター等の飛行体１を例示することができる。図２に例示する飛行体１は、オプトコプターである。

更に、飛行体１は、下方を撮影するカメラ等の撮影部１２を下部に備えている。撮影部１２は、撮影により、撮影画像を示す撮影データを生成する。撮影部１２による撮影対象は、地上及び水上を含む下方全体である。撮影対象となる地上は、露出している地盤、森林等の自然物に加えて、例えば、道路、建築物、建造物等の人工物と、人と、人以外の撮影可能な動植物とを含む。撮影対象となる水上は、海、河川、湖沼等の水域に加えて、例えば、水域に構築された人工物と、水域を航行する航行物と、人と、人以外の撮影可能な動植物とを含む。また、地上及び水上から上方の、空中であっても、飛行体１の下方に、他の飛行体１等の物体、人、及び人以外の撮影可能な動植物が存在する場合、撮影部１２は、それらも撮影対象とする。飛行中の飛行体１の撮影部１２による下方の撮影は、地上及び水上で代替目標地点の候補となる撮影対象が撮影画像内に含まれていればよく、必ずしも撮影部１２の光軸が真下を向いている必要はない。従って、撮影部１２が十分な画角を有している場合、撮影部１２の光軸の方向を真下からずらして撮影することも可能である。例えば、撮影部１２の画角が１６０度の場合、撮影部１２の光軸を真下から前方へ４５度傾けて配置し、真下から正面まで撮影できるように実装することも可能である。

図３は、本願開示の飛行体１の機能構成の一例を示す機能ブロック図である。飛行体１は、前述の動力部１０、飛行機構１１及び撮影部１２の他、制御部１３、位置情報取得部１４、通信部１５等の各種構成を備えている。

動力部１０は、飛行体１全体に対して電力等の動力を供給する回路であり、各種二次電池等のバッテリーを用いて構成されている。なお、動力部１０は、バッテリーと共にエクステンダーを用いて構成することも可能である。

制御部１３は、飛行体１全体を制御する回路である。制御部１３は、少なくとも、プログラムを実行するＭＰＵ（Micro-Processing Unit ）等の制御回路と、プログラム及びデータを記憶する半導体メモリ等の記憶部１３０とを備え、動力部１０、飛行機構１１、撮影部１２、位置情報取得部１４、通信部１５等の各種構成を制御する。

制御部１３の制御回路は、実装されたチップ又は記憶部１３０に記憶されているプログラムを実行することにより、飛行制御部１３１、撮影データ処理部１３２、残量検出部１３３、飛行可否判定部１３４、順位付与部１３５、移動方法設定部１３６、目標設定部１３７等の各種機能を実現する。

飛行制御部１３１は、位置情報取得部１４が取得した自装置の位置及び記憶部１３０に記憶されている目標地点に基づいて、飛行機構１１を制御し、目標地点に向かう自律飛行等の各種処理を実行する。撮影データ処理部１３２は、撮影部１２の撮影により生成された撮影データを取得し、各種処理に対応可能なデータ形式への変換等の各種処理を実行する。残量検出部１３３は、動力部１０から供給される電力等のエネルギの残量を検出する処理等の各種処理を実行する。

飛行可否判定部１３４は、目標地点までの経路と、目標地点までの到達時間と、動力部１０の電力残量に基づく航続可能時間及び航続可能距離とに基づいて、目標地点までの飛行可否を判定する処理等の各種処理を実行する。

順位付与部１３５は、撮影データに基づいて、下方の状態に応じた順位を付与する処理等の各種処理を実行する。順位付与部１３５が付与する順位は、目標設定部１３７が、代替目標地点を設定する際の優先順位として用いられる。なお、順位付与に用いられる画像データは、静止画データであっても、時間変化を含む動画データであってもよい。

順位付与部１３５は、例えば、ＡＩ（Artificial Intelligence ；人工知能）による学習済みの推論モデル１３０ａを用いた推論処理を用いて順位の付与を行う。具体的には、順位付与部１３５は、撮影データから下方の状態を判定する。本願では、撮影データから特定することが可能な人工物、動植物（人を含む）、自然物、地形等の内容、及びこれらの現在の状態及び状況を含めて状態と称する。従って、撮影データから判定する下方の状態とは、前述の撮影対象であり、具体的には、地上又は水上の人の存在、物の存在、建造物、自然物、地形、傾斜等の状態を例示することができる。そして、順位付与部１３５は、判定した状態から、予め状態と順位とが対応付けられているテーブルを参照して順位を付与する。なお、順位付与部１３５による順位の付与の方法は、画像データから直接順位を付与するように推論処理を行う等、適宜設計することが可能である。

順位として、例えば、人及び人が存在する可能性がある地点に対しては、－１０点等の低い点数が付与される。即ち、人及び人が存在する可能性がある場所は、代替目標地点とならないように低い順位又は忌避を確定する順位が付与される。画像情報から認識される人には、人とは確定できなくても、人のような画像、即ち、人である可能性が所定の確率以上である画像も含まれる。また、例えば、人そのものを認識することはできなくとも、人が乗車している可能性が高い自転車は、代替目標地点から避けるように低い順位が付与される。人が存在する可能性がある場所とは、実体としての人が認識されなくても、自動車、船舶、家屋、店舗等の人が存在する可能性が高い場所を示す。従って、順位は、例えば、低い順に、人、自転車、自動車、そして構造物の順に付与される。更に、付近に人が存在しなくても、道路、公園、学校のグラウンドのような人が通過する可能性が高い地点は、－８点等の低い点数が付与される。更に、火事等の災害に繋がる可能性がある山林地域、その他、飛行体１の回収が困難な私有地等の地点も低い点数が付与される。他方、付近に人がおらず人が来る可能性が低い、空き地、使用されていないグラウンド、河川敷、砂浜、湖沼、海等の地点は高い点数が付与される。また、周囲の環境により、点数は補正される。例えば、空き地であっても、所定の基準値より狭い面積で、周囲が民家に囲まれている場合、点数は低くなる。

移動方法設定部１３６は、目標設定部１３７が設定する代替目標地点の上空への移動後の降下の方法を着陸又は落下に設定する処理等の各種処理を実行する。着陸とは、移動後に飛行体１を回収可能な移動方法を示している。例えば、着陸として移動する場合、飛行体１は、姿勢を維持しつつ減速しながら降下し、目標地点に着地する。落下とは、移動後に飛行体１を回収できない可能性もある移動方法を示している。例えば、落下として移動する場合、飛行体１は、飛行機構１１が十分に機能しない状態であっても目標地点に降下するときがあり、また、重力による自然落下で降下するときもある。

前述した順位付与部１３５が付与する順位は、同じ地点であっても、移動方法毎に異なる点数が付与される場合がある。例えば、人が存在しない空き地、グラウンド等の平坦な地点に対しては、移動方法が着陸の場合、優先度が高い順位となる１０点が付与され、落下の場合、５点が付与される。空き地への移動は、着陸の方が、落下より好ましいからである。また、例えば、海、湖沼及び河川に対しては、移動方法が着陸の場合、０点が付与され、落下の場合、１０点が付与される。海等への移動は、回収が困難であるため、着陸には適さないが、周囲に人等が存在しない可能性が高いため、落下には適しているからである。ただし、水上に浮く構造となっている飛行体１であれば、海等を着陸に適するものとして高い順位を付与することができる。

目標設定部１３７は、飛行可否判定部１３４が、目標地点までの飛行不可と判定した場合に、撮影データに基づいて、目標地点に代替する代替目標地点を設定する処理等の各種処理を実行する。目標設定部１３７は、動力部１０の電力残量に基づく航続可能時間及び航続可能距離の範囲内で、安全に到達可能な地点を選択し、代替目標地点として設定する。目標設定部１３７による代替目標地点の選択は、順位付与部１３５が付与した順位に基づき、例えば、順位として付与された点数が最も高い地点を選択することにより実行される。

記憶部１３０は、例えば、揮発性及び不揮発性の半導体メモリを用いて構成され、プログラム及びデータを記憶している。また、記憶部１３０の記憶領域の一部は、学習済の推論モデル１３０ａとして用いられており、目標設定部１３７及び移動方法設定部１３６の処理に用いられる。記憶部１３０に記憶されている推論モデル１３０ａは、画像と、地上又は水上の状態とを関連付けたモデルであり、例えば、教師データを用いた機械学習により生成されている。更に、記憶部１３０の記憶領域の一部は、地上又は水上の状態と順位とを関連付けたテーブルを記憶している。

位置情報取得部１４は、ＧＮＳＳ（Global Navigation Satellite System：全地球測位システム）衛星等の人工衛星と通信するアンテナを有し、ＧＮＳＳ衛星との通信に基づいて飛行体１の位置を示す位置情報を取得し、処理する機構である。位置情報の取得は、ＧＮＳＳを使用して実施される。ＧＮＳＳとしては、ＧＰＳ：Global Positioning System（米国）、ＧＬＯＮＡＳＳ：GLObal'naya NAvigatsionnaya Sputnikovaya Sistema（ロシア）、ガリレオ：Galileo（欧州）、コンパス：Compass（中国）、ＱＺＳＳ：Quasi-Zenith Satellite System（日本）等のシステムを例示することができる。

位置情報取得部１４は、ＧＮＳＳ衛星、例えば、ＧＰＳ衛星から位置情報が重畳された電波を受信する機能を有し、受信した電波に重畳された日付、時刻、緯度、経度、楕円体高等の位置情報を含む情報を取得することができる。ＧＰＳ衛星から取得する楕円体高とは、地球の重力の等ポテンシャル面を示すジオイド面に近似される楕円体の表面に対する垂直な高さであり、楕円体高とジオイド面とから、高度を算出することができる。

通信部１５は、操作者が操作する操作装置（図示せず）と通信するための回路である。飛行体１は、飛行位置、飛行状態、電力残量等の自機に関する各種情報を、通信部１５から操作装置へ送信する。また、操作者は、操作装置を操作して、各種命令を送信することにより、通信部１５にて命令を受信する飛行体１を操縦することができる。

以上のように構成された飛行体１の飛行時の異常対応処理について説明する。図４は、本願開示の飛行体１による異常対応処理の一例を示すフローチャートである。飛行体１は、離陸して目標地点に向かって自律飛行を開始すると共に、制御部１３の制御により、異常対応処理の実行を開始する。

異常対応処理として、飛行体１の制御部１３は、撮影部１２の撮影により生成した撮影データを取得し（ステップＳ１）、記憶部１３０に記憶する。

制御部１３は、順位付与部１３５の機能により、取得した撮影データに基づいて、撮影データにて示される地点毎に、下方の状態に応じた順位を付与し（ステップＳ２）、付与した順位を地点に対応付けて記憶部１３０に記憶する。ステップＳ２において、制御部１３の順位付与部１３５は、学習済みの推論モデル１３０ａに基づいて順位を付与する。

制御部１３は、飛行可否判定部１３４の機能により、目標地点までの飛行可否を判定する（ステップＳ３）。

ステップＳ３において、飛行可と判定した場合（ステップＳ３：ＹＥＳ）、制御部１３は、ステップＳ１へ戻り、以降の処理を繰り返す。

ステップＳ３において、飛行不可と判定した場合（ステップＳ３：ＮＯ）、制御部１３は、目標設定部１３７の機能により、地点毎に付与されている順位に基づいて、代替目標地点を設定する（ステップＳ４）。ステップＳ４において、制御部１３の目標設定部１３７は、動力部１０の電力残量に基づいて、到達可能な範囲を判定し、到達可能な範囲内で点数にて示される順位が最も高い地点を選択し、選択した地点を代替目標地点に設定する。

代替目標地点を選択する際に、制御部１３は、代替目標地点までの移動方法を、着陸及び落下から選択する。制御部１３は、代替目標地点の選択及び移動方法の選択を、着陸の場合の地点毎の順位及び落下の場合の地点毎の順位に基づいて総合的に判定する。制御部１３は、移動方法の選択に際しては、着陸を優先して選択する。

制御部１３は、移動方法設定部１３６の機能により、代替目標地点の上空まで到達後に降下する移動方法を、選択された着陸又は落下に設定する（ステップＳ５）。

そして、飛行体１は、ステップＳ４にて設定された代替目標地点を新たな目標地点として飛行し、代替目標地点の上空に到達後、ステップＳ５にて設定した移動方法で降下する。

なお、ステップＳ４及びステップＳ５にて、代替目標地点及び移動方法の変更後、制御部１３は、ステップＳ１へ戻り、異常対応処理を繰り返す。異常対応処理を繰り返すことにより、例えば、電力の消費が早くなり、新たに設定した目標地点まで飛行できない状態になった場合でも、更に、代替目標地点及び移動方法の再設定を行うことが可能となる。また、異常対応処理の繰り返しに際し、代替目標地点に付与した順位に変化が生じた場合、特に、順位が急激に低くなった場合、制御部１３は、ステップＳ３で飛行不可と判定して、ステップＳ４に進み、代替目標地点及び移動方法の再設定を行う。このような異常対応処理を繰り返すことにより、例えば、目標地点として設定したグラウンドに人が侵入して急激に順位が低くなった場合でも、更に、代替目標地点及び移動方法の再設定を行い、事故を回避することが可能となる。

以上のように本願開示の飛行体１は、目標地点までの飛行が不可となった場合に、飛行中に下方を撮影して得られた撮影データに基づいて、安全に移動可能な代替目標地点を設定する。これにより、本願開示の飛行体１は、状況の変化に対応し、目標地点までの飛行が不可となった場合であっても、安全な飛行を行うことが可能である等、優れた効果を奏する。しかも、本願開示の飛行体１は、飛行中に撮影して得られた画像データに基づいて、代替目標地点を設定するため、地上の状態が変化した場合であっても対応することが可能である等、優れた効果を奏する。従って、本願開示の飛行体１は、例えば、過去の状態を示すことになる地図情報を用いて代替目標地点を設定する方法と比べると安全性が高まっている。

本発明は、以上説明した実施形態に限定されるものではなく、他の様々な形態で実施することが可能である。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の技術範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。更に、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

例えば、前記実施形態では、飛行体１が常時自律飛行する形態について示したが、本発明はこれに限らず、操作者による手動飛行と併用することも可能である。例えば、飛行体１は、異常対応処理のステップＳ３において、飛行中に目標地点までの飛行不可と判定した場合に、飛行体１の通信部１５から、操作者が操作する操作装置へ、目標地点まで到達することができないことを示す到達不可信号を送信する。そして、飛行体１は、操作装置との通信が確立できず操作装置からの応答信号を受信できない場合、又は操作装置から自律飛行とする応答信号を受信した場合、異常対応処理のステップＳ４以降の処理を実行する。飛行体１は、操作装置から手動飛行とする応答信号を受信した場合、ステップＳ４以降の処理は実行せずに、操作者の操作に基づいて飛行する。また、飛行体１は、手動飛行に移行した場合であっても、通信が途切れた場合、異常対応処理を実行する。なお、手動飛行は、飛行体１の通信部１５及び操作装置間で直接通信する場合の他、遠隔操作にて行うことも可能である。例えば、モバイル通信に用いられるＬＴＥ（Long Term Evolution ）、４Ｇ、５Ｇ等の通信規格の通信網を介しての遠隔操作、通信衛星を介した衛星通信による遠隔操作等の遠隔操作が行われる。

また、前記実施形態では、ＡＩを用いて順位を付与する形態を示したが、本発明はこれに限らず、画像データに対する画像解析を行い、順位を付与する様々な形態に展開することが可能である。

更に、前記実施形態では、画像データのみに基づいて、順位を付与する形態を説明したが、本願開示の飛行体１は、このような形態に限らず、適宜、予め記憶部１３０に記憶している地図データを併用するようにしてもよい。例えば、飛行体１の制御部１３は、画像データから空き地と判定した場所に対し、地図データを参照して、その空き地が私有地か公用地かを判定し、判定結果に基づいて異なる順位を付与する。

１飛行体
１０動力部
１１飛行機構
１２撮影部
１３制御部
１３０記憶部
１３０ａ推論モデル
１３１飛行制御部
１３２撮影データ処理部
１３３残量検出部
１３４飛行可否判定部
１３５順位付与部
１３６移動方法設定部
１３７目標設定部
１４位置情報取得部
１５通信部

Claims

目標地点に向かって飛行可能な飛行体であって、
飛行中に下方を撮影可能な撮影部と、
目標地点までの飛行の可否を判定する飛行可否判定部と、
前記飛行可否判定部が、目標地点までの飛行不可と判定した場合に、前記撮影部が撮影して得られた撮影データに基づいて、目標地点に代替する代替目標地点を設定する目標設定部と
を備え、
前記目標設定部による代替目標地点の設定後、更に、前記飛行可否判定部による新たに設定した目標地点までの飛行の可否の判定及び前記目標設定部による更なる代替目標地点の設定を繰り返す
ことを特徴とする飛行体。
請求項１に記載の飛行体であって、
撮影データに基づいて、下方の状態に応じた順位を付与する順位付与部を備え、
前記目標設定部は、
前記順位付与部が付与した順位に基づいて選択した代替目標地点を設定する
ことを特徴とする飛行体。
請求項２に記載の飛行体であって、
前記順位付与部は、人及び人が存在する可能性がある場所が、代替目標地点とならないように順位を付与する
ことを特徴とする飛行体。
請求項２又は請求項３に記載の飛行体であって、
前記順位付与部は、
画像と地上又は水上の状態とを関連付けた学習済みのモデルに基づいて、順位を付与する
ことを特徴とする飛行体。
請求項１乃至請求項３のいずれか１項に記載の飛行体であって、
前記目標設定部が設定する代替目標地点への移動方法を着陸又は落下に設定する移動方法設定部を備える
ことを特徴とする飛行体。
飛行中に下方を撮影可能な撮影部を備え、目標地点に向かって飛行可能な飛行体を制御する制御方法であって、
目標地点までの飛行の可否を判定し、
目標地点までの飛行不可と判定した場合に、前記撮影部が撮影して得られた撮影データに基づいて、目標地点に代替する代替目標地点を設定し、
代替目標地点の設定後、更に、新たに設定した目標地点までの飛行の可否の判定及び飛行不可と判定した場合の更なる代替目標地点の設定を繰り返す
ことを特徴とする制御方法。