JP7120002B2 - 飛行装置 - Google Patents

飛行装置 Download PDF

Info

Publication number
JP7120002B2
JP7120002B2 JP2018509193A JP2018509193A JP7120002B2 JP 7120002 B2 JP7120002 B2 JP 7120002B2 JP 2018509193 A JP2018509193 A JP 2018509193A JP 2018509193 A JP2018509193 A JP 2018509193A JP 7120002 B2 JP7120002 B2 JP 7120002B2
Authority
JP
Japan
Prior art keywords
flight
control
unmanned aerial
aerial vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018509193A
Other languages
English (en)
Other versions
JPWO2017170148A1 (ja
Inventor
克樹 大畑
貴則 塩田
茉理絵 下山
亨 木嶋
晋一 宮内
翔 中村
諒 津端
正樹 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017170148A1 publication Critical patent/JPWO2017170148A1/ja
Application granted granted Critical
Publication of JP7120002B2 publication Critical patent/JP7120002B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0033Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/221
    • G05D1/223
    • G05D1/69
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Description

本発明は、飛行装に関する。
近年、小型の無人航空機が様々な分野で利用されている。例えば、特許文献1には、侵入者等の移動物体に追従飛行して侵入者等の移動物体の証拠画像を取得する自律飛行ロボットが記載されている。しかしながら、操縦者(ユーザ)が飛行体を見失わない範囲で飛行体を飛行させることができなかった。
日本国特開2014-119828号公報
本発明の第1の態様による飛行装置は、飛行装置であって、飛行部と、ユーザ及び前記ユーザと前記飛行装置との間にある物体を含む画像データを取得可能な取得部と、前記飛行部による飛行位置が所定の範囲外である場合は第1制御を行い、前記飛行位置が前記所定の範囲内である場合は第2制御を行う飛行制御部と、を備え、前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替え、前記ユーザと前記飛行装置とが前記物体によって遮られる場合、前記第1制御を行う。
本発明の第2の態様による飛行装置は、飛行部と、ユーザを含む画像データ及び前記ユーザの視線方向に関する情報を取得可能な取得部と、前記飛行部による飛行位置が所定の範囲外である場合は第1制御を行い、前記飛行位置が前記所定の範囲内である場合は第2制御を行う飛行制御部と、を備え、前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替え、前記視線方向と前記ユーザから前記飛行装置への方向とが異なる場合、前記第1制御を行う。
本発明の第3の態様による飛行装置は、飛行部と、ユーザを含む画像データを取得可能な取得部と、前記画像データに基づいて前記ユーザから視認されているか否かを判断し、前記飛行部による飛行位置が所定の範囲外である前記ユーザから視認されていないと判断した場合は第1制御を行い、前記飛行位置が前記所定の範囲内である前記ユーザから視認されていると判断した場合は第2制御を行う飛行制御部と、を備える、前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替える。

図1は、無人航空機を含む飛行システムの一例を示すブロック図である。 図2は、リモコンの表示部に表示される表示画面の一例を示す図である。 図3は、無人航空機の外観図である。 図4は、頭部装着装置の一例を示す図である。 図5は、回避動作を説明する模式図である。 図6は、無人航空機の制御処理に関するフローチャートである。 図7は、飛行可能所定範囲の設定に関するフローチャートである。 図8は、無人航空機が所定の範囲内を飛行しているかどうかの推定処理に関するフローチャートである。 図9は、操縦者を特定する認証処理に関するフローチャートである。 図10は、飛行範囲の設定方法の一例を示す図である。 図11は、図6のステップS9の処理の一例を示すフローチャートである。 図12は、一実施の形態における制御プログラムに関する説明をするための概念図である。
以下、図を参照して本発明を実施するための形態について説明する。本実施の形態は、無人航空機(ドローン、ラジコン機等)に関係するものである。図1は、無人航空機を含む飛行システムの一例を示すブロック図である。図1に示す飛行システムは、無人航空機11と、無人航空機11を操縦するためのリモコン12と、クライアントからの要求に応じて種々の処理を提供するためのサーバソフトウェアを稼動させているホストコンピュータで構成されるサーバ13と、を含むことができる。無人航空機11、リモコン12およびサーバ13は、通信ネットワーク14に接続される。リモコン12としては、専用の操縦器に代えて携帯電話等の携帯機器を利用する場合も含まれる。
なお、リモコン12は必ずしも飛行システムに含まれなくても良い。例えば、無人航空機11がリモコン12等の他の機器からの制御指示を受信することなく自律飛行する場合や、リモコン12の代わりにサーバ13からの制御指示を受信して飛行する場合等があげられる。また、サーバ13は必ずしも飛行システムに含まれなくても良い。例えば、サーバ13が担っている機能を無人航空機11およびリモコン12の少なくとも一方に担わせることにより、飛行システムにサーバ13が含まれていない構成等があげられる。リモコン12及びサーバ13が共に飛行システムに含まれていなくても良い。
本実施形態では、リモコン12の制御指示により飛行する場合を例に説明する。
(無人航空機11の構成)
無人航空機11は、少なくとも1つ以上のプロペラを有する飛行部111、飛行部111を制御する飛行制御部112、撮像部113a,113b、撮像制御部114、位置検出部115、通信部116、メイン制御部117、障害物検出部118等を備えることができる。
飛行部111は、少なくとも1つ以上のプロペラを有する。
飛行制御部112は、飛行部111に設けられたプロペラを制御システムにより制御することができる。飛行部111に設けられたプロペラが複数の場合、飛行制御部112は、制御システムにより複数のプロペラを各々独立に制御しても良い。飛行制御部112は、飛行部111を制御する信号を生成することで、飛行部111を制御することができる。また、飛行制御部112は、サーバ13が生成した信号に基づいて、飛行部111を制御してもよい。
撮像部113a,113bは、MOS撮像素子等の電子撮像素子を備えたカメラであり、静止画および動画を撮像することができる。撮像部113a,113bはズーミング、オートフォーカス、自動露出等の各制御が可能である。また、撮像部113a,113bの各々は個別のジンバル(回転台)にそれぞれ搭載され、無人航空機本体に対して視野方向を上下左右に変更可能である。撮像部113aは、操縦者(ユーザ)を追尾するためのカメラである。撮像部113bは、無人航空機11の周囲を撮影するためのカメラである。なお、ここでいう操縦者は、無人航空機11を使用しているユーザを含む。無人航空機11が自動で自律飛行する場合、つまりユーザの操縦が必要ない場合、の無人航空機11のユーザも操縦者に含めるとして説明をする。
撮像制御部114は、撮像部113a,113bを制御し、操縦者を撮像するように制御することができる。また、撮像部113a,113bを搭載したジンバルを各々制御し、撮像部113aや113bが操縦者の方向を向くように制御することができる。
なお、図1に示す例では、一つの撮像制御部114によって2つ撮像部113a,113bを各々制御する構成としたが、撮像部113a,113bに対して個別に撮像制御部を設けるようにしても良い。また、必ずしも2台の撮像部を備える必要はなく、2台の撮像部113a,113bを1台の撮像部で兼用しても良い。例えば、180度が撮影可能なカメラや、360度が撮影可能なカメラ等があげられる。
位置検出部115は、無人航空機11の位置を検出することができる。つまり、自機器(無人航空機11)の位置を検出することができる。例えば、GPS衛星から送出される信号を受信し、無人航空機11の位置(以下では、GPS位置情報と称する)を検出する等があげられる。なお、位置検出部115は、必ずしも備える必要はない。
通信部116は、撮像部113a,113bが撮像した画像データ、無人航空機11のGPS位置情報等の各種情報やデータを、通信ネットワーク14を介して、リモコン12又はサーバ13へ送信することができる。また、通信部116は、通信ネットワーク14を介して、リモコン12又はサーバ13から各種情報やデータを受信することができる。なお、通信部116は、必ずしも備える必要はない。例えば、リモコン12及びサーバ13が共に飛行システムに含まれていない場合等は、通信部116を備える必要はない。例えば上述したように、飛行システムにリモコン12とサーバ13とが含まれない場合、無人航空機11は通信部116を備える必要はない。
メイン制御部117は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行することにより無人航空機11の各部を制御することができる。なお、図1に示す例では、飛行制御部112と撮像制御部114とメイン制御部117とを備える構成にしたが、1つの制御部で各部を制御してもよい。
障害物検出部118は、無人航空機11とリモコン12を操作する操縦者(無人航空機11を使用するユーザ)との間に存在する障害物の確認等をすることができる。なお、障害物検出部118の具体的な構成については後述する。なお、障害物検出部118は、必ずしも備える必要はない。
図3は、無人航空機11の外観の一例を示す模式図である。図3に示す例では、無人航空機11は4つのプロペラ41を有するマルチコプターであるが、プロペラの数は4つに限らずいくつでもよい。4つのプロペラ41は同一平面上に設けられており、制御システムにより、各々が独立して制御される。この制御によって、無人航空機11は、ピッチ軸102を中心として旋回したり、ロール軸103を中心として旋回したり、ヨー軸104を中心として回転したり、下方向100へ下降したり、上方向101に上昇したり、機体の横方向へ飛行したり、空中の所定位置でホバリングしたりすることができる。なお、プロペラ41は必ずしも同一平面上に設けられる必要はない。
無人航空機11は、4つのプロペラ41の周囲を保護する筐体40を有してもよい。筐体40によって、プロペラ41は、水平方向から接近した周囲の障害物に直接接触しないよう保護することができる。撮像部113aは、撮像部113aの姿勢を自由に変えることができるジンバル42に搭載されてもよい。なお、図3で撮像部113bの記載を省略したが、撮像部113aの場合と同様のジンバルに搭載され、無人航空機11の周囲を撮影するようにしてもよい。なお、撮像部113a、113bが搭載される位置は、図3で示す位置に限らない。無人航空機11の上方や下方、その他搭載できる位置に搭載すればよい。
無人航空機11の飛行制御部112は、操縦者が操作するリモコン12から受信した制御信号(飛行信号)による飛行制御、サーバ13から受信した制御信号(飛行信号)による飛行制御、無人航空機11が他の機器からの制御信号(飛行信号)を受信することなく自律して行う飛行制御、などを行うことができる。いずれの場合においても、無人航空機11を飛行させる場合には、安全の確保や盗難の防止をしたいという要望がある。また、操縦者においては、無人航空機11を常に見える範囲で飛ばしておきたいという要望もある。そのためには、操縦者が監視できる範囲内又は予め設定された所定の範囲内で、無人航空機11を飛行させることが考えられる。また、操縦者が無人航空機11を監視できているかどうかを適宜推定することが考えられる。なお、ここで言う操縦者が監視できる範囲内又は予め設定された所定の範囲内とは、操縦者が無人航空機11を確認(視認、目視)できる範囲内、操縦者が無人航空機11を見失わない範囲内、操縦者からの操作を受け付ける範囲内等があげられる。
(リモコン12の構成)
図1にもどってリモコン12の構成について説明する。リモコン12は表示部121、通信部122、位置検出部123、制御部124等を備えることができる
表示部121は、無人航空機11の撮像部113a、113bが撮像した画像データ等、各種情報やデータを表示することができる。
通信部122は、通信ネットワーク14を介して、無人航空機11又はサーバ13との間で各種情報やデータの送受信を行うことができる。
位置検出部123は、GPS衛星から送出される信号を受信し、リモコン12の位置(以下では、GPS位置情報と称する)を検出することができる。リモコン12のGPS位置情報は、通信部122から無人航空機11又はサーバ13へ送信されても良い。
制御部124は、所定の制御プログラムを実行することによりリモコン12の各部を制御することができる。
なお、表示部121、位置検出部123は必ずしも備える必要はない。
(サーバ13の構成)
図1を参照してサーバ13の構成について説明する。サーバ13は、通信部131、記憶部132、制御部133等を備えている。また、制御部133は、設定部1331、推定部1332等を備えることができる。
通信部131は通信ネットワーク14を介して、種々のデータを無人航空機11又はリモコン12との間で送受信することができる。
記憶部132は、飛行制御に必要なデータ等、種々のデータを記憶することができる。すなわち、後述する操縦者が無人航空機11を見失ったかどうか(操縦者が無人航空機11を確認できているかどうか、無人航空機11が所定の範囲内を飛行しているかどうか)を推定するために必要なデータ、操縦者に関するデータ、無人航空機に関するデータ、その他のデータ(地図情報、天気情報等)などを記憶することができる。例えば、操縦者に関するデータとしては、後述するようにID、顔特徴、属性データ(性別、年齢、視力、身長、体重、操縦経験など)等があげられる。無人航空機に関するデータとしては、大きさや色、電池寿命、その他性能に関する情報等があげられる。
制御部133は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行することによりサーバ13の各部を制御することができる。また、制御部133は、設定部1331、推定部1332等を備えることができる。
設定部1331は、無人航空機11が飛行できる所定の範囲を設定することができる。すなわち、操縦者が無人航空機11を見失わない範囲(操縦者が無人航空機11を確認できる範囲)を設定することができる。操縦者が無人航空機11を見失ったかどうか(操縦者が無人航空機11を確認できているかどうか)を推定するための条件(閾値等)を設定することができる。操縦者からの操作を受け付ける範囲を設定することができる。詳細は後述する。
推定部1332は、無人航空機11の飛行位置が所定の範囲内か所定の範囲外かを推定することができる。すなわち、無人航空機11の飛行位置が、設定部1331で設定された範囲内か範囲外かを推定することができる。詳細は後述する。
(無人航空機11の制御)
図6は、無人航空機11の制御処理を示すフローチャートの一例である。
(ステップS1)
操縦者による電源ONの指示(例えば、リモコン12の操作又は無人航空機11にある電源ボタンの操作)があると、メイン制御部117は、無人航空機11の電源をONにし、ステップS2へ進む。
(ステップS2)
メイン制御部117又は撮像制御部114は、通信部116又は撮像部113aを制御して、各種情報を取得させる。各種情報は、無人航空機11が飛行できる所定の範囲を設定するための情報や、操縦者を認証(又は識別)するための情報等があげられる。各種情報の取得方法は、主に第一の実施の形態で詳述する。また、各種情報を取得するタイミングはここに限られず、所定のタイミングで取得してもよい。所定のタイミングで自動で取得するようにしてもよい。ステップS2の処理が終了するとステップS3へ進む。
(ステップS3)
メイン制御部117は、通信部116を制御し、ステップS2で取得した各種情報をサーバ13へ送信する。なお、各種情報を送信するタイミングはここに限られず、所定のタイミングで随時サーバ13へ送信されてもよい。自動で送信されてもよい。これによって、サーバ13は、取得した情報に基づいて操縦者を認証する処理を行うことができる。また、サーバ13は、取得した情報に基づいて、所定の範囲を設定することができる。ステップS3の処理が終了するとステップS4へ進む。
(ステップS4)
飛行制御部112は、飛行部111に飛行させる。なお、飛行制御部112が飛行部111に飛行させるタイミングは、必ずしもこのタイミングである必要はない。ステップS1のタイミングで飛行を開始させてもよいし、その他のステップの前後で飛行を開始させてもよい。通信部116がリモコン12から信号を受信した場合、飛行制御部112は、受信した信号に基づいて飛行部111を制御する。なお、飛行制御部112は、サーバ13から受信した信号に基づいて飛行部111を制御してもよい。また、飛行制御部112は、リモコン11又はサーバ13から受信した情報に基づいて制御信号を生成し、飛行部111は生成された制御信号に基づいて飛行してもよい。飛行制御部112は、他の機器から信号を受信することなく自律して制御信号を生成し、飛行部111を制御してもよい。また、制御信号はリモコン11やサーバ13で生成されてもよい。この場合、通信具116は他機器で生成された制御信号を受信し、飛行制御部112は通信部が受信した制御信号に基づいて飛行部111を制御してもよい。ステップS4の処理が終了するとステップS5へ進む。
(ステップS5)
無人航空機11は、無人航空機11が所定の範囲内を飛行しているかどうかを推定するために必要な各種情報を取得する。メイン制御部117が通信部116を制御し、他機器から情報を受信して取得してもよい。メイン制御部117が図1には図示されていない各種センサを制御し、各種センサから情報を取得してもよい。撮像制御部114が撮像部113aを制御し、撮像部113aから情報を取得してもよい。各種情報を取得するタイミングはここに限られず、所定のタイミングで取得してもよい。所定のタイミングで自動で取得するようにしてもよい。ステップS5の処理が終了するとステップS6へ進む。
(ステップS6)
メイン制御部117は通信部116を制御して、ステップS5で取得した無人航空機11が所定の範囲内を飛行しているかどうかを推定するために必要な、各種情報をサーバ13へ送信させる。各種情報を送信するタイミングはここに限られず、所定のタイミングで随時サーバ13へ送信されてもよい。所定のタイミングで自動でサーバ13へ送信してもよいし、ステップS5で各種情報を取得したタイミングで自動にサーバ13へ送信しても良い。サーバ13から要求があった場合に各種情報をサーバ13へ送信してもよい。ステップS6の処理が終了するとステップS7へ進む。
(ステップS7)
メイン制御部117は、無人航空機11の電源をOFFにする指示があったかどうかを判定する。電源をOFFにする指示がない場合は、ステップS8へ進む。電源をOFFにする指示がある場合は、ステップS10へ進む。
(ステップS8)
メイン制御部117は、無人航空機11が所定の範囲内を飛行していない(所定の範囲外を飛行している)とサーバ13が推定した場合の推定結果を示す情報を、通信部116が受信したかどうかを判定する。推定結果を示す情報は、後述する図8のステップS64でサーバ13が送信した情報等があげられる。なお、無人航空機11が所定の範囲内を飛行していると推定されたことを示す情報を、通信部116が受信したかどうかを判定してもよい。通信部116が推定結果を受信した場合、ステップS9へ進む。通信部116が推定結果を受信しなかった場合、ステップS5へ進む。
(ステップS9)
飛行制御部112は、飛行部111を制御して、無人航空機11が所定の範囲内を飛行していない(所定の飛行外を飛行している)とサーバ13が推定した場合の飛行制御を行う。詳細は主に第三の実施に形態で後述する。ステップS9の処理が終了するとステップS5へ進む。
(ステップS10)
メイン制御部117は、通信部116を制御して、無人航空機11の電源がOFFになることを示す情報をサーバ13へ送信させる。ステップS10の処理が終了するとステップS11へ進む。なお、ステップS10の処理は必須ではない。無人航空機11の電源がOFFになることを示す情報をサーバ13へ送信せずに、ステップS11へ進んでもよい。
(ステップS11)
メイン制御部117は、無人航空機11の電源をOFFにする。
(サーバ13の制御)
図7と図8は、サーバ13の制御処理を示すフローチャートの一例である。まず、図7を用いて、無人航空機11が飛行できる所定の範囲を設定する処理について説明する。
(ステップS31)
制御部133は、無人航空機11が図6のステップS3で送信した各種情報を通信部131が受信したかどうかを判定する。このとき、制御部133は記憶部132を制御し、無人航空機11から受信した各種情報を記憶部132に記憶させてもよい。なお、必ずしも記憶部132に各種情報を記憶させる必要はない。通信部131が各種情報を受信した場合、ステップS32へ進む。通信部131が各種情報を受信していない場合、ステップS35へ進む。
(ステップS32)
設定部1331は、ステップS31で受信した各種情報に基づいて、無人航空機11が飛行できる所定の範囲を設定する。詳細は主に第二の実施の形態で後述する。ステップS32の処理が終了するとステップS33へ進む。
(ステップS33)
制御部133は、通信部131が無人航空機11から各種情報を再度受信したかどうかを判定する。通信部131が各種情報を再度受信した場合、ステップS34へ進む。通信部131が各種情報を再度受信していない場合、ステップS35へ進む。
(ステップS34)
設定部1331は、ステップS33で通信部131が新たに受信した各種情報に基づいて、ステップS32で設定した範囲を変更する。ステップS34の処理が終了するとステップS35へ進む。
(ステップS35)
制御部133は、制御処理の終了を指示されたかどうかを判定する。例えば、前述した図6のステップS10で無人航空機11が送信した電源がOFFになることを示す情報を通信部131が受信した場合、制御処理の終了を指示されたと判定することができる。また、所定の時間以上、各種情報を受信しなかった場合、制御処理の終了を指示されたと判定してもよい。制御処理の終了を指示された場合、制御部133は処理を終了する。制御処理の終了を指示されていない場合、ステップS33へ進む。
次に、図8を用いて無人航空機11が所定の範囲内を飛行しているかどうかを推定する処理について説明する。
(ステップS61)
制御部133は、無人航空機11が図6のステップS6で送信した各種情報(推定用の情報)を通信部131が受信したかどうかを判定する。このとき、制御部133は記憶部132を制御し、無人航空機11から受信した各種情報を記憶部132に記憶させてもよい。なお、必ずしも記憶部132に各種情報を記憶させる必要はない。通信部131が各種情報を受信した場合、ステップS62へ進む。通信部131が各種情報を受信していない場合、ステップS65へ進む。
(ステップS62)
推定部1332は、ステップS61で受信した各種情報(推定用の情報)に基づいて、無人航空機11が所定の範囲内を飛行しているか、所定の範囲外を飛行しているかを推定する。詳細は、主に第一の実施の形態で後述する。ステップS62の処理が終了するとステップS63へ進む。
(ステップS63)
ステップS62の推定結果が、無人航空機11が所定の範囲内を飛行しているという推定結果である場合、ステップS65へ進む。無人航空機11が所定の範囲内を飛行していない(無人航空機11が所定の範囲外を飛行している)という推定結果であった場合、ステップS64へ進む。
(ステップS64)
制御部133は、通信部131を制御して、無人航空機11が所定の範囲内を飛行していない(所定の範囲外を飛行している)と推定した結果を示す情報を、無人航空機11へ送信させる。なお、無人航空機11が所定の範囲内を飛行していると推定されたことを示す情報を無人航空機11へ送信してもよい。所定の範囲外を飛行していると推定した結果を示す情報も、所定の範囲内を飛行していると推定した結果を示す情報も、共に無人航空機11へ送信してもよい。無人航空機11は、これらの情報を受信することで、自機器が所定の範囲内を飛行しているのか、所定の範囲外を飛行しているのか、を知ることができる。また、所定の範囲外を飛行している場合には、特別な飛行制御を実行することができる。これについては後述する。ステップS64の処理が終了するとステップS65へ進む。
(ステップS65)
制御部133は、制御処理の終了を指示されたかどうかを判定する。例えば、図6のステップS10で無人航空機11が送信した電源がOFFになることを示す情報を通信部131が受信した場合、制御処理の終了を指示されたと判定することができる。また、所定の時間以上、推定用の情報を受信しなかった場合、制御処理の終了を指示されたと判定してもよい。制御処理の終了を指示された場合、制御部133は処理を終了する。制御処理の終了を指示されていない場合、ステップS61へ進む。
(第一の実施の形態)
まず、無人航空機11が所定の範囲内を飛行しているか、所定の範囲外を飛行しているかの推定について図8、図9を参照して詳細に説明する。
上述したように、所定の範囲とは、操縦者が無人航空機11を監視(確認、視認、目視)できる範囲等があげられる。操縦者が無人航空機11を監視(確認、視認、目視)できない状況としては、以下のような状況が考えられる。
(a)無人航空機11と操縦者との距離が離れすぎて、操縦者が無人航空機11を確認できない場合
(b)無人航空機11と操縦者との間に障害物が存在して、操縦者から無人航空機11を確認できない場合
(c)操縦者が無人航空機11から目をはなしてしまった場合や、無人航空機11を見失ってしまった場合
(d)無人航空機11の周囲を他の無人航空機が飛行していて、対象の無人航空機11がいずれであるか識別できなくなる場合
(e)無人航空機11の周囲の背景状況によって、無人航空機11を目視することが困難となる場合
上述のように、操縦者が無人航空機11を監視(確認、視認、目視)できない状況となった場合に、無人航空機11は、このような状況が解消されるような動作や回避制御等を行う。このような動作や回避制御については主に第三の実施の形態で詳述する。本実施の形態では、操縦者が無人航空機11を監視(確認、視認、目視)できない状況かどうかを推定する方法を説明する。なお、以下では複数種類の推定方法を説明するが、これらのいずれか一つを単独で実行しても良いし、複数を組み合わせて推定しても良い。
(1-1:操縦者の認証)
まず、サーバ13は、図9に示すような操縦者を特定する認証処理を行う。本実施の形態では、サーバ13に推定部1332が設けられ、この推定部1332によって、無人航空機11が所定の範囲内を飛行しているか否かの推定が常時行われている。サーバ13は、操縦者が無人航空機11を確認可能か、目視可能か等を推定する。すなわち、操縦者が見ている方向が無人航空機11の方向か否か、操縦者は無人航空機11が見えている否か等を推定する。このような推定は、無人航空機11の操縦者に対して行われる。そのため、サーバ13は、無人航空機11の操縦者を特定するための認証処理を行う。無人航空機11が飛行を開始した後は、認証処理によって特定された操縦者に対して、操縦者が無人航空機11を確認や視認できているかどうかの推定を行う。上述したように、ここでいう操縦者は、無人航空機11を使用しているユーザを含む。無人航空機11が自動で自律飛行しており、ユーザの操縦が必要ない場合の無人航空機11のユーザも操縦者に含める。
操縦者を特定する認証処理としては、操縦者の身体特徴による認証(例えば、顔認証や指紋認証)、IDによる認証など種々有り、いずれを用いても良い。
(ステップS100)
制御部133は、通信部131が操縦者を特定するために必要な情報を取得したかどうかを判定する。図6のステップS2やステップS3に示すように、無人航空機11から取得してもよい。また、リモコン12やその他携帯機器等から取得してもよい。
操縦者を特定するために必要な情報は、認証方法によって異なる。例えば顔認証の場合は、操縦者の顔写真等のように顔の特徴情報があげられる。指紋認証の場合は、操縦者の指紋情報があげられる。IDによる認証の場合は、操縦者のID情報等があげられる。各情報毎の認証の詳細は後述する。
(ステップS101)
制御部133は、ステップS100で受信した情報(顔の特徴情報、指紋情報、ID情報等)と対応するテンプレート等が、記憶部132に既に登録されているか否かを判定する。ここでいうテンプレートは、撮像部113aに操縦者を追尾させるために必要な情報である。サーバ13はテンプレートを無人航空機11へ送信し、撮像制御部114は受信したテンプレートに基づいて、撮像部113aに操縦者を追尾させる。また、撮像部113aが操縦者を撮影できるように、飛行制御部112が飛行部111を制御してもよい。なお、サーバ13は、テンプレートに基づいて、操縦者を追尾させるための制御信号を生成し、生成した制御信号を無人航空機11へ送信してもよい。無人航空機11は、受信した制御信号に基づいて、撮像部113a又は飛行部111を制御し、操縦者を追尾することができる。なお、以下ではテンプレートを例に説明するが、テンプレートに限定されるものではない。撮像部又は飛行部が操縦者を追尾できるための情報であればよく、例えば、操縦者の顔の特徴情報や、操縦者の衣服の特徴情報等でもよい。テンプレート等がない場合は、ステップS102へ進む。テンプレートがある場合は、ステップS104へ進む。
(ステップS102)
ステップS100で受信した情報に基づいて、テンプレートを生成する。生成したテンプレートは、記憶部132に登録する。なお、必ずしも記憶部132に登録する必要はない。ステップS102の処理が終了するとステップS103へ進む。
(ステップS103)
新規登録者として操縦者を認証し、認証処理を終了する。
(ステップS104)
一方、ステップS101からステップS104へ進んだ場合には、対応するテンプレートが示す登録者を今回の操縦者として認証し、認証処理を終了する。
次いで、各情報毎の認証方法について説明する。
(1-1A:顔認証)
顔認証の場合には、操縦者の顔を撮影する必要がある。例えば、無人航空機11の撮像部113a、リモコン12に搭載されているカメラ、操縦者が所有する携帯機器(携帯電話等)のカメラにより操縦者の顔を撮影して画像情報を取得し、その画像情報をサーバ13に送る。無人航空機11の撮像部113aで操縦者を撮影をする方法としては、リモコン12のGPS位置情報に基づいて無人航空機11をリモコン12の位置の近くに移動させ、リモコン12を手に持っている操縦者の顔を含む画像を撮影する等があげられる。または、無人航空機11は操縦者の顔が撮影可能な位置に上昇してホバリングし、操縦者の顔を含む画像を撮影してもよい。無人航空機11を上昇させずに操縦者の顔を撮影してもよい。このようなとき、リモコン12の表示部121に認証処理中を示す表示を行ってもよい。サーバ13は、このような画像情報を受信する(図9のステップS100)。新規登録者の場合、送信された画像情報は、操縦者の追尾に使用するためのテンプレートとして記憶部132に記憶される。または、画像情報に基づいてテンプレートが生成される(図9のステップS102)。既登録者の場合、送信された画像情報は、対応するテンプレートを記憶部132から抽出するために使用される。テンプレートは、操縦者を顔認証するための顔特徴や、操縦者が着ている衣服の特徴等を含む。
また、記憶部132には、複数の操縦者のテンプレートが記憶されていてもよい。サーバ13の制御部133は、無人航空機11やリモコン12等から受信した画像情報に含まれる操縦者Mの顔の特徴情報と、記憶部132に既に登録されているテンプレートに含まれる顔の特徴情報と、を比較する。これにより、操縦者Mが既登録者なのか、それとも新規登録者なのかを判定することができる。操縦者Mが既登録者と判定された場合、登録されている操縦者Mのテンプレートに基づいて、無人航空機11の制御信号を生成し、生成した制御信号を無人航空機11へ送信する。無人航空機11は、受信した制御信号に基づいて、撮像部113a又は飛行部111を制御し、操縦者Mを追尾することができる。なお、登録されている操縦者Mのテンプレートを無人航空機11へ送信してもよい。無人航空機11は、受信したテンプレートに基づいて、操縦者Mを追尾することができる。
一方、操縦者Mが新規登録者であると判定された場合には、画像情報に基づいて、顔の特徴や衣服の特徴を操縦者Mのテンプレートとして登録する。さらに、撮影された人をリモコン12を操作している操縦者として特定する。サーバ13は、上述したように、登録したテンプレート又はテンプレートに基づいて生成した制御信号を無人航空機11へ送信する。無人航空機11は、受信したテンプレート又は制御信号に基づいて、操縦者Mを追尾することができる。
(1-1B:指紋認証)
次に、指紋認証の場合を例に説明する。無人航空機11やリモコン12に指紋認証用センサを備える場合には、指紋認証により操縦者を特定することもできる。記憶部132には、登録されている操縦者のテンプレートに関連付けて操縦者の指紋情報が登録されていてもよい。操縦者Mは、無人航空機11やリモコン12の指紋認証用センサにより指紋を読み取らせる。サーバ13は、無人航空機11やリモコン12から読み取った指紋情報を取得する(図9のステップS100)。記憶部132に登録されている指紋情報と照合する。照合の結果、取得した指紋情報と登録されている指紋情報の一つとが一致した場合には、一致した指紋情報に関連付いている操縦者を、操縦者Mとして特定する(図9のステップS104)。
また、新規登録の場合、または、一致する指紋情報がなかった場合には、リモコン12の指紋認証用センサで読み取った指紋情報を、記憶部132に登録してもよい。この場合、上述の顔認証時のように、操縦者Mの顔の特徴情報や服の特徴情報を取得し、操縦者Mの指紋情報と関連付けて記憶部132に記憶してもよい。このようにすることで、操縦者Mが次回認証処理を行うとき、サーバ13は、操縦者Mを既登録者として認証することができる。
(1-1C:ID認証)
次に、IDによる認証の場合を説明する。操縦者が、無人航空機11の図示しない入力部やリモコン12の図示しない入力部から自分のID情報を入力する。サーバ13は、入力されたID情報を受信する(図9のステップS100)。サーバ13には、複数の操縦者のIDが登録されている。また、IDと関連付けて操縦者の特徴(顔特徴等)を示すテンプレートが登録されている。サーバ13は、受信したID情報と既に登録されているID情報とを比較し、一致したID情報に関連付いているテンプレートが示す操縦者を、リモコン12を操作している操縦者として特定する。一致するIDが登録されていない場合や、一致するIDにテンプレートが関連付けられていない場合は、上述したように無人航空機11の撮像部113aやリモコン12の撮像部等を用いて操縦者の画像を取得し、テンプレートを生成してもよい。
また、ID情報がインプットされた記憶媒体をリモコン12に装着することにより、操縦者が認識されるような構成でも良い。この場合、ID情報だけでなく、操縦者の特徴(視力、性別、身長、無人航空機の操縦経験等)も記憶媒体に記憶させ、それをサーバ13に読み込むようにしても良い。
(1-2:所定の範囲内又は外の推定)
次に、図8に示すステップS61における推定用の情報を取得する方法と、ステップS62における所定範囲内を飛行しているかどうかを推定する方法について、詳しく説明する。
図8のステップS61では、制御部133は、無人航空機11が所定の範囲内を飛行しているかどうかを推定するために必要な情報(飛行推定用情報)を通信部131が受信したかどうかを判定する。なお、図6のステップS6に示すように、無人航空機11から取得してもよい。また、リモコン12から取得してもよい。
無人航空機11が所定の範囲内を飛行しているかどうかを推定するために必要な情報は、推定方法によって異なる。例えば、画像に基づいて推定する場合は、画像情報があげられる。以下に、種々の飛行推定用情報に関して、それぞれの推定方法について記載する。
(1-2A:画像に基づく推定)
まず、画像に基づいて、無人航空機11が所定の範囲内を飛行しているかどうかを推定する方法について説明する。
無人航空機11は、撮像部113aにより操縦者を追尾して撮影する。ここで撮影された画像情報が、無人航空機11が所定の範囲内を飛行しているかどうかを推定するために必要な情報となる。無人航空機11は、この画像情報をサーバ13に送信する。サーバ13は、受信した画像中の操縦者の顔の大きさに基づいて、所定の範囲内かどうかを推定する。例えば、操縦者の顔の大きさ(又は画像中に占める操縦者の顔の割合)が所定の閾値(以後、顔割合閾値と言う。)より小さい場合には、所定の範囲外を飛行していると推定する。無人航空機11が操縦者から離れていて、操縦者が無人航空機11を視認できていない可能性があるためである。画像に含まれる操縦者の顔の大きさ(画像中に占める操縦者の顔の割合)は、撮像部113aのズーム倍率等の撮像条件を考慮して算出してもよい。このように所定の範囲外を飛行していると推定された場合、無人航空機11の飛行制御部112は操縦者に近づく方向へ飛行するように飛行部111を制御してもよい。詳細は主に第三の実施の形態で説明する。
なお、霧が発生した場合等は、無人航空機11と操縦者との距離が同じ場合でもより視認しにくくなることがある。そのように状況が変化した場合には、後述するように状況に応じて閾値が変更されてもよい。このような閾値は、サーバ13の記憶部132に記憶されている。なお、閾値の設定方法については後述する。
また、画像中に操縦者の顔が検出できなくなった場合、例えば、画像中に操縦者の顔が含まれていないためテンプレートマッチングができなくなった場合にも、サーバ13は無人航空機11は所定の範囲外を飛行していると推定することができる。画像中に操縦者の目が含まれていない場合でもよい。
また、画像中の操縦者の顔に他の物体が重畳して写っている場合にも、サーバ13は無人航空機11は所定の範囲外を飛行していると推定することができる。例えば、画像中の操縦者の顔全体に他の物体が重畳している場合や、操縦者の目部分に他の物体が重畳している場合などがあげられる。
また、画像中の操縦者の顔の動き量が、所定の閾値(以下、動き量閾値と言う。)より大きい場合、無人航空機11は所定の範囲外を飛行していると推定する。操縦者の顔の動きが大きい場合は、操縦者が無人航空機11を見失って探している可能性があるからである。画像中の操縦者の顔の動き量は、別時刻に撮られた画像を比較することで算出できる。このように所定の範囲外を飛行していると推定された場合、無人航空機11の飛行制御部112は操縦者に近づく方向へ飛行するように飛行部111を制御してもよい。詳細は主に第三の実施の形態で説明する。
なお、操縦者の追尾は、撮像部113aで撮影された画像中の顔と、テンプレートとのマッチングにより行ってもよい。また、サーバ13は、リモコン12のGPS位置情報に基づいて、撮像部113aが操縦者の方向に向くように制御しても良い。
(1-2B:無人航空機と操縦者との位置関係に基づく推定)
次に、無人航空機11と操縦者との位置関係に基づいて、無人航空機11が所定の範囲内を飛行しているかどうかを推定する方法について説明する。
例えば、無人航空機11と操縦者との距離を算出し、算出された距離が所定の閾値(以下、距離閾値と言う。)より大きい場合、所定の範囲外を飛行していると推定することができる。距離の算出方法としては、無人航空機11に搭載した距離計による測距があげられる。
図1に示した障害物検出部118として、レーザ式距離計、ミリ波を使用した距離計などの距離計を搭載してもよい。測距の方法としては、無人航空機11および操縦者のGPS位置情報に基づいて距離計を操縦者の方向に向け、操縦者までの距離を距離計で測距することがあげられる。距離計は、例えば、撮像部113aが搭載されているジンバル42に装着されてもよい。その際、距離計を撮像部113aの光軸の近傍に設け、距離計の光軸が撮像部113aの光軸と平行となるように配置してもよい。そのように配置することで、撮像部113aで操縦者の顔を追尾した際に、自動的に距離計が操縦者の方向に向けることができる。
また、距離の算出方法の他の例として、無人航空機11に搭載した撮像部113aの測距機能によって測距してもよい。撮像部113aが測距機能(例えば、位相差式の測距センサ)を搭載している場合には、撮像部113aで操縦者の顔を追尾している最中に、撮像部113aの測距機能により顔までの距離を測距してもよい。そして、測距結果と距離閾値とを比較することにより、無人航空機11が所定の範囲内を飛行しているかどうかを推定することができる。
また、距離の算出方法の他の例として、GPS位置情報に基づいて距離を計測してもよい。サーバ13は無人航空機11およびリモコン12のGPS位置情報を通信ネットワーク14を介して取得し、両者の位置(3次元位置)に基づいて無人航空機11とリモコン12との間の距離を算出することができる。そして、サーバ13は、算出された距離と距離閾値とを比較することで無人航空機11が所定の範囲内を飛行しているかどうかを推定することができる。
無人航空機11と操縦者と間にある障害物を検出し、無人航空機11が所定の範囲内を飛行しているかどうかを推定してもよい。
障害物の検出は、撮像部113aの撮影画像に基づいて検出することができる。例えば、無人航空機11の撮像部113aにより操縦者の顔を追尾し撮影する。または、GPS位置情報に基づいて無人航空機11から操縦者の方向を算出し、その方向へ撮像部113aを向けて、操縦者の顔を撮影する。無人航空機11と操縦者との間に障害物があると顔認識が不能となるので、サーバ13は、顔認識不能となったことから、操縦者は無人航空機11を目視できていないと推定することができる。また、無人航空機11に搭載された撮像部113bで無人航空機11の周囲を撮影し、その撮影画像から三次元情報を算出し、算出された三次元情報から障害物の有無を判定しても良い。
また、他の障害物の検出方法として、距離計測値とGPS位置情報とに基づいて障害物を検出してもよい。
操縦者と無人航空機11との間に障害物が存在すると、上述した距離計で計測される距離計測値は無人航空機11と障害物との間の距離になる。そこで、GPS位置情報に基づいて算出される無人航空機11と操縦者との間の距離よりも距離計測値の方が小さい場合には、操縦者と無人航空機11との間に障害物があり、操縦者は無人航空機11を目視できていないと推定することができる。
また、他の障害物の検出方法として、障害物が介在する前と介在時の距離計測値の差に基づいて、障害物を検出してもよい。
無人航空機11の距離計と操縦者との間に障害物が侵入すると、距離計の計測値が急激に大きく変化する。そこで、逐次算出される距離計測値の前回値と今回値との差分が所定の閾値以上の場合には、操縦者と無人航空機11との間に障害物があり、操縦者は無人航空機11を目視できていないと推定することができる。
また、他の障害物の検出方法として、地図情報とGPS位置情報とによって障害物を検出してもよい。
サーバ13は、無人航空機11のGPS位置情報に基づいて無人航空機11の周辺の地図情報を記憶部132から読み出すか、または、通信ネットワーク14を介してネット上から地図情報を取得する。サーバ13の推定部1332は、地図情報から無人航空機11の周囲の建築物のマップ情報を生成し、無人航空機11と操縦者との間に建築物等の障害物が存在するか否かを判定することができる。
また、他の障害物の検出方法として、無人航空機11の障害物検出部118によって障害物を検出してもよい。
障害物検出部118として、ミリ波を用いた障害物検出器を無人航空機11に搭載する。障害物検出部118からミリ波を操縦者に向けて送出し、無人航空機11と操縦者との間の障害物で反射された反射波を障害物検出部118で受信して障害物との距離を求めることができる。そして、得られた距離がリモコン12と無人航空機11との間の距離(GPS位置情報から算出される距離)よりも小さい場合には障害物があると判定することができる。
また、他の障害物の検出方法として、操縦者側から無人航空機に向けて光を照射することによって障害物を検出してもよい。
この場合、図4に示すような頭部装着装置20を操縦者に装着させる。例えば、光(例えば、レーザ光や赤外光)を発射する発光装置200又は顔の方向を検出する装置(例えば、デジタルコンパス)202を備えた頭部装着装置20を、予め操縦者に装着させる。発光装置200からの光を受光する受光部を無人航空機11に設けてもよい。なお、頭部装着装置20には通信機204も備えられてもよい
デジタルコンパス202の方位情報は、通信ネットワーク14を介してサーバ13に送信される。サーバ13は、デジタルコンパス202の方位情報により操縦者の顔がどちらの方向を向いているのかを判定することができる。そして、発光装置200から発射された光が無人航空機11に設けられた受光部によって受光されず、顔の方向が無人航空機11の方向から所定角度以内である場合には、すなわち、顔が無人航空機11の方向を向いているにも拘わらず受光されない場合には、障害物があって、操縦者は無人航空機11を視認できていないと推定することができる。なお、顔の方向が無人航空機11の方向と大きく異なる場合にも、発光装置200からの光が受光部によって受光されないが、この場合には視線が大きく外れているので、障害物の有無に拘わらず、操縦者が無人航空機11を視認できていないと推定してもよい。この場合、飛行制御部112は、操縦者の視線の方向と、操縦者から無人航空機11への方向と、が一致するように、飛行部111を制御して飛行させてもよい。
(1-2C:見失ったことを検出することによる推定)
次に、操縦者が無人航空機11を見失ってしまったことを検出し、無人航空機11が所定の範囲内を飛行しているかどうかを推定する方法について説明する。
無人航空機11を見失う状況としては、類似の無人航空機が飛行していて自分の無人航空機11がどれか見分けられなくなった場合や、無人航空機11の色と背景色とが似ていて目視可能な距離であるにもかかわらず見失ってしまう場合などがあげられる。また、操縦者が第三者に話しかけられて無人航空機11から目をはなしてしまった場合などがあげられる。以下に、操縦者が無人航空機11を見失ったことを検出する方法を説明する。
まず、方位検出器で操縦者の顔の方向を検出して、操縦者が無人航空機11を見失ったことを検出する方法があげられる。
例えば、図4に示すようなデジタルコンパス202を備えた頭部装着装置20を操縦者に装着させる。デジタルコンパス202の検出結果は、通信ネットワーク14を介してサーバ13に送信される。サーバ13は、デジタルコンパス202の方位情報により操縦者の顔がどちらの方向を向いているのかを判定する。
サーバ13の推定部1332は、リモコン12および無人航空機11のGPS位置情報に基づいて、操縦者から見て無人航空機11がどの方向にあるかを算出する。算出された方向とデジタルコンパス202により検出された顔方向とが異なる場合には、操縦者が無人航空機11を見失ったと判定することができる。方向が異なるか否かの判定方法としては、例えば、無人航空機11の方向と顔方向との成す角度が所定の閾値(以下、角度閾値と言う。)より大きい場合に、操縦者が無人航空機11を見失ったと判定する。このように、操縦者が無人航空機11を見失ったと判定された場合、サーバ13は、操縦者は無人航空機11を視認していない(無人航空機11が所定の範囲内を飛行していない)と推定することができる。
なお、図4に示すように頭部装着装置20に視線方向検出装置206をさらに備えて、顔の方向に加えて操縦者の視線方向も加味して操縦者が無人航空機11を見失ったかどうかを判定するようにしても良い。この場合、視線方向検出装置206により操縦者の視線方向、すなわち頭部装着装置20の正面に対する視線方向の角度を検出する。そして、視線方向と無人航空機11の方向とから、操縦者の視線の方向と無人航空機11の方向との成す角度が角度閾値より大きい場合に操縦者が無人航空機11を見失ったと判定し、操縦者は無人航空機11を視認していないと推定することができる。このように視線方向も加味することにより、より正確に推定することができる。
また、画像データから操縦者の顔の方向を検出して、操縦者が無人航空機11を視認しているかどうかを推定してもよい。
無人航空機11の撮像部113aで撮影した画像から、目、鼻、口、耳等の特徴点を抽出し、操縦者の顔が無人航空機11の撮像部113aに対して横方向または後方向を向いているかどうかを判定する。なお、リモコン12にカメラ等の撮像部が設けられている場合、撮像部113aを用いる代わりに、リモコン12に設けられた撮像部を利用しても良い。その場合、操縦者の顔画像が適切に撮影されるように、例えば、撮像部が顔と正対するような位置にリモコン12を保持することを指示する表示画面を表示部121に表示したり、音声ガイドしたりして、リモコン12の保持方法を操縦者に報知するのが考えられる。サーバ13は、撮影された画像から操縦者の顔が無人航空機11に対して横方向または後方向を向いていると認識した場合には、操縦者は無人航空機11を視認していないと推定してもよい。
また、視線または顔(頭)のゆれにより、無人航空機11を見失ったと判定してもよい。
図4のように頭部装着装置20に視線方向検出装置206やデジタルコンパス202を設けて、視線の方向や顔の方向を検出する。そして、検出された視線の振れ角度または顔(頭)の振れ角度が、小刻みに角度閾値より大きく振れている場合には、操縦者が無人航空機11を見失って探しているものとみなしてもよい。また、検出された視線の振れ量又は顔(頭)の振れ量が、上述した動き量閾値より大きい場合、操縦者が無人航空機11を見失っていると判定してもよい。また、加速度センサを頭部装着装置20に設けて顔の動きを検出し、振れ角度又は動き量に基づいて操縦者が無人航空機11を見失って探していると判定するようにしても良い。このような場合、操縦者は無人航空機11を視認していないと推定することができる。
さらにまた、頭部装着装置20にカメラを設けて、そのカメラで撮影された風景がフラフラと所定以上揺れている場合に無人航空機11を見失ったと判定しても良い。また、無人航空機11の撮像部113aで撮影された操縦者の顔が、画像処理により所定以上ゆらゆらと振れていることが検出された場合には、無人航空機11を見失っていると判定してもよい。
(1-2D:操縦者から提供される情報に基づく推定)
次に、操縦者から提供される情報に基づいて、操縦者が無人航空機11を視認しているかどうかを推定する方法について説明する。
リモコン12の表示部121は、例えば図2に示すような情報入力を促す表示画面を表示する。なお、操縦者に表示したことを気づかせるために音声を発生するようにしても良い。表示部121を見た操縦者は、リモコン12を操作して回答することができる。ここで、操縦者が「いいえ」と回答した場合、または、回答が無かった場合には、サーバ13は操縦者が無人航空機11を視認していないと推定することができる。なお、リモコン12の代わりに、操縦者の携帯機器の表示部に図2に示すような表示画面を表示して、操縦者に回答させるようにしても良い。
なお、他の表示例としては、表示部121に無人航空機11の周辺地図を表示して、無人航空機11の位置を地図上でタッチするように指示してもよい。そして、タッチ位置が実際の位置から所定距離以上離れていたら操縦者が無人航空機11を視認していないと推定してもよい。リモコン12にデジタルコンパスを備えておき、表示部121に「リモコンを無人航空機の方向に向けて下さい」と表示させてもよい。それに対して、リモコン12のデジタルコンパスの検出方向が、GPS位置情報により算出される実際の方向から所定角度以上ずれていたならば、操縦者が無人航空機11を視認していないと推定することができる。
また、操縦者が携帯機器を操作して会話やメール操作等を行っている場合には、操縦者が無人航空機11を視認していないと推定してもよい。無人航空機11の撮像部113aで撮影された画像から、それらの状況を判定することができる。サーバ13は、会話やメール操作等を行っていることの情報を携帯機器から直接取得するようにしても良い。
以上説明したような処理を行うことで飛行中の無人航空機11が所定の範囲内を飛行しているか、所定の範囲外を飛行しているかを推定することができる。所定の範囲とは、操縦者が無人航空機11を確認(監視、視認、目視)できる範囲や、見失わない範囲等があげられる。このような範囲は、例えば、操縦者の正面方向の範囲、操縦者の目線又は視線方向から所定の角度内の範囲、操縦者の後ろを含まない範囲等が考えられる。また、障害物により操縦者から遮蔽される範囲は、所定に範囲に含まれないようにしてもよい。その結果、操縦者が無人航空機11を目視可能な範囲で飛行させることができ、飛行の安全性を確保することが可能となる。
(第二の実施の形態)
次に、無人航空機11が飛行できる所定の範囲の設定について図7を使用して説明する。ここでは、主に、ステップS31での情報を取得する方法と、ステップS32での所定範囲内を設定する方法と、ステップS34での所定の範囲を変更する方法とについて詳述する。
ここで、所定の範囲とは、例えば、操縦者が無人航空機11を監視(確認、視認、目視)していると推定される範囲、操縦者が無人航空機11を見失っていないと推定される範囲、無人航空機11が操縦者の操作を受け付ける範囲、等があげられる。このような範囲は、操縦者の正面方向の範囲、操縦者の目線又は視線方向から所定の角度内の範囲、操縦者の背後を含まない範囲等があげられる。また、障害物により操縦者から遮蔽される範囲は、所定に範囲に含まれないようにしてもよい。
このような所定の範囲は、操縦者の視認能力や無人航空機11が飛行している飛行条件に依存する。所定の範囲は、製品出荷時等に予め設定されていてもよい。以下では初期範囲と呼ぶことにする。初期範囲は、多数の操縦者に対する平均的な視認能力および所定の飛行環境(例えば、日中の晴天時における郊外など)を前提として設定された範囲であってもよい。
(2-1:情報の取得)
まず、図7のステップS31での情報を取得する方法について説明する。ステップS31で、制御部133は、所定の範囲を設定するのに必要な情報を通信部131が取得したかどうかを判定する。所定の範囲を設定するのに必要な情報とは、操縦者の特性(視力、性別、身長、無人航空機11の操縦経験等)に関する情報、無人航空機が飛行する周囲状況(場所、見晴し、人の数、周囲にある物体等)に関する情報、気象に関する情報、操縦者がリモコン12や所持する携帯機器に入力した情報、等があげられる。
操縦者が無人航空機11を飛行させる場合、操縦者や飛行条件によって、適正な所定の範囲は変わることが考えられる。そのため、そのときの飛行条件や操縦者の視認能力に基づいて適正な範囲を設定し、設定された範囲内を無人航空機11が飛行することが考えられる。もちろん、初期範囲をそのまま使用するようにしても構わない。初期範囲が製品出荷時等に予め設定されていない場合は、飛行条件や操縦者の視認能力に基づいて飛行する範囲を設定してもよい。サーバ13は、上述したように、所定の範囲を設定するために必要な情報を他機器から取得する(図6のステップS2やステップS3、図7のステップS31)。
なお、サーバ13の記憶部132に所定の範囲を設定するために必要な情報が記憶されている場合は、他機器から取得せずに、記憶部132に記憶されている情報を取得してもよい。所定の範囲を設定するための情報が記憶部132に記憶されていない場合は、無人航空機11やリモコン12から取得してもよい。通信ネットワーク14を介してネット上から取得しても良い。
(2-1A:操縦者の特性に関する情報)
まず、操縦者の特性に関する情報を取得する方法について説明する。
例えば、操縦者の特性である視力データの取得方法としては、操縦者の視力データが予め記憶部132に記憶されている場合は、記憶部132から取得してもよい。また、無人航空機11が備える図示しない入力部や、リモコン12が備える図示しない入力部等を用いて、操縦者に入力させるようにしても良い。予め視力データを記憶している記憶媒体がある場合は、その記憶媒体から取得してもよい。リモコン12の表示部121に視力検査マークを表示して、表示された視力検査マークによって操縦者の視力検査をすることで、視力データをその場で取得するようにしても良い。また、視力以外の目に関する情報でもよい。例えば、コンタクトレンズやメガネの使用に関する情報、目の怪我や病気に関する情報等を取得してもよい。
また、操縦者の特性である操縦経験データの取得方法としては、無人航空機の操縦経験に関する情報が予め記憶部132に登録されていて、その記憶部132から取得する方法があげられる。操縦経験データの例としては、通算の操縦時間、視認不可能になったときの通算時間、認定資格の等級等や、上述した顔や視線のふらつきの度合い(例えば、角度)などがあげられる。新規登録者や操縦経験データが登録されていない操縦者に関しては、実際に無人航空機11をテスト飛行させて操縦経験(習熟度)を実地に検査して取得しても良い。
操縦者の性別や身長などの特性データの取得方法としては、操縦者にリモコン12や携帯機器などを介して特性データを入力してもらってもよい。予め記憶部に記憶されている場合には、記憶部から取得してもよい。
(2-1B:無人航空機が飛行する周囲状況に関する情報)
飛行する無人航空機11の周囲状況に関する情報を取得する方法としては、無人航空機11の撮像部113b(または撮像部113a)の撮影画像に基づいて取得する方法、障害物検出部118の検出情報に基づいて取得する方法、地図情報に基づいて取得する方法、操縦者が判断してリモコン12により設定する方法などがあげられる。リモコン12にカメラ等の撮像部が設けられている場合には、その撮像部で周囲画像を撮影しても良いし、操縦者が携帯機器のカメラで撮影した画像を利用しても良い。
(2-1C:気象に関する情報)
気象に関する情報を取得する方法としては、インターネットを介して天気予報を取得する方法があげられる。また、無人航空機11に備えられた図示しない照度センサや温度センサ、湿度センサ等の各種センサから取得してもよい。気象に関する情報としては、風の強さ、晴れや雨等の天気情報、降水量、花粉量、PM(Particulate Matter)2.5等の視界に影響する粒子の量、等があげられる。無人航空機11やリモコン12、その他携帯機器が備える撮像部が撮影した画像を画像処理することで、これらの情報を取得してもよい。
(2-1D:操縦者が入力した情報)
操縦者がリモコン12や所持する携帯機器に入力した情報を取得する方法としては、通信ネットワーク14を介して、リモコン12や携帯機器から取得する方法があげられる。
(2-2:所定の範囲の設定)
次に、図7のステップS32おける、無人航空機11が飛行できる所定の範囲を設定する方法について説明する。
(2-2A:操縦者の特性に関する情報の場合)
まず、ステップS31で取得した情報が、操縦者の特性に関する情報である場合について説明する。すなわち、操縦者の特性に基づいて範囲を設定する場合について説明する。操縦者の特性とは、例えば視力、性別、年齢、身長、体重などがあげられる。また、無人航空機11の操縦経験、習熟度などもあげられる。
飛行範囲の設定方法としては、記憶部132に記憶されているテーブルデータ等を参照して設定する方法、記憶部132に記憶されている補正係数kを使用して算出する方法、類似する他の操縦者に設定されている範囲を設定する方法等があげられる。
最初に、テーブルデータ等を参照して設定する方法について、図10を参照して説明する。記憶部132には、飛行範囲を設定するために必要な情報と飛行範囲に対応する閾値とが関連付いたデータが記憶されている。飛行範囲を設定するための閾値とは、第一の実施の形態で説明したような、顔割合の閾値、距離閾値、操縦者の顔(頭)や目線の動き量閾値、角度閾値などがあげられる。顔割合閾値は、画像全体の大きさを1としたときに、画像に含まれる顔占める割合である。動き量閾値は、一例として速度で記載したが、これに限られない。例えば、加速度でもよいし、所定値との割合でもよいし、その他の数値でもよい。設定部1331は、操縦者の視力が1.2の場合は顔割合閾値を1/10に設定することができる。また、距離閾値を7mに設定することができる。また、動き量閾値を3m/sに設定することができる。また、角度閾値を75度に設定することができる。
なお、各閾値は、無人航空機11の大きさにも依存してもよい。例えば、図10(a)に示すデータテーブルでは、視力が1.0の場合の距離閾値は7mに設定されている。これは、所定の大きさの無人航空機に関する値であって、無人航空機11の大きさが所定大きさよりも大きい場合には、距離閾値(無人航空機11が視認できる距離)は7mよりも大きな値となる。大きい機体は視認しやすいからである。つまり、無人航空機11の大きさに応じたデータテーブルが用いられる。すなわち、記憶部132には、図10のようなデータテーブルが複数の大きさの無人航空機について記憶されており、無人航空機11の大きさに対応したデータテーブルを使用して所定の範囲(閾値)を設定することができる。
このように設定部1331が閾値(飛行範囲)を設定することで、推定部1332は、設定部1331が設定した閾値(飛行範囲)に基づいて、無人航空機11が設定された範囲内を飛行しているかどうかを推定することができる。推定部1332は、顔割合閾値を使用して推定してもよいし、距離閾値を使用して推定しても良いし、動き量閾値を使用して推定してもよいし、角度閾値を使用して推定してもよいし、その他の閾値を使用して推定しても良い。これら複数の閾値を使用して推定してもよい。その場合、より正確な推定をすることができる。
次に、補正係数kを使用して算出する方法について図10(b)を参照して説明する。図10(b)に示す例は、視力0.7~1.0未満の場合の閾値が初期閾値として設定されている場合の、顔割合閾値、距離閾値、動き量閾値、角度閾値に対する補正係数を示したものである。記憶部132には、図10(b)に示すような、飛行範囲を設定するために必要な情報と各補正係数kとが関連付いたデータが記憶されている。(補正後閾値)=k×(初期閾値)という計算をすることで、閾値を設定することができる。
まず、飛行範囲を設定するために必要な情報が視力である場合を例に説明する。距離の初期閾値が200mであった場合、200m×k1を計算することで距離閾値を設定することができる。例えば、操縦者の視力が1.2である場合、距離閾値の補正係数k1は2なので、200m×2=400mが距離閾値(無人航空機11が飛行できる範囲)として設定される。
また、顔割合閾値の補正係数k2を使用する場合を説明する。顔割合の初期閾値が1/10であって、操縦者の視力が0.6である場合、1/10(初期閾値)×2(視力0.6の補正係数k2)=1/5が顔割合閾値(無人航空機11が飛行できる範囲)として設定される。つまり、視力1.0の操縦者は、画像データ全体の面積に占める操縦者の顔の割合が1/10より大きくなる範囲で無人航空機11を飛行でき、1/10より小さくなる範囲では飛行できない。視力0.6の操縦者は、画像データ全体の面積に占める操縦者の顔の割合が1/5より大きくなる範囲で無人航空機11を飛行でき、1/5より小さくなる範囲では飛行できない。
動き量閾値k3を使用する場合を説明する。例えば、動き量の初期閾値が1m/sであって、操縦者の視力が1.5である場合、1m/s×3=3m/sが動き量閾値として設定される。つまり、視力1.5の操縦者に対しては、顔(頭)や視線(目線)の動きが3m/sよりも小さい場合が所定の範囲内と設定される。よって、顔(頭)や視線(目線)の動きが3m/sよりも小さい場合、推定部1332は操縦者が無人航空機11を視認していない(無人航空機11は所定の範囲内を飛行していない)と推定する。
角度閾値k4を使用する場合を説明する。例えば、角度の初期閾値が60度であって、操縦者の視力が0.3である場合、60度×0.3=18度が角度閾値として設定される。つまり、操縦者の視線方向から18度の視野角の範囲内が所定の範囲(閾値)として設定される。
このような場合、視力が良い操縦者にはより広い範囲が設定され、視力が悪い操縦者にはより狭い範囲を設定することができる。視力によって視認できる範囲は異なるので、各操縦者によって適正な飛行範囲を設定することができる。
次に、飛行範囲を設定するために必要な情報が操縦経験である場合を例に説明する。
操縦経験が「A」、「B」、「C」、「D」、「E」の5段階に分類されているとする。例えばAは操縦経験豊富な分類で、Eは操縦経験が少ない分類とする。このような分類は、認定資格の等級等に基づいて分類してもよいし、通算の操縦時間等に基づいて分類してもよい。例えば、通算の操縦時間が20時間以上の場合は操縦経験A、通算の操縦時間が15時間以上20時間未満の場合は操縦経験B、10時間以上15時間未満の場合はC、5時間以上10時間未満の場合はD、5時間未満の場合はEに分類されることが考えられる。
テーブルデータ等を参照して設定する方法の場合は、操縦経験Bの操縦者には図10(a)に示されるような各閾値(所定の範囲)が設定される。
補正係数kを使用して算出する方法の場合は、図10(b)に示すように、操縦経験Cの場合の閾値を初期閾値として設定されていてもよい。図10(b)の例のような場合、操縦経験が豊富な操縦者ほど広い飛行範囲が設定され、操縦経験が少ない操縦者ほど狭い飛行範囲を設定することができる。操縦経験が少ない操縦者ほど狭い飛行範囲を設定することで、安心で安全な飛行をすることができる。動き量閾値の補正係数k3、角度閾値の補正係数k4についても上述したように範囲(閾値)を設定することができる。
なお、操縦経験のみを考慮して飛行範囲を設定する場合には、補正後の閾値は「(補正後閾値)=(操縦経験に対応した補正値k)×(初期閾値)」としてもよい。一方、視力と操縦経験の両方を考慮して飛行範囲を設定する場合には、補正後の閾値は「(補正後閾値)=(操縦経験に対応した補正値k)×(視力に対応した補正値k)×(初期閾値)」として算出してもよい。
また、図10(a),(b)に示す数値は一例であって、これに限定されない。また、全ての閾値又は補正係数を設定する必要はなく、いずれか1つの閾値又は補正係数が設定されれば良い。複数が設定されてもよい。
次に、類似する他の操縦者に設定されている範囲に基づいて、飛行範囲を設定する方法について説明する。
類似する他の操縦者とは、例えば、年齢、性別、身長、体重、視力、操縦経験などのうち少なくとも1つが類似する操縦者があげられる。サーバ13の記憶部132には、多数の操縦者に関する、年齢、性別、身長、体重、視力、操縦経験等の情報が蓄積されている。設定部1331は、通信部131が受信した操縦者Mの特性(年齢、性別、身長、体重、視力、操縦経験等)と類似する特性を有する他の操縦者を抽出し、抽出された他の操縦者が設定している範囲(閾値)を操縦者Mに対して設定する。ここで類似とは、性別の場合は同一の性であることがあげられる。年齢、身長、体重、視力、操縦経験等の場合には、これらに対して所定幅の範囲に入るデータとすることができる。自分と類似する他の操縦者が設定している範囲(閾値)を設定することができるので、適正な範囲(閾値)を設定することができる。類似する他の操縦者が設定している範囲(閾値)を複数抽出し、その平均値を設定してもよい。
(2-2B:無人航空機が飛行する周囲状況に関する情報の場合)
次に、図7のステップS31で取得した情報が、無人航空機11が飛行する周囲状況に関する情報である場合について説明する。無人航空機11が飛行する周囲状況とは、場所、見晴、人の数、周囲にある物体等があげられる。
無人航空機11を飛行させる周囲状況が異なると、無人航空機11との間の障害物の多さ、見通しやすさ等が異なり、操縦者が無人航空機を視認できる範囲が異なる場合がある。また、無人航空機11とその背景との関係で、無人航空機11の視認しやすさも変化することがある。ここでは、そのような周囲状況に応じた閾値の設定方法について説明する。
図7のステップS31で取得した情報が、撮像部113aで無人航空機11の周囲の風景を撮影した画像の場合、サーバ13は、無人航空機11から画像情報を取得し、画像中に存在する建築物や樹木等をパターン認識により認識し、街中か、林や森林のように樹木の多い環境か、見通しの良い平原のような環境か等を判断することができる。その場合、建築物や樹木の高さも算出して判定の参考としてもよい。また、室内で飛行させているのか否かも、画像から判断することができる。人がどのくらいいるのかを判断してもよい。このように、飛行する場所にある物体の数や大きさ等によって、周囲の状況を判断することができる。
ステップS31で取得した情報が、障害物検出部118の検出情報の場合も考えられる。例えば、障害物検出部118としてミリ波レーダが搭載されている場合には、ミリ波を無人航空機11の周囲に発射し、その反射波を受信して周囲の状況をマッピングして、周期環境を判定することができる。また、地図情報に基づく場合には、無人航空機11またはリモコン12のGPS位置情報とネット上または記憶部132に記憶されている地図情報とに基づいて、飛行しようとしている場所が街中なのか、田畑や草原が広がる場所なのか、砂浜なのか、海上等を判断することができる。
また、操縦者がリモコン12を操作して、環境状況を入力するようにしても良い。例えば、リモコン12の表示部121に複数種類の状況を示す文字表示やアイコン表示を行い、操縦者はその中の一つを選択することができる。
閾値の設定の仕方としては、上述したような記憶部132に記憶されている図10(a)のようなデータテーブル等を参照して設定する方法、記憶部132に記憶されている図10(b)のような補正係数kを使用して算出する方法、等があげられる。
例えば、都心の街中、郊外、田畑や草原、室内の4種類に分類して判定する場合を考える。例えば、図10(a)を参照して、ステップS31で取得した情報が、郊外を示す情報であった場合、距離閾値は5m、顔割合の閾値は1/5、動き量閾値は2m/s、角度閾値は60度と設定することができる。また、図10(b)を参照して、ステップS31で取得した情報が、都心の街中を示す情報であった場合、補正係数k1=0.5、k2=2、k3=0.5、k4=0.5と設定することができる。
このように設定することで、見通しの悪い又は人や建物が多くあって危険な街中は、飛行範囲がより狭く設定される。見通しがよく障害物などが少ない田畑や草原は、飛行範囲をより広く設定することができる。また、室内は、飛行範囲を狭く設定することができる。つまり、場所によって、適切な飛行範囲を設定することができる。
また、操縦者が無人航空機11を見たときの背景によって、飛行範囲(閾値)を設定することも可能である。操縦者が無人航空機11を見たときの背景とは、例えば空や木、建物などが考えられる。このような背景の色が無人航空機11と同色系か否かで視認のし易さも異なる。例えば、青空の下で青色の無人航空機11を飛行させる場合には、同色系で視認しにくい。このような場合、飛行範囲を狭くするように閾値を設定する。例えば、現在設定されている閾値と補正値とに基づいて設定する。具体的には、現在設定されている距離閾値が10mであって、背景と無人航空機11とが同系色である場合の補正値が0.8である場合、10m×0.8=8mと閾値を設定することができる。このように、操縦者が無人航空機を視認しにくい状況等に応じて、最適な閾値(飛行範囲)を設定することができる。
また、操縦者の状況によって飛行範囲(閾値)を設定してもよい。操縦者が何らかの動作を行っている場合には、無人航空機11への注意力が低下するので、飛行範囲が狭くなるように閾値を設定してもよい。
そのような状況としては、例えば、リモコン12のGPS位置情報に基づいて、操縦者が移動をしていることを認識した場合があげられる。また、無人航空機11の撮像部113bの撮影画像に基づいて、操縦者に同行者がいると認識された場合、同行者と会話をしていると認識された場合、操縦者が携帯機器で会話をしている場合、操縦者が携帯機器を操作していると認識された場合などがあげられる。なお、携帯機器をリモコンとして使用している場合には、電話中や操作中であることは、撮影画像を利用しなくても携帯機器からの情報により直接認識してもよい。
このように注意力が低下するような状況を検出した場合には、飛行範囲をより狭くなるように設定することができる。操縦者は、安心で安全な操縦をすることができる。
また、周囲に他の無人航空機が飛行しているかどうかによって飛行範囲(閾値)を設定してもよい。
周囲に他の無人航空機が飛行している場合には、無人航空機11の判別が難しくなるので、飛行範囲を狭くするように閾値を設定してもよい。他の無人航空機が周囲にあることを判定する方法としては、例えば、無人航空機同士の通信により、周囲に他の無人航空機が飛行していることを判定する方法があげられる。
また、サーバ13に各無人航空機のGPS位置情報の現在値を記憶させるようにし、そのGPS位置情報を利用して無人航空機11の近くに他の無人航空機が飛行しているか否かを判定するようにしてもよい。または、無人航空機11の撮像部113bまたはリモコン12に搭載した撮像部で、無人航空機11の周囲を撮影して、その撮影画像から周囲に他の無人航空機がいることを判定しても良い。
次に、図7のステップS31で取得した情報が、気象に関する情報である場合について説明する。
(2-2C:気象に関する情報の場合)
気象に関する情報が、もや、霧、雨、花粉量などやPM2.5の発生に関する情報の場合を説明する。もや、霧、雨などやPM2.5の発生の判定に関しては、無人航空機11の撮像部113bの撮影画像により判定することができる。また、無人航空機11またはリモコン12に湿度、水蒸気量、風速等を計測するセンサを搭載し、計測データに基づき判定しても良い。また、ネット上の天気情報を取得して、判定するようにしても良い。そして、もや、霧、雨などが判定されたならば、晴れや曇りと判定されたときより狭くなるように閾値(範囲)を設定することができる。また、花粉やPM2.5の量が多ければ多い程、狭くなるように範囲を設定することができる。
また、リモコン12を用いて操縦者に天候状況を入力させ、その入力情報に基づいて閾値(飛行範囲)を設定するようにしても良い。
例えば、図10(a),(b)に示すように、気象によって閾値や補正係数を設定することができる。また、風速によって閾値や補正係数を設定できるようにしてもよい。この場合、風速が大きいと狭い範囲を設定し、風速が小さいとより広い範囲を設定するようにしてもよい。
また、操縦者が無人航空機11を見る方向に太陽がある場合、つまり逆光の場合、は飛行範囲を狭く設定するようにしてもよい。逆光を判断するための情報としては、季節および時刻に基づく太陽の位置、GPS位置情報等、無人航空機11の撮像部113bの撮影画像等を使用することができる。また、リモコン12にカメラおよびデジタルコンパスを備えている場合には、それらにより取得される画像および方位情報を利用することができる。撮影した周囲風景から、カメラおよびデジタルコンパスを備える携帯機器を利用して画像および方位情報を取得しても良い。
サーバ13は、取得した情報に基づいて無人航空機11を操縦者が観察したときに逆光となるか否かを判定し、逆光の場合には飛行範囲が狭くなるように閾値を変更する。
(2-2D:操縦者が入力した情報の場合)
次に、図7のステップS31で取得した情報が、操縦者がリモコン12や所持する携帯機器に入力した情報である場合について説明する。
例えば、無人航空機11に表示部を設ける。そして、無人航空機11を操縦者から所定距離だけ離れた位置でホバリングさせて、無人航空機11の表示部に表示(文字、色、画像の動き等)を行い、操縦者に何が表示されているかをリモコン12やその他携帯機器から回答させる。このような計測を複数の位置で行い、サーバ13は各々の位置での回答結果に基づいて、閾値や補正係数を設定することができる。例えば、操縦者が回答を間違えたときの飛行位置を飛行範囲の境界として所定範囲を設定してもよい。または、距離閾値の初期値に相当する距離で測定を行い、操縦者が目視可能と回答した場合には距離閾値の補正係数を1に設定し、目視不可と回答した場合には補正係数を1よりも小さく設定することができる。なお、無人航空機11に表示部を設けずに、LED等を設け、光の色を操縦者に回答させてもよい。
(2-3:所定の範囲の変更)
次に、図7のステップS34における、無人航空機11が飛行できる所定の範囲を変更する方法について説明する。
上述したステップS31における所定範囲の設定は、基本的には無人航空機11の飛行開始時に行われる。もちろん、範囲の設定は、飛行開始前に行われてもいいし、飛行開始してから行われても良いし、開始と同時に行われても良い。しかし、設定部1331が、飛行できる範囲を設定した後に、状況が変化する場合がある。そのような状況の変化を検出した場合には、閾値(範囲)や補正係数を変更してもよい。なお、状況の変化は、自動で検出してもよい。操縦者が状況の変化を判断して、リモコン12や携帯機器を操作して閾値(飛行範囲)を変更するようにしても良い。
例えば、撮像部113aや撮像部113bの撮影画像、または位置検出部115が検出した位置情報から、無人航空機11が飛行している位置が郊外から都心部の街中に変化したと検出した場合には、郊外に基づく飛行範囲から街中に基づく飛行範囲へ変更することができる。つまり、閾値又は補正係数を変更することにより、飛行範囲を狭く変更することができる。逆に、無人航空機11の飛行位置が、都心部の街中から郊外に変化したと検出した場合には、街中に基づく飛行範囲から郊外に基づく飛行範囲へ変更することができる。つまり、飛行範囲が広くなるように変更することができる。また、飛行している場所の気象が晴れから曇りに変化した場合は、晴れに基づく飛行範囲から曇りに基づく飛行範囲へ変更することができる。また、無人航空機11を立ち止まって操縦していた操縦者が、移動を開始したことをGPS位置情報等により検出した場合には、無人航空機11の飛行範囲を狭くなるように変更する。別の言い方で説明をする。第一時刻に取得した情報を第一情報とし、第一時刻より後の第二時刻に取得した情報を第二情報とする。ここで言う第一情報と第二情報とは、上述した所定の範囲を設定するのに必要な情報である。つまり、操縦者の特性(視力、性別、身長、無人航空機11の操縦経験等)に関する情報、無人航空機が飛行する周囲状況(場所、見晴し、人の数、周囲にある物体等)に関する情報、気象に関する情報、操縦者がリモコン12や所持する携帯機器に入力した情報等があげられる。第一情報と第二情報とは、取得された時刻が異なる。これら第一情報と第二情報とを比較して変化があった場合(第一情報と第二情報とが異なる場合)、後から取得した第二情報に基づいて範囲を変更することができる。
このような処理を行うことで、適正な飛行範囲を随時設定することができる。なお、ステップS34の処理は必須ではない。
また、操縦者がリモコン12を操作して無人航空機11の飛行制御している場合、サーバ13の記憶部132に無人航空機11の飛行軌跡を記憶し、飛行軌跡がスムーズであれば所定の範囲を広くするように各閾値や補正係数を変更しても良い。
なお、上述した複数の閾値設定については、単独で採用しても良いし、複数を組み合わせて採用しても良い。複数組み合わせて採用する場合、例えば、閾値に対する補正係数がk1~knのようにn個あった場合に、それぞれの補正係数を乗算したk1×k2×~×knで初期閾値を補正してもよい。すなわち、(補正後閾値)=(初期閾値)×k1×k2×~×knとして算出してもよい。
または、k1<k1<k3<1、1<k4<k5のような5つの補正係数があった場合に、最も小さいk1と最も大きなk5とを乗算したk1×k5で初期閾値を補正するようにしても良い。なお、補正係数がk1<k1<k3<1の3つの場合または1<k4<k5の2つの場合には、最も小さいk1または最も大きいk5で初期閾値を補正してもよい。
以上説明したような処理を行うことで、操縦者や周辺の状況に応じて、無人航空機11が飛行できる範囲を適切に設定することができる。各操縦者にそれぞれ合った飛行範囲を設定することができる。天気や場所などにそれぞれ合った飛行範囲を設定することができる。また、操縦者や飛行環境が変化した場合に、随時飛行範囲を再設定し、適切な範囲を保つことができる。
(第三の実施の形態)
次に、無人航空機11が飛行している位置が所定の範囲外と推定された場合の飛行制御について図6を使用して説明する。主に図6のステップS9での飛行制御について詳述する。所定の範囲とは、操縦者が無人航空機11を確認(監視、視認、目視)できる範囲や、見失わない範囲、リモコン12の制御信号を受け付ける範囲等があげられる。このような範囲は、例えば、操縦者の正面方向の範囲、操縦者の目線方向から所定の角度内の範囲、操縦者の後ろを含まない範囲等が考えられる。また、障害物により操縦者から遮蔽される範囲は、所定に範囲に含まれなくてもよい。
無人航空機11が飛行している位置が所定の範囲外と推定された場合とは、例えば、上述した第一の実施の形態で、所定の範囲外と推定された場合等があげられる。なお、無人航空機11の飛行位置が所定の範囲外と推定部1332によって推定された場合は、基本的にリモコン12による操縦操作を受け付けないようにしてもよい。
図6のステップS9で、飛行制御部112は、飛行部111を制御し、所定範囲外に飛行を回避するための回避制御を行う。回避制御とは、無人航空機11が所定の範囲外を飛行していると推定部1332に推定された場合に行う制御である。例えば、(1)ホバリング制御、(2)所定の範囲内に近づく制御、(3)予め設定された位置へ飛行する制御、(4)無人航空機11が自ら飛行する位置や方向を決める制御、などがあげられる。
(3-1:ホバリング制御)
無人航空機11が所定の範囲外を飛行していると推定部1332に推定された場合、飛行制御部112は、飛行部111を制御し、その場でホバリングをさせる。また、無人航空機11を操縦者に近づける方向や、操縦者の視線方向と一致する方向へ飛行させ、そして、その場でホバリングをさせてもよい。飛行制御部112は、飛行部111を制御するための信号を生成し、飛行部111を制御することができる。また、障害物がある場合には、障害物を避けて操縦者から見えやすくなるように、上方へ移動した後にホバリング状態を維持するようにしてもよい。
図5はホバリング制御の一例を示す模式図である。図5に示すような建築物70の背後を飛行する飛行経路R1を飛行する場合、無人航空機11が建築物70の背後に隠れたときに目視できなくなり、所定の範囲外を飛行していることになる。
その場合には、符号Hで示すように飛行高度を上げて符号P10で示す位置でホバリング状態を維持すればよい。その結果、無人航空機11は建築物70の背後から現れ、操縦者は無人航空機11を確認することができる。操縦者は無人航空機11を確認することができるようになったことは、例えば、無人航空機11の撮像部113aで撮影された画像に操縦者が映っていることから判別することができる。また、目視できているか否かを、リモコン12を介して操縦者に回答させるようにしても良い。なお、その際に、無人航空機11から光や音を発生して操縦者の注意を引くようにしても良い。または、リモコン12に無人航空機11の位置情報を表示しても良い。リモコン12から警報音等の警報を発するようにしても良い。なお、回避制御中はリモコン12による操縦操作を受け付けないようにしてもよい。この操縦操作を受け付けない状態は、所定の範囲内を飛行している(操縦者が無人航空機11を視認している)と推定部1332が推定したら解除されるようにしてもよい。
このような回避制御によって、無人航空機11が所定の範囲内を飛行していると推定部1332が推定するようになった場合、サーバ13は、目的地OPへの飛行制御を再開する。その際、無人航空機11が自動飛行する飛行モードの場合には、建築物70の背後とならないような飛行経路へ自動的にルート変更してもよい。リモコン12の操作による飛行も可能な半自動の飛行モードの場合には、操縦者が建築物70から外れた位置までマニュアル飛行させてから、目的地OPへの飛行を再開させてもよい。また、リモコン操縦による飛行モードの場合には、位置P10からリモコン12による操縦を開始してもよい。なお、上記のようなホバリングを行っても目視可能な状態にならない場合には、サーバ13は後述する他の回避制御のいずれかを行わせるようにしてもよい。
(3-2:所定の範囲内に近づく制御)
第2の回避制御としては、所定の範囲内の方向へ飛行させる制御があげられる。所定の範囲内の方向は、図5の符号REで示す飛行経路のような無人航空機11を位置P11まで飛行経路に沿って逆行させる方向があげられる。また、操縦者へ近づく方向があげられる。なお、その際に、無人航空機11から光や音を発生して操縦者の注意を引くようにしても良い。位置P11は、例えば、所定距離だけ逆行した位置に設定される。その際に、リモコン12の表示部121に、周辺地図と無人航空機11の現在位置を表示しても良い。
また、操縦者の位置まで戻っても良い。飛行経路に沿って逆行させながら目視可能か否かを操縦者に問い合わせるようにしても良い。操縦者からの回答が目視可能となったならば、ホバリング待機して操縦者の指示を待つようにしても良いし、自動的に目的地への飛行動作を再開するようにしても良い。
なお、リモコン12の操作により飛行制御する飛行モードの場合、無人航空機11が帰還飛行していることを表示部121に表示したりして操縦者に報知するようにし、その間はリモコン12よる飛行操縦を受け付けないようにしてもよい。
(3-3:予め設定された位置へ飛行する制御)
第3の回避制御としては、無人航空機11を予め設定した所定位置Pに飛行させる制御があげられる。なお、目的地までに複数の所定位置を予め設定しておき、最も近い所定位置Pに飛行させるようにしても良い。なお、リモコン12の表示部121や操縦者の携帯機器の表示部に周辺地図と移動した所定位置Pとを表示して、操縦者に無人航空機11の現在位置を知らせるようにしても良い。
なお、所定位置Pに移動した後は、着地するようにしてもよい。その際に、撮像制御部114は、無人航空機11に搭載した撮像部113a又は撮像部113bにより無人航空機11に近づく不審者の監視を行ってもよい。また、無人航空機11に赤外光、超音波、可視光などを利用した人感センサを搭載し、その人感センサにより接近者を検出したらサーバ13やリモコン12に通知するようにしてもよい。その場合に、不審者を撮像部113a又は撮像部113bで撮影して、撮影画像をサーバ13やリモコン12に送信するようにしても良い。不審者を検出した場合に、無人航空機11を上空に上昇させて危険を回避するようにしても良いし、他の所定位置に移動しても良い。
(3-4:無人航空機11が自ら飛行する位置や方向を決める制御)
第4の回避制御としては、無人航空機11が自ら飛行する位置や方向を決める制御があげられる。
例えば、無人航空機11の撮像部113aで周囲画像を撮影し、安全な場所や方向を自律的に探すようにしてもよい。安全な場所とは、例えば、障害物がない場所、平らな場所、人が少ない場所、等があげられる。このような安全な位置を探す制御は、サーバ13が行っても良いし、無人航空機11が行っても良い。その場合、予め安全とみなせる場所に関するテンプレートを無人航空機11の図示しない記憶部や、サーバ13の記憶部132に予め登録しておき、記憶部132から読み出したテンプレートと撮影画像とを比較して安全な場所か否かを判定する。例えば、水上、道路の標識あるところ、でこぼこな場所等は安全な場所と判定されない。
安全な場所が見つかったならば、その位置へ飛行する。安全な場所で着陸するようにしてもよい。そして、リモコン12の表示部121や操縦者の携帯機器の表示部に周辺地図と着陸位置とを表示して、操縦者に無人航空機11の現在位置を知らせるようにしても良い。着陸後は上述した不審者監視を行ってもよい。不審者を発見した場合には他の場所へ避難移動し、移動場所をリモコン12やサーバ13へ送信してもよい。
安全な場所を探す動作を無人航空機11が自律的に行った後に、その場所が安全か否かの最終判断は操縦者が行うようにしてもよい。例えば、無人航空機11は、探査した着陸地点およびその周囲の画像をリモコン12に送信し、操縦者が着陸の可否を決定する。操縦者が着陸地点としてOKと判断したならば、操縦者はリモコン12を操作して着陸を許可する信号を送信する。なお、場所探査中は、着陸を許可する操作は許されているが、リモコン12による操縦操作については許可されていないようにしてもよい。無人航空機11は、許可信号を受信すると着陸地点に着陸してもよい。着陸後の動作は、上述した場合と同様にしてもよい。
なお、ここでは、着陸地点の探査は無人航空機11が自律的に行い、着陸地点の安全性判断を操縦者が行うようにしたが、リモコン12による操縦操作を不許可とせずに、着陸地点の探査も操縦者がリモコン12を操縦して行うようにしても良い。
上述の(1)~(4)では各々の回避制御について説明したが、予めいずれか一つの回避制御が設定され、その設定された回避制御が実行されるようにしてもよい。また、複数の回避制御を設定しても良い。その場合、複数の回避制御に対して実行の優先順位を決めておいてもよい。例えば、(1)、(2)、(3)、(4)の順に優先順位を設定する。そして、優先順位の高いものから実行され、その回避制御を行っても飛行位置が所定の範囲内にならない場合や、その回避制御が実行不可能な場合には、その次の順位の回避制御が実行されるようにしてもよい。
例えば、(1)の回避制御におけるホバリング制御が所定時間経過しても飛行位置が所定の範囲内にならない場合(操縦者が無人航空機11を視認できない場合)には、(2)の回避制御へ移行する。(2)の回避制御で所定の範囲内に近づく方向へ飛行する場合に、風や障害物、電池残量等によって所定の範囲内まで戻れないと判断したら(3)の回避制御へ移行する。(3)の回避制御において、風や障害物、電池残量等によって所定位置まで移動できないと判断した場合には、(4)の危険回避動作へ移行する。
なお、(1)、(2)、(3)、(4)という優先順位は一例であって、例えば、(1)の回避制御を行わず(2)、(3)、(4)の回避制御の何れかを行うようにしても良いし、(1)の回避制御の後に、(4)の回避制御を行うようにしても良い。また、リモコン12を操作して、優先順位を操縦者が設定できるようにしても良い。
図11は、図6のステップS9の処理の一例を示すフローチャートである。本実施の形態では、ステップS9における回避制御処理において、優先順位1位の回避制御として上記(1)の回避制御を行い、優先順位2位の回避制御として上記(2)の回避制御を行う場合について説明する。
(ステップS300)
飛行制御部112は、飛行部111を制御し、無人航空機11を所定高度(図5の位置P10)へ上昇させ、その位置でホバリングさせる。ステップS300の処理が終了するとステップS310へ進む。
(ステップS310)
撮像制御部114は、撮像部113a又は113bを制御し、画像を取得させる。また、メイン制御部117は、通信部116を制御し、取得した画像をサーバ13へ送信させる。ステップS310の処理が終了するとステップS320へ進む。
(ステップS320)
メイン制御部117は、図8のステップS64において送信される推定結果、すなわち、無人航空機11が所定の範囲内を飛行していない(所定の範囲外を飛行している)とサーバ13が推定した結果を、通信部116が受信したかどうかを判定する。サーバ13が、操縦者が無人航空機11を視認しているかどうかを推定する方法については、第一の実施の形態に記載する方法があげられる。
サーバ13からの推定結果を受信した場合には、ステップS330に進む。
一方、サーバ13からの推定結果を受信しない場合には、ステップS390へ進む。
(ステップS330)
飛行制御部112は、飛行部111を制御し、図5の符号REの飛行経路のように無人航空機11を目視可能と判定されていた位置P11まで飛行させ、その位置でホバリングさせる。ステップS330の処理が終了するとステップS340へ進む。
(ステップS340)
撮像制御部114は、撮像部113a又は113bを制御し、画像を取得させる。また、メイン制御部117は、通信部116を制御し、取得した画像データをサーバ13へ送信させる。ステップS340の処理が終了するとステップS350へ進む。
(ステップS350)
メイン制御部117は、無人航空機11が所定の範囲内を飛行していない(所定の範囲外を飛行している)とサーバ13が推定した結果を、通信部116が受信したかどうかを判定する。サーバ13が、操縦者が無人航空機11を視認しているかどうかを推定する方法については、第一の実施の形態に記載する方法があげられる。
サーバ13からの推定結果を受信した場合には、ステップS360に進む。
一方、サーバ13からの推定結果を受信しない場合には、ステップS390へ進む。
(ステップS360)
メイン制御部117は、無人航空機11が位置P11に到達したか否かを判定する。位置P11に到達していない判定されるとステップS340へ進む。一方、位置P11に到達したと判定された場合には、ステップS370に進む。
(ステップS370)
飛行制御部112は、飛行部111を制御して位置P11において無人航空機11をホバリングさせる。ステップS370の処理が終了するとステップS380へ進む。
(ステップS380)
メイン制御部117は、通信部116を制御してリモコン12に警報を発生させる。つまり、操縦者に無人航空機11の監視を促す。監視を促す報知をすることで、操縦者は位置P11でホバリングしている無人航空機11を目視するようになる。ステップS380の処理が終了するとステップS340へ進む。
(ステップS390)
目的地OPへの飛行制御を再開し、その後、図6のステップS4へ戻る。
以上のように、サーバ13に推定部1332を設けて、無人航空機11が所定の範囲内を飛行しているか、所定の範囲外を飛行しているかを推定するようにした。その結果、飛行制御部112は、所定の範囲内と所定の範囲外とで異なる制御を行うことができる。例えば、所定範囲内ではリモコン12から制御信号を受け付け、所定範囲外ではリモコン12から制御信号は受け付けずに回避制御を行うことができる。そのため、操縦者は安心して無人航空機11を操縦することができる。また、無人航空機11の飛行の安全を確保することもできる。
また、所定の範囲外を飛行しているかの推定は、操縦者と無人航空機11との距離や、無人航空機11が撮影した画像に含まれる操縦者の顔が占める割合や、操縦者の視認状況などの判定値を閾値と比較することにより行われるため、操縦者に対して適正な範囲を飛行させることができる。
また、操縦者の視力や無人航空機11が飛行している場所や気象などの飛行環境に基づいて飛行範囲を設定するようにしたので、そのときの状況に応じて常に適正な飛行範囲を設定することができる。また、飛行中に飛行環境が変化した場合には、その変化に応じて飛行範囲を変更するようにしているので、環境の変化にも柔軟に対応して飛行範囲を設定することができる。
さらに、無人航空機11が所定の範囲外を飛行していると推定された場合に、上述したような回避制御を行わせるようにしたので、安心で安全な飛行を無人航空機11にさせることができる。例えば、上記(2)では目視可能な位置まで無人航空機11を戻すので、目視不可となった場合でも、再び目視可能な状態に復帰させることができる。また、上記(3)、(4)では、目視不可となった場合には所定位置または安全な位置に無人航空機11を移動させるようにしたので、無人航空機11が人や物に危害を与えるのを防止することができる。加えて、無人航空機11を移動させた後に、リモコン12の表示部121や操縦者の携帯機器の表示部に周辺地図と着陸位置とを表示して、操縦者に無人航空機11の着陸位置を知らせるようにしているので、目視不可となってしまった無人航空機11の喪失を防止できる。
なお、上述した実施の形態では、サーバ13が設定部1331と推定部1332を備える構成にしたが、それに限られない。設定部1331と推定部1332は、無人航空機11に備えられてもいいし、リモコン12が備えてもよい。また設定部1331は、無人航空機が備え、推定部1332はサーバ13が備える構成にしてもよい。設定部1331、推定部1332は、無人航空機11、リモコン12、サーバ13のいずれに備えられても良い。また、その他の構成についても任意の組み合わせでもよい。
なお、上述した所定の制御プログラムは例えばROM,メモリカードまたはハードディスク等の記録媒体に格納され、無人航空機11のメイン制御部117、リモコン12の制御部124、およびサーバ13の制御部133によって実行される。パーソナルコンピュータ等に適用する場合、所定の制御プログラムは、CD-ROM等の記録媒体やインターネット等のデータ信号を通じて提供することができる。図12はその様子を示す図である。パーソナルコンピュータ300は、CD-ROM304を介してプログラムの提供を受ける。また、パーソナルコンピュータ300は通信回線301との接続機能を有する。コンピュータ302は上記プログラムを提供するサーバーコンピュータであり、ハードディスク303等の記録媒体にプログラムを格納する。コンピュータ302はハードディスク303を使用してプログラムを読み出し、通信回線301を介してプログラムをパーソナルコンピュータ300に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線301を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
なお、上述した実施の形態では、無人航空機11の操縦者が目視により監視することを前提として説明したが、無人航空機11を監視する人は操縦者に限定されるものではない。例えば、操縦者とは別に監視を担当する監視者を設けるような場合には、その監視者に関して認証処理や推定処理を行うようにすれば良い。また、サーバ13から指示により自律飛行する場合も同様に監視者を別途設けて、その監視者が目視不可か否かを推定する場合にも適用することができる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、種々の実施の形態及び変形例の任意に組み合わせでも良い。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2016年第72510号(2016年3月31日出願)
日本国特許出願2016年第72511号(2016年3月31日出願)
日本国特許出願2016年第72512号(2016年3月31日出願)
11…無人航空機、12…リモコン、13…サーバ、14…通信ネットワーク、20…頭部装着装置、111…飛行部、112…飛行制御部、113a,113b…撮像部、114…撮像制御部、115,123…位置検出部、116,122,131…通信部、117…メイン制御部、118…障害物検出部、121…表示部、132…記憶部、133…制御部、1331…設定部、1332…推定部、200…発光装置、204…通信機、206…視線方向検出装置

Claims (17)

  1. 飛行装置であって、
    飛行部と、
    ユーザ及び前記ユーザと前記飛行装置との間にある物体を含む画像データを取得可能な取得部と、
    前記飛行部による飛行位置が所定の範囲外である場合は第1制御を行い、前記飛行位置が前記所定の範囲内である場合は第2制御を行う飛行制御部と、を備え、
    前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替え、前記ユーザと前記飛行装置とが前記物体によって遮られる場合、前記第1制御を行う
    飛行装置。
  2. 飛行装置であって、
    飛行部と、
    ユーザを含む画像データ及び前記ユーザの視線方向に関する情報を取得可能な取得部と、
    前記飛行部による飛行位置が所定の範囲外である場合は第1制御を行い、前記飛行位置が前記所定の範囲内である場合は第2制御を行う飛行制御部と、を備え、
    前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替え、前記視線方向と前記ユーザから前記飛行装置への方向とが異なる場合、前記第1制御を行う
    飛行装置。
  3. 前記飛行制御部は、前記画像データに含まれる前記ユーザの顔の大きさが所定より小さい場合、前記第1制御を行う
    請求項1又は2に記載の飛行装置。
  4. 前記飛行制御部は、前記画像データに基づいて前記ユーザとの距離が所定より大きいと判断する場合、前記第1制御を行う
    請求項1から3の何れか1項に記載の飛行装置。
  5. 前記飛行制御部は、前記画像データに前記ユーザの顔が含まれない場合、前記第1制御を行う
    請求項1から4の何れか1項に記載の飛行装置。
  6. 前記第1制御は、前記飛行部にホバリングをさせる制御、前記飛行部に前記範囲内へ飛行させる制御、前記飛行部に予め設定された位置へ飛行させる制御、又は画像データに基づく方向へ前記飛行部に飛行させる制御、のうち少なくとも何れか1つを含む
    請求項1から請求項の何れか一項に記載の飛行装置。
  7. 前記飛行制御部は、前記画像データと所定の条件とに基づいて、前記飛行部を飛行させる方向を特定する
    請求項に記載の飛行装置。
  8. 位置情報を取得する位置情報取得部を備え、
    前記位置情報取得部は、前記飛行制御部が特定した方向へ前記飛行部を飛行させた後に、前記位置情報を取得する
    請求項に記載の飛行装置。
  9. 前記第2制御は、前記ユーザが所持する機器からの信号に基づいて前記飛行部に飛行させる制御、又は、予め定められたルートを前記飛行部に飛行させる制御である
    請求項1から請求項の何れか一項に記載の飛行装置。
  10. 前記第1制御は、前記機器からの信号に基づいて前記飛行部に飛行させない制御である
    請求項に記載の飛行装置。
  11. 前記所定の範囲は、前記ユーザが前記飛行装置を確認できる範囲である
    請求項1から請求項10の何れか一項に記載の飛行装置。
  12. 前記所定の範囲は、前記ユーザの目線方向と逆方向の範囲を含まない
    請求項11に記載の飛行装置。
  13. 前記所定の範囲を前記ユーザが設定する設定部を備える
    請求項1から12の何れか1項に記載の飛行装置。
  14. 飛行部と、
    ユーザを含む画像データを取得可能な取得部と、
    前記画像データに基づいて前記ユーザから視認されているか否かを判断し、前記飛行部による飛行位置が所定の範囲外である前記ユーザから視認されていないと判断した場合は第1制御を行い、前記飛行位置が前記所定の範囲内である前記ユーザから視認されていると判断した場合は第2制御を行う飛行制御部と、を備える、
    前記飛行制御部は、前記画像データに基づいて前記第1制御と前記第2制御とを切り替える
    飛行装置。
  15. 前記飛行制御部は、前記画像データに含まれる前記ユーザの顔の大きさが所定より小さい場合、前記画像データに前記ユーザの顔が含まれない場合、前記画像データに含まれる前記ユーザの顔が物体によって遮られている場合、又は、前記ユーザの視線方向と前記ユーザから前記飛行装置への方向とが異なる場合、前記ユーザから視認されていないと判断し、前記第1制御を行う
    請求項14に記載の飛行装置。
  16. 前記第1制御は、前記飛行部にホバリングをさせる制御、前記飛行部に前記範囲内へ飛行させる制御、前記飛行部に予め設定された位置へ飛行させる制御、又は、画像データに基づく方向へ前記飛行部に飛行させる制御、のうち少なくとも何れか1つを含む
    請求項14又は15に記載の飛行装置。
  17. 前記第2制御は、前記ユーザが所持する機器からの信号に基づいて前記飛行部に飛行させる制御を含む
    請求項14から16の何れか1項に記載の飛行装置。
JP2018509193A 2016-03-31 2017-03-23 飛行装置 Active JP7120002B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2016072512 2016-03-31
JP2016072512 2016-03-31
JP2016072511 2016-03-31
JP2016072510 2016-03-31
JP2016072511 2016-03-31
JP2016072510 2016-03-31
PCT/JP2017/011789 WO2017170148A1 (ja) 2016-03-31 2017-03-23 飛行装置、電子機器およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017170148A1 JPWO2017170148A1 (ja) 2019-02-07
JP7120002B2 true JP7120002B2 (ja) 2022-08-17

Family

ID=59965590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018509193A Active JP7120002B2 (ja) 2016-03-31 2017-03-23 飛行装置

Country Status (5)

Country Link
US (1) US11905000B2 (ja)
EP (1) EP3438775A1 (ja)
JP (1) JP7120002B2 (ja)
CN (1) CN109074068A (ja)
WO (1) WO2017170148A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7270199B1 (ja) 2023-03-07 2023-05-10 九州電力株式会社 ドローン視認可能領域表示システム
JP7270198B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン操縦位置検索システム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333396B2 (ja) 2015-06-26 2018-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォームの変位を計測する方法及び装置
JP6575476B2 (ja) * 2016-09-30 2019-09-18 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、その制御方法、及びプログラム
KR20180062267A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
CN110114125B (zh) * 2016-12-28 2021-08-31 日本电气方案创新株式会社 无人机操纵系统、操纵信号发射器组和无人机操纵方法
JP6943674B2 (ja) * 2017-08-10 2021-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動体、制御方法及び制御プログラム
JP2019079248A (ja) * 2017-10-24 2019-05-23 アイシン精機株式会社 情報処理装置およびプログラム
JP6945004B2 (ja) * 2017-10-27 2021-10-06 株式会社Nttドコモ 情報処理装置
WO2019087891A1 (ja) * 2017-10-30 2019-05-09 株式会社Nttドコモ 情報処理装置及び飛行制御システム
JP7024997B2 (ja) * 2017-11-03 2022-02-24 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
JP7009987B2 (ja) * 2017-12-27 2022-01-26 トヨタ自動車株式会社 自動運転システム及び自動運転方法
WO2019152384A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc System and method for defending an unmanned aerial vehicle from ground threats
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
JP6803592B2 (ja) * 2018-05-25 2020-12-23 株式会社ナイルワークス ドローンシステム、ドローン、操縦器、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
CN112384441B (zh) * 2018-06-04 2024-03-19 株式会社尼罗沃克 无人机系统
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6586257B1 (ja) 2018-08-16 2019-10-02 楽天株式会社 無人航空機制御システム、無人航空機制御方法、及びプログラム
US20210349476A1 (en) * 2018-09-20 2021-11-11 China Construction Science & Technology Group Co., Ltd. Method and apparatus for controlling cruise of unmanned air vehicle based on prefabricated construction platform
US11443640B2 (en) 2018-10-19 2022-09-13 Anduril Industries, Inc. Ruggedized autonomous helicopter platform
JP7190325B2 (ja) * 2018-10-25 2022-12-15 株式会社Nttドコモ 情報処理装置
CN112119013A (zh) * 2018-11-30 2020-12-22 乐天株式会社 显示控制系统、显示控制装置及显示控制方法
CN112105559A (zh) * 2018-11-30 2020-12-18 乐天株式会社 显示控制系统、显示控制装置及显示控制方法
WO2020121664A1 (ja) * 2018-12-14 2020-06-18 株式会社Nttドコモ 情報処理装置
US10884415B2 (en) * 2018-12-28 2021-01-05 Intel Corporation Unmanned aerial vehicle light flash synchronization
JP2020104803A (ja) * 2018-12-28 2020-07-09 キヤノンマーケティングジャパン株式会社 無人航空機、無人航空機の制御方法、およびプログラム
US11235776B2 (en) * 2019-01-31 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling a vehicle based on driver engagement
JP6667726B1 (ja) * 2019-02-19 2020-03-18 賢一 金子 無人飛行装置、管理装置、及び飛行管理方法
US11447931B2 (en) * 2019-05-15 2022-09-20 Caterpillar Inc. Ground engaging tool monitoring system
JP2021033447A (ja) * 2019-08-20 2021-03-01 ソニー株式会社 移動装置、移動体制御システム、および移動体制御方法、並びにプログラム
JP6656459B1 (ja) * 2019-09-20 2020-03-04 ソフトバンク株式会社 移動体、システム、プログラム、及び制御方法
JP7058296B2 (ja) * 2020-02-28 2022-04-21 ソフトバンク株式会社 制御装置、プログラム、及びシステム
JP2021196254A (ja) * 2020-06-12 2021-12-27 株式会社アイシン 物体検出装置
US11392118B1 (en) * 2021-07-23 2022-07-19 Beta Air, Llc System for monitoring the landing zone of an electric vertical takeoff and landing aircraft
WO2023042551A1 (ja) * 2021-09-17 2023-03-23 株式会社Nttドコモ 情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246665A (ja) 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012083318A (ja) 2010-10-14 2012-04-26 Institute Of National Colleges Of Technology Japan 気象観測装置
JP2014053821A (ja) 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
JP2017119501A (ja) 2015-08-06 2017-07-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569345T3 (es) * 2011-01-30 2016-05-10 Elbit Systems Ltd. Limitación dinámica de inclinaciones de superficies monobloques de control de vuelo durante condiciones de susceptibilidad de pérdida de sustentación
US9386115B2 (en) * 2011-06-09 2016-07-05 Microsoft Technology Licensing, Llc Selection of proxy device for connection pooling
JP5998830B2 (ja) * 2012-10-15 2016-09-28 富士ゼロックス株式会社 電力供給制御装置、画像処理装置、電力供給制御プログラム
JP6029446B2 (ja) 2012-12-13 2016-11-24 セコム株式会社 自律飛行ロボット
JP6278539B2 (ja) * 2014-09-05 2018-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 状況に基づく飛行モード選択
WO2017022179A1 (ja) 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
CN105141851B (zh) * 2015-09-29 2019-04-26 杨珊珊 无人飞行器用控制系统、无人飞行器及控制方法
CN105242684A (zh) * 2015-10-15 2016-01-13 杨珊珊 一种伴随拍摄飞行器的无人机航拍系统及方法
CN105278544B (zh) 2015-10-30 2018-05-08 小米科技有限责任公司 无人飞行器的控制方法及装置
CN105353765B (zh) * 2015-11-10 2018-07-03 浙江华飞智能科技有限公司 一种控制无人机降落的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246665A (ja) 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012083318A (ja) 2010-10-14 2012-04-26 Institute Of National Colleges Of Technology Japan 気象観測装置
JP2014053821A (ja) 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
JP2017119501A (ja) 2015-08-06 2017-07-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7270198B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン操縦位置検索システム
JP7270199B1 (ja) 2023-03-07 2023-05-10 九州電力株式会社 ドローン視認可能領域表示システム

Also Published As

Publication number Publication date
JPWO2017170148A1 (ja) 2019-02-07
EP3438775A1 (en) 2019-02-06
US11905000B2 (en) 2024-02-20
CN109074068A (zh) 2018-12-21
US20190176967A1 (en) 2019-06-13
WO2017170148A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP7120002B2 (ja) 飛行装置
US11093026B2 (en) Electronic device displays an image of an obstructed target
US20220234733A1 (en) Aerial Vehicle Smart Landing
US10322804B2 (en) Device that controls flight altitude of unmanned aerial vehicle
CN109416536B (zh) 用于自动跟踪和导航的系统和方法
KR101768012B1 (ko) 열화상 카메라가 장착된 드론을 이용한 잔불 감지 시스템
US20130250078A1 (en) Visual aid
US10321065B2 (en) Remote communication method, remote communication system, and autonomous movement device
JP7432595B2 (ja) 連携仮想インターフェース
Ruiz et al. Idrone: Robust drone identification through motion actuation feedback
JP2017111790A (ja) 移動制御方法、自律移動ロボット及びプログラム
US20230097676A1 (en) Tactical advanced robotic engagement system
US20220412741A1 (en) Information processing apparatus, information processing method, and program
US20230236017A1 (en) Personal protective equipment for navigation and map generation within a visually obscured environment
US20210118311A1 (en) Flight route guidance system, flight route guidance device and flight route guidance method
CN112154389A (zh) 终端设备及其数据处理方法、无人机及其控制方法
US20230221123A1 (en) Personal protective equipment for navigation and map generation within a hazardous environment using fiducial markers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7120002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150