JPWO2020136703A1 - 無人航空機制御システム、無人航空機制御方法、及びプログラム - Google Patents

無人航空機制御システム、無人航空機制御方法、及びプログラム Download PDF

Info

Publication number
JPWO2020136703A1
JPWO2020136703A1 JP2020502248A JP2020502248A JPWO2020136703A1 JP WO2020136703 A1 JPWO2020136703 A1 JP WO2020136703A1 JP 2020502248 A JP2020502248 A JP 2020502248A JP 2020502248 A JP2020502248 A JP 2020502248A JP WO2020136703 A1 JPWO2020136703 A1 JP WO2020136703A1
Authority
JP
Japan
Prior art keywords
unmanned aerial
aerial vehicle
landing
type
takeoff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020502248A
Other languages
English (en)
Other versions
JP6748797B1 (ja
Inventor
敏明 田爪
敏明 田爪
勇人 水上
勇人 水上
清楠 周
清楠 周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6748797B1 publication Critical patent/JP6748797B1/ja
Publication of JPWO2020136703A1 publication Critical patent/JPWO2020136703A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • B64D45/04Landing aids; Safety measures to prevent collision with earth's surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/007Helicopter portable landing pads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/18Visual or acoustic landing aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/90Launching from or landing on platforms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0065Navigation or guidance aids for a single aircraft for taking-off
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025Navigation or guidance aids
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/60UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/64UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

無人航空機制御システム(1)の検出手段(400)は、無人航空機(20)の着陸と離陸の少なくとも一方が行われる場所にある物体を検出する。種別特定手段(101)は、検出手段(400)の検出結果に基づいて、物体の種別を特定する。制限手段(104)は、種別特定手段(101)により特定された種別に基づいて、無人航空機(20)の着陸と離陸の少なくとも一方を制限する。

Description

本発明は、無人航空機制御システム、無人航空機制御方法、及びプログラムに関する。
従来、カメラや赤外線センサなどを利用して物体を検出し、無人航空機の飛行を制御する技術が知られている。例えば、特許文献1には、無人航空機が離着陸するポート内に人などの物体が存在するか否かをレーザセンサによって検出し、ポート内に物体が存在する場合に無人航空機の離着陸を制限することによって、離着陸時の安全性を高める技術が記載されている。
国際公開第2018/155700号
しかしながら、特許文献1の技術では、レーザセンサによって物体が検出されると強制的に離着陸が制限されるので、例えば、落ち葉やビニール袋などのように、離着陸時の安全性に実質的な影響を与えない物体であったとしても、無人航空機を離着陸させることができなくなる。このため、特許文献1の技術では、必要以上に厳格に離着陸を制限してしまい、柔軟性に乏しかった。
本発明は上記課題に鑑みてなされたものであって、その目的は、安全性の向上と柔軟性の向上を両立させることが可能な無人航空機制御システム、無人航空機制御方法、及びプログラムを提供することである。
上記課題を解決するために、本発明に係る無人航空機制御システムは、無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出手段と、前記検出手段の検出結果に基づいて、前記物体の種別を特定する種別特定手段と、前記種別特定手段により特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限手段と、を含むことを特徴とする。
本発明に係る無人航空機制御方法は、無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出ステップと、前記検出ステップの検出結果に基づいて、前記物体の種別を特定する種別特定ステップと、前記種別特定ステップにより特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限ステップと、を含む。
本発明に係るプログラムは、無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出手段の検出結果に基づいて、前記物体の種別を特定する種別特定手段、前記種別特定手段により特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限手段、としてコンピュータを機能させる。
また、本発明の一態様では、前記種別特定手段は、前記種別として、静止している静止物体であるか、移動している又は移動しうる移動物体であるか、を特定し、前記制限手段は、前記物体が前記静止物体又は前記移動物体の何れであるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機は、貨物を運搬可能であり、前記種別特定手段は、前記種別として、貨物であるか、貨物以外であるかを特定し、前記制限手段は、前記物体が貨物又は貨物以外の何れであるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、ことを特徴とする。
また、本発明の一態様では、前記場所は、前記無人航空機に着陸と離陸の少なくとも一方を行わせるためのエリアが予め決められており、前記検出手段は、前記エリア内にある物体と、前記エリア周辺にある物体と、の少なくとも一方を検出する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記物体の位置を特定する位置特定手段を更に含み、前記制限手段は、前記位置特定手段により特定された位置に更に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、ことを特徴とする。
また、本発明の一態様では、前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、前記制限対象種別は、前記位置特定手段により特定された位置に応じて設定される、ことを特徴とする。
また、本発明の一態様では、前記場所は、前記無人航空機に着陸と離陸の少なくとも一方を行わせるためのエリアが予め決められており、前記位置特定手段は、前記位置として、前記エリア内であるか、前記エリア周辺であるか、を特定し、前記制限手段は、前記物体が前記エリア内又は前記エリア周辺の何れにあるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、ことを特徴とする。
また、本発明の一態様では、前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、前記無人航空機は、複数の飛行モードのうちの何れかに基づいて飛行し、前記無人航空機制御システムは、前記無人航空機の飛行モードを特定する飛行モード特定手段を更に含み、前記制限対象種別は、前記飛行モードに応じて設定される、ことを特徴とする。
また、本発明の一態様では、前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、前記制限対象種別は、前記無人航空機が着陸又は離陸の何れを行うかに応じて設定される、ことを特徴とする。
また、本発明の一態様では、前記無人航空機は、貨物を運搬可能であり、前記制限対象種別は、貨物であり、前記制限手段は、前記無人航空機が離陸する場合には、前記種別特定手段により貨物が特定されたとしても、前記無人航空機の離陸を制限せず、前記無人航空機が着陸する場合には、前記種別特定手段により貨物が特定された場合に、前記無人航空機の着陸を制限する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、飛行中の前記無人航空機と前記場所との位置関係を特定する位置関係特定手段と、前記位置関係特定手段により特定された位置関係に応じた送信先に、当該位置関係に応じた情報を送信する送信手段と、を更に含むことを特徴とする。
また、本発明の一態様では、前記位置関係特定手段は、前記位置関係として、飛行中の前記無人航空機と前記場所との距離を特定し、前記送信手段は、前記位置関係特定手段により特定された距離に応じた送信先に、当該距離に応じた情報を送信する、ことを特徴とする。
また、本発明の一態様では、前記送信手段は、前記距離が第1の閾値未満になった場合に、第1の送信先に第1の情報を送信し、前記距離が前記第1の閾値よりも小さい第2の閾値未満になった場合に、第2の送信先に第2の情報を送信する、ことを特徴とする。
また、本発明の一態様では、前記送信手段は、前記距離が前記第1の閾値未満になった場合に、ユーザ端末に対し、所定のメッセージを送信し、前記距離が前記第2の閾値未満になった場合に、前記無人航空機に、前記制限手段に基づく制御信号を送信する、ことを特徴とする。
また、本発明の一態様では、飛行中の無人航空機と、着陸及び離陸の少なくとも一方が行われる場所と、の位置関係を特定する位置関係特定手段と、前記位置関係特定手段により特定された位置関係に応じた送信先に、当該位置関係に応じた情報を送信する送信手段と、を含むことを特徴とする。
本発明によれば、安全性の向上と柔軟性の向上を両立させることが可能になる。
無人航空機制御システムの全体構成を示す図である。 無人航空機が着陸する様子を示す図である。 無人航空機の着陸が制限される様子を示す図である。 無人航空機の着陸が制限される様子を示す図である。 無人航空機の離陸が制限される様子を示す図である。 無人航空機の離陸が制限される様子を示す図である。 無人航空機制御システムで実現される機能の一例を示す機能ブロック図である。 検出部により出力される撮影画像を示す図である。 制限対象種別データのデータ格納例を示す図である。 飛行管理データのデータ格納例を示す図である。 着陸時の処理の一例を示すフロー図である。 離陸時の処理の一例を示すフロー図である。 無人航空機がポートに向けて移動する様子を示す図である。 ユーザ端末に送信されたメッセージの一例を示す図である。 実施形態2の機能ブロック図である。 実施形態2において実行される処理を示す図である。
[1.実施形態1]
以下、本発明に関わる無人航空機制御システムの実施形態(以降、実施形態1と記載する。)の例を説明する。
[1−1.無人航空機制御システムの全体構成]
図1は、無人航空機制御システムの全体構成を示す図である。図1に示すように、無人航空機制御システム1は、サーバ10、無人航空機20、ユーザ端末30、及び検出装置40を含み、これらはネットワークNに接続されている。なお、図1では、サーバ10、無人航空機20、ユーザ端末30、及び検出装置40の各々を1つずつ示しているが、これらは複数台あってもよい。
サーバ10は、サーバコンピュータである。サーバ10は、制御部11、記憶部12、及び通信部13を含む。制御部11は、少なくとも1つのマイクロプロセッサを含む。制御部11は、記憶部12に記憶されたプログラムやデータに従って処理を実行する。記憶部12は、主記憶部及び補助記憶部を含む。例えば、主記憶部はRAMなどの揮発性メモリであり、補助記憶部は、ROM、EEPROM、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。通信部13は、有線通信又は無線通信用の通信インタフェースであり、ネットワークNを介してデータ通信を行う。
無人航空機20は、人が搭乗しない航空機であり、例えば、バッテリーで駆動する無人航空機(いわゆるドローン)やエンジンで駆動する無人航空機である。無人航空機20は、制御部21、記憶部22、通信部23、撮影部24、及びセンサ部25を含む。無人航空機20は、プロペラ、モータ、バッテリー、及びアンテナなども含むが、ここでは説明を省略する。
制御部21、記憶部22、及び通信部23は、それぞれ制御部11、記憶部12、及び通信部13と同様のハードウェア構成であってよい。なお、通信部23は、FASST、FHSS、DMSS、又はAFHSSといった特定機器(例えば、いわゆるラジコン)用の無線通信インタフェースを含んでいてもよく、通信部13を介して操縦機(いわゆるプロポ)と無線通信することによって、無人航空機20を操縦可能としてもよい。
撮影部24は、少なくとも1台のカメラを含む。例えば、撮影部24は、CCDイメージセンサやCMOSイメージセンサなどの撮像素子を含み、当該撮像素子が撮影した画像をデジタルデータとして記録する。画像は、静止画であってもよいし、所定のフレームレートで連続的に撮影された動画であってもよい。
センサ部25は、少なくとも1つのセンサを含み、例えば、GPSセンサを含む。GPSセンサは、衛星からの信号を受信する受信機を含み、例えば、受信機が受信した信号に基づいて位置情報を検出する。位置情報は、例えば、緯度経度情報又は座標情報であり、例えば、地上の2次元的な位置を示してもよいし、高度も含む3次元的な位置を示してもよい。なお、無人航空機20には、任意のセンサが搭載されてよく、センサ部25は、加速度センサ、ジャイロセンサ、風センサ、地磁気センサ、高度センサ、変位センサ、感圧センサ、赤外線センサ、レーザセンサ、超音波センサ、又は温度センサ等の任意のセンサを含むようにしてもよい。
ユーザ端末30は、ユーザが操作するコンピュータである。例えば、ユーザ端末30は、携帯電話機(スマートフォンを含む)、携帯情報端末(タブレット型コンピュータを含む)、又は、パーソナルコンピュータ等である。本実施形態では、ユーザ端末30は、制御部31、記憶部32、通信部33、操作部34、表示部35、及び撮影部36を含む。制御部31、記憶部32、通信部33、及び撮影部36は、それぞれ制御部11、記憶部12、通信部13、及び撮影部24と同様のハードウェア構成であってよい。
操作部34は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイス、キーボード、又はボタン等である。操作部34は、ユーザによる操作内容を制御部31に伝達する。表示部35は、例えば、液晶表示部又は有機EL表示部等である。表示部35は、制御部31の指示に従って画像を表示する。
検出装置40は、物体を検出するための装置である。例えば、検出装置40は、カメラ、赤外線センサ、深度センサ、レーザセンサ、熱センサ、超音波センサ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)センサ、人感センサ、又は圧力センサである。なお、検出装置40は、これらの複数のセンサを併用してもよい。
物体を検出する方法自体は、公知の種々の方法を適用可能であり、本実施形態では、検出装置40がカメラであり、検出装置40により撮影された画像を解析して物体を検出する場合を例に挙げる。例えば、検出装置40は、有線通信又は無線通信用の通信インタフェースを含み、自身の検出結果(本実施形態では、カメラが撮影した撮影画像)をサーバ10等に送信可能とするが、検出装置40は、ユーザ端末30と接続され、検出結果がユーザ端末30を介してサーバ10等に送信されてもよい。
なお、サーバ10、無人航空機20、ユーザ端末30、及び検出装置40のハードウェア構成は、図1の例に限られず、種々のハードウェアを適用可能である。例えば、サーバ10、無人航空機20、ユーザ端末30、及び検出装置40の各々は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部(例えば、メモリカードスロットや光ディスクドライブ)を含んでもよいし、外部機器と通信するための入出力部(例えば、USBポート)を含んでいてもよい。また例えば、各装置に記憶されるものとして説明するプログラム及びデータは、読取部又は入出力部を介して供給されるようにしてもよいし、ネットワークNを介して供給されるようにしてもよい。
[1−2.無人航空機制御システムの概要]
本実施形態では、主に、無人航空機20の着陸時と離陸時の飛行制御について説明する。着陸とは、無人航空機20が陸地に着くことである。着陸は、接地又は着地ということもでき、例えば、機体が倒れずにプロペラが完全に停止することを意味する。着陸は、地表面に直接乗ること、及び、シートや建物などの物体上に機体が乗ることの両方を意味する。
離陸とは、無人航空機20が陸地を離れて飛び立つことであり、空中に浮かぶことである。離陸は、無人航空機20が陸地から離れることを意味してもよいし、飛び立った後に機体が安定すること又は所定の高度まで上がることを意味してもよい。なお、無人航空機制御システム1は、着陸時又は離陸時の何れか一方の飛行制御だけを実行してもよい。
図2は、無人航空機20が着陸する様子を示す図である。図2に示すように、本実施形態では、地上にポートPが配置されており、その付近に検出装置40が配置されている。なお、図2では、検出装置40を1台だけ示しているが、ポートPの周囲を取り囲むように、複数の検出装置40が配置されてもよい。また、Wi−Fiアクセスポイント等の通信機器がポートP付近に配置されていてもよい。
ポートPは、着陸と離陸の少なくとも一方のために用意された場所である。本実施形態では、ポートPが離着陸の両方で使用される場合を説明するが、着陸専用のポートPと離陸専用のポートPとが別々に用意されていてもよい。例えば、ポートPは、コンクリートの土台や建物の屋上などのように固定されていてもよいし、マット・シート・板などのように可搬型であってもよい。ポートPは、使用可能な無人航空機20が予め定められていてもよく、例えば、複数の無人航空機20の各々による使用時間が定められていてもよい。
例えば、検出装置40は、ポートPの一部又は全部が検出範囲に収まるような位置に配置される。別の言い方をすれば、ポートPの一部又は全部を検出可能なように、検出装置40の位置及び向きが決定される。検出範囲は、検出装置40で検出可能な範囲である。本実施形態では、検出装置40がカメラなので、検出範囲は、カメラの撮影範囲(画角内)となる。検出装置40が赤外線センサや超音波センサなどであれば、検出範囲は、赤外線や超音波などが届く範囲である。
本実施形態では、検出装置40の検出範囲がポートP及びその周囲を含む場合を説明するが、撮影範囲は、ポートPの内部だけであっても。周囲とは、ポートPの周りの領域であり、例えば、ポートPの外部のうち、ポートPから所定距離未満の領域である。本実施形態では、検出装置40の検出範囲のうち、ポートPを除いた領域(即ち、撮影画像のうち、ポートPが写っていない部分)が周囲に相当する場合を説明するが、当該領域の一部だけが周囲に相当してもよい。
例えば、無人航空機20がポートPに向けて移動する場合、ユーザは、ポートPの付近又は一定距離以上離れた位置で無人航空機20が到着するのを待機する。本実施形態では、ユーザ端末30には、無人航空機20の現在位置などを通知するためのアプリケーション(以降、飛行管理アプリと記載する。)がインストールされており、ユーザは、飛行管理アプリを起動して、無人航空機20の飛行状況を把握する。
例えば、飛行管理アプリでは、無人航空機20の現在位置をリアルタイムに追跡可能としてもよいし、無人航空機20の到着予想時刻を通知してもよい。また例えば、後述する実施形態2のように、無人航空機20がポートPから所定距離(例えば、100メートル)未満の位置まで飛行した場合に、着陸の可否等を知らせるメッセージなどが通知されるようにしてもよい。
無人航空機20は、特に貨物などを保持せずに飛行してもよいが、本実施形態では、貨物を保持したままポートPまで飛行する。貨物とは、運搬の対象となる物であり、無人航空機20が出発地から目的地まで運搬する物である。貨物は、荷物と呼ばれることもある。例えば、貨物は、ユーザが注文した商品、ユーザへの郵便物、又はユーザが作業で使用する資材や工具などである。
例えば、無人航空機20は、貨物を保持する保持部材(例えば、キャッチャ、ケージ、又はコンテナなど)を有し、保持部材により保持された貨物を運搬する。無人航空機20は、ユーザが操縦してもよいが、本実施形態では、予め定められた経路上を自律的に飛行し、着陸時及び離陸時においても自律的に飛行する。
ここでの自律的とは、コンピュータ主体という意味であり、ユーザ主体ではないという意味である。ユーザの操作を一切考慮しない場合も自律的に含まれるし、ユーザの操作を補助的に考慮する場合も自律的に含まれる。本実施形態では、サーバ10が無人航空機20の経路を設定し、サーバ10と無人航空機20とが通信することで、無人航空機20が自律的に飛行する。自律飛行自体は、種々の手法を適用可能であり、例えば、GPSを利用した自律飛行アルゴリズムを利用してもよい。また、無人航空機20に自律飛行アルゴリズムが搭載されており、無人航空機20が特にサーバ10と通信せずに飛行してもよい。
図2に示すように、ポートPは、離着陸の目印となるマークM(図2では「H」の文字を含む円)を含む。例えば、マークMは、着陸時の目標位置として利用することもできるし、離陸時に無人航空機20を配置する位置として利用することもできる。なお、マークMは、無人航空機20の撮影部24又はセンサ部25で検出可能な情報であればよく、文字以外にも、ロゴやイラストといった画像であってもよい。
例えば、無人航空機20の出発地として貨物の集荷場所が設定され、目的地としてポートPの位置が設定される。サーバ10は、集荷場所からポートPまでの飛行ルートを計算し、無人航空機20は、当該飛行ルートに基づいて、自律飛行モードでポートPの上空まで飛行する。無人航空機20がポートPの上空に到着すると、ポートPに着陸するための着陸モードに変化する。無人航空機20は、着陸モードになると、撮影部24又はセンサ部25を利用してマークMを検出する。
マークMの検出方法自体は、公知の手法を適用可能であり、例えば、無人航空機20は、撮影部24の撮影画像から、パターンマッチングや畳み込みニューラルネットワークなどを利用してマークMを検出する。また例えば、無人航空機20は、センサ部25の赤外線センサや超音波センサ等を利用してマークMを検出する。
無人航空機20は、検出したマークMに近づくようにして徐々に高度を下げる。無人航空機20は、ポートP上に着陸するとプロペラの回転を停止する。この場合、ユーザ端末30の飛行管理アプリに対し、着陸が完了した旨の通知が送信されるようにしてもよい。ユーザは、無人航空機20の着陸が成功したことを確認すると、ポートP内に移動して貨物を取り出す。なお、無人航空機20は、着陸した後に、アクチュエータを利用して保持部材を開くことにより、ポートP上に貨物を落下させて離陸してもよい。
無人航空機20は、着陸時に風であおられることがあり、必ずしもマークMの上に正確に着陸できるとは限らない。例えば、着陸時に風が吹くと、無人航空機20はマークMから外れてしまうので、その近くに別の貨物が置かれていると、無人航空機20が接触して転倒する可能性がある。また例えば、着陸時に突風が吹くと、無人航空機20は、ポートPの外にはみ出してしまい、ユーザなどに接触する可能性がある。無人航空機20がポートPから離陸する時も同様であり、風であおられてユーザなどに接触する可能性がある。
そこで、無人航空機制御システム1は、検出装置40により撮影された撮影画像に基づいて、ポートP及びその周囲にある物体を検出し、離着陸の制御をするようにしている。従来技術で説明したように、検出された物体の種別に関係なく強制的に離着陸が制限されると、必要以上に厳格に離着陸が制限されてしまい、柔軟性に乏しくなるので、無人航空機制御システム1は、物体の種別に応じて離着陸を制限するようにしている。以降、着陸時の制御と離陸時の制御を順番に説明する。
図3及び図4は、無人航空機20の着陸が制限される様子を示す図である。なお、図3では貨物にCの符号を付しているが、特に図面を参照する必要のないときは、この符号を省略する。
図3に示すように、ポートP内に別の貨物Cがあることが検出された場合、無人航空機20が貨物Cに接触する確率が高いので、サーバ10は、無人航空機20の着陸を許可しない。この場合、サーバ10は、無人航空機20を、上空でホバリングして待機させる。例えば、ユーザが貨物Cの存在に気付きポートPから貨物Cを撤去すると、ポートP内から貨物Cが撤去されたことが検出され、無人航空機20の着陸が許可される。
ユーザは、ポートPから離れた所に貨物Cを移動させてもよいが、貨物Cのサイズは、人間や自動車などに比べると小さいので、無人航空機20が大きくあおられてポートP外に出たとしても、接触する確率は低い。もし仮に、無人航空機20がポートP外に出て貨物Cに接触したとしても、人間や動物などのように怪我をするわけでもなく、自動車やバイクなどの運転手が驚いてハンドルを切るといった心配もない。このため、貨物Cについては、ポートPの外に移動させれば、着陸時の安全性は十分に確保できると考えられる。
また、ポートPは貨物の受け取り場所になっており、その周囲には、多数の貨物が積まれていることが考えられる。このため、ポートPの周囲に貨物Cがあるというだけで着陸を制限してしまうと、これら多数の貨物を遠くまで移動させなければならなくなり、柔軟性に乏しくなる。このため、貨物Cについては、ポートPの外に移動させることを条件として(ポートPから離れた場所にまで移動させなくても)着陸を許可することで、貨物Cを遠くまで運ぶ手間を省き、安全性と柔軟性を両立させている。
また、図4に示すように、ポートP内にユーザがいることが検出された場合、ポートP内に貨物Cがあるときと同様、無人航空機20の着陸が許可されない。ただし、ユーザは、貨物Cに比べると大きいので、ポートPの外に出たとしても、ポートPの付近にいた場合には、無人航空機20が突風にあおられると、接触する確率は比較的高い。また、無人航空機20がユーザに接触すると、ユーザが怪我をして重大な事故に発展する可能性もある。更に、ユーザがポートPの外に出たとしても、ポートPの付近にいた場合には、ユーザが無人航空機20の存在に気付かずに、ポートPに侵入する可能性もある。
このため、ポートP内にユーザがいることが検出された場合には、安全性を最大限重視して、ポートPから離れた位置(例えば、検出装置40の検出範囲外)に移動することを条件として、着陸が許可されるようになっている。この点、ポートPから貨物Cを運び出すことに比べると、ユーザは、ただ移動すればよいので負担は少ない。更に、ユーザは、原則として貨物Cを受け取る時くらいしかポートP内に立ち入らないので、このような制限を設けたとしても、さほど柔軟性には影響しないと考えられる。このため、検出された物体がユーザである場合には、厳格な制限を設けたとしても、安全性と柔軟性の両立が可能である。
次に、離陸時の処理について説明する。着陸が許可される条件と離陸が許可される条件とは、同じであってもよいが、本実施形態では、これらを異ならせることで、安全性と柔軟性をより向上させるようにしている。
図5及び図6は、無人航空機20の離陸が制限される様子を示す図である。無人航空機20は、貨物をポートPまで運搬するだけでなく、ポートP内で貨物を搭載し、別の場所に運搬することもある。即ち、ポートPは、目的地としてだけでなく、出発地として利用されることもある。このため、図5に示すように、無人航空機20は、貨物Cが搭載された状態で、離陸のスタンバイをしていることがある。
図5の状態において、ポートP内に貨物Cがあることが検出されたとしても、その貨物Cは、無人航空機20が運搬するものなので、離陸に支障はない。このため、無人航空機20が離陸する場合には、着陸時とは異なり、ポートP内に貨物Cがあったとしても離陸が許可される。ポートPの周辺に別の貨物Cがあることが検出された場合には、着陸時と同様の理由で、無人航空機20を離陸させても支障がないと考えられるので、離陸が許可される。
なお、ポートP内に複数の貨物があることが検出された場合、無人航空機20の付近に別の貨物が配置されている確率が高い。この場合、無人航空機20が離陸直後に風にあおられて別の貨物に接触する可能性がある。このため、ポートP内で複数の貨物が検出された場合には、離陸が制限されるようにしてもよい。ただし、複数の貨物が互いに密着して無人航空機20の保持部材の中に格納されていることが検出された場合には、無人航空機20が複数の貨物を同時に運搬するので、このような場合には、離陸が制限されずに許可されてもよい。
また、図6に示すように、ポートP内にユーザがいることが検出された場合、無人航空機20は、ユーザに接触する可能性があるので、離陸が許可されない。また、着陸時と同じ理由で、ユーザがポートPの外に出たとしても、ポートPの付近にいる場合には、無人航空機20がユーザに接触する確率が高く、重大な事故に発展する可能性もある。このため、ユーザについては、着陸時と同様の条件を適用し、ポートPから離れた位置(例えば、検出装置40の撮影範囲外)に移動することを条件として、離陸が許可される。着陸時と同じ理由で、ユーザについては厳格な制限を設けたとしても、柔軟性にはさほど影響せず、安全性と柔軟性の両立が可能である。
なお、図3〜図6では、貨物とユーザを例に挙げたが、物体の種別に応じて着陸や着陸が制限されるようにすればよく、他の種別についても同様の制御が行われるようにしてもよい。例えば、犬や猫などの動物、自動車、又はバイクなどが検出された場合には、ユーザと同様の取扱いとしてもよい。また例えば、地上で貨物を運ぶためのカートなどが検出された場合には、貨物と同様の取扱いとしてもよい。
以上のように、本実施形態の無人航空機制御システム1は、必要以上に厳格に離着陸を制限するのではなく、ポートP及びその周辺にある物体の種別に基づいて離着陸を制限することによって、安全性に実質的に影響しないような物体の場合には離着陸を制限せず、安全性の向上と柔軟性の向上を両立させるようにしている。以降、当該技術の詳細について説明する。
[1−3.無人航空機制御システムにおいて実現される機能]
図7は、無人航空機制御システム1で実現される機能の一例を示す機能ブロック図である。図7に示すように、無人航空機制御システム1では、検出部400、データ記憶部100、種別特定部101、位置特定部102、飛行モード特定部103、及び制限部104が実現される。本実施形態では、検出部400が検出装置40によって実現され、他の各機能がサーバ10によって実現される場合を説明する。
[検出部]
検出部400は、検出装置40によって実現される。検出部400は、無人航空機20の着陸と離陸の少なくとも一方が行われる場所にある物体を検出する。本実施形態では、ポートP及びその周辺の領域が当該場所に相当する場合を説明するが、無人航空機20の着陸と離陸の少なくとも一方が行われる任意の場所であればよく、例えば、駐車場、河川敷、公園、住宅の庭、又は建物の屋上などであってもよい。即ち、ポートPのように離着陸のためだけに用意された場所ではなく、普段は別の目的で使用されるが、ある特定の時にだけ無人航空機20の離着陸に使用される場所であってもよい。
例えば、上記場所は、無人航空機20に着陸と離陸の少なくとも一方を行わせるためのエリアが予め決められており、検出部400は、エリア内にある物体と、エリア周辺にある物体と、の少なくとも一方を検出する。本実施形態では、ポートPが当該エリアに相当する場合を説明するが、予め定められたエリアであればよく、例えば、マットやシートが敷かれたエリア、テープで区切られたエリア、チョークやカラースプレーなどで描かれたエリア、カラーコーン(登録商標)で囲われたエリア、又はフェンスで囲われたエリアといった任意のエリアであってよい。
検出部400は、検出装置40の検出信号に基づいて、ポートP及びその周辺における物体の検出結果を示すデータを出力する。本実施形態では、検出装置40がカメラなので、検出部400は、検出装置40の撮影範囲内の様子を示す撮影画像を生成して出力する。なお、撮影画像は、静止画だけでなく、動画も含む意味である。
図8は、検出部400により出力される撮影画像を示す図である。検出装置40は、ポートP及びその周辺を撮影範囲に含むように配置されるので、図8に示すように、撮影画像Iには、ポートP及びその周辺の様子が示される。例えば、ポートPの周囲は、撮影画像Iのうち、ポートP以外の部分に撮影された領域である。なお、以降では、撮影画像Iの符号を省略する。
なお、検出部400の検出結果を示すデータは、検出装置40として利用するセンサなどに応じて異なり、例えば、赤外線センサを利用する場合には、検出部400は、赤外線センサである検出装置40が計測した赤外線画像を生成する。また例えば、深度センサを利用する場合には、検出部400は、深度センサである検出装置40が計測した深度画像を生成する。深度画像は、物体の深度(深度センサと物体との距離)を示す画像である。
[データ記憶部]
データ記憶部100は、記憶部12を主として実現される。データ記憶部100は、無人航空機20を制御するためのデータを記憶する。例えば、データ記憶部100は、制限対象種別データDT1と、飛行管理データDT2と、を記憶する。
図9は、制限対象種別データDT1のデータ格納例を示す図である。制限対象種別データDT1は、制限対象種別を示すデータである。制限対象種別は、検出された場合に着陸と離陸の少なくとも一方が制限される物体の種別である。別の言い方をすれば、制限対象種別は、着陸時と離陸時の少なくとも一方において注意すべき物体の種別である。例えば、制限対象種別の物体が1つでも検出されると、着陸と離陸の少なくとも一方が制限される。制限対象種別データDT1は、管理者などによって内容が変更されてよい。
本実施形態では、飛行モードや物体の検出位置によって、注意すべき物体を変えているので、図9に示すように、制限対象種別データDT1には、飛行モードと物体の位置の組み合わせごとに、制限対象種別が定義されている。例えば、制限対象種別データDT1には、静止物体と移動物体の各々が制限対象種別に該当するか否かが示されている。
静止物体とは、静止している物体であり、原則として、外部から一定以上の力を受けない限りは移動しない。静止物体は、その内部に動力を持たない物体ということもできる。例えば、静止物体は、貨物、地上で貨物を運ぶカート、又は検出装置40などである。移動物体とは、移動している物体、又は、移動しうる物体である。移動しうる物体とは、現時点では静止しているが、外部からの力を受けずに自らの力で移動可能な物体である。移動物体は、その内部に動力を持つ物体ということもできる。例えば、移動物体は、人間、動物、自動車、バイク、又は自転車などである。
図9に示すように、例えば、無人航空機20が着陸モードであり、物体の位置がポートP内であれば、静止物体と移動物体の何れであったとしても、制限対象種別となる。また例えば、無人航空機20が着陸モードであり、物体の位置がポートP周辺であれば、静止物体は制限対象種別とはならず、移動物体が制限対象種別となる。
また例えば、無人航空機20が離陸モードであり、物体の位置がポートP内であれば、静止物体は制限対象種別とはならず、移動物体が制限対象種別となる。また例えば、無人航空機20が離陸モードであり、物体の位置がポートP周辺であれば、静止物体は制限対象種別とはならず、移動物体が制限対象種別となる。
なお、図9のデータ格納例では、静止物体と移動物体の各々が制限対象種別に該当するか否かが示される場合を説明したが、制限対象種別は、任意の種別を設定可能であり、例えば、静止物体の中で細分化されていてもよいし、移動物体の中で細分化されていてもよい。他にも例えば、物体が移動するか否かといった観点でなく、貨物であるか否か又は重要な貨物であるか否かといった観点で制限対象種別が設定されてもよい。また例えば、生物であるか否かといった観点で制限対象種別が設定されてもよい。
図10は、飛行管理データDT2のデータ格納例を示す図である。飛行管理データDT2は、飛行中の無人航空機20を管理するためのデータである。図10に示すように、例えば、飛行管理データDT2には、無人航空機20を一意に識別する無人航空機ID、目的地、飛行ルート、現在の飛行モード、及び現在の位置を示す位置情報といった情報が格納される。
無人航空機IDは、無人航空機20の個体識別情報やIPアドレスなどの情報であり、無人航空機20の記憶部22などに記憶されているものとする。目的地は、無人航空機20が着陸すべき位置であり、例えば、ポートPの緯度経度情報又は座標情報である。飛行ルートは、出発地から目的地までの経路情報である。飛行ルートは、出発地と目的地に基づいて、ダイクストラ法やエースター法といった所定の経路探索アルゴリズムを利用することで設定されてもよいし、単純に出発地と目的地を結ぶ直線であってもよい。
現在の飛行モードは、無人航空機20に設定中の飛行モードであり、予め定められた複数の飛行モードの何れかが設定される。飛行モードは、任意のモードを適用可能であり、本実施形態では、自律飛行モード、着陸モード、及び離陸モードが用意されているものとするが、他の飛行モードが存在してもよく、例えば、予め定められた地点に避難する避難モード、緊急時にその場で着陸を試みる緊急着陸モード、又は着陸が完了した着陸完了モードなどがあってもよい。
自律飛行モードは、飛行管理データDT2の飛行ルート上を飛行するモードであり、離陸モードで離陸してから着陸モードになるまでの間の飛行モードである。別の言い方をすれば、自律飛行モードは、無人航空機20が出発地の上空に飛び立ってから目的地の上空に到達するまでの間の飛行モードである。着陸モードは、無人航空機20が目的地上空に到着した後に、着陸の動作をするためのモードである。離陸モードは、無人航空機20が出発地に着陸した状態から、離陸の動作をするためのモードである。
位置情報は、無人航空機20のセンサ部25により検出された位置情報である。無人航空機20は、センサ部25で繰り返し位置情報を検出し、自身の無人航空機IDとともに、サーバ10に当該検出された位置情報を送信する。サーバ10は、飛行管理データDT2のうち、当該無人航空機IDが格納されたレコードに当該位置情報を格納する。これにより、位置情報は最新の状態に保たれる。
例えば、離陸前において、無人航空機20は、自身の無人航空機ID、現在の位置情報(即ち、出発地の位置を示す位置情報)、及び自身に設定された目的地をサーバ10に送信する。目的地は、無人航空機20に接続された端末から入力されてもよい。また、これらの情報は、当該端末からサーバ10に送信されてもよい。サーバ10は、受信した出発地と目的地に基づいて飛行ルートを生成し、これらの情報を飛行管理データDT2に格納する。本実施形態では、この時点で飛行モードが離陸モードに設定される場合を説明するが、後述する制限部104により離陸が許可された場合に離陸モードになってもよい。
その後、制限部104により離陸が許可されると、サーバ10は、無人航空機20に対して離陸指示とともに、移動方向や移動速度などの情報を送信する。無人航空機20は、これらの情報を受信すると、プロペラの回転を制御して離陸する。無人航空機20が一定高度まで上昇すると、サーバ10にその旨が通知され、飛行モードが自律飛行モードに変更される。なお、離陸時には、サーバ10からの指示ではなく、無人航空機20が自身の判断で離陸してもよい。その後は、サーバ10と無人航空機20との間で位置情報等が送信されることによって、目的地上空までの自律飛行が実現される。
無人航空機20が目的地上空まで移動すると(例えば、位置情報と目的地との距離が閾値未満になると)、飛行モードが着陸モードに設定される。なお、後述する制限部104により着陸が許可された場合に着陸モードになってもよい。その後、制限部104により着陸が許可されると、サーバ10は、無人航空機20に対して着陸指示とともに、移動方向や移動速度などの情報を送信する。なお、着陸時には、サーバ10からの指示ではなく、無人航空機20が自身の判断で着陸してもよい。無人航空機20がセンサ部25の感圧センサなどにより着陸を検知すると、プロペラの回転が停止され、着陸が完了する。この場合、無人航空機20からサーバ10に対し、着陸が完了した旨が通知され、その旨が飛行管理データDT2に格納されてもよい。
[種別特定部]
種別特定部101は、制御部11を主として実現される。種別特定部101は、検出部400の検出結果に基づいて、物体の種別を特定する。先述したように、物体の検出方法自体は、種々の手法を適用可能であり、種別特定部101は、利用する検出方法に応じた方法で物体の種別を特定すればよい。
例えば、本実施形態のように、カメラを利用する場合には、種別特定部101は、検出部400により生成された撮影画像に基づいて、物体の種別を特定する。例えば、データ記憶部100に、種々の物体の形状や色彩などのパターンを定義したパターンデータを用意しておき、種別特定部101は、パターンデータに基づいて、撮影画像に対してパターンマッチングを行うことで物体を検出する。また例えば、畳み込みニューラルネットワークなどの機械学習を利用してもよく、種別特定部101は、種々の物体の特徴を示す教師データに基づいて作成した学習器(物体の種類を分類する学習器)を利用して、撮影画像に撮影された物体の種別を特定してもよい。
また例えば、赤外線センサを利用する場合には、種別特定部101は、検出部400により生成された赤外線画像に基づいて、物体の種別を特定する。この場合、カメラを利用した場合と同様に、種別特定部101は、パターンマッチングや機械学習を利用して、赤外線画像に撮影された物体の種別を特定する。また例えば、深度センサを利用する場合には、種別特定部101は、検出部400により生成された深度画像に基づいて、物体の種別を特定する。深度画像では、深度の差が大きいエッジ部分を特定することで、物体の輪郭を特定することができる。このため、種別特定部101は、深度画像から輪郭線を抽出し、輪郭線の形状やサイズの特徴から物体の種別を特定する。
本実施形態では、種別特定部101は、種別として、静止している静止物体であるか、移動している又は移動しうる移動物体であるか、を特定する。例えば、静止物体に分類される種別と、移動物体に分類される種別と、を予めデータ記憶部100に定義しておき、種別特定部101は、検出部400の検出結果に基づいて特定した種別が、静止物体と移動物体の何れに属するかを判定してもよい。例えば、貨物を静止物体として定義し、人・動物・乗物を移動物体として定義した場合、種別特定部101は、撮影画像などから特定した種別が貨物であれば静止物体として特定し、当該種別が人、動物、又は乗物であれば移動物体として特定する。
また例えば、種別特定部101は、検出部400の検出結果の変化に基づいて、静止物体であるか移動物体であるかを特定してもよい。例えば、カメラを利用する場合に、静止物体は原則として動かないので、連続的に撮影される撮影画像に変化はない。一方、移動物体は移動するので、撮影画像に変化が生じる。このため、種別特定部101は、撮影画像の変化に基づいて、静止物体であるか移動物体であるかを特定してもよい。赤外線センサや深度センサを利用する場合も、種別特定部101は、赤外線画像の変化や深度画像の変化を利用して、静止物体であるか移動物体であるかを特定する。
本実施形態では、無人航空機20は、貨物を運搬可能なので、種別特定部101は、種別として、貨物であるか、貨物以外であるかを特定してもよい。例えば、カメラを利用する場合には、パターンデータに貨物又は箱などの形状や色などを定義しておき、種別特定部101は、パターンデータに基づいて、撮影画像に対してパターンマッチングを行うことで、貨物であるか、貨物以外であるか、を特定する。即ち、種別特定部101は、パターンデータにマッチした場合には、物体の種別が貨物であると判定し、パターンデータにマッチしなかった場合には、物体の種別が貨物以外であると判定する。また例えば、貨物又は箱などの画像を格納した教師データに基づいて、機械学習の学習器に貨物又は箱などの形状や色などの特徴を学習させておき、種類特定部は、撮影画像を学習器に入力し、分類結果として貨物が出力されたか否かを取得してもよい。赤外線センサや深度センサを利用する場合も、種別特定部101は、赤外線画像や深度画像の特徴に基づいて、貨物であるか、貨物以外であるかを特定する。
[位置特定部]
位置特定部102は、制御部11を主として実現される。位置特定部102は、物体の位置を特定する。位置特定部102は、検出部400の検出結果に基づいて、物体の位置を特定する。物体の位置は、物体の検出方法に応じた方法で検出されるようにすればよい。本実施形態のように、カメラを利用する場合には、種別特定部101により撮影画像が解析されて物体が検出されるので、位置特定部102は、撮影画像の中で物体が検出された位置(図8の撮影画像において物体が検出された画素の位置)を取得すればよい。赤外線センサや深度センサを利用する場合も同様に、位置特定部102は、赤外線画像や深度画像の中で物体が検出された位置を取得すればよい。
本実施形態では、無人航空機20に着陸と離陸の少なくとも一方を行わせるためのエリアとしてポートPが予め決められているので、位置特定部102は、位置として、ポートP内であるか、ポートP周辺であるか、を特定する。例えば、ポートPの位置(例えば、撮影画像における領域)を予めデータ記憶部100に定義しておき、位置特定部102は、特定した位置がポートPの内部に含まれる否かを判定する。なお、ポートPの位置は、予め定義しておくのではなく、検出部400の検出結果からポートPの位置が特定されてもよい。この場合、物体の種別を検出する方法と同様に、パターンマッチングや畳み込みニューラルネットワーク等を利用して、撮影画像内のポートPの位置が特定されるようにすればよい。
本実施形態では、制限対象種別は、位置特定部102により特定された位置に応じて設定される。データ記憶部100には、物体の位置と制限対象種別との関係が定義されており、位置特定部102により特定された位置に関連付けられた制限対象種別が設定される。本実施形態では、この関係は、制限対象種別データDT1に定義されている。例えば、位置特定部102により物体の位置がポートP内であることが特定された場合には、ポートP内の制限対象種別が設定され、位置特定部102により物体の位置がポートP周辺であることが特定された場合には、ポートP周辺の制限対象種別が設定される。
図9のデータ格納例であれば、位置特定部102により物体の位置がポートP内であることが特定された場合には、着陸モードであれば、全ての種別が制限対象種別として設定され、離陸モードであれば、静止物体は制限対象種別として設定されず、移動物体が制限対象種別として設定される。一方、位置特定部102により物体の位置がポートP周辺であることが特定された場合には、飛行モードに関係なく、移動物体が制限対象種別として設定される。
[飛行モード特定部]
飛行モード特定部103は、制御部11を主として実現される。本実施形態では、無人航空機20は、複数の飛行モードのうちの何れかに基づいて飛行し、飛行モード特定部103は、無人航空機20の飛行モードを特定する。本実施形態では、飛行管理データDT2に飛行モードが格納されている。先述したように、飛行モードは、無人航空機20の現在位置などの飛行状況に応じて適宜更新されるので、飛行モード特定部103は、データ記憶部100に記憶された飛行モードを参照する。
例えば、制限対象種別は、飛行モードに応じて設定される。データ記憶部100には、飛行モードと制限対象種別との関係が定義されており、飛行モード特定部103により特定された飛行モードに関連付けられた制限対象種別が設定される。本実施形態では、この関係は、制限対象種別データDT1に定義されている。例えば、飛行モード特定部103により着陸モードであることが特定された場合には、着陸モードの制限対象種別が設定され、飛行モード特定部103により離陸モードであることが特定された場合には、離陸モードの制限対象種別が設定される。
上記のように、制限対象種別は、無人航空機20が着陸又は離陸の何れを行うかに応じて設定される。本実施形態では、飛行モードに基づいて、着陸又は離陸の何れを行うかが特定される場合を説明するが、特に飛行モードで特定せず、他の方法によって特定されてもよい。例えば、飛行中の無人航空機20が目的地(例えば、ポートPの上空)に到着した場合に、着陸をすることが特定されてもよい。また例えば、無人航空機20のプロペラが回転していない状態で、目的地や飛行ルートなどが設定された場合に、離陸をすることが特定されてもよい。なお、着陸時と離陸時とで制限対象種別が完全に異なる必要はなく、少なくとも一部が異なっていればよい。
図9のデータ格納例であれば、飛行モード特定部103により着陸モードが特定された場合(即ち、無人航空機20が着陸をする場合)には、物体がポート内であれば、全ての種別が制限対象種別として設定され、物体がポート周辺であれば、移動物体が制限対象種別として設定される。一方、飛行モード特定部103により離陸モードが特定された場合(即ち、無人航空機20が離陸をする場合)には、物体の位置に関係なく、移動物体が制限対象種別として設定される。
[制限部]
制限部104は、制御部11を主として実現される。制限部104は、種別特定部101により特定された種別に基づいて、無人航空機20の着陸と離陸の少なくとも一方を制限する。本実施形態では、着陸と離陸の両方について、制限部104の処理の対象とするが、制限部104は、着陸又は離陸の何れか一方のみを対象としてもよい。
着陸を制限するとは、着陸させないこと、又は、着陸を許可しないことである。例えば、無人航空機20をホバリングさせてその場で待機させること、着陸モードに移行させないこと、高度を上昇させること、プロペラの回転速度を減少させないこと、プロペラの回転速度を閾値以上の状態に保つこと、又はポートPから離れる方向に移動させることは、着陸を制限することに相当する。
離陸を制限するとは、離陸させないこと、又は、離陸を許可しないことである。例えば、無人航空機20を着陸させたままにすること、離陸モードに移行させないこと、高度を上昇させないこと、プロペラの回転速度を増加させないこと、プロペラの回転速度を閾値未満の状態に保つこと、又はポートP上に留まらせることは、離陸を制限することに相当する。
本実施形態では、制限対象種別が設定されるので、制限部104は、種別特定部101により特定された種別が所定の制限対象種別である場合に、無人航空機の着陸と離陸の少なくとも一方を制限する。例えば、制限部104は、種別特定部101により特定された種別が制限対象種別であるか否かを判定し、無人航空機20の着陸と離陸を制限する。本実施形態では、制限部104は、制限対象種別の物体が1つでも検出された場合には、他に検出された物体が制限対象種別に該当しなくても、無人航空機20の着陸と離陸を制限する。
本実施形態では、着陸時の制限対象種別と離陸時の制限対象種別とが異なるので、例えば、制限部104は、無人航空機20が着陸する場合、種別特定部101により特定された種別が着陸時の制限対象種別であるか否かを判定し、着陸時の制限対象種別であると判定された場合に、無人航空機20の着陸を制限する。また例えば、制限部104は、無人航空機20が離陸モードの場合、種別特定部101により特定された種別が離陸時の制限対象種別であるか否かを判定し、離陸時の制限対象種別であると判定された場合に、無人航空機20の離陸を制限する。
制限部104は、種別特定部101により特定された物体が静止物体又は移動物体の何れであるかに基づいて、無人航空機20の着陸と離陸の少なくとも一方を制限する。例えば、制限部104は、種別特定部101により特定された物体が静止物体である場合に、当該物体がポートP内であれば、無人航空機20の着陸を制限し、当該物体がポートP周辺であれば、無人航空機20の着陸を制限せずに許可する。また例えば、種別特定部101により特定された物体が移動物体である場合には、当該物体の位置に関係なく、無人航空機20の着陸を制限する。また例えば、制限部104は、種別特定部101により特定された物体が静止物体である場合には、当該物体の位置に関係なく、無人航空機20の離陸を制限せずに許可する。また例えば、種別特定部101により特定された物体が静止物体である場合には、当該物体の位置に関係なく、無人航空機20の離陸を制限する。
また例えば、制限部104は、種別特定部101により特定された物体が貨物又は貨物以外の何れであるかに基づいて、無人航空機の着陸と離陸の少なくとも一方を制限してもよい。例えば、制限部104は、種別特定部101により特定された物体が貨物である場合に、当該貨物がポートP内であれば、無人航空機20の着陸を制限し、当該貨物がポートP周辺であれば、無人航空機20の着陸を制限せずに許可する。また例えば、種別特定部101により特定された物体が貨物以外である場合には、当該物体の位置に関係なく、無人航空機20の着陸を制限する。
また例えば、制限部104は、種別特定部101により特定された物体が貨物である場合には、当該貨物の位置に関係なく、無人航空機20の離陸を制限せずに許可する。また例えば、種別特定部101により特定された物体が貨物以外である場合には、当該物体の位置に関係なく、無人航空機20の離陸を制限する。
本実施形態では、制限部104は、位置特定部102により特定された位置に更に基づいて、無人航空機20の着陸と離陸の少なくとも一方を制限する。例えば、データ記憶部100に、無人航空機20の着陸を制限すべき位置と、無人航空機20の離陸を制限すべき位置と、が定義されているものとする。
制限部104は、位置特定部102により特定された位置が着陸を制限すべき位置であるか否かを判定し、位置特定部102により特定された位置が着陸を制限すべき位置であると判定された場合には、無人航空機20の着陸を制限する。制限部104は、位置特定部102により特定された位置が離陸を制限すべき位置であるか否かを判定し、位置特定部102により特定された位置が離陸を制限すべき位置であると判定された場合には、無人航空機20の離陸を制限する。
本実施形態では、ポートP内とその周辺でエリアが区別されているので、制限部104は、種別特定部101により特定された物体がポートP内又はポートP周辺の何れにあるかに基づいて、無人航空機の着陸と離陸の少なくとも一方を制限する。例えば、制限部104は、位置特定部102により特定された位置がポートP内であるか否かを判定する。例えば、制限部104は、当該位置がポートP内である場合、物体の種別に関係なく、着陸を制限する。また例えば、制限部104は、当該位置がポートP周辺である場合、静止物体であれば着陸を制限せずに許可し、移動物体であれば着陸を制限する。
本実施形態では、無人航空機20は、貨物を運搬可能であり、制限対象種別は、貨物であってもよい。制限部104は、無人航空機20が離陸モードの場合には、種別特定部101により貨物が特定されたとしても、無人航空機20の離陸を制限しない。一方、制限部104は、無人航空機20が着陸モードの場合には、種別特定部101により貨物が特定された場合に、無人航空機20の着陸を制限する。
[1−4.無人航空機制御システムにおいて実行される処理]
次に、無人航空機制御システム1において実行される処理について説明する。ここでは、着陸時と離陸時の各々におけるサーバ10の処理について説明する。以降説明する処理は、制御部11が記憶部12に記憶されたプログラムに従って動作することによって実行される。なお、以降説明する処理は、図7に示す機能ブロックの処理の一例である。
[着陸時の処理]
図11は、着陸時の処理の一例を示すフロー図である。図11の処理は、飛行モードが着陸モードになった場合に実行される。図11に示すように、まず、サーバ10において、制御部11は、検出装置40から撮影画像を取得する(S1)。S1においては、検出装置40は、所定のフレームレートに基づいて連続的に撮影し、サーバ10に撮影画像を送信する。サーバ10においては、検出装置40により送信された撮影画像を受信する。
制御部11は、S1において取得された撮影画像に基づいて、物体の種別を特定する(S2)。S2においては、制御部11は、パターンマッチング又は畳み込みニューラルネットワークを利用して、撮影画像に撮影された物体を検出し、その種別を特定する。
制御部11は、S2で種別を特定した物体の位置を特定する(S3)。S3においては、制御部11は、撮影画像において物体が検出された位置を特定する。例えば、制御部11は、撮影画像の左上を限定としたスクリーン座標系の2次元座標で撮影画像内の位置が示される場合には、S2において物体が検出された位置を示す2次元座標が特定される。
制御部11は、制限対象種別データDT1に基づいて、S3で特定した物体の位置に応じた、着陸モードの制限対象種別を設定する(S4)。S4においては、制御部11は、S3で特定した撮影画像内の位置がポートP内であるか否かを判定する。検出装置40の位置は予め固定されており、撮影画像においてポートPが表れる領域も予め分かっているので、制御部11は、S3で特定した物体の位置を示す2次元座標が当該領域内に含まれるか否かを判定する。そして、制御部11は、特定した物体の位置がポートP内であると判定された場合には、静止物体と移動物体の両方を制限対象種別として設定する。一方、制御部11は、特定した物体の位置がポートP周辺であると判定された場合には、移動物体を制限対象種別として設定する。
制御部11は、物体の種別がS4で設定された制限対象種別であるか否かを判定する(S5)。S5においては、制御部11は、物体の位置がポートP内である場合には、S3で特定された種別に関係なく、制限対象種別であると判定する。また、制御部11は、物体の位置がポートP周辺である場合には、S3で特定された種別が移動物体である場合に、制限対象種別であると判定する。
物体の種別が制限対象種別であると判定された場合(S5;Y)、制御部11は、無人航空機20の着陸を制限する(S6)。S6においては、制御部11は、無人航空機20に対し、その場でホバリングする旨の指示を送信する。無人航空機20は、当該指示を受信すると、その場でホバリングをして着陸を待機する。
一方、物体の種別が制限対象種別であると判定されない場合(S5;N)、制御部11は、無人航空機20の着陸を許可し(S7)、本処理は終了する。S7において、制御部11は、無人航空機20に対し、着陸を許可する旨の指示を送信する。無人航空機20は、当該指示を受信すると、撮影部24又はセンサ部25の検出信号に基づいて、ポートP内のマークMを検出し、マークMに近づくように移動した着陸する。
[離陸時の処理]
図12は、離陸時の処理の一例を示すフロー図である。図12の処理は、飛行モードが離陸モードになった場合に実行される。図12に示すように、S11〜S13の処理は、それぞれS1〜S3の処理と同様である。
制御部11は、制限対象種別データDT1に基づいて、S12で特定した物体の位置に応じた、離陸モードの制限対象種別を設定する(S14)。S14の処理は、S4の処理と略同様であるが、制限対象種別データDT1の離陸モードの制限対象種別が参照される点でS4と異なる。ここでは、物体の位置に関係なく、移動物体が制限対象種別として設定されるが、離陸時においても、物体の位置に応じた制限対象種別が設定されてよい。
制御部11は、物体の種別が制限対象種別であるか否かを判定する(S15)。S15においては、制御部11は、物体の種別が静止物体であれば、制限対象種別ではないと判定し、物体の種別が移動物体であれば、制限対象種別であると判定する。
物体の種別が制限対象種別であると判定された場合(S15;Y)、制御部11は、無人航空機20の離陸を制限する(S16)。S16においては、制御部11は、無人航空機20に対し、プロペラを回転させる旨の指示を送信しない。
一方、物体の種別が制限対象種別であると判定されない場合(S15;N)、制御部11は、無人航空機20の離陸を許可し(S17)、本処理は終了する。S17において、制御部11は、無人航空機20に対し、離陸を許可する旨の指示を送信する。無人航空機20は、当該指示を受信すると、プロペラを回転させて離陸する。
実施形態1の無人航空機制御システム1によれば、必要以上に厳格に離着陸を制限するのではなく、ポートP及びその周辺にある物体の種別に基づいて離着陸を制限することによって、安全性に実質的に影響しないような物体の場合には離着陸を制限せず、安全性の向上と柔軟性の向上を両立させることができる。
また、ポートP及びその周辺にある物体が静止物体又は移動物体の何れであるかに基づいて、無人航空機20の離着陸が制御され、例えば、接触する確率が低く接触時の影響も比較的小さい静止物体の場合には、離着陸を制限せずに柔軟性を確保し、接触する確率が高く接触時の影響も比較的大きい移動物体の場合には、離着陸を制限して安全性を確保するといったことをすることができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、ポートP及びその周辺にある物体が貨物又は貨物以外の何れであるかに基づいて、無人航空機20の離着陸が制御され、例えば、接触する確率が低く接触時の影響も比較的小さい貨物の場合には、離着陸を制限せずに柔軟性を確保し、接触する確率が高く接触時の影響も比較的大きい他の物体の場合には、離着陸を制限して安全性を確保するといったことをすることができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、無人航空機20を離着陸させるポートP内にある物体と、ポートP周辺にある物体と、が検出されることで、ポートP内だけでなく、ポートP周辺にある物体についても注意して離着陸を制御することができる。
また、ポートP又はその周辺の物体の位置に基づいて無人航空機20の離着陸が制御されることで、例えば、ポートP内に貨物がある場合には着陸を制限して安全性を重視し、ポートPの周辺に貨物がある場合には着陸を制限せず柔軟性を重視するといったことができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、ポートP又はその周辺の物体の位置に応じた制限対象種別が設定されることで、注意すべき物体の種別が位置によって異なる場合にも対応することができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、物体の位置がポートP内又はポートP周辺の何れにあるかに基づいて、無人航空機20の離着陸が制限されることで、例えば、ポートP内に貨物がある場合には着陸を制限して安全性を重視し、ポートPの周辺に貨物がある場合には着陸を制限せず柔軟性を重視するといったことができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、飛行モードに応じた制限対象種別が設定されることで、例えば、注意すべき物体の種別が飛行モードによって異なる場合にも対応することができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、無人航空機20が着陸又は離陸の何れを行うかに応じて制限対象種別が設定されることで、例えば、注意すべき物体の種別が着陸時と離陸時で異なる場合にも対応することができ、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
また、無人航空機20が離陸する場合には、貨物が特定されたとしても、離陸には影響しないので柔軟性を重視して離陸を制限せず、無人航空機20が着陸する場合には、貨物が特定されると、着陸に影響するので安全性を重視して着陸を制限することで、安全性の向上と柔軟性の向上をより効果的に両立させることができる。
[2.実施形態2]
次に、無人航空機制御システム1の別実施形態(以降、実施形態2と記載する。)を説明する。実施形態1で説明したように、無人航空機20が着陸をする場合に、ポートP上に貨物があったり、ポートP又はその周囲にユーザがいたりすると、無人航空機20の着陸に支障をきたすことがある。このため、実施形態2では、無人航空機20をスムーズに着陸させる準備をさせるために、本実施形態では、無人航空機20の到着が近づいたときに、ユーザに所定のメッセージが送信されるようになっている。
図13は、無人航空機20がポートPに向けて移動する様子を示す図である。図13に示すように、無人航空機20がポートPに向けて飛行して、無人航空機20とポートPとの距離Lが第1の閾値(例えば、100メートル)未満になると、サーバ10からユーザ端末30に対し、所定のメッセージが送信される。なお、図13では、無人航空機20とポートPの直線距離Lとしているが、これらの高度差は考慮せず、水平方向の距離が用いられてもよい。
図14は、ユーザ端末30に送信されたメッセージの一例を示す図である。ここでは、メッセージは、ユーザ端末30の飛行管理アプリに表示される場合を説明するが、例えば、電子メール、SNS、メッセージアプリ、又はプッシュ通知といった任意の媒体を利用して表示されてよい。
図14に示すように、飛行管理アプリには、無人航空機20の到着が近づいていることを示すメッセージが表示される。なお、メッセージの内容は、図14の例に限られず、例えば、無人航空機20がポートPの上空に到着する前に、制限部104によって着陸の可否が事前に判定され、制限部104による判定結果をメッセージとして表示されてもよい。
その後、無人航空機20とポートPとの距離Lが、第1の閾値よりも小さい第2の閾値(例えば、10メートル)未満になると、サーバ10から無人航空機20に対し、着陸モードに変更する旨の指示が通知される。無人航空機20は、当該指示を受信すると、自律飛行モードから着陸モードに変更する。着陸モードに変更された後の動作については、実施形態1で説明した通りである。
なお、図13及び図14では、離陸時の処理について説明したが、離陸時には、サーバ10は、無人航空機20とポートPとの距離に関係なく、無人航空機20とユーザ端末30の各々に対し、離陸の可否を通知する情報がツ通知され、離陸が許可された場合には離陸する旨の制御信号が送信されてもよい。
[2−1.実施形態2において実現される機能]
図15は、実施形態2の機能ブロック図である。図15に示すように、実施形態2では、実施形態1で説明した機能に加え、位置関係特定部105と送信部106が実現される。本実施形態では、これらの機能がサーバ10において実現される場合を説明する。
[位置関係特定部]
位置関係特定部105は、制御部11を主として実現される。位置関係特定部105は、飛行中の無人航空機20とポートPとの位置関係を特定する。無人航空機20の位置は、飛行管理データDT2の位置情報に示されており、ポートPの位置は、飛行管理データDT2の目的地に示されているので、位置関係特定部105は、飛行管理データDT2に基づいて、位置関係を特定する。
位置関係とは、ポートPに対する無人航空機20の相対位置であり、例えば、無人航空機20とポートPとの距離であってもよいし、ポートPに対する無人航空機20の角度(無人航空機20とポートPを結ぶ直線と地平面とのなす角度)であってもよいし、これらの両方であってもよい。本実施形態では、位置関係特定部105は、位置関係として、飛行中の無人航空機20と場所との距離を特定する。位置関係特定部105は、無人航空機20の位置情報が示す位置と、ポートPの位置と、の距離を計算することになる。先述したように、当該距離は、3次元空間上の距離であってもよいし、水平面上の距離であってもよい。
[送信部]
送信部106は、制御部11を主として実現される。送信部106は、位置関係特定部105により特定された位置関係に応じた送信先に、当該位置関係に応じた情報を送信する。位置関係と、送信先及び情報の種類と、の関係は、データ記憶部100に予め記憶されているものとする。送信部106は、当該関係に基づいて、位置関係特定部105により特定された位置関係に関連付けられた送信先に、当該位置関係に関連付けられた種類の情報を送信する。
本実施形態では、位置関係として距離が取得されるので、送信部106は、位置関係特定部105により特定された距離に応じた送信先に、当該距離に応じた情報を送信する。この場合、距離と、送信先及び情報の種類と、の関係がデータ記憶部100に予め記憶されており、送信部106は、当該関係に基づいて、位置関係特定部105により特定された距離に関連付けられた送信先に、当該距離に関連付けられた種類の情報を送信する。
例えば、送信部106は、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、第1の送信先に第1の情報を送信し、無人航空機20とポートPとの距離が第1の閾値よりも小さい第2の閾値未満になった場合に、第2の送信先に第2の情報を送信する。第1の閾値及び第2の閾値は、データ記憶部100に予め記憶されており、管理者などによって変更可能であるものとする。
第1の閾値と第2の閾値は、任意の目的で設定されてよく、例えば、第1の閾値は、ユーザに対し、無人航空機20が接近したことを通知すべきタイミングを示す閾値である。第2の閾値は、無人航空機20の着陸を制限する処理を実行すべきタイミングを示す閾値である。例えば、第1の閾値は、数十メートル〜数キロメートル程度の距離であり、第2の閾値は、数メートル〜数十メートル程度の距離である。第1の閾値と第2の閾値の差は、ユーザにメッセージ等を確認するために十分な時間(例えば、1分〜10分程度)を確保可能な距離であればよい。
例えば、送信部106は、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、ユーザ端末に対し、所定のメッセージを送信する。メッセージの内容を示すデータは、データ記憶部100に予め記憶されており、送信部106は、当該データに基づいて、メッセージを生成して送信する。先述した通り、メッセージの内容は、任意の内容であってよく、例えば、無人航空機20が無人航空機20の到着が近づいていることを示す内容である。
また例えば、送信部106は、無人航空機20とポートPとの距離が第2の閾値未満になった場合に、無人航空機20に、制限部104に基づく制御信号を送信する。制限部104に基づく制御信号とは、着陸を許可しないことを示す信号、又は、着陸を許可することを示す信号である。例えば、送信部106は、制限部104により着陸が許可されない場合に、着陸を許可しない旨を示す信号、又は、その場でホバリングをする旨の信号を送信する。また例えば、送信部106は、制限部104により着陸が許可された場合に、着陸を許可する旨を示す信号を送信する。なお、着陸が許可された場合に初めて着陸モードになる場合には、送信部106は、制限部104により着陸が許可された場合に、着陸モードにする旨の指示を送信する。
なお、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、送信部106は、ユーザ端末30以外の装置に対して情報を送信してもよく、例えば、無人航空機20に減速指示を送信してもよいし、検出装置40に起動指示を送信してもよい。同様に、無人航空機20とポートPとの距離が第2の閾値未満になった場合に、送信部106は、無人航空機20以外の装置に対して情報を送信してもよく、例えば、ユーザ端末30に所定のメッセージを送信してもよいし、検出装置40に起動指示を送信してもよい。他にも例えば、送信部106は、ポートPとの距離が第1の閾値未満又は第2の閾値未満になった場合に、ポートPに配置された端末にメッセージを送信してもよいし、ポートP付近に配置された照明をオンにする旨の指示を送信してもよい。
また、無人航空機20とポートPとの距離の閾値として、第1の閾値と第2の閾値が設定される場合を説明したが、3段階以上の閾値が設定されてもよいし、1段階だけの閾値が設定されてもよい。例えば、送信部106は、距離が閾値以上である場合には、ユーザ端末30に特に情報を送信せず、距離が閾値未満になった場合に、ユーザ端末30にメッセージなどの情報を送信してもよい。
また例えば、送信部106が情報を送信する送信先は、無人航空機20、ユーザ端末30、又は検出装置40の何れかであってもよいし、ポートPに配置された端末などの他のコンピュータであってもよい。また例えば、送信部106は、上記説明した任意の情報を送信すればよく、その他にも、無人航空機20のバッテリー残量を要求する指令、ユーザ端末30にテレビ電話機能を起動する旨の要求、又は検出装置40の検出条件を変更する要求などが送信されてもよい。
[2−2.実施形態2において実行される処理]
図16は、実施形態2において実行される処理を示す図である。以降説明する処理は、制御部11が記憶部12に記憶されたプログラムに従って動作することによって実行される。なお、以降説明する処理は、図16に示す機能ブロックの処理の一例である。
図16に示すように、制御部11は、飛行管理データDT2に基づいて、無人航空機20とポートPとの距離を計算する(S21)。S21においては、制御部11は、飛行管理データDT2に格納された無人航空機20の位置情報が示す位置と目的地との距離を計算する。
制御部11は、S21で計算した距離が第1の閾値未満であるか否かを判定する(S22)。第1の閾値は、記憶部12に予め記憶されているものとする。第1の閾値未満であると判定された場合(S22;Y)、制御部11は、ユーザ端末30にメッセージを送信する(S23)。メッセージは、記憶部12に予め記憶されているものとする。
制御部11は、S21で計算した距離が第2の閾値未満であるか否かを判定する(S24)。第2の閾値は、記憶部12に予め記憶されているものとする。第2の閾値未満であると判定された場合(S24;Y)、制御部11は、無人航空機20に対し、着陸モードにする旨の通知を送信し(S25)、本処理は終了する。以降、実施形態1で説明した図11の処理が実行される。
実施形態2の無人航空機制御システム1によれば、無人航空機20とポートPとの位置関係に応じた送信先に、当該位置関係に応じた情報を送信することで、例えば、無人航空機20とポートPとが所定の位置関係にあるときには、サーバ10がユーザ端末30に無人航空機20の飛行状況を送信し、別の位置関係にあるときには、サーバ10が無人航空機20に所定の信号を送信するといったことができ、無人航空機20を飛行させる際の利便性を向上させることができる。
また、位置関係として、無人航空機20とポートPとの距離を取得し、当該距離に応じた送信先に、当該位置関係に応じた情報を送信することで、例えば、無人航空機20とポートPとが所定の距離未満になったときに、サーバ10がユーザ端末30に無人航空機20の飛行状況を送信し、無人航空機20がポートPに更に近づいたときには、サーバ10が無人航空機20に所定の信号を送信するといったことができ、無人航空機20を飛行させる際の利便性を向上させることができる。
また、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、第1の送信先に第1の情報を送信し、当該距離が第2の閾値未満になった場合に、第2の送信先に第2の情報を送信することで、無人航空機20を飛行させる際の利便性を向上させることができる。
また、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、ユーザ端末30に対し、所定のメッセージを送信し、当該距離が第2の閾値未満になった場合に、無人航空機20に離着陸の許可を示す制御信号が送信されることで、無人航空機20を飛行させる際の利便性を向上させることができる。
[3.変形例]
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
例えば、実施形態2において、実施形態1のように離着陸が制限されなくてもよい。この場合、例えば、無人航空機20とポートPとの距離が第1の閾値未満になった場合に、サーバ10からユーザ端末30に対し、所定のメッセージが送信され、距離が第2の閾値未満になった場合に、特に制限部104による制限が実行されることなく、サーバ10から無人航空機20に対し、着陸モードへの移行が指示されてもよい。このようにすることでも、ユーザが事前にメッセージを受信することで、ポートP上の貨物を除去したり、周囲に注意喚起したりする時間を与えることができるので、安全性を向上させることができ、無人航空機20の着陸も制限されないので、柔軟性を向上させることもできる。
また例えば、実施形態2では、無人航空機20とポートPとの位置関係に応じた送信先に、当該位置関係に応じた情報が送信される場合を説明したが、無人航空機20の飛行モードに応じた送信先に、当該飛行モードに応じた情報が送信されてもよい。この場合、データ記憶部100には、飛行モードごとに、送信先と、送信すべき情報の種別と、が関連付けられているものとする。サーバ10は、飛行管理データDT2に基づいて、無人航空機20の飛行モードを特定し、当該特定された飛行モードに関連付けられた送信先に、当該飛行モードに関連付けられた種別の情報を送信する。例えば、サーバ10は、着陸モードと離陸モードとで、情報の送信先と種別を異ならせてもよい。
また例えば、無人航空機20は、特に貨物を運搬しなくてもよい。無人航空機20は、種々の目的で飛行してよく、貨物の運搬以外にも、例えば、撮影、気象情報の検出、警備、又は農薬散布等の目的で飛行してもよい。
また例えば、無人航空機制御システム1は、他のコンピュータ(例えば、サーバコンピュータ又はパーソナルコンピュータ)を含んでいてもよく、当該コンピュータによって各無人航空機20の飛行制御が実行されてもよい。例えば、データ記憶部100は、無人航空機制御システム1内のデータベースサーバにより実現されてもよいし、無人航空機制御システム1外のデータベースサーバにより実現されてもよい。
また例えば、上記説明した各機能は、無人航空機制御システム1の何れかのコンピュータで実現されるようにすればよく、サーバ10、無人航空機20、及びユーザ端末30などの複数のコンピュータで各機能が分担されていてもよい。

Claims (17)

  1. 無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出手段と、
    前記検出手段の検出結果に基づいて、前記物体の種別を特定する種別特定手段と、
    前記種別特定手段により特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限手段と、
    を含むことを特徴とする無人航空機制御システム。
  2. 前記種別特定手段は、前記種別として、静止している静止物体であるか、移動している又は移動しうる移動物体であるか、を特定し、
    前記制限手段は、前記物体が前記静止物体又は前記移動物体の何れであるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、
    ことを特徴とする請求項1に記載の無人航空機制御システム。
  3. 前記無人航空機は、貨物を運搬可能であり、
    前記種別特定手段は、前記種別として、貨物であるか、貨物以外であるかを特定し、
    前記制限手段は、前記物体が貨物又は貨物以外の何れであるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、
    ことを特徴とする請求項1又は2に記載の無人航空機制御システム。
  4. 前記場所は、前記無人航空機に着陸と離陸の少なくとも一方を行わせるためのエリアが予め決められており、
    前記検出手段は、前記エリア内にある物体と、前記エリア周辺にある物体と、の少なくとも一方を検出する、
    ことを特徴とする請求項1〜3の何れかに無人航空機制御システム。
  5. 前記無人航空機制御システムは、前記物体の位置を特定する位置特定手段を更に含み、
    前記制限手段は、前記位置特定手段により特定された位置に更に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、
    ことを特徴とする請求項1〜4の何れかに記載の無人航空機制御システム。
  6. 前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、
    前記制限対象種別は、前記位置特定手段により特定された位置に応じて設定される、
    ことを特徴とする請求項5に記載の無人航空機制御システム。
  7. 前記場所は、前記無人航空機に着陸と離陸の少なくとも一方を行わせるためのエリアが予め決められており、
    前記位置特定手段は、前記位置として、前記エリア内であるか、前記エリア周辺であるか、を特定し、
    前記制限手段は、前記物体が前記エリア内又は前記エリア周辺の何れにあるかに基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する、
    ことを特徴とする請求項5又は6に記載の無人航空機制御システム。
  8. 前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、
    前記無人航空機は、複数の飛行モードのうちの何れかに基づいて飛行し、
    前記無人航空機制御システムは、前記無人航空機の飛行モードを特定する飛行モード特定手段を更に含み、
    前記制限対象種別は、前記飛行モードに応じて設定される、
    ことを特徴とする請求項1〜7の何れかに記載の無人航空機制御システム。
  9. 前記制限手段は、前記種別特定手段により特定された種別が所定の制限対象種別である場合に、前記無人航空機の着陸と離陸の少なくとも一方を制限し、
    前記制限対象種別は、前記無人航空機が着陸又は離陸の何れを行うかに応じて設定される、
    ことを特徴とする請求項1〜8の何れかに記載の無人航空機制御システム。
  10. 前記無人航空機は、貨物を運搬可能であり、
    前記制限対象種別は、貨物であり、
    前記制限手段は、
    前記無人航空機が離陸する場合には、前記種別特定手段により貨物が特定されたとしても、前記無人航空機の離陸を制限せず、
    前記無人航空機が着陸する場合には、前記種別特定手段により貨物が特定された場合に、前記無人航空機の着陸を制限する、
    ことを特徴とする請求項9に記載の無人航空機制御システム。
  11. 前記無人航空機制御システムは、
    飛行中の前記無人航空機と前記場所との位置関係を特定する位置関係特定手段と、
    前記位置関係特定手段により特定された位置関係に応じた送信先に、当該位置関係に応じた情報を送信する送信手段と、
    を更に含むことを特徴とする請求項1〜10の何れかに記載の無人航空機制御システム。
  12. 前記位置関係特定手段は、前記位置関係として、飛行中の前記無人航空機と前記場所との距離を特定し、
    前記送信手段は、前記位置関係特定手段により特定された距離に応じた送信先に、当該距離に応じた情報を送信する、
    ことを特徴とする請求項11に記載の無人航空機制御システム。
  13. 前記送信手段は、前記距離が第1の閾値未満になった場合に、第1の送信先に第1の情報を送信し、前記距離が前記第1の閾値よりも小さい第2の閾値未満になった場合に、第2の送信先に第2の情報を送信する、
    ことを特徴とする請求項12に記載の無人航空機制御システム。
  14. 前記送信手段は、
    前記距離が前記第1の閾値未満になった場合に、ユーザ端末に対し、所定のメッセージを送信し、
    前記距離が前記第2の閾値未満になった場合に、前記無人航空機に、前記制限手段に基づく制御信号を送信する、
    ことを特徴とする請求項13に記載の無人航空機制御システム。
  15. 飛行中の無人航空機と、着陸及び離陸の少なくとも一方が行われる場所と、の位置関係を特定する位置関係特定手段と、
    前記位置関係特定手段により特定された位置関係に応じた送信先に、当該位置関係に応じた情報を送信する送信手段と、
    を含むことを特徴とする無人航空機制御システム。
  16. 無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出ステップと、
    前記検出ステップの検出結果に基づいて、前記物体の種別を特定する種別特定ステップと、
    前記種別特定ステップにより特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限ステップと、
    を含むことを特徴とする無人航空機制御方法。
  17. 無人航空機の着陸と離陸の少なくとも一方が行われる場所にある物体を検出するための検出手段の検出結果に基づいて、前記物体の種別を特定する種別特定手段、
    前記種別特定手段により特定された種別に基づいて、前記無人航空機の着陸と離陸の少なくとも一方を制限する制限手段、
    としてコンピュータを機能させるためのプログラム。
JP2020502248A 2018-12-25 2018-12-25 無人航空機制御システム、無人航空機制御方法、及びプログラム Active JP6748797B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/047480 WO2020136703A1 (ja) 2018-12-25 2018-12-25 無人航空機制御システム、無人航空機制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6748797B1 JP6748797B1 (ja) 2020-09-02
JPWO2020136703A1 true JPWO2020136703A1 (ja) 2021-02-15

Family

ID=71126976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502248A Active JP6748797B1 (ja) 2018-12-25 2018-12-25 無人航空機制御システム、無人航空機制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11816999B2 (ja)
JP (1) JP6748797B1 (ja)
WO (1) WO2020136703A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
CN115840461A (zh) * 2019-07-18 2023-03-24 深圳市道通智能航空技术股份有限公司 一种无人机安全保护方法、装置及无人机
WO2022086960A1 (en) 2020-10-20 2022-04-28 DroneUp, LLC Methods and apparatus for navigating an unmanned vehicle based on a calculation of relative distance differences between a start location and a designated drop location
US11797029B2 (en) * 2021-07-19 2023-10-24 Ford Global Technologies, Llc Systems and methods for operating drones in proximity to objects
KR102539970B1 (ko) * 2022-06-24 2023-06-05 (주)쿼터니언 이륙조건을 자동으로 감지하여 이륙조건이 적합하지않으면 스테이션에서 운용하는 드론의 이륙을 강제로 방지하는 드론 스테이션 시스템

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6974077B1 (en) * 2004-09-09 2005-12-13 Edward Beyder Method of remote picking-up of soiled laundry and delivering clean laundry with on-site yet remote weighing
JP5688700B2 (ja) * 2009-05-26 2015-03-25 国立大学法人 千葉大学 移動体制御装置及び移動体制御装置を搭載した移動体
US10780988B2 (en) * 2014-08-11 2020-09-22 Amazon Technologies, Inc. Propeller safety for automated aerial vehicles
US10466700B1 (en) * 2015-09-25 2019-11-05 Amazon Technologies, Inc. Detecting of navigation data spoofing based on signal strength variance
JP2019514785A (ja) * 2016-05-04 2019-06-06 ウォルマート アポロ,エルエルシー 製品を無人航空機によって輸送するためのシステム及び方法
US9984579B1 (en) * 2016-06-28 2018-05-29 Amazon Technologies, Inc. Unmanned aerial vehicle approach notification
US10029787B1 (en) * 2016-06-30 2018-07-24 X Development Llc Interactive transport services provided by unmanned aerial vehicles
US10395544B1 (en) * 2016-08-29 2019-08-27 Amazon Technologies, Inc. Electronic landing marker
US10497129B1 (en) * 2016-08-31 2019-12-03 Amazon Technologies, Inc. Image-based weather condition detection
US10198955B1 (en) * 2016-09-08 2019-02-05 Amazon Technologies, Inc. Drone marker and landing zone verification
US10248120B1 (en) * 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
US10370093B1 (en) * 2016-11-16 2019-08-06 Amazon Technologies, Inc. On-demand drone noise measurements
WO2018155700A1 (ja) 2017-02-27 2018-08-30 国立大学法人 東京大学 飛行管理システム
US20190235494A1 (en) * 2018-01-31 2019-08-01 Walmart Apollo, Llc System and method for defending an unmanned aerial vehicle from ground threats
US11132881B2 (en) * 2018-05-08 2021-09-28 Amazon Technologies, Inc. Electronic devices capable of communicating over multiple networks
US11127071B2 (en) * 2018-09-17 2021-09-21 International Business Machines Corporation Drone station marketplace

Also Published As

Publication number Publication date
US20210209954A1 (en) 2021-07-08
WO2020136703A1 (ja) 2020-07-02
US11816999B2 (en) 2023-11-14
JP6748797B1 (ja) 2020-09-02

Similar Documents

Publication Publication Date Title
JP6748797B1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
US20230350428A1 (en) Methods and system for autonomous landing
US9973737B1 (en) Unmanned aerial vehicle assistant for monitoring of user activity
US20220159928A1 (en) Systems and methods for guiding a target
US10545500B2 (en) Model for determining drop-off spot at delivery location
CN105247593B (zh) 飞行禁区的飞行控制
US20190220039A1 (en) Methods and system for vision-based landing
US11294398B2 (en) Personal security robotic vehicle
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
WO2018103689A1 (zh) 无人机相对方位控制方法及装置
JP6527299B1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
CN111372851B (zh) 无人航空器控制系统、无人航空器控制方法、及可读存储媒体
JP2019513653A (ja) 具体的に意図された対象と相互作用する無人航空機システム及び方法
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
JP2018537335A (ja) 無人航空機の飛行を制御する方法及びシステム
TW201931040A (zh) 基於螺旋槳防護裝置的存在性來調整空中機器人式運載工具的飛行參數
US10176722B1 (en) Location marker with lights
US10482775B1 (en) Location marker with retroreflectors
CN111051198A (zh) 无人飞行器控制系统、无人飞行器控制方法、及程序
TW201944790A (zh) 追蹤被盜的機器人運輸工具
JP2020149640A (ja) 飛行システム及び着陸制御方法
JP2022027772A (ja) 基地装置、基地装置の制御方法、及び基地装置の制御プログラム
US11049406B2 (en) Thermal image based precision drone landing systems and methods
CN111971207B (zh) 追回机器人运载工具的方法、机器人运载工具和处理设备
JP7299368B1 (ja) 無人機、プログラム、情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200116

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200807

R150 Certificate of patent or registration of utility model

Ref document number: 6748797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250