JP6324649B1 - 検出システム、検出方法、及びプログラム - Google Patents

検出システム、検出方法、及びプログラム Download PDF

Info

Publication number
JP6324649B1
JP6324649B1 JP2018509869A JP2018509869A JP6324649B1 JP 6324649 B1 JP6324649 B1 JP 6324649B1 JP 2018509869 A JP2018509869 A JP 2018509869A JP 2018509869 A JP2018509869 A JP 2018509869A JP 6324649 B1 JP6324649 B1 JP 6324649B1
Authority
JP
Japan
Prior art keywords
processing target
image
target portion
information
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018509869A
Other languages
English (en)
Other versions
JPWO2019082301A1 (ja
Inventor
裕章 岩瀬
裕章 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6324649B1 publication Critical patent/JP6324649B1/ja
Publication of JPWO2019082301A1 publication Critical patent/JPWO2019082301A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0082—Surveillance aids for monitoring traffic from a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0091—Surveillance aids for monitoring atmospheric conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

特定のオブジェクトを迅速に検出して飛行の安全性を高める。無人航空機制御システムの画像取得手段（１０１）は、任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する。移動方向取得手段（１０２）は、無人航空機の移動方向に関する移動方向情報を取得する。特定手段（１０３）は、移動方向情報に基づいて、画像の中から処理対象部分を特定する。処理手段（１０４）は、処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する。飛行制御手段（１０５）は、検出処理の実行結果に基づいて、無人航空機の飛行を制御する。

Description

本発明は、無人航空機制御システム、無人航空機制御方法、及びプログラムに関する。
従来、上下・左右・前後の任意の方向に移動可能な無人航空機の飛行を制御する技術が知られている。例えば、特許文献１には、無人航空機が撮影した画像から特定のオブジェクトが検出されたかを判定し、特定のオブジェクトが検出された場合に無人航空機に回避行動を取らせる技術が記載されている。
特開２０１７−５１９２９７号公報
上記のような技術では、飛行の安全性を高めるために、特定のオブジェクトを迅速に検出する必要がある。この点、例えば、基本的に正面方向に向けて飛行する（上下・左右・後方に向けては基本的に飛行しない）旅客機のような航空機であれば、正面方向の画像さえ撮影できれば十分だが、任意の方向を移動可能な無人航空機は、正面方向に進むとは限らないので、周囲の様子を広く撮影する必要がある。このため、画像処理の対象となる範囲が広くなり、特定のオブジェクトの検出が遅れがちであった。
本発明は上記課題に鑑みてなされたものであって、その目的は、特定のオブジェクトを迅速に検出して飛行の安全性を高めることである。
上記課題を解決するために、本発明に係る無人航空機制御システムは、任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得手段と、前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得手段と、前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定手段と、前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理手段と、前記検出処理の実行結果に基づいて、前記無人航空機の飛行を制御する飛行制御手段と、を含むことを特徴とする。
本発明に係る無人航空機制御方法は、任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得ステップと、前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得ステップと、前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定ステップと、前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理ステップと、前記検出処理の実行結果に基づいて、前記無人航空機の飛行を制御する飛行制御ステップと、を含むことを特徴とする。
本発明に係るプログラムは、任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得手段、前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得手段、前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定手段、前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理手段、前記検出処理の実行結果に基づいて、前記無人航空機の飛行を制御する飛行制御手段、としてコンピュータを機能させる。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機に対する外力に関する外力情報を取得する外力取得手段を更に含み、前記特定手段は、前記外力情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機の姿勢に関する姿勢情報を取得する姿勢取得手段を更に含み、前記特定手段は、前記姿勢情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機の移動速度に関する移動速度情報を取得する移動速度取得手段を更に含み、前記特定手段は、前記移動速度情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機は、予め定められた飛行経路に基づいて自動的に飛行する第１飛行モード、又は、操作者の操作に基づいて飛行する第２飛行モードの何れかで飛行し、前記無人航空機制御システムは、前記無人航空機の現在の飛行モードに関する飛行モード情報を取得する飛行モード取得手段を更に含み、前記特定手段は、前記飛行モード情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機の飛行中の高度に関する高度情報を取得する高度取得手段を更に含み、前記特定手段は、前記高度情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機が飛行する地域の地表面に関する地表面情報を取得する地表面取得手段を更に含み、前記特定手段は、前記地表面情報に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機は、予め定められた飛行経路に基づいて自動的に飛行し、前記飛行制御手段は、前記検出処理によって前記特定のオブジェクトが検出された場合に代替飛行経路を作成し、当該代替飛行経路に基づいて、前記無人航空機の飛行を制御する、ことを特徴とする。
また、本発明の一態様では、前記特定手段は、前記代替飛行経路が作成された場合に、当該代替飛行経路に基づいて、前記処理対象部分を特定し直す、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記無人航空機が飛行する地域の地図データを取得する手段を更に含み、前記特定手段は、前記地図データに更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記無人航空機制御システムは、前記画像のうち、空が撮影された空部分と、地上が撮影された地表部分と、を区別する区別手段を更に含み、前記特定手段は、前記地上部分の中から前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記特定手段は、過去に実行された前記検出処理によって前記特定のオブジェクトが検出された場合に、前記画像のうち、当該特定のオブジェクトが検出された部分に更に基づいて、前記処理対象部分を特定する、ことを特徴とする。
また、本発明の一態様では、前記画像は、少なくとも水平方向の全方向が撮影された画像である、ことを特徴とする。
また、本発明の一態様では、前記特定のオブジェクトは、前記無人航空機が回避すべきオブジェクトである、ことを特徴とする。
また、本発明の一態様では、前記処理手段は、前記処理対象部分以外の部分に対しては、前記検出処理を実行せず、前記処理対象部分に対してのみ、前記検出処理を実行する、ことを特徴とする。
また、本発明の一態様では、前記処理手段は、前記処理対象部分以外の部分に対し、第１の頻度で前記検出処理を実行し、前記処理対象部分に対し、前記第１の頻度よりも高い第２の頻度で前記検出処理を実行する、ことを特徴とする。
本発明によれば、特定のオブジェクトを迅速に検出して飛行の安全性を高めることが可能になる。
無人航空機が飛行する様子を示す図である。 無人航空機のハードウェア構成を示す図である。 撮影部が撮影した画像を示す図である。 無人航空機制御システムで実現される機能の一例を示す機能ブロック図である。 移動方向情報を説明するための図である。 処理対象部分の設定方法を示す図である。 処理対象部分の設定方法を示す図である。 処理対象部分の設定方法を示す図である。 処理対象部分の設定方法を示す図である。 無人航空機制御システムにおいて実行される処理の一例を示すフロー図である。 変形例の機能ブロック図である。 変形例（１）における処理対象部分の設定方法を示す図である。 変形例（２）における処理対象部分の設定方法を示す図である。 変形例（３）における処理対象部分の設定方法を示す図である。 変形例（４）における処理対象部分の設定方法を示す図である。 変形例（５）における処理対象部分の設定方法を示す図である。 変形例に係る無人航空機制御システムの全体構成を示す図である。
［１．無人航空機制御システムの全体構成］
以下、本発明に関わる無人航空機制御システムの実施形態の例を説明する。本実施形態では、無人航空機制御システムに１台の無人航空機が含まれる場合を説明するが、無人航空機制御システムには、複数の無人航空機が含まれていてもよいし、他のコンピュータが含まれていてもよい。他のコンピュータとしては、パーソナルコンピュータ、タブレット型端末、スマートフォンなどの携帯電話、又はサーバコンピュータなどであってもよい。
図１は、無人航空機が飛行する様子を示す図である。例えば、無人航空機制御システム１に含まれる無人航空機１０は、予め定められた経路上を自動的に飛行し、図１に示すように、人Ｈや道路Ｒなどが存在する地域の上空を飛行する。
無人航空機１０は、人が搭乗しない航空機であり、例えば、バッテリーで駆動する無人航空機（いわゆるドローン）やエンジンで駆動する無人航空機である。例えば、無人航空機は、商品や郵便物などの荷物を搭載可能であってよく、配送先に飛行して荷物を配送したり、集荷先に飛行して荷物を集荷したりする。また例えば、無人航空機は、特に荷物を運搬せずに、飛行先の様子を取得するために飛行してもよい。
無人航空機１０は、正面方向だけでなく、上下・左右・前後の何れの方向にも移動可能である。即ち、無人航空機１０は、正面方向から所定角度（例えば、９０°）以上の方向にも移動可能であり、例えば、水平方向の３６０°及び垂直方向の３６０°の任意の方向に移動可能である。別の言い方をすれば、無人航空機１０を原点として３軸（例えば、後述する図５のロール軸、ピッチ軸、ヨー軸）を設定した場合に、どの３次元ベクトルの方向にも移動可能である。
図２は、無人航空機１０のハードウェア構成を示す図である。図２に示すように、無人航空機１０は、制御部１１、記憶部１２、通信部１３、撮影部１４、及びセンサ部１５を含む。なお、無人航空機１０は、プロペラ・モーター・バッテリーなども含むが、ここでは説明を省略する。
制御部１１は、例えば、少なくとも１つのマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースを含む。通信部１３は、ネットワークを介してデータ通信を行う。
撮影部１４は、少なくとも１台のカメラである。例えば、撮影部１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を含み、当該撮像素子が撮影した画像をデジタルデータとして記録する。画像は、静止画であってもよいし、所定のフレームレートで連続的に撮影された動画であってもよい。撮影部１４は、広角レンズ又は魚眼レンズを備えていてもよく、撮影部１４の画角や焦点距離は任意であってよい。
なお、撮影部１４は、全天球カメラ（全方位カメラ）であってもよいし、互いに撮影方向が異なる複数台のカメラによって広範囲を撮影可能としてもよい。また、撮影部１４は、サーモグラフィカメラであってもよいし、赤外線カメラであってもよい。このため、画像としては、熱分布を示す画像であってもよいし、赤外線の飛行時間を示す画像であってもよい。
センサ部１５は、例えば、ＧＰＳセンサ１５Ａを含む。ＧＰＳセンサ１５Ａは、衛星からの信号を受信する受信機を含み、例えば、受信機が受信した信号に基づいて位置情報を検出する。なお、無人航空機１０には、任意のセンサが搭載されてよく、センサ部１５は、赤外線センサ、音声センサ（マイク）、加速度センサ、ジャイロセンサ、風センサ、地磁気センサ、高度センサ、変位センサ、感圧センサ、又は温度センサ等の任意のセンサを含むようにしてもよい。
なお、無人航空機１０のハードウェア構成は、図１の例に限られず、種々のハードウェアを適用可能である。例えば、無人航空機１０は、タッチパネルやボタンなどの入力デバイスを含んでいてもよいし、液晶表示部又は有機ＥＬ表示部を含んでいてもよい。また例えば、無人航空機１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、メモリカードスロットや光ディスクドライブ）を含んでもよいし、外部機器と通信するための入出力部（例えば、ＵＳＢポート）を含んでいてもよい。また例えば、記憶部１２に記憶されるものとして説明するプログラム及びデータは、読取部又は入出力部を介して供給されるようにしてもよいし、ネットワークを介して供給されるようにしてもよい。
［２．無人航空機制御システムの概要］
本実施形態では、無人航空機１０は、撮影部１４が撮影した画像を解析し、画像から検出された特定のオブジェクトに基づいて、自身の飛行を制御する。オブジェクトとは、地上又は空中にある物体であり、撮影部１４により撮影される被写体である。オブジェクトは、静止している物体であってもよいし、動く物体であってもよい。特定のオブジェクトとは、飛行制御の基準となるオブジェクトであり、無人航空機１０が回避すべきオブジェクトを示してもよいし、無人航空機１０が近づくべきオブジェクトを示してもよい。
無人航空機１０が回避すべきオブジェクトとは、無人航空機１０が所定距離（例えば、３０メートル）以内に近づいてはならないオブジェクト（即ち、無人航空機１０が所定距離以上を保つべきオブジェクト）、又は、無人航空機１０が着陸若しくは接触してはならないオブジェクトなどである。無人航空機１０が近づくべきオブジェクトとは、無人航空機１０が所定距離以内にいるべきオブジェクト、無人航空機１０の目標地点若しくは経由地点にあるオブジェクト、又は、無人航空機１０が着陸若しくは接触すべきオブジェクトである。
本実施形態では、特定のオブジェクトが、無人航空機１０が回避すべきオブジェクトであり、例えば、人・鳥などの動物、ビル・民家・工場などの建物、又は、自動車・バイク・他の航空機などの機械である場合を説明する。なお、これらは特定のオブジェクトの一例に過ぎず、特定のオブジェクトは、予め定められたオブジェクトであればよい。例えば、無人航空機１０は、撮影部１４が撮影した画像を解析し、特定のオブジェクトを検出したか否かを判定する。
図３は、撮影部１４が撮影した画像を示す図である。なお、本実施形態では、画像Ｇの左上を原点Ｏｓとした２次元座標軸（Ｘｓ軸−Ｙｓ軸）が設定され、画像Ｇ内の位置は、２次元座標によって特定されるものとする。ここでは、画像Ｇの右端部のＸｓ座標値をＸｍａｘとし、画像Ｇの下端部のＹｓ座標値をＹｍａｘとする。
図３に示すように、本実施形態の画像Ｇは、無人航空機１０の周囲３６０°の様子が万遍なく撮影されたパノラマ画像である。例えば、画像Ｇのうち、Ｘｓ座標値がＸ２〜Ｘ３の領域内に、無人航空機１０の正面方向の様子が撮影されている。なお、正面方向とは、無人航空機１０に対して予め設定された基準方向であればよく、例えば、後述するロール軸（図５）の方向である。
また例えば、画像Ｇのうち、Ｘｓ座標値がＸ１〜Ｘ２の領域内に、無人航空機１０の左側（正面方向に対しての左側）の様子が撮影されている。また例えば、Ｘｓ座標値がＸ３〜Ｘ４の領域内に、無人航空機１０の右側（正面方向に対しての右側）の様子が撮影されている。また例えば、Ｘｓ座標値が０〜Ｘ１の領域及びＸ４〜Ｘｍａｘの領域内に、無人航空機１０の後方（正面方向に対しての後ろ側）の様子が撮影されている。
図３に示すように、画像Ｇには広範囲の様子が撮影されている。画像Ｇの全体に対し、特定のオブジェクトの検出処理を実行しようとすると、検出処理の対象となる範囲が広いので、処理に時間がかかってしまい、特定のオブジェクトの検出が遅れがちである。
この点、無人航空機１０の周囲のうち、無人航空機１０の移動方向側は、これから近づくので重要度が高いが、例えば無人航空機１０の移動方向の逆側は、これから遠ざかるので、重要度はそれほど高くない。先述したように、無人航空機１０は、正面方向だけではなく、任意の方向に移動可能なので、画像Ｇの中で重要な部分は、その時の状況に応じて変化する。
このため、本実施形態の無人航空機制御システム１は、画像Ｇのうち、無人航空機１０の移動方向側が撮影された部分を特定し、当該部分に対し、特定のオブジェクトの検出処理を実行し、処理対象とする部分を重要度の高い部分に絞ることで、特定のオブジェクトを迅速に検出して飛行の安全性を高めるようにしている。以降、当該技術の詳細について説明する。
［３．無人航空機制御システムにおいて実現される機能］
図４は、無人航空機制御システム１で実現される機能の一例を示す機能ブロック図である。図４に示すように、無人航空機制御システム１では、データ記憶部１００、画像取得部１０１、移動方向取得部１０２、特定部１０３、処理部１０４、及び飛行制御部１０５が実現される。本実施形態では、これら各機能が、無人航空機１０において実現される場合を説明する。
［３−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、無人航空機１０の飛行制御に必要なデータを記憶する。例えば、データ記憶部１００は、特定のオブジェクトを検出するためのオブジェクトデータを記憶する。
オブジェクトデータは、特定のオブジェクトの特徴を学習させたデータであり、例えば、特定のオブジェクトの形状的な特徴が定義されている。形状的な特徴は、例えば、画像Ｇから抽出される特徴点や輪郭線によって示される。本実施形態では、動物・建物・機械が特定のオブジェクトの一例であるので、オブジェクトデータには、これら動物・建物・機械の基本形状が定義されている。なお、オブジェクトデータには、形状的な特徴以外にも、色・模様・サイズなどの特徴が定義されていてもよい。
また例えば、データ記憶部１００は、画像Ｇ内の各位置と無人航空機１０から見た方向との関係を示すデータを記憶してもよい。また例えば、予め定められた飛行ルートに基づいて無人航空機１０が自動的に飛行する場合には、データ記憶部１００は、当該飛行ルートに関するデータを記憶してもよい。この場合、無人航空機１０は、ＧＰＳセンサ１５Ａにより検出された自機の位置情報と飛行ルートとを比較し、これらの差が閾値未満となるように飛行制御することになる。
［３−２．画像取得部］
画像取得部１０１は、制御部１１を主として実現される。画像取得部１０１は、任意の方向に移動可能な無人航空機１０の周囲が撮影された画像Ｇを取得する。画像取得部１０１は、撮影部１４が撮影した画像Ｇを取得する。なお、撮影部１４は、無人航空機１０の内部に組み込まれている必要はなく、無人航空機１０の外部に存在し、画像取得部１０１は、通信部１３や入出力部を介して画像Ｇを取得してもよい。
例えば、撮影部１４が所定のフレームレートに基づいて繰り返し撮影する場合には、画像取得部１０１は、一定時間ごとに画像Ｇを取得する。なお、撮影部１４は特にフレームレートが定められていなくてもよく、この場合には、画像取得部１０１は、不定期的に画像Ｇを取得することになる。
本実施形態では、画像Ｇは、少なくとも水平方向の全方向が撮影された画像であり、水平方向の３６０°が撮影されている場合を説明する。ただし、必ずしも水平方向の全方向が撮影されている必要はなく、所定角度（例えば、９０°以上３６０°以下の何れかの角度）の様子が撮影されていればよい。同様に、垂直方向についても、全方向が撮影されている必要はなく、所定角度（例えば、９０°以上３６０°以下の何れかの角度）の様子が撮影されていればよい。
例えば、画像取得部１０１は、３６０°の全方位ではなく、広角レンズを有する撮影部１４（いわゆる広角カメラ）が撮影した画像Ｇを取得してもよい。この場合、例えば、画像取得部１０１は、無人航空機１０の正面方向のみに向けられた当該撮影部１４が撮影した画像Ｇを取得してもよく、後述する特定部１０３は、３６０°ではない当該画像Ｇから処理対象部分を特定することになる。
また例えば、画像Ｇは、任意のデータ形式であってよく、例えば、ＪＰＧ形式、ＢＭＰ形式、ＧＩＦ形式、ＡＶＩ形式、又はＭＰＥＧ形式等の任意の形式であってよい。また例えば、画像Ｇは、図３のような長方形でなくてもよく、正方形であってもよい。また例えば、撮影部１４が複数のカメラを有する場合には、画像取得部１０１は、各カメラから画像Ｇを取得し、互いに異なる方向が撮影された複数の画像Ｇを取得してもよい。この場合、複数の画像Ｇ全体として、上記説明した所定角度（例えば、９０°以上３６０°以下の何れかの角度）の様子が撮影されていればよく、個々の画像Ｇは、数十°程度の様子が撮影されていてもよい。また例えば、画像取得部１０１は、撮影部１４が撮影した画像Ｇの履歴をデータ記憶部１００に記録してもよい。
［３−３．移動方向取得部］
移動方向取得部１０２は、制御部１１を主として実現される。移動方向取得部１０２は、無人航空機１０の移動方向に関する移動方向情報を取得する。例えば、移動方向取得部１０２は、画像Ｇの変化又はセンサ部１５の検出結果に基づいて、移動方向情報を取得する。
移動方向情報は、２次元的な方向で示されてもよいし、３次元的な方向で示されてもよいし、画像Ｇ内の２次元座標で示されてもよい。例えば、移動方向情報は、ベクトル又は方位（方角）で示される。２次元的な方向とは、水平方向成分のみを含む方向であり、３次元的な方向とは、水平方向成分だけでなく垂直方向成分も含む方向である。移動方向をベクトルで示す場合には、２次元ベクトル又は３次元ベクトルが用いられるようにすればよい。移動方向を方位で示す場合には、３６０°式、９０°式、又は点画式などの任意の方式が用いられるようにすればよい。
図５は、移動方向情報を説明するための図である。図５に示すように本実施形態では、無人航空機１０の所定位置（例えば、重心）を原点Ｏｗとし、ロール軸、ピッチ軸、及びヨー軸の３軸が設定される。ロール軸は前後方向を示し、ピッチ軸は水平方向を示し、ヨー軸は垂直方向を示す。例えば、移動方向情報は、これら３軸によって定義される３次元空間の３次元ベクトルによって示される。なお、無人航空機１０から見て任意の方向に３軸が設定されるようにすればよく、例えば、画像Ｇの中心点の方向（撮影方向）にロール軸が設定され、ロール軸と直行するようにピッチ軸とヨー軸が設定されてもよい。
例えば、移動方向取得部１０２が画像Ｇの変化に基づいて移動方向情報を取得する場合には、画像Ｇの変化と移動方向情報との関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。移動方向取得部１０２は、画像Ｇの変化に関連付けられた移動方向情報を取得する。
例えば、画像Ｇ内の特徴点の位置変化と、移動方向情報と、の関係が定められていてもよい。移動方向取得部１０２は、画像Ｇが取得されるたびに複数の特徴点を抽出し、各特徴点の移動方向に基づいて、移動方向情報を取得する。例えば、移動方向取得部１０２は、画像Ｇのうち、無人航空機１０の正面方向が撮影された領域（図３の例では、Ｘｓ座標値がＸ２〜Ｘ３の領域）内の複数の特徴点を抽出し、各特徴点の移動方向に基づいて、移動方向情報を取得する。
例えば、移動方向取得部１０２は、各特徴点が下方向に移動した場合には、無人航空機が正面方向（ロール軸正方向）に移動したと判定し、各特徴点が上方向に移動した場合には、無人航空機１０が後方（ロール軸負方向）に移動したと判定する。また例えば、移動方向取得部１０２は、各特徴点が左方向に移動した場合には無人航空機１０が右方向（ピッチ軸正方向）に移動したと判定し、各特徴点が右方向に移動した場合には無人航空機１０が左方向（ピッチ軸負方向）に移動したと判定する。
また例えば、移動方向取得部１０２がセンサ部１５の検出結果に基づいて移動方向情報を取得する場合には、センサ部１５の検出結果と移動方向情報との関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。移動方向取得部１０２は、センサ部１５の検出結果に関連付けられた移動方向情報を取得する。
例えば、移動方向取得部１０２は、ＧＰＳセンサ１５Ａの検出結果に基づいて、移動方向情報を取得してもよい。この場合、移動方向取得部１０２は、ＧＰＳセンサ１５Ａにより検出された位置情報（緯度経度情報）の変化に基づいて、移動方向情報を取得する。また例えば、移動方向取得部１０２は、ＧＰＳセンサ１５Ａにより検出された位置情報と無人航空機１０の飛行ルートとに基づいて、現在の位置に対応する移動方向情報を取得してもよい。また例えば、移動方向取得部１０２は、センサ部１５の加速度センサの検出結果に基づいて、移動方向情報を取得してもよい。この場合、移動方向取得部１０２は、加速度センサにより検出された加速度の変化に基づいて、移動方向情報を取得する。
なお、移動方向情報の取得方法は、上記の例に限られない。移動方向情報の取得方法自体は、公知の種々の手法を適用可能であり、例えば、無人航空機１０はプロペラの回転数が相対的に少ない方に移動するので、移動方向取得部１０２は、各モータに付属したモータエンコーダにより検出される回転数の差に基づいて移動方向情報を取得してもよいし、各モータに対する出力電圧の差に基づいて移動方向情報を取得してもよい。
［３−４．特定部］
特定部１０３は、制御部１１を主として実現される。特定部１０３は、移動方向情報に基づいて、画像Ｇの中から処理対象部分を特定する。処理対象部分は、特定のオブジェクトの検出処理が施される部分、又は、当該検出処理が優先的に施される部分であり、画像Ｇ内の一部分である。優先的とは、検出処理が施される頻度が高いこと、検出処理が施される時間間隔が短いこと、検出処理が施される回数が多いことを意味する。処理対象部分は、１つだけ設定されてもよいし、複数個設定されてもよい。
本実施形態では、処理対象部分が所定サイズの長方形である場合を説明するが、処理対象部分の形状及びサイズは任意であってよく、例えば、円形・三角形・正方形や台形などの四角形・五角形以上の多角形などであってもよい。また例えば、処理対象部分の形状及びサイズは、固定されている必要はなく、画像Ｇ内での処理対象部分の位置、無人航空機１０の性能・飛行モード・天候・飛行地域などに応じて可変であってもよい。
特定部１０３は、移動方向情報に基づいて、処理対象部分の位置（画像Ｇ内での位置）、形状、及びサイズの少なくとも１つを決定する。本実施形態では、説明の簡略化のために、処理対象部分の形状・サイズを固定とし、特定部１０３は、移動方向情報に基づいて、処理対象部分の位置を決定する場合を説明するが、処理対象部分の形状及びサイズは可変であってもよい。
移動方向情報と処理対象部分との関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、移動方向情報に関連付けられた処理対象部分を設定する。例えば、特定部１０３は、移動方向情報に関連付けられた位置を含むように、処理対象部分を設定する。
図６−図９は、処理対象部分の設定方法を示す図である。例えば、図６に示すように、無人航空機１０が正面方向（ロール軸の正方向）に移動している場合には、特定部１０３は、画像Ｇのうち、無人航空機１０の正面方向の様子が撮影されたＸｓ座標値がＸ２〜Ｘ３の領域内に、処理対象部分Ｐを設定する。また例えば、図７に示すように、無人航空機１０が後方（ロール軸の負方向）に移動している場合には、特定部１０３は、画像Ｇのうち、無人航空機１０の後方の様子が撮影されたＸｓ座標値が０〜Ｘ１の領域及びＸ４〜Ｘｍａｘの領域内に、処理対象部分Ｐを設定する。
また例えば、図８に示すように、無人航空機１０が右方向（ピッチ軸の正方向）に移動している場合には、特定部１０３は、画像Ｇのうち、無人航空機１０の右方向の様子が撮影されたＸｓ座標値がＸ３〜Ｘ４の領域内に、処理対象部分Ｐを設定する。また例えば、図９に示すように、無人航空機１０が左方向（ピッチ軸の負方向）に移動している場合には、特定部１０３は、画像Ｇのうち、無人航空機１０の左方向の様子が撮影されたＸｓ座標値がＸ１〜Ｘ２の領域内に、処理対象部分Ｐを設定する。
なお、図６−図９では、無人航空機１０が前後又は左右方向に移動する場合を説明したが、これらの間の方向に向けて移動する場合には、特定部１０３は、その時の移動方向側が撮影されている領域内に処理対象部分Ｐを設定すればよい。例えば、無人航空機１０が正面方向に対して右斜め前に移動する場合には、特定部１０３は、無人航空機１０の右斜め前の様子が撮影された領域内に処理対象部分Ｐを設定し、無人航空機１０が正面方向に対して左斜め前に移動する場合には、特定部１０３は、無人航空機１０の左斜め前の様子が撮影された領域内に処理対象部分Ｐを設定すればよい。
また例えば、特定部１０３は、移動方向の水平方向成分だけでなく、垂直方向成分も考慮して処理対象部分Ｐを設定してもよい。例えば、無人航空機１０が正面方向に対してやや上方向に移動する場合には、特定部１０３は、図６で説明した位置よりもやや上に、処理対象部分Ｐを設定すればよい。また例えば、無人航空機１０が正面方向に対してやや下方向に移動する場合には、特定部１０３は、図６で説明した位置よりもやや下に、処理対象部分Ｐを設定すればよい。他の移動方向についても同様にして、処理対象部分Ｐが設定されるようにすればよい。
また例えば、特定部１０３は、画像Ｇを予め複数の小領域に区切っておいて、各領域と移動方向とを対応づけておいてもよい。小領域は、碁盤の目状に区切られた領域であってもよいし、円形などの任意の形状であってよい。この場合、特定部１０３は、移動方向情報が示す移動方向に対応付けられた領域を処理対象部分Ｐとして特定することになる。更に、特定部１０３は、小領域ごとに、移動方向情報に基づいて優先度を計算し、優先度が閾値以上の小領域を処理対象部分Ｐとして特定してもよい。特定部１０３は、無人航空機１０の移動方向側が撮影された小領域の優先度が高くなるように、各小領域の優先度を計算すればよい。
［３−５．処理部］
処理部１０４は、制御部１１を主として実現される。処理部１０４は、処理対象部分Ｐに対し、特定のオブジェクトを検出するための検出処理を実行する。本実施形態では、説明の簡略化のために、処理部１０４は、処理対象部分Ｐ以外の部分に対しては、検出処理を実行せず、処理対象部分Ｐに対してのみ、検出処理を実行する場合を説明する。
処理部１０４は、画像Ｇ内の処理対象部分Ｐと、オブジェクトデータと、に基づいて、当該処理対象部分Ｐ内に特定のオブジェクトが撮影されているか否かを判定する。特定のオブジェクトの検出方法自体は、公知の物体検出法を適用可能であり、例えば、ディープラーニングによる物体検出アルゴリズム（例えば、ＣＮＮ：Convolutional Neural Networksを用いたアルゴリズム）を利用してもよいしパターンマッチング法が用いられてもよい。
例えば、処理部１０４は、処理対象部分Ｐに撮影された被写体に対し、オブジェクトデータに定義された基本形状との類似度を計算し、類似度が基準値以上であった場合に、処理対象部分Ｐ内に特定のオブジェクトが撮影されていると判定する。処理部１０４は、基本形状との形状的なずれが小さいほど類似度が高くなるように、処理対象部分Ｐ内の各領域に対して類似度を計算すればよい。
［３−６．飛行制御部］
飛行制御部１０５は、制御部１１を主として実現される。飛行制御部１０５は、検出処理の実行結果に基づいて、無人航空機１０の飛行を制御する。本実施形態では、特定のオブジェクトは無人航空機１０が回避すべきオブジェクトなので、飛行制御部１０５は、特定のオブジェクトが検出された場合に、特定のオブジェクトを回避するように無人航空機１０の飛行を制御する。
検出処理の実行結果と飛行制御方法との関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。
飛行制御方法とは、無人航空機１０の移動方向、移動速度、及び姿勢の少なくとも１つの制御方法である。無人航空機１０の移動方向、移動速度、及び姿勢は、無人航空機１０が有する複数のプロペラの各々の回転によって制御可能なので、飛行制御部１０５は、飛行制御データによって、各プロペラの回転数と回転方向を制御することになる。各プロペラの回転数と回転方向は、当該プロペラを回転させるモータに対する電圧によって変わるので、飛行制御部１０５は、飛行制御データによって、各モータに対する電圧を決定するということもできる。
例えば、飛行制御部１０５は、検出処理の実行結果に関連付けられた飛行制御方法に基づいて、無人航空機１０の飛行を制御する。例えば、飛行制御部１０５は、特定のオブジェクトが検出された場合に、当該特定のオブジェクトから遠ざかるように飛行ルートを変更してもよい。また例えば、飛行制御部１０５は、特定のオブジェクトが検出された場合に、当該特定のオブジェクトから遠ざかるように無人航空機１０の移動方向を制御してもよい。また例えば、飛行制御部１０５は、特定のオブジェクトが検出された場合に、移動速度を落としてもよい。また例えば、飛行制御部１０５は、特定のオブジェクトが検出された場合に無人航空機１０をホバリングさせてその場で待機させてもよい。
［４．無人航空機制御システムにおいて実行される処理］
図１０は、無人航空機制御システム１において実行される処理の一例を示すフロー図である。本実施形態では、無人航空機１０が図１０に示す処理を実行する場合を説明する。例えば、図１０に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。本実施形態では、下記に説明する処理は、図４に示す機能ブロックにより実現される処理の一例であり、所定の時間間隔ごとに実行されてもよい。
図１０に示すように、まず、制御部１１は、撮影部１４が撮影した画像Ｇを取得する（Ｓ１）。Ｓ１においては、制御部１１は、画像Ｇを取得して記憶部１２に記録してもよい。画像Ｇは、時系列的に記憶部１２に記録されてもよいし、現在時刻（画像Ｇの風情報の取得時刻）と関連付けられて記憶部１２に記録されてもよい。
制御部１１は、無人航空機１０の移動方向情報を取得する（Ｓ２）。Ｓ２においては、制御部１１は、先述したように、画像Ｇの変化又はセンサ部１５の検出結果などに基づいて、移動方向情報を取得する。なお、Ｓ２においては、制御部１１は、移動方向情報を取得して記憶部１２に記録してもよい。移動方向情報は、時系列的に記憶部１２に記録されてもよいし、現在時刻（移動方向情報の取得時刻）と関連付けられて記憶部１２に記録されてもよい。
制御部１１は、Ｓ２で取得した移動方向情報に基づいて、Ｓ１で取得した画像Ｇの中から処理対象部分Ｐを特定する（Ｓ３）。Ｓ３においては、制御部１１は、画像Ｇのうち、移動方向情報が示す移動方向に対応する領域内に処理対象部分Ｐを設定する。処理対象部分Ｐの位置を示す２次元座標は、記憶部１２に記録されるものとする。
制御部１１は、画像Ｇのうち、Ｓ３で特定した処理対象部分Ｐに対し、特定のオブジェクトの検出処理を実行する（Ｓ４）。即ち、図１０の処理例では、制御部１１は、処理対象部分Ｐ以外の部分については、検出処理を実行しない。Ｓ４においては、制御部１１は、処理対象部分Ｐの被写体と、オブジェクトデータに定義された特定のオブジェクトの基本形状と、の類似度を計算する。
制御部１１は、Ｓ４の処理結果に基づいて、特定のオブジェクトが検出されたか否かを判定する（Ｓ５）。Ｓ５においては、制御部１１は、処理対象部分Ｐの中に、Ｓ４で計算した類似度が基準値以上の部分が存在するか否かを判定する。類似度が基準値以上の部分が存在する場合には、特定のオブジェクトが検出されたと判定される。
特定のオブジェクトが検出されたと判定された場合（Ｓ５；Ｙ）、制御部１１は、特定のオブジェクトに基づいて、無人航空機１０の飛行を制御する（Ｓ６）。Ｓ６においては、制御部１１は、特定のオブジェクトを回避するための飛行制御を行う。例えば、制御部１１は、画像Ｇ内の特定のオブジェクトの位置又は処理対象部分Ｐの位置に基づいて、無人航空機１０に対する特定のオブジェクトの相対的な位置を特定する。そして、制御部１１は、当該位置から遠ざかる方向に無人航空機１０を移動させる。
制御部１１は、所定の終了条件が満たされたか否かを判定する（Ｓ７）。終了条件は、本処理を終了するために定められた条件であればよく、例えば、無人航空機１０が目的地に到着することであってもよいし、無人航空機１０が着陸することであってもよい。終了条件が満たされたと判定されない場合（Ｓ７；Ｎ）、Ｓ１の処理に戻る。終了条件が満たされたと判定された場合（Ｓ７；Ｙ）、本処理は終了する。
以上説明した無人航空機制御システム１によれば、画像Ｇ全体に対して検出処理を実行するのではなく、画像Ｇのうち、特に重要度の高い処理対象部分Ｐに対して検出処理を実行するので、特定のオブジェクトを迅速に検出して飛行の安全性を高めることができる。また、重要度の低い処理対象部分Ｐに対しては検出処理をしなかったり検出処理の頻度を落としたりすることで、無人航空機制御システム１の処理負荷を軽減し、処理速度の向上を図ることができる。また、画像Ｇが３６０°の全方位画像ではなかったとしても、広角レンズによって広範囲が撮影されている場合には、その分だけ処理対象となる領域が広くなるので、このような画像Ｇについても、処理対象部分Ｐを設定することで特定のオブジェクトを迅速に検出して飛行の安全性を高めることができる。
また、少なくとも水平方向の全方向が撮影された画像Ｇの場合には、特に広範囲の様子が撮影されているが、このような画像Ｇであったとしても、重要度の高い処理対象部分Ｐに対して検出処理を実行するので、特定のオブジェクトをより迅速に検出し、飛行の安全性をより効果的に高めることができる。
また、無人航空機１０が回避すべき特定のオブジェクトが検出された場合に、無人航空機１０が当該特定のオブジェクトを回避するように飛行させることができるので、飛行の安全性をより効果的に高めることができる。
また、画像Ｇのうち、処理対象部分Ｐ以外の部分に対しては検出処理を実行せず、処理対象部分Ｐに対してのみ検出処理が実行され、特に重要度の高い処理対象部分Ｐに対してのみ検出処理を実行するので、特定のオブジェクトを迅速に検出して飛行の安全性を高めることができる。また、重要度の低い処理対象部分Ｐに対しては検出処理をしないので、無人航空機制御システム１の処理負荷をより効果的に軽減し、処理速度の向上を図ることができる。
［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
図１１は、変形例の機能ブロック図である。図１１に示すように、変形例では、実施形態で説明した機能に加え、外力取得部１０６、姿勢取得部１０７、移動速度取得部１０８、飛行モード取得部１０９、高度取得部１１０、地表面取得部１１１、地図データ取得部１１２、及び区別部１１３が実現される。これら各機能は、制御部１１を主として実現される。
（１）例えば、無人航空機１０は、風を受けて移動方向が変化し、意図しない方向に移動してしまうことがあるので、移動方向情報だけでなく、外力情報も考慮して処理対象部分Ｐを特定してもよい。変形例（１）の無人航空機制御システム１は、外力取得部１０６を含む。外力取得部１０６は、無人航空機１０に対する外力に関する外力情報を取得する。
外力情報は、外力の強さと外力の方向との少なくとも一方を含む。無人航空機１０に対する外力は風によって働くので、外力の強さは、風の強さで示されてもよいし、無人航空機１０の表面積を考慮した力の強さで示されてもよい。風の強さは、例えば、風速・風力・風圧・風量などの任意の指標で示される。外力の方向は、風向きで示されてもよいし、無人航空機１０の表面形状を考慮した力の方向で示されてもよい。
外力の強さは、外力そのものを示す数値、又は、外力の程度を示す記号で示される。外力が記号で示される場合には、例えば、Ａであれば無風、Ｂであれば微風、Ｃであれば強風といったように、予め記号の意味を定めておけばよい。また例えば、外力の方向は、２次元的な方向で示されてもよいし、３次元的な方向で示されてもよく、ベクトル又は方位（方角）で示される。
外力取得部１０６は、画像Ｇの変化又はセンサ部１５の検出結果に基づいて、外力情報を取得する。例えば、外力取得部１０６は、センサ部１５の風センサにより検出された風速と風向きを、外力情報として取得する。風センサは、デジタル風速計（電子風速計）であり、温度センサや圧力センサを含み、風による温度変化や圧力変化を検出することによって風速と風向きを検出する。
なお、外力情報は、センサ部１５の風センサで検出されなくてもよく、外力情報の取得方法自体は、公知の種々の方法を適用可能である。例えば、外力情報は、画像Ｇの変化に基づいて検出されてもよい。この場合、モデル化された加速度（例えば、無風状態の場合の加速度）と、画像Ｇから得られた特徴点の変化によって定まる加速度と、の差に基づいて外力情報が取得されてもよい。また例えば、外力情報は、風センサ以外のセンサによって検出されてもよい。例えば、モデル化された加速度と、加速度センサから得られた加速度と、の差に基づいて外力情報が取得されてもよい。より具体的には、モータ出力と加速度の関係等によってモデル化された物理モデルを予め用意しておき、当該物理モデルに基づいて計算された予測加速度と、加速度センサや画像Ｇの変化などから得られた実加速度の差と、に基づいて外力情報が取得されてもよい。
変形例（１）の特定部１０３は、外力情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、外力情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
外力情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、外力情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、外力情報に基づいて、処理対象部分Ｐの位置を決定する。
図１２は、変形例（１）における処理対象部分Ｐの設定方法を示す図である。図１２の例は、無人航空機１０が左側からの風を受けた場合を示しており、無人航空機１０の本来の飛行経路を実線の矢印で示し、風の影響によって変わる飛行経路を点線の矢印で示している。
図１２に示すように、無人航空機１０の移動方向は右側に変わることが予想されるため、特定部１０３は、本来の処理対象部分Ｐを右側に移動させることで、処理対象部分Ｐを設定する。なお、本来の処理対象部分Ｐとは、実施形態で説明したように移動方向情報に基づいて設定される処理対象部分Ｐであり、移動方向情報だけに基づいて設定される処理対象部分Ｐである。
例えば、特定部１０３は、移動方向情報と外力情報に基づいて、外力が働いた後の移動方向を予想し、予想された移動方向に基づいて処理対象部分Ｐを設定する。この場合、特定部１０３は、移動方向情報が示す移動方向を外力情報が示す外力の方向に変化させることによって、変化後の移動方向を予想すればよい。移動方向の変化量は、固定値であってもよいし、外力情報が示す外力の強さに応じた値としてもよい。
また例えば、特定部１０３は、実施形態と同様にして、移動方向情報に基づいて処理対象部分Ｐを仮で設定し、当該仮で設定された処理対象部分Ｐを、外力情報に基づいて移動させてもよい。この場合、特定部１０３は、仮で設定された処理対象部分Ｐを、外力情報が示す外力の方向に移動させることによって、最終的な処理対象部分Ｐを設定する。処理対象部分Ｐの移動量は、固定値であってもよいし、外力情報が示す外力の強さに応じた値としてもよい。
変形例（１）によれば、無人航空機１０に外力が働いた場合であったとしても、その影響を予想して処理対象部分Ｐを設定することで、外力によって変化した移動方向側にある特定のオブジェクトを検出しやすくなり、飛行の安全性をより効果的に高めることができる。
（２）また例えば、無人航空機１０の姿勢によって撮影部１４の向きが変わり、画像Ｇ内の各位置と、無人航空機１０から見たときの方向と、の関係が変わることがあるので、移動方向情報だけでなく、姿勢情報も考慮して処理対象部分Ｐを特定してもよい。変形例（２）の無人航空機制御システム１は、姿勢取得部１０７を含む。姿勢取得部１０７は、無人航空機１０の姿勢に関する姿勢情報を取得する。
姿勢情報は、ロール角、ピッチ角、及びヨー角といった角度情報で示されてもよいし、３次元ベクトルや２次元ベクトルといったベクトル情報で示されてもよい。姿勢取得部１０７は、画像Ｇの変化又はセンサ部１５の検出結果に基づいて、姿勢情報を取得する。例えば、姿勢取得部１０７は、センサ部１５内のジャイロセンサや加速度センサなどの検出信号に基づいて、姿勢情報を取得する。また例えば、姿勢取得部１０７は、後述する変形例（１０）と同様の方法で画像Ｇから空部分と地表部分とを区別し、空部分と地表部分との割合に基づいて姿勢情報を取得してもよい。
変形例（２）の特定部１０３は、姿勢情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、姿勢情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
姿勢情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、姿勢情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、姿勢情報に基づいて、処理対象部分Ｐの位置を決定する。
図１３は、変形例（２）における処理対象部分Ｐの設定方法を示す図である。図１３に示すように、例えば、無人航空機１０が上を向いた場合には、画像Ｇ上でオブジェクトが全体的に下方向に移動するので、特定部１０３は、本来よりも下側になるように、処理対象部分Ｐを設定する。また例えば、無人航空機１０が下を向いた場合には、画像Ｇ上でオブジェクトは全体的に上方向に移動するので、特定部１０３は、本来よりも上側になるように、処理対象部分Ｐを設定する。
例えば、特定部１０３は、実施形態と同様にして、移動方向情報に基づいて処理対象部分Ｐを仮で設定し、当該仮で設定された処理対象部分Ｐを、姿勢情報に基づいて移動させてもよい。この場合、特定部１０３は、仮で設定された処理対象部分Ｐを、姿勢情報が示す姿勢の方向に移動させることによって、最終的な処理対象部分Ｐを設定する。処理対象部分Ｐの移動量は、固定値であってもよいし、姿勢情報が示す姿勢の変化量に応じた値としてもよい。
また例えば、特定部１０３は、姿勢情報に基づいて、無人航空機１０から見た各方向と画像Ｇ上の位置との関係（図３で説明した関係）を変化させ、当該変化後の関係と移動方向情報とに基づいて、処理対象部分Ｐを設定してもよい。
変形例（２）によれば、無人航空機１０の姿勢が変わったとしても、その影響を考慮して処理対象部分Ｐを設定することで、画像Ｇ内の特定のオブジェクトを正確に検出することができ、飛行の安全性をより効果的に高めることができる。
（３）また例えば、無人航空機１０の移動速度によって、急旋回できる領域やオブジェクトに近づく速度が変わるので、移動方向情報だけでなく、移動速度情報も考慮して処理対象部分Ｐを特定してもよい。変形例（３）の無人航空機制御システム１は、移動速度取得部１０８を含む。移動速度取得部１０８は、無人航空機１０の移動速度に関する移動速度情報を取得する。
移動速度情報は、移動速度そのものを示す数値、又は、移動速度の程度を示す記号で示される。移動速度が記号で示される場合には、例えば、Ａであれば停止、Ｂであれば低速、Ｃであれば高速といったように、予め記号の意味を定めておけばよい。
移動速度取得部１０８は、画像Ｇの変化又はセンサ部１５の検出結果に基づいて、移動速度情報を取得する。例えば、移動速度取得部１０８は、画像Ｇから抽出した特徴点の移動量に基づいて、移動速度情報を取得する。また例えば、移動速度取得部１０８は、センサ部１５内の加速度センサにより検出された加速度に基づいて、移動速度情報を取得する。
変形例（３）の特定部１０３は、移動速度情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、移動速度情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
移動速度情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、移動速度情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、移動速度情報に基づいて、処理対象部分Ｐの形状及びサイズの少なくとも一方を決定する。
図１４は、変形例（３）における処理対象部分Ｐの設定方法を示す図である。図１４に示すように、例えば、特定部１０３は、移動速度情報が示す移動速度が速いほど、急旋回できる領域が限られて特定のオブジェクトに近づくまでの時間も早くなるので、処理対象部分Ｐを小さくして、検出処理の処理速度を優先してもよい。また例えば、特定部１０３は、移動速度情報が示す移動速度が速いほど、処理対象部分Ｐを無人航空機１０の移動経路に沿って縦長に変化させてもよい。また例えば、特定部１０３は、移動速度情報が示す移動速度が遅いほど、急旋回できる領域が広くなり特定のオブジェクトに近づくまでの時間も遅くなるので、処理対象部分Ｐを広くして、検出処理を施す範囲の広さを優先してもよい。また例えば、特定部１０３は、移動速度情報が示す移動速度が遅いほど、処理対象部分Ｐを無人航空機１０の移動経路に沿って横長に変化させてもよい。
変形例（３）によれば、無人航空機１０の移動速度を考慮して処理対象部分Ｐを設定することで、例えば検出処理の処理速度を優先したり、検出処理を施す範囲の広さを優先したりすることができ、飛行の安全性をより効果的に高めることができる。
（４）また例えば、無人航空機１０が、予め定められた飛行経路に基づいて自動的に飛行する第１飛行モード、又は、操作者の操作に基づいて飛行する第２飛行モードの何れかで飛行する場合には、無人航空機１０の飛行モードによって注意すべき範囲が変わるので、移動方向情報だけでなく、飛行モードも考慮して処理対象部分Ｐを特定してもよい。
第１飛行モードは、実施形態で説明した飛行モードである。第２飛行モードは、操作者が手動で無人航空機１０を操作（操縦）するモードである。操作者は、例えば、タブレット端末、スマートフォン、又は専用の入力デバイスなどを利用して、無人航空機１０の移動方向や移動速度などを入力する。無人航空機１０は、通信部１３を介して操作者の入力内容を取得し、操作者が指示した通りに飛行する。
変形例（４）の無人航空機制御システム１は、飛行モード取得部１０９を含む。飛行モード取得部１０９は、無人航空機１０の現在の飛行モードに関する飛行モード情報を取得する。飛行モード情報は、第１飛行モード又は第２飛行モードの何れであるかを識別可能な情報であればよく、データ記憶部１００に記憶されているものとする。飛行モードの切り替えは、管理者によって指示されるようにすればよい。
無人航空機１０は、飛行モード情報が示す現在の飛行モードが第１飛行モードであれば、実施形態で説明したように、データ記憶部１００に記憶された飛行経路データに基づいて飛行する。一方、無人航空機１０は、飛行モード情報が示す現在の飛行モードが第２飛行モードであれば、通信部１３を介して取得した操作者の入力内容に基づいて飛行する。入力内容は、例えば、移動方向の指示、移動速度の指示、ホバリングの指示、着陸指示、又は離陸指示などである。
操作者の入力内容と飛行制御方法との関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。無人航空機１０は、操作者の入力内容に関連付けられた飛行制御方法で飛行する。
変形例（４）の特定部１０３は、飛行モード情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、飛行モード情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
飛行モード情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、飛行モード情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、飛行モード情報に基づいて、処理対象部分Ｐの形状及びサイズの少なくとも一方を設定する。
図１５は、変形例（４）における処理対象部分Ｐの設定方法を示す図である。図１５に示すように、例えば、特定部１０３は、第１飛行モードであれば、予め定められた経路を自律的に飛行しており急な方向転換は考えにくいので、処理対象部分Ｐを小さくして、検出処理の処理速度を優先してもよい。また例えば、特定部１０３は、第２飛行モードであれば、操作者の操作ミスなどによる急な方向転換が考えられるので、処理対象部分Ｐを広くして、検出処理を施す範囲の広さを優先してもよい。
変形例（４）によれば、無人航空機１０の飛行モードを考慮して処理対象部分Ｐを設定することで、例えば検出処理の処理速度を優先したり、検出処理を施す範囲の広さを優先したりすることができ、飛行の安全性をより効果的に高めることができる。
（５）また例えば、無人航空機１０の高度によって、オブジェクトに近づくまでの時間が変わったり、画像Ｇ内のオブジェクトのサイズが変わったりするので、移動方向情報だけでなく、高度情報も考慮して処理対象部分Ｐを特定してもよい。変形例（５）の無人航空機制御システム１は、高度取得部１１０を含む。高度取得部１１０は、無人航空機の飛行中の高度に関する高度情報を取得する。
高度情報は、高度そのものを示す数値、又は、高度の程度を示す記号で示される。移動速度が記号で示される場合には、例えば、Ａであれば低い高度、Ｂであれば中程度の高度、Ｃであれば高い高度といったように、予め記号の意味を定めておけばよい。
高度取得部１１０は、画像Ｇの変化又はセンサ部１５の検出結果に基づいて、高度情報を取得する。例えば、高度取得部１１０は、センサ部１５内の高度センサにより検出された高度を高度情報として取得する。高度センサは、デジタル高度計であり、例えば、気圧高度計であってもよいし、電波高度計であってもよい。また例えば、高度取得部１１０は、画像Ｇから抽出したオブジェクトのサイズ又は特徴点間の距離に基づいて、高度情報を取得する。この場合、オブジェクトのサイズが小さいほど高度が高くなり、特徴点間の距離が短いほど高度が高くなるものとする。
変形例（５）の特定部１０３は、高度情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、高度情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
高度情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、高度情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、高度情報に基づいて、処理対象部分Ｐの形状及びサイズの少なくとも一方を設定する。
図１６は、変形例（５）における処理対象部分Ｐの設定方法を示す図である。図１６に示すように、例えば、特定部１０３は、高度情報が示す高度が高ければ、画像Ｇに撮影される範囲が広くなり、無人航空機１０とオブジェクトとの距離もあるので、処理対象部分Ｐを小さくして、検出処理の処理速度を優先してもよい。また例えば、特定部１０３は、高度情報が示す高度が低ければ、画像Ｇに撮影される範囲が狭くなり、無人航空機１０とオブジェクトとの距離が近いので、処理対象部分Ｐを広くして、検出処理を施す範囲の広さを優先するようにしてもよい。
変形例（５）によれば、無人航空機１０の高度を考慮して処理対象部分Ｐを設定することで、例えば検出処理の処理速度を優先したり、検出処理を施す範囲の広さを優先したりすることができ、飛行の安全性をより効果的に高めることができる。
（６）また例えば、無人航空機１０は、特定のオブジェクトが存在する蓋然性が高い地域を飛行することもあれば、当該蓋然性が低い地域を飛行することもあるので、移動方向情報だけでなく、地表面情報も考慮して処理対象部分Ｐを特定してもよい。変形例（６）の無人航空機制御システム１は、地表面取得部１１１を含む。地表面取得部１１１は、無人航空機１０が飛行する地域の地表面に関する地表面情報を取得する。
地表面情報は、地表面の属性を示す情報である。例えば、地表面が複数にカテゴリ分けされており、地表面情報は、無人航空機１０が飛行する地域のカテゴリを示す。カテゴリとしては、地上に何があるかを分類可能な情報であればよく、例えば、市街地・農村部・山間部・河川部・海岸部といったカテゴリが用意されている。
例えば、地表面取得部１１１は、画像Ｇ又はセンサ部１５の検出結果に基づいて、地表面情報を取得してもよいし、管理者が入力した地表面情報を、通信部１３などを介して取得してもよい。例えば、データ記憶部１００が地図データを記憶しており、当該地図データに地上の各地点と地表面情報との関係が格納されていてもよい。この場合には、地表面取得部１１１は、センサ部１５内のＧＰＳセンサにより検出された位置情報に関連付けられた地表面情報を取得する。また例えば、地表面取得部１１１は、画像Ｇの色情報に基づいて、地表面情報を取得してもよい。
変形例（６）の特定部１０３は、地表面情報に更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、地表面情報に基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
地表面情報と処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、地表面情報に関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、地表面情報に基づいて、処理対象部分Ｐの位置を設定する。
例えば、地表面情報が市街地を示している場合には、特定のオブジェクトが存在する蓋然性が高いので、特定部１０３は、画像Ｇ全体の中から処理対象部分Ｐを特定する。また例えば、地表面情報が河川部を示している場合には、河川上は特定のオブジェクトが存在する蓋然性が低いので、特定部１０３は、画像Ｇのうち河川以外の部分の中から処理対象部分Ｐを特定する。
変形例（６）によれば、地表面情報を考慮して処理対象部分Ｐを設定することで、特定のオブジェクトを効率よく検出することができ、飛行の安全性をより効果的に高めることができる。
（７）また例えば、無人航空機１０が予め定められた飛行経路に基づいて自動的に飛行する際に、飛行制御部１０５は、検出処理によって特定のオブジェクトが検出された場合に代替飛行経路を作成し、当該代替飛行経路に基づいて、無人航空機の飛行を制御してもよい。
例えば、飛行制御部１０５は、特定のオブジェクトから遠ざかるように代替飛行経路を作成する。飛行制御部１０５は、画像Ｇ内の特定のオブジェクトの位置に基づいて、無人航空機１０に対する特定のオブジェクトの相対的な位置を取得する。そして、飛行制御部１０５は、取得した当該位置から遠ざかるように、代替飛行経路を作成すればよい。
変形例（７）によれば、特定のオブジェクトが検出された場合に代替飛行経路を作成することによって、特定のオブジェクトを回避するように飛行することができ、飛行の安全性を高めることができる。
（８）また例えば、特定部１０３は、変形例（７）において代替飛行経路が作成された場合に、当該代替飛行経路に基づいて、処理対象部分Ｐを特定し直すようにしてもよい。特定部１０３は、代替飛行経路が示す移動方向情報に基づいて、処理対象部分Ｐを特定すればよい。移動方向情報に基づいて処理対象部分Ｐを特定する方法自体は、実施形態で説明した方法と同じであってよい。
変形例（８）によれば、代替飛行経路が作成された場合に処理対象部分Ｐが特定し直されるので、特定のオブジェクトをより確実に検出でき、飛行の安全性を高めることができる。
（９）また例えば、画像Ｇのうち、特定のオブジェクトが存在する蓋然性の高い部分を地図データから特定してもよい。例えば、特定のオブジェクトが人や自動車だとすると、これらは道路上にいる蓋然性が高い。このため、無人航空機１０に対して道路がある方向を地図データから特定し、当該方向に処理対象部分Ｐが優先的に設定されるようにしてもよい。
変形例（９）の無人航空機制御システム１は、地図データ取得部１１２を含む。地図データ取得部１１２は、無人航空機１０が飛行する地域の地図データを取得する。地図データを予めデータ記憶部１００に記憶させておく場合には、地図データ取得部１１２は、データ記憶部１００から地図データを取得する。地図データを外部コンピュータに記憶させておく場合には、地図データ取得部１１２は、当該外部コンピュータから地図データを取得する。なお、地図データ自体は、公知の地図を示すデータであればよく、例えば、地球上の各地点の緯度経度情報と、当該地点にある物体と、の関係が地図データに示されているようにしてよい。
変形例（９）の特定部１０３は、地図データに更に基づいて、処理対象部分Ｐを特定する。特定部１０３は、移動方向情報だけでなく、地図データに基づいて、処理対象部分Ｐの位置、形状、及びサイズの少なくとも１つを決定する。
地図データと処理対象部分Ｐとの関係は、プログラム形式のデータとしてデータ記憶部１００に記憶されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。即ち、上記関係は、プログラムコードの一部として定義されていてもよいし、数式又はテーブルで定義されていてもよい。特定部１０３は、地図データに関連付けられた処理対象部分Ｐを設定する。例えば、特定部１０３は、地図データに基づいて、処理対象部分Ｐの位置を決定する。
例えば、特定部１０３は、無人航空機１０の位置情報と地図データとに基づいて、特定のオブジェクトが存在する蓋然性の高いオブジェクトを特定する。例えば、特定のオブジェクトが人や機械であれば、人が存在する蓋然性の高いオブジェクトは道路であり、特定のオブジェクトが建物であれば、建物が存在する蓋然性の高いオブジェクトは道路で囲まれた敷地である。特定部１０３は、当該特定した位置に処理対象部分Ｐを設定すればよい。
変形例（９）によれば、地図データを利用して処理対象部分Ｐを設定することで、特定のオブジェクトを検出しやすくなり、飛行の安全性を効果的に高めることができる。
（１０）また例えば、画像Ｇには、地上の様子だけではなく、上空の様子も撮影されており、特定のオブジェクトが空中に存在する蓋然性が低ければ、空が撮影された部分については、処理対象部分Ｐが設定されないようにしてもよい。
変形例（１０）の無人航空機制御システム１は、区別部１１３を含む。区別部１１３は、画像Ｇのうち、空が撮影された空部分と、地上が撮影された地表部分と、を区別する。例えば、区別部１１３は、画像Ｇの各画素の画素値を参照し、空の色を示す画素値の範囲内であれば、当該画素を空部分として分類し、そうでなければ、当該画素を地表部分として分類する。なお、空の色を示す画素値の範囲は、固定値であってもよいし、可変値であってもよい。可変値である場合には、日時・天候・季節などによって変えるようにすればよい。
本変形例の特定部１０３は、地上部分の中から処理対象部分Ｐを特定する。例えば、特定部１０３は、画像Ｇのうち空部分に対して処理対象部分Ｐが設定されないようにしてもよいし、空部分の優先度を地上部分の優先度よりも低く設定するようにしてもよい。
変形例（１０）によれば、地上部分の中から処理対象部分Ｐが設定されるので、処理対象部分Ｐを設定する処理を効率化することができる。
（１１）また例えば、画像Ｇ内に特定のオブジェクトが検出された場合には、特定のオブジェクトが急に消えることは原則としてないので、特定部１０３は、過去に実行された検出処理によって特定のオブジェクトが検出された場合に、画像Ｇのうち、当該特定のオブジェクトが検出された部分に更に基づいて、処理対象部分Ｐを特定するようにしてもよい。この場合、特定部１０３は、直近又は所定時間以内に特定のオブジェクトが検出された位置を含むように、処理対象部分Ｐを設定する。即ち、特定部１０３は、一度検出された特定のオブジェクトを追跡するように、処理対象部分Ｐを設定する。
変形例（１１）によれば、一度検出された特定のオブジェクトを追跡するようにして処理対象部分Ｐを設定することができ、特定のオブジェクトを検出する確実性を高めることができるので、飛行の安全性を高めることができる。
（１２）また例えば、実施形態では、処理対象部分Ｐに対してのみ検出処理が実行される場合を説明したが、処理対象部分Ｐ以外に対して低頻度で検出処理が実行されてもよい。この場合、処理部１０４は、処理対象部分Ｐ以外の部分に対し、第１の頻度で検出処理を実行し、処理対象部分Ｐに対し、第１の頻度よりも高い第２の頻度で検出処理を実行する。
更に、処理部１０４は、複数の処理対象部分Ｐを設定し、各処理対象部分Ｐの優先度に基づいて、当該処理対象部分Ｐに対して検出処理を実行する頻度を決定してもよい。この場合、処理部１０４は、優先度が高いほど高頻度となるように、各処理対象部分Ｐの頻度を決定すればよい。即ち、処理部１０４は、処理対象部分Ｐが移動方向に近いほど高頻度となり、処理対象部分Ｐが移動方向から離れているほど低頻度となるように、各処理対象部分Ｐの頻度を決定すればよい。
変形例（１２）によれば、画像Ｇのうち、処理対象部分Ｐ以外の部分に対しては低頻度で検出処理が実行され、処理対象部分Ｐに対しては高頻度で検出処理が実行されるので、特定のオブジェクトを迅速に検出して飛行の安全性を高めることができる。また、重要度の低い部分からも特定のオブジェクトを検出することができ、飛行の安全性を効果的に高めることができる。
（１３）また例えば、上記変形例（１）〜（１２）の何れか２つ以上を組み合わせるようにしてもよい。
また例えば、無人航空機制御システム１は、無人航空機１０以外のコンピュータを含んでいてもよく、当該コンピュータによって各無人航空機１０の飛行制御が実行されてもよい。
図１７は、変形例に係る無人航空機制御システム１の全体構成を示す図である。図１７に示すように、無人航空機制御システム１は、無人航空機１０とサーバ２０とを含む。無人航空機１０とサーバ２０とは、インターネットなどのネットワークに接続されている。なお、サーバ２０は、１台であってもよいし、複数台であってもよい。
サーバ２０は、サーバコンピュータであり、制御部２１、記憶部２２、及び通信部２３を含む。制御部２１、記憶部２２、及び通信部２３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様のため、ここでは説明を省略する。
例えば、データ記憶部１００は、サーバ２０の記憶部２２を主として実現されてもよい。この場合は、各無人航空機１０は、サーバ２０のデータ記憶部１００が記憶するデータをネットワーク経由で取得してもよい。また例えば、画像取得部１０１は、サーバ２０の制御部２１を主として実現されてもよい。この場合、画像取得部１０１は、ネットワークを介して無人航空機１０から画像Ｇを取得してもよいし、撮影部１４に通信機能を持たせる場合には、撮影部１４から画像Ｇを取得してもよい。
また例えば、移動方向取得部１０２は、サーバ２０の制御部２１を主として実現されてもよい。この場合、移動方向取得部１０２は、ネットワークを介して、画像Ｇ又はセンサ部１５の検出結果を取得し、移動方向情報を取得する。また例えば、特定部１０３は、サーバ２０の制御部２１を主として実現されてもよい。この場合、特定部１０３は、無人航空機１０の移動方向取得部１０２から移動方向情報を取得してもよいし、サーバ２０の移動方向取得部１０２から移動方向情報を取得してもよい。
また例えば、処理部１０４は、サーバ２０の制御部２１を主として実現されてもよい。この場合、処理部１０４は、無人航空機１０の特定部１０３から移動方向情報を取得してもよいし、サーバ２０の特定部１０３から移動方向情報を取得してもよい。また例えば、飛行制御部１０５は、サーバ２０の制御部２１を主として実現されてもよい。この場合、飛行制御部１０５は、無人航空機１０の処理部１０４から特定のオブジェクトの検出結果を取得してもよいし、サーバ２０の処理部１０４から特定のオブジェクトの検出結果を取得してもよい。飛行制御方法自体は、実施形態及び上記変形例で説明した処理と同様の処理であればよい。飛行制御部１０５は、モータの回転数などの指令を無人航空機１０に送信することによって、飛行制御を行う。無人航空機１０は、サーバ２０の飛行制御部１０５から受信した指令に基づいて、モータを制御する。
また例えば、上記説明した各機能は、無人航空機制御システム１の何れかのコンピュータで実現されるようにすればよく、無人航空機１０とサーバ２０などの他のコンピュータとで各機能が分担されていてもよいし、複数の無人航空機１０同士で各機能が分担されていてもよい。

Claims (19)

  1. 任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得手段と、
    前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得手段と、
    前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定手段と、
    前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理手段と、
    を含むことを特徴とする検出システム。
  2. 前記検出システムは、前記検出処理の実行結果に基づいて、前記無人航空機の飛行を制御する飛行制御手段、
    を更に含むことを特徴とする請求項１に記載の検出システム。
  3. 前記検出システムは、前記無人航空機に対する外力に関する外力情報を取得する外力取得手段を更に含み、
    前記特定手段は、前記外力情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１又は２に記載の検出システム。
  4. 前記検出システムは、前記無人航空機の姿勢に関する姿勢情報を取得する姿勢取得手段を更に含み、
    前記特定手段は、前記姿勢情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜３の何れかに記載の検出システム。
  5. 前記検出システムは、前記無人航空機の移動速度に関する移動速度情報を取得する移動速度取得手段を更に含み、
    前記特定手段は、前記移動速度情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜４の何れかに記載の検出システム。
  6. 前記無人航空機は、予め定められた飛行経路に基づいて自動的に飛行する第１飛行モード、又は、操作者の操作に基づいて飛行する第２飛行モードの何れかで飛行し、
    前記検出システムは、前記無人航空機の現在の飛行モードに関する飛行モード情報を取得する飛行モード取得手段を更に含み、
    前記特定手段は、前記飛行モード情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜５の何れかに記載の検出システム。
  7. 前記検出システムは、前記無人航空機の飛行中の高度に関する高度情報を取得する高度取得手段を更に含み、
    前記特定手段は、前記高度情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜６の何れかに記載の検出システム。
  8. 前記検出システムは、前記無人航空機が飛行する地域の地表面に関する地表面情報を取得する地表面取得手段を更に含み、
    前記特定手段は、前記地表面情報に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜７の何れかに記載の検出システム。
  9. 前記無人航空機は、予め定められた飛行経路に基づいて自動的に飛行し、
    前記飛行制御手段は、前記検出処理によって前記特定のオブジェクトが検出された場合に代替飛行経路を作成し、当該代替飛行経路に基づいて、前記無人航空機の飛行を制御する、
    ことを特徴とする請求項１〜８の何れかに記載の検出システム。
  10. 前記特定手段は、前記代替飛行経路が作成された場合に、当該代替飛行経路に基づいて、前記処理対象部分を特定し直す、
    ことを特徴とする請求項９に記載の検出システム。
  11. 前記検出システムは、前記無人航空機が飛行する地域の地図データを取得する手段を更に含み、
    前記特定手段は、前記地図データに更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜１０の何れかに記載の検出システム。
  12. 前記検出システムは、前記画像のうち、空が撮影された空部分と、地上が撮影された地表部分と、を区別する区別手段を更に含み、
    前記特定手段は、前記地上部分の中から前記処理対象部分を特定する、
    ことを特徴とする請求項１〜１１の何れかに記載の検出システム。
  13. 前記特定手段は、過去に実行された前記検出処理によって前記特定のオブジェクトが検出された場合に、前記画像のうち、当該特定のオブジェクトが検出された部分に更に基づいて、前記処理対象部分を特定する、
    ことを特徴とする請求項１〜１２の何れかに記載の検出システム。
  14. 前記画像は、少なくとも水平方向の全方向が撮影された画像である、
    ことを特徴とする請求項１〜１３の何れかに記載の検出システム。
  15. 前記特定のオブジェクトは、前記無人航空機が回避すべきオブジェクトである、
    ことを特徴とする請求項１〜１４の何れかに記載の検出システム。
  16. 前記処理手段は、前記処理対象部分以外の部分に対しては、前記検出処理を実行せず、前記処理対象部分に対してのみ、前記検出処理を実行する、
    ことを特徴とする請求項１〜１５の何れかに記載の検出システム。
  17. 前記処理手段は、前記処理対象部分以外の部分に対し、第１の頻度で前記検出処理を実行し、前記処理対象部分に対し、前記第１の頻度よりも高い第２の頻度で前記検出処理を実行する、
    ことを特徴とする請求項１〜１５の何れかに記載の検出システム。
  18. 任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得ステップと、
    前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得ステップと、
    前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定ステップと、
    前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理ステップと、
    を含むことを特徴とする検出方法。
  19. 任意の方向に移動可能な無人航空機の周囲が撮影された画像を取得する画像取得手段、
    前記無人航空機の移動方向に関する移動方向情報を取得する移動方向取得手段、
    前記移動方向情報に基づいて、前記画像の中から処理対象部分を特定する特定手段、
    前記処理対象部分に対し、特定のオブジェクトを検出するための検出処理を実行する処理手段、
    としてコンピュータを機能させるためのプログラム。
JP2018509869A 2017-10-25 2017-10-25 検出システム、検出方法、及びプログラム Active JP6324649B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038523 WO2019082301A1 (ja) 2017-10-25 2017-10-25 無人航空機制御システム、無人航空機制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6324649B1 true JP6324649B1 (ja) 2018-05-16
JPWO2019082301A1 JPWO2019082301A1 (ja) 2019-11-14

Family

ID=62143921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018509869A Active JP6324649B1 (ja) 2017-10-25 2017-10-25 検出システム、検出方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200379487A1 (ja)
JP (1) JP6324649B1 (ja)
WO (1) WO2019082301A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106919A (ja) * 2018-12-26 2020-07-09 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
JP2020112934A (ja) * 2019-01-09 2020-07-27 株式会社アトラックラボ 移動体、移動体の制御方法及びコンピュータプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020136711A1 (ja) * 2018-12-25 2020-07-02 楽天株式会社 配置場所の決定方法、輸送システム、及び情報処理装置
US20220075370A1 (en) * 2019-01-24 2022-03-10 Xtend Reality Expansion Ltd. Systems, methods and programs for continuously directing an unmanned vehicle to an environment agnostic destination marked by a user
JP7447820B2 (ja) * 2019-02-13 2024-03-12 ソニーグループ株式会社 移動体、通信方法、およびプログラム
US11694563B2 (en) * 2019-07-09 2023-07-04 Here Global B.V. Method and apparatus to control one or more drones based on real-time or predictive position information
KR102419393B1 (ko) * 2020-11-10 2022-07-11 국방과학연구소 비행 안전 판단 시스템 및 방법
KR102550510B1 (ko) * 2020-12-18 2023-06-30 한서대학교 산학협력단 지형정보 생성 시스템
KR102268980B1 (ko) * 2020-12-31 2021-06-24 주식회사 위즈윙 Gps 음영지역에서 드론의 자율 주행을 위한 위치 추정 장치
WO2022231989A1 (en) * 2021-04-29 2022-11-03 Skygrid, Llc Unmanned aerial vehicle response to object detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302325A (ja) * 1994-04-30 1995-11-14 Suzuki Motor Corp 車載用画像認識装置
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2017103751A (ja) * 2015-09-10 2017-06-08 パロット ドローンズ 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン
JP2017163265A (ja) * 2016-03-08 2017-09-14 株式会社リコー 操縦支援システム、情報処理装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9396401B2 (en) * 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
FR3041135B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
JP6838248B2 (ja) * 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置
FR3055077B1 (fr) * 2016-08-11 2018-10-05 Parrot Drones Procede de capture d'une video, programme d'ordinateur, et systeme electronique de capture d'une video associes
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
US20180284234A1 (en) * 2017-03-29 2018-10-04 Luminar Technologies, Inc. Foveated Imaging in a Lidar System

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302325A (ja) * 1994-04-30 1995-11-14 Suzuki Motor Corp 車載用画像認識装置
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
JP2017103751A (ja) * 2015-09-10 2017-06-08 パロット ドローンズ 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン
JP2017163265A (ja) * 2016-03-08 2017-09-14 株式会社リコー 操縦支援システム、情報処理装置およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106919A (ja) * 2018-12-26 2020-07-09 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
JP7345153B2 (ja) 2018-12-26 2023-09-15 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
JP2020112934A (ja) * 2019-01-09 2020-07-27 株式会社アトラックラボ 移動体、移動体の制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2019082301A1 (ja) 2019-05-02
US20200379487A1 (en) 2020-12-03
JPWO2019082301A1 (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
JP6324649B1 (ja) 検出システム、検出方法、及びプログラム
US11748898B2 (en) Methods and system for infrared tracking
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
CN111527463B (zh) 用于多目标跟踪的方法和系统
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
CN108292140B (zh) 用于自动返航的系统和方法
EP3494443B1 (en) Systems and methods for controlling an image captured by an imaging device
CN107168352B (zh) 目标追踪系统及方法
CN108702444B (zh) 一种图像处理方法、无人机及系统
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
JP2019507924A (ja) Ｕａｖ軌道を調整するシステム及び方法
CN107450573B (zh) 飞行拍摄控制系统和方法、智能移动通信终端、飞行器
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
KR102486768B1 (ko) 탐지 상황에 따라 자동으로 이동 경로를 설정하는 무인 항공기, 및 운용 방법
CN111052028B (zh) 用于自动水面和天空检测的系统和方法
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
CN114096929A (zh) 信息处理设备、信息处理方法和信息处理程序
JP2021103410A (ja) 移動体及び撮像システム
JP2021047738A (ja) 移動体、飛行経路制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180220

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180410

R150 Certificate of patent or registration of utility model

Ref document number: 6324649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250