JP6784434B2 - 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム - Google Patents

方法、ｕａｖ制御プログラム、無人航空機、及び制御システム Download PDF

Info

Publication number
JP6784434B2
JP6784434B2 JP2016526059A JP2016526059A JP6784434B2 JP 6784434 B2 JP6784434 B2 JP 6784434B2 JP 2016526059 A JP2016526059 A JP 2016526059A JP 2016526059 A JP2016526059 A JP 2016526059A JP 6784434 B2 JP6784434 B2 JP 6784434B2
Authority
JP
Japan
Prior art keywords
target
uav
imaging device
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016526059A
Other languages
English (en)
Other versions
JP2017503226A (ja
JP2017503226A5 (ja
Inventor
ザン、ボ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54290321&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6784434(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017503226A publication Critical patent/JP2017503226A/ja
Publication of JP2017503226A5 publication Critical patent/JP2017503226A5/ja
Application granted granted Critical
Publication of JP6784434B2 publication Critical patent/JP6784434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

無人航空機（ＵＡＶ）等の航空機は、軍事および非軍事的用途のための調査、偵察、および探検のタスクを実行するべく、用いられ得る。そのような複数の航空機は、周囲環境の画像を取り込する等、特定の機能を実行するように構成された搭載物を搬送し得る。
いくつかの例において、航空機が特定の目標を追跡することが所望であり得る。従来、小さいサイズの航空機にとり、そのような追跡は、ユーザにより操作される遠隔制御端末またはデバイスからの複数の制御コマンドにより実現される。そのような手動追跡制御は、可動物体または目標が迅速に移動する場合、または可動物体がユーザの視野から少なくとも部分的に遮断される場合等、一定の複数の条件においては困難となり得る。更に、そのような手動追跡に必要な注意力は、典型的には、航空機のナビゲーションを制御するユーザとは別の、航空機に搭載されたカメラを制御する専用ユーザを必要とし、それにより航空写真、および航空機の他の複数の用途のコストを増大させる。
いくつかの例において、航空機が特定の目標を追跡することが所望であり得る。従って、自動式または半自動式の目標追跡を提供し、それにより手動で複数の目標を追跡する航空機の操作者の負担を軽減する改善されたＵＡＶ追跡方法およびシステムに対する必要性が、存在する。本発明は、ＵＡＶによる目標追跡に関する複数のシステム、方法、およびデバイスを提供する。ＵＡＶは、ＵＡＶに接続された撮像デバイスにより追跡される目標に関する制御端末から、目標情報を受信するように構成され得る。目標情報は、撮像デバイスにより取り込まれる１または複数の画像中の目標の予め定められた位置および／またはサイズを維持するように目標を自動的に追跡するべく、ＵＡＶにより用いられ得る。追跡のいずれの説明も、撮像デバイスによる視覚的追跡を含み得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。
本発明の一態様によれば、無人航空機（ＵＡＶ）を制御するための方法が提供される。本方法は、遠隔ユーザから１または複数のナビゲーションコマンドを受信し、飛行経路に沿ってＵＡＶを移動させるステップと、遠隔ユーザから、ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するステップと、ＵＡＶが遠隔ユーザからの１または複数のナビゲーションコマンドに従って飛行経路に沿って移動する間に、ＵＡＶまたは撮像デバイスのうち少なくとも１つを自動的に調整することにより、目標情報に従って目標を追跡するステップとを備える。
本発明の別の態様によれば、複数の追跡機能を有する無人航空機（ＵＡＶ）が提供される。ＵＡＶは、個別に、または集合的に、遠隔ユーザから（１）飛行経路に沿ってＵＡＶを移動させる１または複数のナビゲーションコマンド、および（２）ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された１または複数のレシーバと、ＵＡＶが遠隔ユーザからの１または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、ＵＡＶまたは撮像デバイスのうち少なくとも１つを自動的に調整することにより、目標情報に従って目標を個別に、または集合的に追跡するように構成された１または複数のプロセッサとを備える。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するためのシステムが提供される。システムは、個別に、または集合的に、遠隔ユーザから（１）飛行経路に沿ってＵＡＶを移動させる１または複数のナビゲーションコマンド、および（２）ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された１または複数のレシーバと、ＵＡＶが遠隔ユーザからの１または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、ＵＡＶまたは撮像デバイスのうち少なくとも１つを自動的に調整することにより、目標情報に従って目標を個別に、または集合的に追跡するように構成された１または複数のプロセッサとを備える。
いくつかの実施形態において、撮像デバイスは、カメラまたはカムコーダーを含む。
いくつかの実施形態において、１または複数のナビゲーションコマンドは、ＵＡＶの速度、位置、または姿勢を制御するように適合される。
いくつかの実施形態において、目標は、参照物体に対して実質的に静止状態にある。
いくつかの実施形態において、目標は、参照物体に対して移動する。
いくつかの実施形態において、目標情報は、初期目標情報を含む。
いくつかの実施形態において、初期目標情報は、撮像デバイスにより取り込まれた画像中に目標の初期位置または初期サイズを含む。
いくつかの実施形態において、目標情報は、目標タイプ情報を含む。
いくつかの実施形態において、目標情報に従って目標を追跡するステップは、画像認識アルゴリズムを用いて、目標タイプ情報に基づき、撮像デバイスにより取り込まれた１または複数の画像中から、追跡する目標を識別するステップを更に有する。
いくつかの実施形態において、目標タイプ情報は、色、テクスチャ、またはパターン情報を含む。
いくつかの実施形態において、目標情報は、期待目標情報を含む。
いくつかの実施形態において、期待目標情報は、撮像デバイスにより取り込まれた画像中の目標の期待位置または期待サイズを含む。
いくつかの実施形態において、目標の期待サイズは、目標の初期サイズと同一である。
いくつかの実施形態において、目標の期待位置は、目標の初期位置と同一である。
いくつかの実施形態において、目標情報に従って目標を追跡するステップは、撮像デバイスにより取り込まれた１または複数の画像中における目標の期待位置または期待サイズを予め定められた程度の公差内に維持するステップを有する。
いくつかの実施形態において、撮像デバイスは、撮像デバイスがＵＡＶに対して移動することを可能にするように構成された支持機構を介してＵＡＶに接続される。
いくつかの実施形態において、支持機構は、撮像デバイスがＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される。
いくつかの実施形態において、目標情報に従って目標を追跡するステップは、ＵＡＶが遠隔ユーザからの１または複数のナビゲーションコマンドに従い、飛行経路に沿って移動する間に、ＵＡＶ、支持機構、または撮像デバイスのうち少なくとも１つを自動的に調整するステップを有する。
いくつかの実施形態において、目標情報は、期待目標情報を含み、目標情報に従って目標を追跡するステップは、撮像デバイスにより取り込まれた１または複数の画像に基づいて、目標の現在の目標情報を判断するステップと、現在の目標情報の期待目標情報からの偏差を検出するステップと、偏差を実質的に補正するように、ＵＡＶ、支持機構、または撮像デバイスに対する調整値を算出するステップとを有する。
いくつかの実施形態において、偏差は、目標の位置における変化に関係し、算出済みの調整値は、ＵＡＶに対する角速度に関係する。
いくつかの実施形態において、角速度は、ＵＡＶのヨー軸に相対する。
いくつかの実施形態において、角速度は、ＵＡＶのピッチ軸に相対する。
いくつかの実施形態において、偏差は、目標の位置における変化に関係し、算出済みの調整値は、ＵＡＶに対する撮像デバイスの角速度に関係する。
いくつかの実施形態において、算出済みの調整値は、撮像デバイスをＵＡＶに対して移動させるように支持機構に対する複数の制御信号を生成するべく用いられる。
いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、ＵＡＶに対する線形速度に関係する。
いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、撮像デバイスの１または複数のパラメータに関係する。
いくつかの実施形態において、撮像デバイスの１または複数のパラメータは、焦点距離、ズーム、またはフォーカスを含む。
いくつかの実施形態において、算出済みの調整値は、予め定められた範囲に限定される。
いくつかの実施形態において、予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する。
いくつかの実施形態において、制御システムは、ＵＡＶ用の飛行制御システムまたは支持機構用の制御システムを含む。
警告信号は、いくつかの実施形態において、算出済みの調整値が予め定められた範囲から外れる場合に、提供される。
いくつかの実施形態において、目標を追跡するステップは、算出済みの調整値を予め定められた最大閾値と比較するステップと、算出済みの調整値が予め定められた最大閾値を超える場合に、予め定められた最大閾値を提供するステップとを有する。
いくつかの実施形態において、予め定められた最大閾値は、ＵＡＶもしくは撮像デバイスに対する最高角速度もしくは最高線形速度を含む。
いくつかの実施形態において、目標を追跡するステップは、算出済みの調整値を予め定められた最小閾値と比較するステップと、算出済みの調整値が予め定められた最小閾値よりも小さい場合に、予め定められた最小閾値を提供するステップとを有する。
いくつかの実施形態において、予め定められた最小閾値は、ＵＡＶもしくは撮像デバイスに対する最低角速度もしくは最低線形速度を含む。
いくつかの実施形態において、目標情報は、遠隔ユーザにアクセス可能な遠隔制御デバイスから受信される。
いくつかの実施形態において、１または複数のナビゲーションコマンドは、同一の遠隔制御デバイスから受信される。
いくつかの実施形態において、１または複数のナビゲーションコマンドは、異なる遠隔制御デバイスから受信される。
いくつかの実施形態において、遠隔制御デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、またはスタイラスからのユーザ入力を受信するように構成される。
いくつかの実施形態において、遠隔制御デバイスは、ウェアラブルデバイスからのユーザ入力を受信するように構成される。
いくつかの実施形態において、遠隔制御デバイスは、ＵＡＶから、撮像デバイスにより取り込まれた１または複数の画像を受信し、１または複数の画像を表示し、表示された画像中から、目標におけるユーザ選択を受信し、目標のユーザ選択に基づいて目標についての目標情報を生成し、目標情報をＵＡＶに送信するように構成される。
いくつかの実施形態において、遠隔制御デバイスは、ユーザ入力に基づいて１または複数のナビゲーションコマンドを生成し、１または複数のナビゲーションコマンドをＵＡＶに送信するように更に構成される。
いくつかの実施形態において、遠隔制御デバイスは、目標に関係する追跡情報を受信し、追跡情報を用いて１または複数の画像を表示するように更に構成される。
本発明の一態様によれば、複数の追跡機能を有する無人航空機（ＵＡＶ）が提供される。ＵＡＶは、個別に、または集合的に、遠隔ユーザからＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された１または複数のレシーバと、撮像デバイスにより取り込まれた１または複数の画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、ＵＡＶ、支持機構、または撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された１または複数のプロセッサとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中の目標の予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがＵＡＶに対して移動することを可能にするように構成された支持機構を介してＵＡＶに接続される。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するためのシステムが提供される。システムは、個別に、または集合的に、遠隔ユーザからＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された１または複数のレシーバと、撮像デバイスにより取り込まれた１または複数画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、ＵＡＶ、支持機構、または撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された１または複数のプロセッサとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中の目標に予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがＵＡＶに対して移動することを可能にするように構成された支持機構を介してＵＡＶに接続される。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するための方法が提供される。本方法は、遠隔ユーザから、ＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するステップと、ＵＡＶに搭載したプロセッサにより、撮像デバイスにより取り込まれた１または複数の画像に基づいて、目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップと、目標の予め定められた位置または予め定められたサイズからの検出済みの偏差を実質的に補正するように、ＵＡＶ、支持機構、または撮像デバイスを自動的に調整するステップとを備え、ユーザ指定目標情報は、撮像デバイスにより取り込まれた画像中における目標の予め定められた位置または予め定められたサイズを含み、撮像デバイスは、撮像デバイスがＵＡＶに対して移動することを可能にするように構成された支持機構を介してＵＡＶに接続される。
いくつかの実施形態において、撮像デバイスは、カメラまたはカムコーダーを含む。
いくつかの実施形態において、本方法は、遠隔ユーザから、ＵＡＶの速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するステップを更に備える。
いくつかの実施形態において、本方法は、遠隔ユーザから、支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するステップを更に備える。
いくつかの実施形態において、本方法は、遠隔ユーザから、撮像デバイスの１または複数の動作パラメータを制御するように適合された１または複数のコマンドを受信するステップを更に備える。
いくつかの実施形態において、撮像デバイスの１または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む。
いくつかの実施形態において、支持機構は、撮像デバイスがＵＡＶに対する少なくとも１つの軸を中心として回転することを可能にするように構成される。
いくつかの実施形態において、支持機構は、撮像デバイスがＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される。
いくつかの実施形態において、目標の目標情報は、目標タイプ情報を更に含む。
いくつかの実施形態において、目標タイプ情報は、目標の色またはテクスチャを含む。
いくつかの実施形態において、目標の予め定められた位置は、目標の初期位置または期待位置を含む。
いくつかの実施形態において、目標の予め定められたサイズは、目標の初期サイズまたは期待サイズを含む。
いくつかの実施形態において、目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップは、撮像デバイスにより取り込まれた１または複数の画像中の目標の位置またはサイズを、予め定められた位置または予め定められたサイズとそれぞれ比較するステップを有する。
いくつかの実施形態において、ＵＡＶ、支持機構、または撮像デバイスを調整するステップは、偏差を実質的に補正するように、ＵＡＶ、支持機構、または撮像デバイスに対する調整値を算出するステップを有する。
いくつかの実施形態において、偏差は、目標の位置における変化に関係し、調整値は、ＵＡＶに対する角速度に関係する。
いくつかの実施形態において、角速度は、ＵＡＶのヨー軸に相対する。
いくつかの実施形態において、角速度は、ＵＡＶのピッチ軸に相対する。
いくつかの実施形態において、偏差は、目標の位置における変化に関係し、調整値は、ＵＡＶに対する撮像デバイスの角速度に関係する。
いくつかの実施形態において、算出済みの調整値は、撮像デバイスをＵＡＶに対して移動させるように支持機構に対する複数の制御信号を生成するべく用いられる。
いくつかの実施形態において、角速度は、撮像デバイスのヨー軸に相対する。
いくつかの実施形態において、角速度は、撮像デバイスのピッチ軸に相対する。
いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、ＵＡＶに対する線形速度に関係する。
いくつかの実施形態において、偏差は、目標のサイズにおける変化に関係し、調整値は、撮像デバイスの１または複数のパラメータに関係する。
いくつかの実施形態において、撮像デバイスの１または複数のパラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む。
いくつかの実施形態において、算出済みの調整値は、予め定められた範囲に限定される。
いくつかの実施形態において、予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する。
いくつかの実施形態において、制御システムは、ＵＡＶ用のナビゲーション制御システムまたは支持機構用の制御システムを含む。
いくつかの実施形態において、本方法は、調整値が予め定められた範囲から外れる場合に、警告信号を提供するステップを更に備える。
いくつかの実施形態において、警告信号は、オーディオ信号または視覚信号を提供するべく用いられる。
いくつかの実施形態において、警告信号は、動力信号を提供するべく用いられる。
いくつかの実施形態において、本方法は、実質的にリアルタイムで、撮像デバイスにより取り込まれた複数の画像を遠隔ユーザにアクセス可能な遠隔ユーザデバイスに送信するステップを更に備える。
いくつかの実施形態において、遠隔ユーザデバイスは、撮像デバイスにより取り込まれた複数の画像を表示するためのディスプレイを含む。
いくつかの実施形態において、遠隔ユーザデバイスは、目標情報を提供するための入力デバイスを含む。
いくつかの実施形態において、入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、またはスタイラスを含む。
いくつかの実施形態において、入力デバイスは、ウェアラブルデバイスを含む。
いくつかの実施形態において、目標情報は、複数の送信済み画像に基づいて提供される。
いくつかの実施形態において、本方法は、実質的にリアルタイムで、目標の追跡情報を遠隔ユーザデバイスに提供するステップを更に備える。
いくつかの実施形態において、遠隔ユーザデバイスは、遠隔ユーザデバイス上に表示された１または複数の画像中から目標のユーザ選択を受信し、目標のユーザ選択に基づいて、目標の目標情報を生成するように構成される。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するための方法が提供される。本方法は、ディスプレイにより、実質的にリアルタイムでＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するステップと、入力デバイスにより、実質的にリアルタイムで表示される１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するステップと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を生成するステップと、ＵＡＶが目標情報に従って目標を自主的に追跡することを可能にするように、ＵＡＶに目標情報を提供するステップを備える。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するためのシステムが提供される。システムは、ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するように構成されたディスプレイと、ディスプレイ上に表示される１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するように構成された入力デバイスと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を個別に、または集合的に生成するように構成された１または複数のプロセッサと、ＵＡＶが目標情報に従って目標を自主的に追跡することを可能にするように、ＵＡＶに目標情報を提供するように構成されたトランスミッタとを備える。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するための装置が提供される。装置は、ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するように構成されたディスプレイと、ディスプレイ上に表示される１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するように構成された入力デバイスと、目標のユーザ選択に少なくとも部分的に基づいて、目標の目標情報を個別に、または集合的に生成するように構成された１または複数のプロセッサと、ＵＡＶが目標情報に従って目標を自主的に追跡することを可能にするように、ＵＡＶに目標情報を提供するように構成されたトランスミッタとを備える。
いくつかの実施形態において、目標情報は、初期目標情報を含む。
いくつかの実施形態において、初期目標情報は、撮像デバイスにより取り込まれた画像中に目標の初期位置または初期サイズを含む。
いくつかの実施形態において、初期目標情報は、目標のユーザ選択に基づいて生成される。
いくつかの実施形態において、目標情報は、目標タイプ情報を含む。
いくつかの実施形態において、目標タイプ情報は、色、テクスチャ、またはパターン情報を含む。
いくつかの実施形態において、目標タイプ情報は、目標のユーザ選択に基づいて生成される。
いくつかの実施形態において、目標情報は、期待目標情報を含む。
いくつかの実施形態において、期待目標情報は、目標のユーザ選択に基づいて生成される。
いくつかの実施形態において、期待目標情報は、撮像デバイスにより取り込まれた画像中に目標の期待位置または期待サイズを含む。
いくつかの実施形態において、目標情報は、期待目標情報を含まない。
いくつかの実施形態において、入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、スタイラス、またはウェアラブルデバイスを含む。
いくつかの実施形態において、目標のユーザ選択は、ディスプレイ上に表示される１または複数の画像のうち少なくとも１つの区域を選択するユーザにより実現され、選択された区域は、目標に対応する。
いくつかの実施形態において、目標のユーザ選択は、ディスプレイ上に表示される１または複数の画像のうち少なくとも１つの区域を直接にタッチするユーザにより実現され、タッチされた区域は、目標に対応する。
いくつかの実施形態において、ユーザは、スタイラス、マウス、キーボード、またはウェアラブルデバイスを用いて区域を選択する。
いくつかの実施形態において、区域を選択することは、区域をタッチすること、スワイプすること、回転させること、またはクリックすることを含む。
いくつかの実施形態において、１または複数のプロセッサは、目標のユーザ選択に応答して、選択インジケータを用いて選択目標を個別に、または集合的にディスプレイ上に表示するように更に構成され、選択インジケータは、目標がユーザにより選択されていることを示す。
いくつかの実施形態において、１または複数のプロセッサは、個別に、または集合的に、目標に関係する追跡情報を受信し、追跡情報に基づいて、撮像デバイスにより取り込まれた１または複数の後続の画像中の追跡インジケータを用いて選択目標を表示するように更に構成され、追跡インジケータは、実質的にリアルタイムで、目標が目標情報に従ってＵＡＶにより追跡されていることを示す。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するための方法が提供される。本方法は、実質的にリアルタイムで、ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するステップと、１または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標のユーザ指定目標情報を受信するステップと、ユーザ指定目標情報をＵＡＶに提供するステップと、１または複数の画像、および１または複数の画像中の目標と関連する追跡インジケータを表示するステップとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでＵＡＶにより追跡されていることを示す。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するための装置が提供される。装置は、実質的にリアルタイムで、ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するように構成されたレシーバと、１または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、ユーザ指定目標情報をＵＡＶに提供するためのトランスミッタと、１または複数の画像、および１または複数の画像中の目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでＵＡＶにより追跡されていることを示す。
本発明の別の態様によれば、無人航空機（ＵＡＶ）を制御するためのシステムが提供される。システムは、実質的にリアルタイムで、ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するように構成されたレシーバと、１または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、ユーザ指定目標情報をＵＡＶに提供するためのトランスミッタと、１または複数の画像、および１または複数の画像中の目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、追跡インジケータは、目標がユーザ指定目標情報に従って、実質的にリアルタイムでＵＡＶにより追跡されていることを示す。
いくつかの実施形態において、入力デバイスは、ＵＡＶの速度、位置、向き、もしくは姿勢を制御するように適合された１もしくは複数のコマンド、または撮像デバイスの１もしくは複数の動作パラメータを受信するように更に構成される。
いくつかの実施形態において、撮像デバイスは、撮像デバイスが少なくとも１つの軸に沿ってＵＡＶに対して回転することを可能にするように構成された支持機構を介してＵＡＶに接続され、入力デバイスは、支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するように更に構成される。
いくつかの実施形態において、支持機構は、撮像デバイスがＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される。
いくつかの実施形態において、目標は、ＵＡＶ、支持機構、または撮像デバイスのうち少なくとも１つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。
いくつかの実施形態において、第２の入力デバイスが含まれ、ＵＡＶの速度、位置、向き、もしくは姿勢を制御するように適合された１もしくは複数のコマンド、または撮像デバイスの１もしくは複数の動作パラメータを受信するように構成される。
いくつかの実施形態において、撮像デバイスは、撮像デバイスが少なくとも１つの軸に沿ってＵＡＶに対して回転することを可能にするように構成された支持機構を介してＵＡＶに接続され、システムは、支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するように構成された第２の入力デバイスを更に備える。
いくつかの実施形態において、撮像デバイスの１または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む。
いくつかの実施形態において、目標は、ＵＡＶ、支持機構、または撮像デバイスのうち少なくとも１つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。
いくつかの実施形態において、予め定められた位置は、目標の初期位置を含む。
いくつかの実施形態において、予め定められたサイズは、目標の初期サイズを含む。
いくつかの実施形態において、予め定められた位置は、目標の期待位置を含む。
いくつかの実施形態において、予め定められたサイズは、目標の期待サイズを含む。
いくつかの実施形態において、目標情報は、目標タイプ情報を更に含む。
いくつかの実施形態において、目標情報は、目標のユーザ選択に基づいて生成される。
いくつかの実施形態において、追跡インジケータは、幾何形状、チェッマーク、または矢印を含む。
いくつかの実施形態において、幾何形状は、円、長方形、または三角形を含む。
いくつかの実施形態において、目標は、ＵＡＶまたは撮像デバイスのうち少なくとも１つに対する自動調整により、目標情報に従って撮像デバイスにより追跡される。
本発明の異なる複数の態様は、個別に、集合的に、または互いに組み合わせて識別され得ることを理解されたい。本明細書において説明される本発明の様々な態様は、以下に記載される具体的な複数の用途、またはその他のタイプの複数の可動物体のいずれかに適用され得る。無人航空機等、航空機の本明細書におけるいずれの説明も、あらゆる乗り物等、いずれの可動物体にも適用され、用いられ得る。更に、航空上の動き（例えば、飛行）の文脈において本明細書で開示される複数のシステム、デバイス、および方法は、地上もしくは水上での移動、水中での動きもしくは空間での動き等、他の複数の種類の動きの文脈においても適用され得る。
本開示の更なる複数の態様および利点は、本開示の複数の例示的な実施形態のみが本開示を実行するべく企図される最良の形態の例示として専ら示され、説明される、以下の詳細な説明から当業者には明らかであろう。理解されるように、本開示は、他の異なる複数の実施形態が可能であり、そのいくつかの詳細は、全て本開示を逸脱することなく、明らかな様々な観点において複数の修正形態が可能である。従って、複数の図面および説明は、その性質において限定的ではなく、例示的なものとしてみなされものである。
［参照による組み込み］ 本明細書において言及される全ての刊行物、特許、および特許出願は、個別の各刊行物、特許、または特許出願が参照により組み込まれることを具体的および個別に示される場合と同一の程度で、参照により本明細書に組み込まれる。
本発明の複数の新規な特徴は、添付の特許請求の範囲に具体的に記載される。本発明の複数の原理が利用される例示的な実施形態を記載する以下の詳細な説明および添付の複数の図面の参照により、本発明の複数の特徴および利点についてより良い理解が得られるであろう。
複数の実施形態による、例示的な目標追跡システムを図示する。
複数の実施形態による、追跡システムにおける複数のコンポーネント間の画像関連データの例示的フローを図示する。
複数の実施形態による、追跡システムにおける複数のコンポーネント間の制御データの例示的フローを図示する。
複数の実施形態による、目標追跡を実装するための例示的処理を図示する。
複数の実施形態による、可動物体、支持機構、および搭載物の例示的構成を図示する。
複数の実施形態による、目標の期待位置を維持するための例示的追跡方法を図示する。
複数の実施形態による、目標の期待サイズを維持するための例示的追跡方法を図示する。
複数の実施形態による、目標追跡を実装するための別の例示的処理を図示する。
複数の実施形態による、ナビゲートおよび追跡する可動物体を制御するための例示的処理を図示する。
複数の実施形態による、目標を選択するための例示的処理を図示する。
複数の実施形態による、追跡目標をビューイングするための例示的処理を図示する。
複数の実施形態による、可動物体を制御するための例示的制御端末を図示する。
いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。 いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。 いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。
複数の実施形態によるＵＡＶを図示する。
複数の実施形態による、支持機構および搭載物を含む可動物体を図示する。
複数の実施形態による、可動物体を追跡するための例示的システムを図示する。
複数の実施形態による、可動物体を制御するための例示的システムを図示する。
本発明の例示的使用事例を図示する。
本発明は、無人航空機（ＵＡＶ）による目標追跡に関するシステム、方法、およびデバイスを提供する。ＵＡＶは、ＵＡＶ接続された撮像デバイスにより追跡される目標に関する目標情報を、制御端末から受信するように構成され得る。目標情報は、撮像デバイスにより取り込まれる１または複数の画像中の予め定められた位置および／または目標のサイズを維持するように、撮像デバイスに目標を自動的に追跡させるべく、ＵＡＶにより用いられ得る。目標の追跡は、ＵＡＶが、複数のユーザコマンドおよび／または予め定められたナビゲーションパスに従ってナビゲートするべく制御される間に実行され得る。制御端末は、撮像デバイスからの複数の画像を表示し、ならびに目標情報に関するユーザ入力を可能にするように構成され得る。
本明細書において提供される複数の追跡方法およびシステムを用いて、一ユーザは、外部の人の支援なしに実質的に同時に、ＵＡＶのナビゲーションおよび目標の追跡の双方を制御し得る。ユーザは、制御端末のユーザインタフェースを利用し、追跡する目標および／または追跡する目標のタイプを指定し得る。そのようなユーザ指定目標情報は、ＵＡＶに送信され、ＵＡＶは、例えばＵＡＶに搭載した撮像デバイスを用いて目標を自主的に追跡し得る。撮像デバイスにより取り込まれた複数の画像（例えば、映像および／または動画）は、表示、再生、格納、または他の目的のために制御端末にリアルタイムで送信され得る。また、ユーザは、制御端末を用いてリアルタイムで追跡する目標を変更または調整し得る。有利なことに、そのような自主的追跡は、ユーザが、ＵＡＶのナビゲーションを制御する等の他の活動、またはその他の活動に従事する間にＵＡＶにより実行され得る。
例えば、ユーザは、ＵＡＶを、ハイキングまたはバイキング等の様々な活動に従事するときに自身を追跡するように構成し得る。ユーザは、制御端末により提供されるユーザインタフェースを用いてＵＡＶの追跡目標として自身を指定し得る。例えば、ユーザは、例えばタッチスクリーンを用いて、制御端末のユーザインタフェース上に表示される画像から、目標として自身を選択し得る。目標情報がＵＡＶに送信されると、ユーザは、ＵＡＶ、支持機構、または撮像デバイスの調整等、目標の手動追跡に関連する低レベルの複数の操作から解放され得る。その代わりに、ＵＡＶが本明細書において提供される複数の方法を用いて、提供された目標情報に基づいてユーザをリアルタイムで自動的に追跡する間、ユーザは、バイキング等の他の複数の活動に集中することができる。例えば、ＵＡＶおよび／または撮像デバイスの姿勢、位置、速度、ズーム、および他の態様は、ユーザが撮像デバイスにより取り込まれた複数の画像中の指定された位置および／またはサイズを維持することを確実にするべく、自動的に調整され得る。追跡処理中に取り込まれた複数の画像（例えば、動画または映像）は、表示、再生、格納、または他の目的のためにリアルタイムで、または実質的にリアルタイムで制御端末にストリーミングされ得る。上記の全ては、１人で比較的容易に実現され、以前の実現が困難な複数のタスクを、ユーザが実現するのをより容易にすることができる。
有利なことに、本明細書において説明されるそのような複数の追跡方法およびシステムは、必要とされる努力、および手動追跡からもたらされる複数の誤差を減少させるように、追跡処理の低レベル制御部分の自動化を容易にする。同時に、本明細書において説明される複数の追跡方法およびシステムは、所望の場合に、ユーザが追跡処理の高レベル制御を（例えば、追跡する目標のタイプを指定することにより）維持することを更に可能にする。
図１は、複数の実施形態による、例示的な目標追跡システム１００を図示する。システム１００は、可動物体１０１および制御端末１１２を含む。システム１００は、１または複数の目標１１６を追跡するべく用いられ得る。可動物体１０１は、無人航空機（ＵＡＶ）として図示されるが、この図示は、限定するものとして意図されず、いずれの好適なタイプの可動物体も、本明細書において説明されるように用いられ得る。当業者は、航空機システムの文脈において本明細書において説明される複数の実施形態のいずれかが、任意の好適な可動物体に適用され得ることを理解するであろう。
いくつかの実施形態において、可動物体１０１は、支持機構１０２および搭載物１０４を含み得る。支持機構１０２は、搭載物１０４が可動物体１０１に対して移動することを可能にし得る。例えば、支持機構１０２は、搭載物１０４が１つ、２つ、３つ、またはそれより多い軸を中心として回転することを可能にし得る。代替的または追加的に、支持機構１０２は、搭載物１０４が１つ、２つ、３つ、またはそれより多い軸に沿って線的に移動することを可能にし得る。回転運動または並進移動のための複数の軸は、互いに垂直であるか、またはそうでないことがある。
いくつかの実施形態において、搭載物１０４は、搭載物１０４が可動物体１０１に対して実質的に静止状態になるように、可動物体１０１に堅固に接続または接続され得る。例えば、可動物体１０１および搭載物１０４を接続する支持機構１０２は、搭載物１０４が可動物体１０１に対して移動することを可能にしないことがある。あるいは、搭載物１０４は、支持機構を必要とすることなく、可動物体１０１に直接に接続され得る。
いくつかの実施形態において、搭載物１０４は、１または複数の目標１１６を調査または追跡するための１または複数のセンサを含み得る。そのような搭載物の複数の例としては、画像取り込みデバイスもしくは撮像デバイス（例えば、カメラもしくはカムコーダー、赤外線撮像デバイス、紫外線撮像デバイス等）、音声取り込みデバイス（例えば、放物面マイク）、赤外線撮像デバイス等が挙げられ得る。任意の好適なセンサは、搭載物１０４に組み込まれ、任意の視覚信号、オーディオ信号、電磁気信号、またはその他の所望の信号を取り込み得る。複数のセンサは、静的感知データ（例えば、写真）または動的感知データ（例えば、動画）を提供し得る。複数のセンサは、リアルタイムで、または複数の高周波数で感知データを連続的に取り込み得る。
様々な実施形態において、可動物体１０１により追跡される目標１１６は、任意の天然物体もしくは人造物体、または地理的風景（例えば、山脈、草木、谷、湖、または川）、建物、乗り物（例えば、航空機、船舶、車、トラック、バス、バン型車、または自動二輪車）等の複数の構造を含み得る。目標１１６は、人または動物等、生きた被験物も含み得る。目標１１６は、任意の好適な参照フレームに対して移動し、または静止状態であり得る。参照フレームは、相対的に固定された参照フレーム（例えば、周囲環境または地球）であり得る。あるいは、参照フレームは、移動参照フレーム（例えば、移動する乗り物）であり得る。様々な実施形態において、目標１１６は、パッシブな目標またはアクティブな目標を含み得る。アクティブな目標は、目標のＧＰＳ位置等、目標についての情報を可動物体に送信するように構成され得る。情報は、アクティブな目標の通信ユニットから可動物体の通信ユニットへの無線通信により、可動物体に送信され得る。アクティブな目標の複数の例としては、友好的な乗り物、建物、群衆等が挙げられ得る。パッシブな目標は、目標についての情報を送信するように構成されない。パッシブな目標の複数の例としては、中立もしくは敵対する乗り物、建物、群衆等が挙げられ得る。
可動物体１０１は、制御データを受信するように構成され、制御端末１１２は、制御データを提供するように構成され得る。制御データは、可動物体１０１の複数の態様を直接的または間接的に制御するべく用いられ得る。いくつかの実施形態において、制御データは、可動物体１０１の位置、速度、向き、姿勢等、可動物体の複数のナビゲーションパラメータを制御するためのナビゲーションコマンドを含み得る。制御データは、ＵＡＶの飛行を制御するべく用いられ得る。制御データは、ＵＡＶの飛行に影響し得る１または複数の推進ユニット１０６の動作に影響し得る。他の複数の場合において、制御データは、可動物体１０１の個別のコンポーネントを制御するための複数のコマンドを含み得る。例えば、制御データは、支持機構１０２の複数の動作を制御するための情報を含み得る。例えば、制御データは、可動物体１０１に対する搭載物１０４の角運動および／または線形運動を生じさせるように、支持機構１０２の作動メカニズムを制御するべく用いられ得る。別の例として、制御データは、搭載物を用いることなく支持機構１０２の移動を制御するべく用いられ得る。別の例として、制御データは、静止画もしくは動画を撮影し、ズームインもしくはズームアウトし、オンもしくはオフにし、複数の撮像モードを切り替え、画像解像度を変更し、フォーカスを変更し、被写界深度を変更し、露出時間を変更し、レンズの速度を変更し、ビューイング角度または視界を変更する等により、搭載物１０４の１または複数の動作パラメータを調整するべく用いられ得る。他の複数の実施形態において、制御データは、可動物体１０１の感知システム（図示せず）、通信システム（図示せず）等を制御するべく用いられ得る。
いくつかの実施形態において、制御端末１１２からの制御データは、目標情報を含み得る。いくつかの場合において、目標情報は、可動物体１０１により搬送された撮像デバイスにより取り込まれた１または複数の画像中の目標の初期位置（例えば、座標）および／またはサイズ等、特定の目標の特性を含み得る。更に、または代替的に、目標情報は、色、テクスチャ、パターン、サイズ、形状、寸法等を含む複数の目標のタイプまたはカテゴリの特性等の目標タイプ情報を含み得る。目標情報は、目標の画像のデータ表現を含み得る。これは、視界における目標の画像を含み得る。視界は、撮像デバイスにより取り込まれた画像によって画定され、または包囲され得る。
また、目標情報は、期待目標情報を含み得る。期待目標情報は、追跡される目標が撮像デバイスにより取り込まれた複数の画像において満たすと期待される特性を指定する。期待目標情報は、追跡される目標が期待目標情報に従って１または複数の画像において外観を維持するように、可動物体、支持機構、および／または撮像デバイスを調整するべく用いられ得る。例えば、目標は、撮像デバイスにより取り込まれた１または複数の画像中の期待位置および／またはサイズを維持するように、追跡され得る。例えば、追跡目標の期待位置は、画像の中心付近にあるか、または中心から離れていることがある。追跡目標の期待サイズは、ほぼ一定の数のピクセルになり得る。期待目標情報は、初期目標情報と同一であるか、またはそうでないことがある。様々な実施形態において、期待目標情報は、制御端末により提供され、または提供されないことがある。例えば、期待目標情報は、可動物体に搭載した処理ユニットにより実行される制御ロジックにおいてハードコーデンイングされ、可動物体からローカルの、および／または遠隔のデータストアに格納され、他の好適な複数のソースから得られ得る。
いくつかの実施形態において、目標情報（特定の目標情報および目標タイプ情報を含む）は、制御端末１１２におけるユーザ入力に少なくとも部分的に基づいて生成され得る。更に、または代替的に、目標情報は、他の複数のソースからのデータに基づいて生成され得る。例えば、目標タイプ情報は、ローカルまたは遠隔のデータ記憶装置から抽出された前の複数の画像および／またはデータに基づいて派生し得る。画像は、可動物体１０１または他の複数のデバイスに接続された撮像デバイス１０４によりすでに取り込まれている可能性がある。複数の画像は、コンピュータにより生成され得る。そのような目標タイプ情報は、ユーザにより選択され、および／または既定により可動物体に自動的に提供され得る。
目標情報は、１または複数の目標１１６を追跡するべく、可動物体１０１により用いられ得る。追跡および関係するその他のデータ処理は、少なくとも部分的に、可動物体１０１に搭載した１または複数のプロセッサにより実行され得る。いくつかの実施形態において、目標情報は、可動物体により、追跡される目標１１６を識別するべく用いられ得る。目標のそのような識別は、特定の目標の特定の複数の特性（例えば、可動物体により取り込まれた画像中の目標における初期座標）、または目標のタイプの複数の一般的特性（例えば、追跡される目標の色および／またはテクスチャ）を含む、初期目標情報に基づいて実行され得る。いくつかの場合において、目標識別は、任意の好適な画像認識および／またはマッチングアルゴリズムを伴い得る。いくつかの実施形態において、目標識別は、２つまたはそれより多い画像を比較し、その中に含まれる複数の特徴を判断し、抽出し、および／または一致させることを含む。
目標が識別されると、期待位置および／またはサイズ等、目標の期待特性からの偏差を検出するべく、期待目標情報は、用いられ得る。いくつかの実施形態において、現在の目標特性または情報は、可動物体により取り込まれた１または複数の画像に基づいて判断され得る。現在の目標情報は、制御端末により提供された期待目標情報と比較され、それからの偏差を判断し得る。目標の位置における変化は、画像中の目標の座標（例えば、目標の中心点の座標）を期待目標位置の座標と比較することにより検出され得る。目標のサイズにおける変化は、期待目標サイズを有する目標によりカバーされる区域のサイズ（例えば、ピクセルでの）を比較することにより検出され得る。いくつかの実施形態において、サイズにおける変化は、目標の向き、複数の境界、または他の複数の特性を検出することにより検出され得る。
検出された偏差に少なくとも部分的に基づいて、複数の制御信号が、（例えば、可動物体に搭載した１または複数のプロセッサにより）生成され、検出された偏差を実質的に補正する調整を生じさせる。従って、調整は、可動物体により取り込まれた複数の画像中の１または複数の期待目標特性（例えば、目標位置および／またはサイズ）を実質的に維持するべく、用いられ得る。いくつかの実施形態において、調整は、可動物体がユーザにより提供される複数のナビゲーションコマンド（例えば、ホバリングまたは移動）、および／または複数の予め定められたナビゲーションパスを実行するときに、実質的にリアルタイムに実行され得る。また、調整は、撮像デバイスが１または複数の画像を取り込むときに実質的にリアルタイムで実行され得る。いくつかの実施形態において、調整値は、可動物体に搭載した１または複数のセンサ（例えば、近接センサまたはＧＰＳセンサ）により得られた感知データ等、他の情報に基づいて生成され得る。例えば、追跡される目標の位置情報は、近接センサにより得られ、および／または目標自体（例えば、ＧＰＳ位置）により提供され得る。そのような位置情報は、調整値を生成するべく、検出された偏差に加えて用いられ得る。
調整は、可動物体、支持機構、および／または搭載物（例えば、撮像デバイス）に関し得る。例えば、調整は、可動物体および／または搭載物（例えば、撮像デバイス）にその位置、姿勢、向き、角速度および／または線形速度等を変更させ得る。調整は、支持機構に搭載物（例えば、撮像デバイス）を、１つ、２つ、３つ、またはそれより多い軸を中心とし、またはこれに沿って等、可動物体に対して移動させ得る。更に、調整は、搭載物（例えば、撮像デバイス）自体のズーム、フォーカス、または他の複数の動作パラメータ（例えば、ズームイン／ズームアウト）に対する調整を含み得る。
いくつかの実施形態において、調整値は、検出された偏差のタイプに少なくとも部分的に基づいて生成され得る。例えば、期待目標位置からの偏差は、１つ、２つ、または３つの回転軸を中心とする可動物体および／または搭載物の回転（例えば、支持機構を介する）を必要とすることがある。別の例として、期待目標サイズからの偏差は、好適な軸に沿った可動物体の並進移動、および／または撮像デバイスのズームに対する複数の変更（例えば、ズームインまたはズームアウト）を必要とすることがある。例えば、現在または実際の目標サイズが期待目標サイズより小さい場合、可動物体は、目標のより近くに移動する必要があり、および／または撮像デバイスは、目標に対してズームインされる必要があり得る。他方、現在または実際の目標サイズが期待目標サイズより大きい場合、可動物体は、目標からより遠くに移動する必要があり、および／または撮像デバイスは、目標からズームアウトされる必要があり得る。
様々な実施形態において、期待目標情報からの偏差を実質的に補正する調整は、複数の制御信号により、可動物体、支持機構、撮像デバイス、またはこれらのいずれかの組み合わせ等、１または複数の制御可能な物体を制御することにより実現され得る。いくつかの実施形態において、複数の制御可能な物体は、調整を実装するように選択され、対応する複数の制御信号は、複数の制御可能な物体の構成または設定に少なくとも部分的に基づいて生成され得る。例えば、２つの軸を中心とする回転（例えば、ヨーおよびピッチ）を伴う調整は、撮像デバイスが可動物体に堅固に接続され、従って、可動物体に対して移動可能できない場合に、２つの軸の周囲における可動物体の回転のみにより実現され得る。撮像デバイスが可動物体に直接に接続され、または撮像デバイスが撮像デバイスと可動物体との間の相対的移動を可能できない支持機構を介して可動物体に接続される場合が、この場合であり得る。同一の２つの軸による調整は、支持機構により、撮像デバイスが可動物体に対して少なくとも１つの軸を中心として回転することを可能とする場合、可動物体および支持機構の双方に対する調整を組み合わせることにより実現され得る。この場合、支持機構は、調整のために必要とされる２つの軸のうち１つまたは２つを中心とする回転を実装するように制御され、可動物体は、２つの軸のうち１つまたは２つを中心とする回転を実装するように制御され得る。例えば、支持機構は、撮像デバイスが調整のために、必要とされる２つの軸のうち１つを中心として回転することを可能にする１つの軸のジンバルを含み得るが、残余の軸を中心とする回転は、可動物体により実現される。あるいは、同一の２つの軸による調整は、支持機構が、撮像デバイスに可動物体に対して２つまたはそれより多い軸を中心として回転することを可能にする場合、支持機構単独で実現され得る。例えば、支持機構は、２つの軸または３つの軸のジンバルを含み得る。
別の例として、目標のサイズにおける変更を補正する調整は、（例えば、撮像デバイスが必要とされるズームレベルをサポートする場合に）撮像デバイスのズームイン／ズームアウトを制御し、（例えば、目標のより近く、またはより遠くになるように）可動物体の移動を制御し、あるいは撮像デバイスのズームイン／ズームアウトおよび可動物体の移動の組み合わせにより、実現され得る。可動物体に搭載したプロセッサは、物体または複数の物体の組み合わせのいずれを調整するかに関する判断を行い得る。例えば、撮像デバイスが画像中の目標の必要とされるサイズを維持するのに必要とされるズームレベルをサポートしない場合、可動物体は、撮像デバイスのズームを調整することに代えて、またはこれに加えて移動するように制御され得る。
いくつかの実施形態において、調整は、他の複数の制約を考慮に入れて実装され得る。例えば、可動物体のナビゲーションパスが予め定められている場合において、調整は、可動物体の移動に影響を与えすることなく、支持機構および／または撮像デバイスにより実装され得る。可動物体のナビゲーションパスは、例えば、遠隔ユーザが制御端末を介して可動物体のナビゲーションをアクティブに制御する場合、または可動物体が、予め格納されたナビゲーションパスにより（例えば、自主的にまたは半自主的に）ナビゲートする場合に予め定められていることがある。
複数の制約の例としては、複数の回転角度、角速度および／もしくは線速度、可動物体に対する複数の動作パラメータ等、支持機構、ならびに／または搭載物（例えば、撮像デバイス）に対する最大限度および／もしくは最小限度が挙げられ得る。そのような複数の最大閾値および／または最小閾値は、調整の範囲を制限するべく用いられ得る。例えば、一定の軸を中心とする可動物体および／または撮像デバイスの角速度は、可動物体、支持機構、および／または搭載物（例えば、撮像デバイス）に対して可能にされる最高角速度により制限され得る。別の例として、可動物体および／または支持機構の線速度は、可動物体、支持機構、および／または搭載物（例えば、撮像デバイス）に対して可能にされる最高線形速度により制限され得る。更に別の例として、撮像デバイスの焦点距離に対する調整は、特定の撮像デバイスに対する最大焦点距離および／または最小焦点距離により制限される。いくつかの実施形態において、そのような複数の制限は、予め定められ、可動物体、支持機構、および／または搭載物（例えば、撮像デバイス）の特定の構成に依存し得る。いくつかの例において、そのような複数の構成は、（例えば、製造者、管理者、またはユーザにより）構成可能であり得る。
いくつかの実施形態において、可動物体１０１は、可動物体１０１に搭載した複数のセンサにより得られた感知データ等のデータ、および可動物体１０１により追跡される１または複数目標の特性を示すべく用いられる追跡データまたは情報を提供するように構成され、制御端末１１２は、これらを受信するように構成され得る。感知データの複数の例としては、可動物体１０１により搬送される撮像デバイスにより取得した画像データ、または他の複数のセンサにより取得した他のデータが挙げられ得る。例えば、リアルタイムまたはほぼリアルタイムの動画は、可動物体１０１および／または搭載物１０４（例えば、撮像デバイス）から制御端末１１２へとストリーミングされ得る。また、感知データは、複数の全地球測位システム（ＧＰＳ）センサ、動きセンサ、慣性センサ、近接センサ、または他のセンサにより得られたデータを含み得る。追跡情報の複数の例としては、可動物体から受信された１または複数の画像フレーム中の目標の相対座標もしくは絶対座標、ならびに／またはサイズ、複数の連続画像フレーム間の目標の複数の変化、ＧＰＳ座標、または目標についての他の位置情報等が挙げられ得る。いくつかの実施形態において、追跡情報は、（例えば、目標の周囲のボックス等のグラフィック追跡インジケータにより）追跡されるものとして目標を表示する制御端末１１２により用いられ得る。様々な実施形態において、制御端末により受信されるデータは、未処理データ（例えば、複数のセンサにより得られた未処理感知データ）、および／または処理済みデータ（例えば、可動物体上で１または複数のプロセッサにより処理される追跡情報）を含み得る。
いくつかの実施形態において、制御端末１１２は、可動物体１０１、支持機構１０２、および／または搭載物１０４から離れているか、または遠隔の場所に位置付けられる。制御端末１１２は、サポートプラットフォーム上に配置され、またはこれに取り付けられ得る。あるいは、制御端末１１２は、ハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、制御端末１１２は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、グローブ、ヘルメット、マイク、またはこれらの好適な組み合わせを含み得る。
制御端末１１２は、ディスプレイにより可動物体１０１から受信されたデータを表示するように構成され得る。表示されるデータは、可動物体１０１により搬送された撮像デバイスにより得られた複数の画像（例えば、静止画像および動画）等の感知データを含み得る。表示されるデータは、画像データから別個に表示され、または画像データの上部にスーパーインポーズされる追跡情報も含み得る。例えば、ディスプレイは、追跡される目標を囲繞するボックス、円、またはその他の幾何形状等の追跡インジケータを用いて、目標が示され、または強調表示される複数の画像を表示するように構成され得る。いくつかの実施形態において、複数の画像および追跡インジケータは、画像データとして実質的にリアルタイムで表示され、追跡情報は、可動物体から、および／または画像データが得られるときに受信される。他の複数の実施形態において、表示は、いくらかの遅延の後に提供され得る。
制御端末１１２は、入力デバイスを介してユーザ入力を受信するように構成され得る。入力デバイスとしては、ジョイスティック、キーボード、マウス、スタイラス、マイク、画像もしくは動きセンサ、慣性センサ等が挙げられ得る。任意の好適なユーザ入力は、手動で入力される複数のコマンド、音声制御、ジェスチャ制御、または位置制御（例えば、端末の移動、位置、もしくは傾斜による）等により端末とインタラクトするべく用いられ得る。例えば、制御端末１１２は、ジョイスティックを操作し、制御端末の向きもしくは姿勢を変更し、キーボード、マウス、指、もしくはスタイラスを用いてグラフィックスユーザインタフェースとインタラクトし、またはその他の好適な方法を用いることにより、ユーザが可動物体、支持機構、搭載物、またはこれらのいずれかのコンポーネントの状態を制御することを可能にするように構成され得る。
また、制御端末１１２は、ユーザが任意の好適な方法を用いて、目標情報を入力することを可能にするように構成され得る。いくつかの実施形態において、制御端末１１２は、ユーザが表示される１または複数の画像（例えば、動画またはスナップショット）から目標を直接に選択することを可能にするように構成され得る。例えば、ユーザは、指もしくはスタイラスを用いてスクリーンを、またはマウスもしくはジョイスティックを用いて選択を直接にタッチすることにより、目標を選択し得る。ユーザは、目標を引き回し、画像中の目標をタッチし、またはそうでなければ目標を選択し得る。コンピュータビジョンまたは他の複数の技術は、目標の境界を判断するべく用いられ得る。そうでなければ、ユーザ入力は、目標の境界を画定し得る。１または複数の目標は、一度に選択され得る。いくつかの実施形態において、選択目標は、ユーザが追跡するための目標を選択したことを示す選択インジケータを用いて表示される。いくつかの他の実施形態において、制御端末は、ユーザが所望の目標に関連する色、テクスチャ、形状、寸法、または他の複数の特性等の目標タイプ情報を入力し、または選択することを可能にするように構成され得る。例えば、ユーザは、目標タイプ情報をタイプ入力し、グラフィックスユーザインタフェースを用いてそのような情報を選択し、またはその他の好適な方法を用い得る。いくつかの他の実施形態において、目標情報は、遠隔もしくはローカルなデータストア、制御端末に、またはそうでなければ、これとの通信に動作可能に接続された他のコンピューティングデバイス等、ユーザ以外の複数のソースから得られ得る。
いくつかの実施形態において、制御端末は、ユーザが手動追跡モードと自動追跡モードとの間で選択することを可能にする。手動追跡モードが選択されると、ユーザは、追跡する特定の目標を指定し得る。例えば、ユーザは、制御端末により表示される画像から目標を手動で選択し得る。次に、選択目標（例えば、座標および／またはサイズ）に関連する特定の目標情報は、目標の初期目標情報として可動物体に提供される。他方、自動追跡モードが選択されると、ユーザは、追跡される特定の目標を指定しない。むしろ、ユーザは、例えば、制御端末により提供されるユーザインタフェースを介して、追跡される目標のタイプについての記述情報を指定し得る。次いで、可動物体は、特定の目標の初期目標情報または目標タイプ情報を用いて、追跡される目標を自動的に識別し、次に、識別された目標を追跡し得る。
一般に、特定の目標情報（例えば、初期目標情報）を提供することは、目標の追跡の更なるユーザ制御、および可動物体に搭載した処理システムによるあまり自動化されない処理もしくは計算（例えば、画像または目標の認識）を必要とする。他方、目標タイプ情報を提供することは、追跡処理のユーザ制御をあまり必要としないが、搭載処理システムにより実行される更なる計算を必要とする。ユーザと搭載処理システムとの間の追跡処理に対する制御の適切な割り当ては、可動物体の周囲、可動物体の速度もしくは高度、ユーザ嗜好、ならびに可動物体に搭載され、および／もしくは搭載されない利用可能なコンピューティングリソース（例えば、ＣＰＵもしくはメモリ）等、様々な要因に応じて調整され得る。例えば、可動物体が相対的に単純な環境（例えば、広いオープンスペースまたは屋外）においてナビゲートする場合よりも、可動物体が（例えば、多くの建物もしくは障害物を伴い、または屋内の）相対的に複雑な環境においてナビゲートする場合に、相対的により多くの制御がユーザに割り当てられ得る。別の例として、更なる制御は、可動物体がより高い高度にある場合よりも、可動物体がより低い高度にある場合に、ユーザに割り当てられ得る。更に別の例として、更なる制御は、可動物体が複雑な複数の計算を比較的迅速に実行するように適合された高速プロセッサで装備される場合に、可動物体に割り当てられ得る。いくつかの実施形態において、ユーザと可動物体との間の追跡処理に対する制御の割り当ては、本明細書において説明される複数の要因に基づいて動的に調整され得る。
本明細書等において説明される制御データを生成するべく、ユーザ入力は、少なくとも部分的に用いられ得る。制御データは、制御端末、可動物体、第３のデバイス、またはこれらのいずれかの組み合わせにより生成され得る。例えば、ジョイスティックもしくは制御端末のユーザの操作、またはグラフィックスユーザインタフェースとのインタラクションは、可動物体、支持機構、または搭載物の状態またはパラメータを変更するための複数の予め定められた制御コマンドに変換され得る。別の例として、制御端末により表示される画像中の目標のユーザの選択は、目標の初期および／もしくは期待位置、ならびに／またはサイズ等、追跡目的のための初期および／もしくは期待目標情報を生成するべく用いられ得る。代替的または追加的に、制御データは、遠隔もしくはローカルなデータストア、制御端末に動作可能に接続された他の複数のコンピューティングデバイス等、複数の非ユーザソースから得られた情報に基づいて生成され得る。
図２は、複数の実施形態による、追跡システムにおける複数のコンポーネント間の画像関連データの例示的フロー２００を図示する。いくつかの実施形態において、画像関連データは、未処理もしくは処理済み画像データ、ならびに複数の目標の追跡情報等、画像データから抽出または派生したデータを含む。図示されるように、未処理画像データは、画像センサ２０４により取り込まれ得る。画像センサ２０４は、複数の光信号を電子信号に変換するように構成され得る。画像センサ２０４は、複数の固体撮像素子（ＣＣＤ）、相補性金属酸化膜半導体（ＣＭＯＳ）技術、もしくはＮ型金属酸化膜半導体（ＮＭＯＳ、能動ＭＯＳ）技術、またはその他のタイプのセンサを用いる複数の能動ピクセルセンサを含み得る。画像センサは、ＵＡＶ等の可動物体に接続され得る。例えば、画像センサは、支持機構を用い、または用いないＵＡＶにより搬送される撮像デバイス（例えば、カメラ）の部分であり得る。画像センサおよび／または撮像デバイスは、幅、高さ、アスペクト比、メガピクセルカウント、解像度、または質等のあらゆる好適なパラメータを有する複数の映像、動画、またはその他の画像データを取り込むように構成され得る。例えば、撮像デバイスは、高精細度動画または超高精細度動画（例えば、７２０ｐ、１０８０ｉ、１０８０ｐ、１４４０ｐ、２０００ｐ、２１６０ｐ、２５４０ｐ、４０００ｐ、４３２０ｐ等）を取り込むように構成され得る。
画像センサ２０４により取り込まれた画像データは、データストレージデバイス２０２に格納され得る。データストレージデバイス２０２は、半導体技術、磁気技術、光学技術、または任意の好適な技術に基づいて、フラッシュメモリ、複数のＵＳＢドライブ、メモリカード、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、フロッピー（登録商標）ディスク、光ディスク、磁気テープ等を含み得る。例えば、データストレージデバイス２０２は、ＰＣカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＳｍａｒｔＭｅｄｉａ（登録商標）、メモリスティック、メモリスティックＤｕｏ、メモリスティックＰＲＯ Ｄｕｏ、ミニアチュアカード、マルチメディアカード（ＭＭＣ）、リデューストサイズマルチメディアカード（ＲＳ―ＭＭＣ）、ＭＭＣマイクロカード（ＭＭＣｍｉｃｒｏ）、ＰＳ２カード、セキュアデジタル（ＳＤ）カード、ＳｘＳ、ユニバーサルフラッシュストレージ（ＵＦＳ）、ｍｉｎｉＳＤ、ｍｉｃｒｏＳＤ、ｘＤピクチャカード、インテリジェントスティック（ｉＳｔｉｃｋ）、シリアルフラッシュモジュール（ＳＦＭ）、ＮＴカード、ＸＱＤカード等の任意の好適な複数のフォーマットのメモリカード等、撮像デバイスに係脱可能に接続できる複数のリムーバブルストレージデバイスを含み得る。データストレージデバイス２０２は、撮像デバイスに動作可能に接続され得る、複数の外部ハードディスクドライブ、光ドライブ、テープドライブ、フロッピー（登録商標）ドライブ、および他の好適なストレージデバイスも含み得る。
画像センサ２０４により取り込まれた画像データは、画像送信モジュール２０６により制御端末２１２に送信され得る。いくつかの実施形態において、画像データは、画像送信モジュール２０６により送信される前に、圧縮され、またはそうでなければ処理され得る。他の複数の場合において、画像データは、送信される前に、圧縮され、または処理され得る。送信済み画像データは、制御端末２１２を操作するユーザが、画像データに基づいて画像データをビューイングし、および／または制御端末２１２とインタラクトし得るように、制御端末２１２上に表示され得る。
画像センサ２０４により取り込まれた画像データは、前処理ユニット２０８により前処理され得る。前処理ユニット２０８は、任意のハードウェア、ソフトウェア、またはこれらの組み合わせを含み得る。前処理ユニット２０８の複数の例としては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）が挙げられ得る。前処理ユニット２０８は、特定の情報を抽出するべく画像データが処理される前に、未処理画像データを前処理する画像センサ２０４に動作可能に接続され得る。前処理ユニット２０８により実行される複数のタスクの例としては、画像座標系の正確度を補償する再サンプリング、ノイズ低減、コントラスト増強、スケール空間表現等が、挙げられ得る。
前処理ユニット２０８により処理される画像データは、（例えば、汎用メモリコントローラ（ＧＰＭＣ）接続を介して）前処理ユニット２０８に接続される処理ユニット２１０により、更に処理され得る。処理ユニット２１０は、１または複数のＡＲＭプロセッサを含み得る。処理ユニット２１０は、本明細書において説明される複数の方法の任意の複数の好適な実施形態を実行するように構成され得る。処理ユニット２１０により実行される複数のタスクの例としては、任意の好適なレベルの複雑度における特徴抽出、画像分割、データ検証、画像認識、画像登録、画像マッチング等が挙げられ得る。いくつかの実施形態において、処理ユニット２１０は、可動物体により追跡される目標に関係する追跡情報を生成する。追跡情報は、可動物体の処理ユニットによる画像処理に基づいて、および／または制御端末により提供される目標情報に基づいて、生成され得る。追跡情報は、例えば、１または複数の画像中の目標の位置、サイズ、または他の複数の特性を含み得る。
処理ユニット２１０により判断される追跡情報は、通信モジュール（図示せず）を介して制御端末２１２に提供され得る。いくつかの実施形態において、通信モジュールは、上記の画像送信モジュール２０６と別個であり得る。他の複数の実施形態において、通信モジュールは、画像送信モジュール２０６を含み、またはこれに含まれ得る。有線通信または無線通信等の通信の任意の好適な手段は、通信モジュールおよび／または画像送信モジュール２０６のために用いられ得る。例えば、通信モジュールおよび／または画像送信モジュール２０６は、複数のローカルエリアネットワーク（ＬＡＮ）、複数のワイドエリアネットワーク（「ＷＡＮ）、赤外線、無線、ＷｉＦｉ、複数のポイントツーポイント（Ｐ２Ｐ）ネットワーク、複数の通信ネットワーク、クラウド通信等のうち１または複数を利用し得る。任意選択で、タワー、衛星、または移動局等の複数の中継局が用いられ得る。複数の無線通信は、近接性に依存し得、または近接性に依存しない。いくつかの実施形態において、視野は、複数の通信のために必要とされ、または必要とされないことがある。また、追跡情報に加えて、通信モジュールは、可動物体に搭載した他の複数のセンサからの感知データ、感知データを処理することにより判断された位置情報および／または動き情報、予め定められた制御データ、複数の遠隔制御端末からのユーザコマンド等を送信し、および／または受信するように構成され得る。
いくつかの実施形態において、画像送信モジュール２０６により提供される画像データは、追跡インジケータ（例えば、目標の周囲の円またはボックス）を用いて目標を示すべく、処理ユニット２１０により生成される追跡情報により拡張され、そうでなければこれと組み合わされ得る。ユーザは、拡張画像データをビューイングし、撮像デバイスにより追跡されるときに目標を見ることができる。また、ユーザは、拡張画像データに基づいて制御端末とインタラクトし得る。例えば、ユーザは、（例えば、異なる目標に対応するスクリーンの区域をタッチすることにより）拡張画像データから追跡する異なる目標を選択し得る。
いくつかの実施形態において、追跡情報は、制御端末２１２による要求に応答して制御端末２１２に提供され得る。例えば、制御端末２１２は、ユーザが追跡される目標が強調表示され、またはそうでなければ示される一定のビューイングモード（例えば、プレビューモード）を選択する場合にのみ、そのような追跡情報を要求し得る。代替的または追加的に、追跡情報は、制御端末２１２による要求がなくとも、制御端末２１２に提供され得る。例えば、追跡情報は、周期的ベースで（例えば、０．１秒、０．２秒、０．５秒、１秒、または２秒毎に）制御端末２１２に送られ得る。
図３は、複数の実施形態による、追跡システムにおける複数のコンポーネント間の制御データの例示的フロー３００を図示する。上述のように、制御データは、可動物体（例えば、ＵＡＶ）により用いられる目標情報を含み、目標、ならびに可動物体またはそのコンポーネントの様々な態様を制御するための他のデータを追跡し得る。制御データは、制御端末３０４とインタラクトするユーザ３０２により生成され得る。生成された制御データは、特定の目標情報（例えば、初期目標情報）３０６および目標タイプ情報３０８を含み得る。
特定の目標情報３０６は、座標（例えば、ピクセル座標）、サイズ等、特定の目標についての複数の特性を含み得る。いくつかの実施形態において、特定の目標情報３０６は、ユーザが、制御端末３０４により提供されたユーザインタフェースを介して追跡する特定の目標を選択または指定したときに、生成され得る。例えば、制御端末は、ユーザが手動追跡モードと自動追跡モードとの間で選択することを可能にし得る。手動追跡モードが選択されると、ユーザは、（例えば、表示される１または複数の画像から目標を選択することにより）追跡する特定の目標を指定し得る。ユーザ選択に基づいて、特定の目標情報が生成され得る。
目標タイプ情報３０８は、特定の目標についての情報ではなく、追跡される目標のタイプを記載する情報を含み得る。そのような目標タイプ情報は、色、テクスチャ、パターン、サイズ、形状、寸法等、様々な目標特性を含み得る。いくつかの実施形態において、目標情報（特定の目標情報および目標タイプ情報を含む）は、制御端末３０４におけるユーザ入力に少なくとも部分的に基づいて生成され得る。例えば、制御端末は、ユーザが手動追跡モードと自動追跡モードとの間で選択することを可能にし得る。自動追跡モードが選択されると、ユーザは、目標タイプ情報を入力し、または選択し得る。更に、または代替的に、目標情報は、他の複数のソースからのデータに基づいて生成され得る。例えば、目標タイプ情報は、前の複数の画像に基づいて派生し、および／またはローカルもしくは遠隔のデータ記憶装置から抽出され得る。いくつかの実施形態において、予め規定された複数の目標タイプまたはパターンは、選択のためにユーザに提示され得る。いくつかの他の実施形態において、予め規定された複数の目標タイプまたはパターンは、既定により、ユーザの介在なしに可動物体に自動的に提供され得る。
任意選択で、目標情報は、本明細書において説明されるもの等の期待目標情報を含み得る。期待目標情報は、初期目標情報と重複し、または重複しない場合がある。
目標情報（特定の目標情報３０６および目標タイプ情報３０８を含む）は、例えば、通信モジュール（図示せず）を介して処理システム３１０に提供され得る。処理システム３１０は、可動物体（例えば、ＵＡＶ）に搭載されてもよい。処理システム３１０は、データ処理ユニット３１２およびコマンド制御ユニット３１４を含み得る。データ処理ユニット３１２は、本明細書において説明される複数の方法の任意の実施形態を実行するように構成され得る。例えば、データ処理ユニット３１２は、目標情報（例えば、特定の目標情報３０６および／または目標タイプ情報３０８を含む）に基づいて目標を識別し、目標情報からの偏差等を判断するように構成され得る。データ処理ユニット３１２は、図２においてそれぞれ説明された前処理ユニット２０８および処理ユニット２１０に類似するもの等の前処理ユニットおよび／または処理ユニットを含み得る。例えば、データ処理ユニット３１２は、ＦＰＧＡおよび／または１または複数のＡＲＭプロセッサを含み得る。
データ処理ユニット３１２は、可動物体の状態を制御するように構成されたコマンド制御モジュール３１４に動作可能に接続され得る。コマンド制御モジュール３１４は、本明細書において説明される複数の方法の任意の実施形態を実行するように構成され得る。例えば、コマンド制御モジュール３１４は、データ処理ユニット３１２からの複数の結果に基づいて目標を実質的に追跡するべく、可動物体のコンポーネントを制御する複数の制御コマンドまたは信号３１６を生成するように構成され得る。
複数の制御コマンド３１６は、可動物体の複数の推進メカニズムのための複数のコマンドを含み、複数の画像のうち１または複数における位置および／またはサイズに関する目標の検出された偏差を補正するべく、最大６自由度に対する、可動物体の空間的配置、速度、および／または加速度を調整し得る。また、制御コマンド３１６は、支持機構を介して可動物体により搬送される搭載物（例えば、撮像デバイス）の空間的配置、速度、および／または加速度を調整するように、支持機構の状態を調整する複数のコマンドを含み得る。
また、制御コマンド３１６は、支持機構を介して可動物体により搬送される搭載物（例えば、撮像デバイス）の空間的配置、速度、および／または加速度を調整するように、支持機構の状態を調整する複数のコマンドを含み得る。
制御コマンド３１６は、複数の静止画または動画を撮影し、ズームインもしくはズームアウトし、オンもしくはオフにし、複数の撮像モードを切り替え、画像解像度を変更し、フォーカスを変更し、被写界深度を変更し、露出時間を変更し、レンズの速度を変更し、ビューイング角度または視界を変更する等により、搭載物の１または複数の動作パラメータを調整する複数のコマンドを含み得る。
代替的または追加的に、複数の上記制御コマンドのいずれも、制御端末３０４から処理システム３１０に直接に提供され得る。例えば、ユーザは、処理システム３１０が可動物体および／または支持機構に対する複数の制御コマンドを生成する間に、撮像デバイスのズームイン／ズームアウトを制御する、制御端末３０４を用いることができる。別の例として、ユーザは、処理システム３１０が可動物体および／または撮像デバイスに対する複数の制御コマンドを生成する間に、可動物体を直接に制御し得る。これは、ユーザが、処理システム３１０により自動的に実行される、目標の追跡について懸念することなく、可動物体のナビゲーションを制御することに集中することを可能にし得る。
様々な実施形態において、ユーザと自動追跡システムとの間の追跡制御の割り当ては、可動物体の周囲、可動物体の速度もしくは高度、ユーザ嗜好、ならびに可動物体に搭載され、および／もしくは搭載されない利用可能なコンピューティングリソース（例えば、ＣＰＵもしくはメモリ）等、様々な要因に応じて異なり得る。例えば、可動物体が相対的に単純な環境（例えば、広いオープンスペースまたは屋外）においてナビゲートする場合よりも、可動物体が（例えば、多くの建物もしくは障害物を伴い、または屋内の）相対的に複雑な環境においてナビゲートする場合に、相対的により多くの制御がユーザに割り当てられ得る。別の例として、更なる制御は、可動物体がより高い高度にある場合よりも、可動物体がより低い高度にある場合に、ユーザに割り当てられ得る。更に別の例として、更なる制御は、可動物体が複雑な複数の計算を比較的迅速に実行するように適合された高速プロセッサで装備される場合に、可動物体に割り当てられ得る。いくつかの実施形態において、ユーザと可動物体との間の追跡処理に対する制御の割り当ては、本明細書において説明される複数の要因に基づいて動的に調整され得る。
本発明の一態様によれば、撮像デバイスにより取り込まれた１または複数の画像中における目標の期待位置および／またはサイズを実質的に維持するように、可動物体に接続された撮像デバイスによる目標を追跡する複数の方法およびシステムが提供される。
図４は、複数の実施形態による、目標追跡を実装するための例示的処理４００を図示する。処理４００の複数の態様は、ＵＡＶ等、本明細書において説明される可動物体に搭載され、および／または搭載されない１または複数のプロセッサにより実行され得る。処理４００（または本明細書において説明されるその他の処理もしくは複数の改変形態、および／またはこれらの組み合わせ）のうちいくつかもしくは全ての態様は、複数の実行可能命令を用いて構成された１もしくは複数のコンピュータ／制御システムの制御下で実行されてもよく、ハードウェアまたはこれらの組み合わせにより１もしくは複数のプロセッサに集合的に実行する、コード（例えば、実行可能命令、１もしくは複数のコンピュータプログラム、または１もしくは複数のアプリケーション）として実装されてもよい。コードは、例えば、１または複数のプロセッサにより実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体上に格納され得る。コンピュータ可読記憶媒体は、非一時的であってもよい。複数の動作が説明される順序は、限定と解釈されることを意図せず、任意の数の説明される動作は、複数の処理を実装するべく、任意の順序で、および／または並列に組み合わされてもよい。
処理４００は、１または複数の目標に対する目標情報を得るステップ４０２を含む。目標情報は、本明細書において説明されるもの等の制御端末から受信され得る。追加的または代替的に、目標情報は、可動物体（例えば、ＵＡＶ）、または別の可動物体（例えば、別のＵＡＶ）、サーバ等、可動物体の遠隔のデバイスに搭載したコンポーネント（例えば、メモリ）から得られ得る。いくつかの場合において、目標についての目標情報は、目標自体により提供されることがある。
様々な実施形態において、目標情報は、特定の知られている目標、または潜在的に知られていない目標についての目標タイプ情報に特有の初期目標情報を含むことがある。特定の目標情報は、座標（例えば、ピクセル座標）、サイズ、位置、および１または複数の画像中の目標についての他の情報を含む。特定の目標情報は、本明細書において説明されるもの等、既存の画像データでのユーザインタラクションに基づいて生成され得る。例えば、特定の目標情報は、ユーザがユーザに対して表示される１または複数の画像から、目標として特定の物体を選択すると、生成され得る。特定の目標情報は、目標が１または複数の画像中から、遠隔ユーザにより選択されるときの目標の初期位置および／またはサイズを含み得る。
また、目標情報は、潜在的に知られていない、もしくは識別されない複数の目標のタイプ、またはグループについての色、テクスチャ、寸法、サイズ、位置、および／またはその他の特性等の目標タイプ情報を含み得る。目標タイプ情報は、具体的には、ユーザにより入力され得る。あるいは、ユーザは、既存の目標パターンまたはタイプ（例えば、一定値よりも大きいか、またはこれよりも小さい黒い物体または丸い物体）を選択してもよい。いくつかの実施形態において、ユーザは、１または複数の画像中から１または複数の目標を選択することにより、目標タイプ情報を提供し得る。次に、複数の選択目標の複数の特徴または特性は、抽出および／または一般化され、目標タイプ情報を生成し得、目標タイプ情報は、類似の複数の特徴または特性を有する他の複数の目標を識別するべく用いられ得る。様々な実施形態において、そのような特徴抽出は、制御端末、可動物体上の処理ユニット、または第３のデバイスにより実行され得る。
目標情報（特定の目標情報および目標タイプ情報を含む）は、識別されると、目標が追跡されるとき目標が維持されるべき期待特性を任意選択で含み得る。例えば、目標情報は、画像中の絶対座標または相対座標により表される目標の期待位置を含み得る。追跡システムは、目標が公差の予め規定された程度内で、長時間にわたって実質的に同一の期待位置に保持されるように、目標を追跡するよう構成され得る。代替的または追加的に、目標情報は、目標の期待サイズ（例えば、目標により占められたいくつかのピクセルにより表される）を含み得る。追跡システムは、目標が公差の予め規定された程度内で、実質的に同一の期待サイズに保持されるように、目標を追跡するよう構成され得る。そのような期待目標情報は、特定の目標に対する初期目標情報と同一であるか、または異なることがある。一般的に、初期目標情報は、目標を識別するべく用いられる。目標が識別されると、期待目標情報は、期待目標情報からの任意の偏差を検出し、そのような偏差が補正され得るように用いられ得る。また、いくつかの場合において、目標情報は、識別される場合に目標が追跡されるべき期間を示す期間値または有効期間、目標情報が特定の目標情報または目標タイプ情報等を含むか否かを示すフラグ等、他の複数の値も含み得る。
いくつかの実施形態において、目標が維持されるべき期待目標情報は、制御端末により提供され得る。例えば、期待目標情報は、制御端末に対するユーザ入力に基づき、または制御端末のローカルもしくは遠隔の構成ファイルもしくはデータストアに基づいて生成され得る。いくつかの他の実施形態において、期待目標情報は、可動物体により提供され得る。例えば、可動物体は、既定により画像の実質的に中心に、または画像の特定座標の周囲に目標を保持するように構成され得る。別の例として、可動物体は、既定により、撮像デバイスにより取り込まれる目標を特定サイズに保持するように構成され得る。なおもいくつかの他の実施形態において、期待目標情報は、可動物体の外部のいくつかの他の物体またはデバイスにより提供され得る。
処理４００は、目標情報が受信されると、目標情報に基づき、例えば、目標タイプ情報に基づいて目標を識別するステップ４０４を含む。ＣＡＤ様式の複数の物体モデル（例えば、エッジ検出、プリマルスケッチ、Ｍａｒｒ、ＭｏｈａｎおよびＮｅｖａｔｉａ、Ｌｏｗｅ、またはＯｌｉｖｉｅｒ Ｆａｕｇｅｒａｓ）、複数の外観ベースの方法（例えば、エッジマッチング、分割統治法、グレースケールマッチング、グラジエントマッチング、受容野応答の複数のヒストグラム、または大きな複数のモデルベースを用いる）、特徴ベースの複数の方法（例えば、複数のインタープリテーションツリー（ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｔｒｅｅ）、仮設および試験、ポーズの一貫性、ポーズクラスタ形成、不変性、幾何学的ハッシュ法、スケール不変特徴量変換（ＳＩＦＴ）、または高速化堅牢特徴（ＳＵＲＦ）を用いる）、複数の遺伝的アルゴリズム等に基づく複数のアプローチを含む、任意の好適な画像認識または複数の識別技術が、用いられ得る。
目標が識別された後、撮像デバイスにより取り込まれた後続の複数の画像は、４０６において、期待位置および／またはサイズ等、目標が維持すべき一定の期待特性からの目標の偏差を検出するべくモニタリングされ得る。上述のように、期待目標情報は、（例えば、ユーザ入力に基づいて）、制御端末、可動物体に関連する構成ファイルもしくはメモリにより、またはいくつかの他のソースから供給され得る。期待目標情報は、初期目標情報と同一であるか、同一でないことがある。目標の偏差は、複数の期待特性と、１または複数の画像中における目標の各位置、サイズ、および／またはその他の好適な特性を比較することにより実現され得る。本明細書において論じられるもの等の任意の好適な画像認識または複数の識別技術が、用いられ得る。
いくつかの実施形態において、期待目標情報は、検出された偏差が一定の予め規定された複数の公差値内に収まる場合には、実質的に維持されているとみなされる。そのような複数の場合に、偏差は、無視できるものとみなされ得、矯正的調整は必要とされない。偏差が予め規定された公差値を超える場合にのみ、矯正的調整が必要とされる。例えば、目標の現在位置が期待される座標からの予め定められた数のピクセル内にある場合、偏差は、無視できるとみなされ得、従って矯正的調整は、必要とされない。同様に、目標の現在のサイズが期待されるサイズの予め定められた数のピクセル内にある場合、偏差は、無視できるとみなされ得る。公差の予め規定された程度は、制御端末を操作する複数のユーザにより構成された複数のシステムパラメータにより規定され、または別の方法で規定され得る。
偏差を補正し、目標の期待特性を実質的に維持するべく、４０８において、可動支持機構および／または撮像デバイスを調整する複数の制御信号またはコマンドが生成され得る。いくつかの実施形態において、目標の位置における複数の偏差は、図６において更に詳細に論じられるもの等、可動物体および／または撮像デバイスの姿勢に対する調整により（支持機構を介して）補正され得る。例えば、そのような調整は、１または複数の回転軸を中心とする可動物体および／または撮像デバイスの角速度を変更することを伴い得る。目標のサイズにおける複数の偏差は、図７において更に詳細に論じられるもの等、可動物体の位置、および／または撮像デバイスの動作パラメータに対する調整により補正され得る。例えば、そのような調整は、軸に沿った可動物体の線形速度を変更することを伴い得る。代替的または追加的に、調整は、撮像デバイスに関連するズーム、フォーカス、または他の複数の特性を変更することを伴い得る。
いくつかの実施形態において、調整は、システム構成により課される複数の制約、制御端末を操作するユーザ、または他の複数のエンティティにより制限されることがある。そのような複数の制約の例としては、可動物体（例えば、その推進システム）、支持機構（例えば、その作動部材）、撮像デバイス等のための複数の回転角度に対する最大限度および／もしくは最小限度、角速度および／もしくは線速度等が挙げられ得る。そのような複数の閾値は、調整の範囲を制限するべく用いられ得る。例えば、一定の軸を中心とする可動物体に対する（支持機構を介した）可動物体および／または撮像デバイスの角速度に伴う調整は、可動物体および／または支持機構に対して許される最高角速度により制限され得る。別の例として、可動物体に対する（支持機構を介した）可動物体および／または撮像デバイスの線速度に伴う調整は、可動物体および／または支持機構に対して許される最高線形速度により制限され得る。いくつかの実施形態において、そのような複数の制限は、予め定められ、可動物体、支持機構、および／または撮像デバイスの特定の構成に依存し得る。いくつかの実施形態において、複数の制限は、（例えば、製造者、管理者、またはユーザにより）構成可能であり得る。
いくつかの実施形態において、複数の警告インジケータは、上記の複数の制約に応じて調整が修正される場合（例えば、一定の軸を中心とする可動物体および／または支持機構の角速度が可動物体および／または支持機構に対して許される最高角速度により制限される場合）に、提供され得る。そのような複数の警告インジケータの例としては、テキスト、音声（例えば、サイレンもしくは警告音）、視覚的（例えば、一定の色の光もしくは閃光）、動力学的（例えば、振動もしくは移動）、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体またはそのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末（例えば、ディスプレイにより）提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。
いくつかの実施形態において、調整は、可動物体がユーザにより提供される複数のナビゲーションコマンドまたは予め定められた飛行経路を実行し、および／または撮像デバイスが１または複数の画像を取り込むときに実質的にリアルタイムに実行され得る。いくつかの実施形態において、調整値は、可動物体に搭載した１または複数のセンサ（例えば、近接センサまたはＧＰＳセンサ）により得られた感知データ等、他の情報に基づいて生成され得る。例えば、追跡される目標の位置情報は、近接センサにより得られ、および／または目標自体（例えば、ＧＰＳ位置）により提供され得る。そのような位置情報は、本明細書において説明されるもの等、目標を追跡する複数の調整制御信号を生成するべく、検出された偏差に加えて用いられ得る。
様々な実施形態において、期待目標情報からの偏差の検出４０６、および／または検出された偏差を補正する複数の制御コマンドの生成４０８は、予め規定され、または不特定の期間中、反復され得る。いくつかの実施形態において、そのような偏差検出および／または制御コマンド生成は、一定の間隔（例えば、０．０１秒、０．１秒、０．２秒、０．５秒、または１秒毎）で実行され得る。
図５は、複数の実施形態による、可動物体、支持機構、および搭載物の例示的構成５００を図示する。構成５００は、目標を追跡するべく用いられ得る、可動物体５０２および／または搭載物５０６に対する例示的な複数のタイプの調整を図示するべく、用いられる。可動物体５０２および搭載物５０６は、本明細書において論じられる任意の複数の実施形態を含み得る。例えば、可動物体５０２は、ＵＡＶを含み得、搭載物５０６は、撮像デバイスを含み得る。
可動物体５０２は、Ｘ１軸（ピッチ）５１０、Ｙ１軸（ヨー）５０８、およびＺ１軸（ロール）５１２等、最大３つの垂直の軸を中心として回転することが可能であり得る。３つの軸を中心とする回転は、それぞれ、ピッチ回転５２２、ヨー回転５２０、およびロール回転５２４と呼ばれ得る。Ｘ１軸、Ｙ１軸、およびＺ１軸を中心とする可動物体５０２の角速度は、ωＸ１、ωＹ１、およびωＺ１としてそれぞれ表され得る。また、可動物体５０２は、それぞれＸ１軸、Ｙ１軸、およびＺ１軸に沿って、並進移動５２８、５２６、および５３０が可能であり得る。Ｘ１軸、Ｙ１軸、およびＺ１軸に沿った可動物体５０２の線形速度は、ＶＸ１、ＶＹ１、およびＶＺ１としてそれぞれ表され得る。
例示的構成において、搭載物５０６は、支持機構５０４を介して可動物体５０２に接続される。支持機構５０４は、搭載物５０６に、最大３つの垂直の軸Ｘ２（ピッチ）５１６、Ｙ２（ヨー）５１４、およびＺ２（ロール）５１８を中心とし、および／またはこれに沿った可動物体に対して、移動させることが可能であり得る。Ｘ２軸、Ｙ２軸、およびＺ２軸は、それぞれＸ１軸、Ｙ１軸、およびＺ１軸に平行してもよい。搭載物が光学モジュール５０７を含む撮像デバイスであるいくつかの実施形態において、ロール軸Ｚ２５１８は、光学モジュール５０７のための光学経路または光軸に実質的に並行であり得る。光学モジュール５０７は、複数の画像を取り込むべく、本明細書において説明されるもの等の画像センサに光学的に接続され得る。支持機構５０４は、支持機構５０６に、電気モータ等の支持機構に関連する複数のアクチュエータに提供される複数の制御信号に基づいて、最大３つの垂直の軸Ｘ２（ピッチ）５１６、Ｙ２（ヨー）５１４、およびＺ２（ロール）５１８を中心として回転させ得る。３つの軸を中心とする回転は、それぞれ、ピッチ回転５３４、ヨー回転５３２、およびロール回転５３６と呼ばれ得る。Ｘ２軸、Ｙ２軸、およびＺ２軸を中心とする搭載物５０６の角速度は、ωＸ２、ωＹ２、およびωＺ２としてそれぞれ表され得る。また、支持機構５０４は、搭載物５０６に、可動物体５０２に対するＸ２軸、Ｙ２軸、およびＺ２軸に沿った並進移動５４０、５３８、および５４２に従事させ得る。Ｘ２軸、Ｙ２軸、およびＺ２軸に沿った搭載物５０６の線形速度は、それぞれＶＸ２、ＶＹ２、およびＶＺ２として表され得る。
いくつかの実施形態において、支持機構５０４は、搭載物５０６に、可動物体５０２に対する３つの軸Ｘ２、Ｙ２、およびＺ２のサブセットを中心とし、および／またはこれらに沿って移動させることのみが可能であってもよい。例えば、支持機構５０４は、搭載物５０６が複数の軸に沿って移動することを可能にすることなく、搭載物５０６がＸ２、Ｙ２、Ｚ２、またはこれらの任意の組み合わせを中心として回転することのみを可能にし得る。例えば、支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸のうち１つを中心として回転することを可能にし得る。支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸のうち２つのみを中心として回転することを可能にし得る。支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸の３つ全てを中心として回転することを可能にし得る。
いくつかの他の場合において、支持機構５０４は、搭載物５０６が複数の軸のいずれかを中心として回転することを可能にすることなく、搭載物５０６がＸ２軸、Ｙ２軸、またはＺ２軸、またはこれらの任意の組み合わせに沿って移動することのみを可能にし得る。例えば、支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸のうち１つのみに沿って移動することを可能にし得る。支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸のうち２つのみに沿って移動することを可能にし得る。支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸の３つ全てのみに沿って移動することを可能にし得る。
なおもいくつかの他の実施形態において、支持機構５０４は、搭載物５０６が可動物体に対する回転および並進移動の双方を実行することを可能にし得る。例えば、支持機構５０４は、搭載物５０６がＸ２軸、Ｙ２軸、およびＺ２軸の１つ、２つ、または３つに沿って移動し、および／またはこれらを中心として回転することを可能にするように構成され得る。
いくつかの他の実施形態において、搭載物５０６は、支持機構５０４を用いることなく、可動物体５０２に直接に接続され得、または支持機構５０４は、搭載物５０６が可動物体５０２に対して移動することを可能にないことがある。そのような複数の場合において、搭載物５０６の姿勢、位置、および／または向きは、可動物体５０２に対して固定される。
様々な実施形態において、搭載物５０６の姿勢、向き、および／または位置に対する調整は、可動物体５０２、支持機構５０４、および／または搭載物５０６に対する好適な調整により、集合的に、または個別に実現され得る。例えば、搭載物に対する所与の軸（例えば、ヨー軸）を中心とする６０度の回転は、可動物体単独による６０度の回転、搭載物による、支持機構により実現される可動物体に対する６０度の回転、または可動物体に対する、可動物体による４０度の回転および搭載物による２０度の回転の組み合わせにより実現され得る。
同様に、搭載物の並進移動は、可動物体５０２および支持機構５０４に対する調整値により集合的に、または個別に実現され得る。所望の調整値は、搭載物の複数の動作パラメータに対する調整値により、追加的または代替的に実現され得る。搭載物のそのような複数の動作パラメータとしては、例えば、撮像デバイスのズームイン／ズームアウトレベルまたは焦点距離が挙げられ得る。
図６は、複数の実施形態による、目標の期待位置を維持するための例示的追跡方法を図示する。可動物体により搬送された撮像デバイスにより取り込まれる等した例示的な画像６００が、示される。画像は、Ｗピクセルの幅およびＨピクセルの高さを有すると仮定されたい（ＷおよびＨは、正の整数である）。画像中の位置は、水平方向の軸６０１（画像の幅）および鉛直方向の軸６０３（画像の高さ）に沿った座標のペアにより画定され得、画像の左上隅は、座標（０、０）を有し、画像の右下隅は、座標（Ｗ、Ｈ）を有する。
画像６００中に取り込まれた目標は、位置Ｐ（ｕ、ｖ）６０２に位置付けられ、目標の期待位置は、Ｐ６０２とは異なるＰ０（ｕ０、ｖ０）６０４であると仮定されたい。いくつかの実施形態において、目標Ｐ０（ｕ０、ｖ０）の期待位置は、画像の中心付近であり得るので、従って
Figure 0006784434
 および／または
Figure 0006784434
 となる。他の実施形態において、目標の期待位置は、画像中の任意の別の場所（例えば、中心から離れた）に位置付けら得る。様々な実施形態において、目標の期待位置は、（例えば、制御端末により提供された）目標の初期位置と同一であってもよく、またはそうでなくてもよい。現在位置Ｐは、期待位置Ｐ０から偏差し、そして、偏差は、予め定められた閾値（ｕ０からのΔｘ、およびｖ０からのΔｙにより表されるもの等）を超えると仮定し、期待位置Ｐ０に近接するＰからの目標位置をもたらすべく、調整が必要とされる。
いくつかの実施形態において、期待目標位置からの偏差は、１または複数の軸を中心とする撮像デバイスの視界を回転させるための１または複数の角速度を派生させるべく、用いられ得る。例えば、画像の水平方向の軸６０１に沿った偏差（例えば、ｕとｕ０との間）は、Ｙ（ヨー）軸６０６を中心として撮像デバイスの視界を回転させるための角速度ωＹ６１０を次式のように派生させるべく、用いられ得る。
Figure 0006784434
撮像デバイスの視界に対するＹ軸を中心とする回転は、可動物体の回転、可動物体に対する（支持機構による）搭載物の回転、または双方の組み合わせにより実現され得る。いくつかの実施形態において、搭載物に対する調整は、可動物体に対する調整が実行不可能であるか、またはそうでなければ所望でない場合、例えば、可動物体のナビゲーションパスが予め定められている場合に選択され得る。方程式（１）において、
Figure 0006784434
 は、予め規定され、および／または（例えば、回転が可動物体により実現されたときの）可動物体の構成、（例えば、回転が支持機構により実現されたときの）支持機構の構成、またはその双方（例えば、回転が可動物体および支持機構の組み合わせにより実現された場合）に基づいて較正され得る定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。他の複数の実施形態において、
Figure 0006784434
 は、ゼロ以下であってもよい
Figure 0006784434
 。いくつかの実施形態において、
Figure 0006784434
 は、対応する制御レバー量に対する算出済みのピクセル値、または一定の軸（例えば、ヨー軸）を中心とする角速度を制御する感度をマッピングするべく、用いられ得る。一般に、制御レバーは、制御可能な物体（例えば、ＵＡＶまたは支持機構）の角運動または線形運動を制御するべく、用いられ得る。より大きな制御レバー量は、（角運動または線形運動に対する）より大きな感度およびより高い速度に対応する。いくつかの実施形態において、制御レバー量またはその範囲は、ＵＡＶのための飛行制御システムの複数の設定パラメータ、または支持機構のための制御システムの複数の設定パラメータにより判断され得る。制御レバー量の範囲の上限および下限は、あらゆる任意の数を含み得る。例えば、制御レバー量の範囲は、ある飛行制御システムについては（１０００、−１０００）であり、別の飛行制御システムについては（−１０００、１０００）であり得る。
例えば、複数の画像は、Ｗ＝１０２４ピクセルの幅およびＨ＝７６８ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、１０２４×７６８である。更に、目標の期待位置は、
Figure 0006784434
 を有すると仮定されたい。従って、
Figure 0006784434
 となる。ヨー軸を中心とする制御レバー量の範囲は、（−１０００、１０００）であると仮定すると、最大制御レバー量または最大感度は、１０００および
Figure 0006784434
 である。従って、
Figure 0006784434
 の値は、撮像デバイス、（例えば、一定の回転軸を中心とする）制御レバー量の範囲、最大制御レバー量もしくは最大感度、および／または他の複数の要因により提供される画像解像度もしくはサイズにより、影響され得る。
例えば、回転が可動物体の回転により実現される場合、図６のＹ軸６０６は、図５において図示される可動物体に対するＹ１軸５０８に対応し、視界
Figure 0006784434
 の全体的な角速度は、可動物体に対する角速度
Figure 0006784434
 として表される。
Figure 0006784434
方程式（２）において、
Figure 0006784434
 は、可動物体の構成に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。
Figure 0006784434
 は、上述の
Figure 0006784434
 と同様に規定され得る。例えば、
Figure 0006784434
 の値は、画像解像度もしくはサイズ、および／または（例えば、ヨー軸を中心とする）可動物体に対する制御レバー量の範囲に基づいて規定され得る。
同様に、回転が（例えば、支持機構による）可動物体に対する搭載物の回転により実現される場合、図６のＹ軸６０６は、図５において図示される搭載物のＹ２軸５１４に対応し、視界
Figure 0006784434
 の全体的な角速度は、可動物体に対する搭載物の角速度
Figure 0006784434
 として表される。
Figure 0006784434
方程式（３）において、
Figure 0006784434
 は、支持機構の構成および／または搭載物に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。
Figure 0006784434
 は、上述の
Figure 0006784434
 と同様に規定され得る。例えば、
Figure 0006784434
 の値は、画像解像度もしくはサイズ、および／または（例えば、ヨー軸を中心とする）支持機構に対する制御レバー量の範囲に基づいて規定され得る。
一般に、Ｙ（ヨー）軸６０６を中心とする視界の角速度は、次式で可動物体の角速度
Figure 0006784434
 の組み合わせ、および可動物体に対する搭載物の角速度
Figure 0006784434
 として表され得る。
Figure 0006784434
方程式（４）において、
Figure 0006784434
 または
Figure 0006784434
 のいずれかは、ゼロであってもよい。
本明細書において図示されるように、Ｙ（ヨー）軸を中心とする回転の方向は、
Figure 0006784434
 の符号に依存することがある。例えば、期待位置が（図６において図示されるように）実際の位置の右側に位置付けられる場合、
Figure 0006784434
 および視界は、期待位置に対する目標をもたらすべく、ヨー軸６０６を中心として反時計回りに（例えば、パンの左側）回転する必要がある。他方、期待位置が実際の位置の左側に位置付けられる場合、
Figure 0006784434
 および視界は、期待位置に対する目標をもたらすべく、ヨー軸６０６を中心として時計回りに（例えば、パンの右側）回転する必要がある。
本明細書において図示されるように、所与の軸（例えば、Ｙ（ヨー）軸）を中心とする回転速度（例えば、角速度の絶対値）は、軸に沿った目標の期待位置と実際の位置（すなわち
Figure 0006784434
 ）との間の距離に依存することがある。距離が遠くなる程、回転速度は高くなる。同様に、距離が近くなる程、回転速度は遅くなる。期待位置が軸に沿った目標の位置に一致すると（例えば、
Figure 0006784434
 ）、軸を中心とする回転速度はゼロになり、回転は停止する。
上述のように、期待目標位置および水平方向の軸６０１に沿った実際の目標位置からの偏差を調整するための方法は、異なる軸６０３に沿った目標の偏差を補正するべく、同様に適用され得る。（例えば、ｖとｖ０との間の）画像の鉛直方向の軸６０３に沿った偏差は、例えば、次式のように、Ｘ（ピッチ）軸６０８を中心とする撮像デバイスの視界の角速度ωＸ６１２を派生させるべく用いられ得る。
Figure 0006784434
撮像デバイスの視界に対するＸ軸を中心とする回転は、可動物体の回転、可動物体に対する（支持機構による）搭載物の回転、または双方の組み合わせにより実現され得る。従って、方程式（５）において、
Figure 0006784434
 は、予め規定され、および／または（例えば、回転が可動物体により実現されたときの）可動物体の構成、（例えば、回転が支持機構により実現されたときの）支持機構の構成、またはその双方（例えば、回転が可動物体および支持機構の組み合わせにより実現された場合）に基づいて較正され得る定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。他の複数の実施形態において、
Figure 0006784434
 は、ゼロ以下であってもよい
Figure 0006784434
 。いくつかの実施形態において、
Figure 0006784434
 は、対応する制御レバー量に対する算出済みのピクセル値、または一定の軸（例えば、ピッチ軸）を中心とする角速度を制御する感度をマッピングするべく、用いられ得る。一般に、制御レバーは、制御可能な物体（例えば、ＵＡＶまたは支持機構）の角運動または線形運動を制御するべく、用いられ得る。より大きな制御レバー量は、（角運動または線形運動に対する）より大きな感度およびより高い速度に対応する。いくつかの実施形態において、制御レバー量またはその範囲は、ＵＡＶのための飛行制御システムの複数の設定パラメータ、または支持機構のための支持機構制御システムの複数の設定パラメータにより判断され得る。制御レバー量の範囲の上限および下限は、あらゆる任意の数を含み得る。例えば、制御レバー量の範囲は、ある制御システム（例えば、飛行制御システムまたは支持機構制御システム）については（１０００、−１０００）であり、別の制御システムについては（−１０００、１０００）であり得る。
例えば、複数の画像は、Ｗ＝１０２４ピクセルの幅およびＨ＝７６８ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、１０２４×７６８である。更に、目標の期待位置は、
Figure 0006784434
 を有すると仮定されたい。従って、
Figure 0006784434
 となる。ピッチ軸を中心とする制御レバー量の範囲は、（−１０００、１０００）であると仮定すると、最大制御レバー量または最大感度は、１０００および
Figure 0006784434
 である。従って、
Figure 0006784434
 の値は、撮像デバイス、（例えば、一定の回転軸を中心とする）制御レバー量の範囲、最大制御レバー量もしくは最大感度、および／または他の複数の要因により提供される画像解像度もしくはサイズにより、影響され得る。
例えば、回転が可動物体の回転により実現される場合、図６のＸ軸６０８は、図５において図示される可動物体に対するＸ１軸５１０に対応し、視界
Figure 0006784434
 の角速度は、可動物体に対する角速度
Figure 0006784434
 として表される。
Figure 0006784434
方程式（６）において、
Figure 0006784434
 は、可動物体の構成に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。
Figure 0006784434
 は、上述の
Figure 0006784434
 と同様に規定され得る。例えば、
Figure 0006784434
 の値は、画像解像度もしくはサイズ、および／または（例えば、ピッチ軸を中心とする）可動物体に対する制御レバー量の範囲に基づいて規定され得る。
同様に、回転が（例えば、支持機構による）可動物体に対する搭載物の回転により実現される場合、図６のＸ軸６０８は、図５において図示される搭載物のＸ２軸５１６に対応し、視界の角速度
Figure 0006784434
 は、可動物体に対する搭載物の角速度
Figure 0006784434
 として表される。
Figure 0006784434
方程式（６）において、
Figure 0006784434
 は、支持機構および／または搭載物の構成に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。
Figure 0006784434
 は、上述の
Figure 0006784434
 と同様に規定され得る。例えば、
Figure 0006784434
 の値は、画像解像度もしくはサイズ、および／または（例えば、ピッチ軸を中心とする）可動物体に対する制御レバー量の範囲に基づいて規定され得る。
一般に、Ｘ（ピッチ）軸６０８を中心とする視界の角速度は、次式で可動物体の角速度
Figure 0006784434
 および可動物体に対する搭載物の角速度
Figure 0006784434
 の組み合わせとして表され得る。
Figure 0006784434
方程式（７）において、
Figure 0006784434
 または
Figure 0006784434
 のいずれかは、ゼロであってもよい。
本明細書において図示されるように、Ｙ（ヨー）軸を中心とする回転の方向は、
Figure 0006784434
 の符号に依存することがある。例えば、期待位置が（図６において図示されるように）実際の位置の上方に位置付けられる場合、
Figure 0006784434
 および視界は、期待位置に対する目標をもたらすべく、ピッチ軸６０８を中心として時計回りに（例えば、ピッチの下方）回転する必要がある。他方、期待位置が実際の位置の下方に位置付けられる場合、
Figure 0006784434
 および視界は、期待位置に対する目標をもたらすべく、ピッチ軸６０８を中心として反時計回りに（例えば、ピッチの上方）回転する必要がある。
本明細書において図示されるように、回転速度（例えば、角速度の絶対値）は、所与の軸（例えば、Ｘ（ピッチ）軸）に沿った目標の期待位置と実際の位置（すなわち
Figure 0006784434
 ）との間の距離に依存する。距離が遠くなる程、回転速度は高くなる。距離が近くなる程、回転速度は遅くなる。期待位置が目標の位置に一致すると（例えば、
Figure 0006784434
 ）、回転速度はゼロになり、回転は停止する。
いくつかの実施形態において、上記で算出された角速度の複数の値は、システムの様々な制約により制限され、またはそうでなければ修正され得る。そのような複数の制約としては、可動物体および／もしくは撮像デバイスにより実現され得る最大速度および／もしくは最低速度、可動物体および／もしくは支持機構のための制御システムの制御レバー量もしくは最大制御レバー量、または最大感度の範囲等が挙げられ得る。例えば、回転速度は、算出された回転速度および許される最高速度の最低値であってもよい。
いくつかの実施形態において、警告インジケータは、算出された複数の角速度が、本明細書において説明される複数の制約に応じて修正される必要がある場合に提供され得る。そのような複数の警告インジケータの例としては、テキスト、音声（例えば、サイレンもしくは警告音）、視覚的（例えば、一定の色の光もしくは閃光）、機械的、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体、支持機構、搭載物、またはそれらのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末（例えば、ディスプレイにより）提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。
図７は、複数の実施形態による、目標の期待サイズを維持するための例示的追跡方法を図示する。可動物体により搬送された撮像デバイスにより取り込まれる等した例示的な画像７００が、示される。目標７０２は、画像７００により取り込まれると仮定されたい。画像中の目標の実際のサイズは、（目標の幅および目標の高さの積として算出されたもの等）ピクセルであり得る。期待された目標サイズＳは、実際のサイズｓより小さいか（例えば、期待目標は、７０４およびＳ＝ｓ０により表され得る）、または大きくなり得る（例えば、期待目標は、７０５およびＳ＝ｓ１により表され得る）。目標の期待サイズは、（例えば、制御端末により提供された）目標の初期サイズと同一であるか、そうでないことがある。現在のサイズｓは、期待サイズｓ０またはｓ１から偏差し、そして、偏差は、予め定められた閾値（予め規定されたΔｓピクセル等）を超えると仮定し、期待サイズｓ０またはｓ１に近接する目標サイズをもたらすべく、調整が必要とされる。
画像および目標の表示区域は、長方形として示されるが、それは専ら例示的な目的のためであり、限定的であることを意図しない。むしろ、画像および／または目標の表示区域は、様々な実施形態において、円、楕円、多角形等、任意の好適な形状であってもよい。同様に、本明細書において論じられる複数の区域は、ピクセルで表されるが、これらは、専ら例示的な目的のためであり、限定的であることを意図しない。他の複数の実施形態において、複数の区域は、メガピクセル、ｍｍ２、ｃｍ２、インチ２等、任意の好適な単位で表され得る。
いくつかの実施形態において、期待目標サイズからの偏差は、１または複数の軸に沿った可動物体および／または撮像デバイスの１または複数の線形速度を派生させるべく、用いられ得る。例えば、実際の目標サイズｓと期待目標サイズＳ（例えば、Ｓ＝ｓ０またはｓ１）との間の目標サイズにおける偏差は、次式のように、Ｚ（ロール）軸７１０に沿って可動物体を移動させるための線形速度Ｖを判断するべく、用いられ得る。
Figure 0006784434
方程式（８）において、
Figure 0006784434
 は、視界を目標に向かって、および／または目標から離れて移動させ得る可動物体または任意の好適な制御可能な物体（例えば、支持機構）の構成に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。他の複数の実施形態において、
Figure 0006784434
 は、ゼロ以下であってもよい
Figure 0006784434
 。いくつかの実施形態において、
Figure 0006784434
 は、対応する制御レバー量に対する算出済みのピクセル値、または線形速度を制御する感度をマッピングするべく、用いられ得る。
一般に、Ｖは、目標に向かって、または目標から離れた可動物体の速度を表す。速度ベクトルは、ＵＡＶから目標へと指し示す。目標の実際のサイズｓが期待サイズＳより小さい場合、Ｖ＞０であり、可動物体は、複数の画像中に取り込まれた目標のサイズを増大させるように、目標に向かって移動する。他方、目標の実際のサイズｓが期待サイズＳより大きい場合、Ｖ＜０であり、可動物体は、複数の画像中に取り込まれた目標のサイズを減少させるように、目標から離れて移動する。
例えば、複数の画像は、Ｗ＝１０２４ピクセルの幅およびＨ＝７６８ピクセルの高さを有すると仮定されたい。従って、複数の画像のサイズは、１０２４×７６８である。線形速度を制御するための制御レバー量の範囲は、（−１０００、１０００）であると仮定されたい。複数の例示的な実施形態において、
Figure 0006784434
 の場合は
Figure 0006784434
 であり、
Figure 0006784434
 の場合は
Figure 0006784434
 である。
いくつかの実施形態において、上記で算出された速度の複数の値は、システムの様々な制約により制限され、またはそうでなければ修正され得る。そのような複数の制約としては、可動物体および／もしくは撮像デバイスにより実現され得る最大速度および／もしくは最低速度、可動物体および／もしくは支持機構のための制御システムの最大感度等が挙げられ得る。例えば、可動物体の回転速度は、算出された速度および許される最高速度の最低値であってもよい。
代替的または追加的に、実際の目標サイズと期待目標サイズとの間の偏差は、偏差を補正するべく、ズームレベルまたは焦点距離等、撮像デバイスの複数の動作パラメータに対する調整を派生させるように用いられ得る。撮像デバイスに対するそのような調整は、可動物体に対する調整が実行不可能であるか、またはそうでなければ所望でない場合、例えば、可動物体のナビゲーションパスが予め定められている場合に必要となり得る。例示的な焦点距離の調整値Ｆは、次式で表され得る。
Figure 0006784434
式中、
Figure 0006784434
 は、撮像デバイスの構成に基づいて規定される定数である。いくつかの実施形態において、
Figure 0006784434
 は、ゼロより大きい
Figure 0006784434
 。他の複数の実施形態において、
Figure 0006784434
 は、ゼロ以下であってもよい
Figure 0006784434
 。
Figure 0006784434
 の値は、複数のタイプのレンズおよび／または撮像デバイスに基づいて規定されてもよい。
目標の実際のサイズｓが期待サイズＳより小さい場合、Ｆ＞０であり、焦点距離は、複数の画像中に取り込まれた目標のサイズを増大させるように、
Figure 0006784434
 により増大する。他方、目標の実際のサイズｓが期待サイズＳより大きい場合、Ｆ＜０であり、焦点距離は、複数の画像中に取り込まれた目標サイズを減少させるように、
Figure 0006784434
 により減少する。例えば、一実施形態において、
Figure 0006784434
 である。これは、例えば、目標の実際のサイズが期待サイズＳのサイズの二倍である場合、それに応じて焦点距離が１０ｍｍだけ減少すべきであることを意味し（すなわち、
Figure 0006784434
 ）、その逆も当てはまる。
いくつかの実施形態において、焦点距離等、撮像デバイスの複数の動作パラメータに対する調整は、システムの様々な制約により制限され、そうでなければ修正され得る。そのような複数の制約としては、例えば、撮像デバイスにより実現され得る最大焦点距離および／または最小焦点距離が挙げられ得る。一例として、焦点距離範囲は（２０ｍｍ、５８ｍｍ）であると仮定されたい。更に、初期焦点距離は４０ｍｍであると仮定されたい。ｓ＞Ｓの場合に、焦点距離は、方程式（９）に従って減少するはずであり、ｓ＜Ｓの場合に、焦点距離は、方程式（９）に従って増加するはずである。しかし、そのような調整は、焦点距離範囲（例えば、２０ｍｍ〜５８ｍｍ）の下限および上限により制限される。換言すれば、調整値後の焦点距離は、最小焦点距離以上（例えば、２０ｍｍ）になり、最大焦点距離（例えば、５８ｍｍ）以下になるはずである。
図６において上述したように、複数の警告インジケータは、算出済みの調整値（例えば、可動物体の線形速度または焦点距離）が本明細書において説明される複数の制約に応じて修正される場合に提供され得る。そのような複数の警告インジケータの例としては、テキスト、音声（例えば、サイレンもしくは警告音）、視覚的（例えば、一定の色の光もしくは閃光）、機械的、その他の好適なタイプの信号が挙げられ得る。そのような複数の警告インジケータは、可動物体、支持機構、搭載物、またはそれらのコンポーネントにより直接に提供され得る。代替的または追加的に、複数の警告インジケータは、制御端末（例えば、ディスプレイにより）提供され得る。後者の場合に、制御端末は、可動物体からの複数の信号に基づいて複数の警告インジケータを提供し得る。
本発明の別の態様によれば、可動物体に接続された撮像デバイスにより目標を追跡するが、可動物体は、複数のナビゲーションコマンドによりナビゲートするように制御される、複数の方法およびシステムが提供される。
図８は、複数の実施形態による、目標追跡を実装するための別の例示的処理８００を図示する。処理８００の複数の態様は、ＵＡＶ等、本明細書において説明される可動物体に搭載した１または複数のプロセッサにより実行され得る。
処理８００は、例えば本明細書において説明されるもの等の遠隔制御端末から、複数のユーザナビゲーションコマンドおよび目標情報を受信するステップ８０２を備える。可動物体の位置、速度、向き、姿勢等、可動物体の複数のナビゲーションパラメータを制御するためのナビゲーションコマンドが用いられ得る。いくつかの場合に、ナビゲーションコマンドは、予め定められたナビゲーションパスに関係するもの等、予め格納されたいくつかのナビゲーションコマンドを実行する可動物体に対する複数の命令を含み得る。複数のナビゲーションコマンドは、８０４において、ユーザにより指定され、または予め格納されたナビゲーションパスに応じてナビゲートする可動物体を制御するべく用いられ得る。
目標情報は、制御端末を操作するユーザにより選択されたもの等の特定目標の初期目標情報（例えば、位置および／またはサイズ）、および／または色、テクスチャ、パターン、サイズ、形状、寸法等の目標タイプ情報を含み得る。
また、目標情報は、期待目標情報（例えば、位置および／またはサイズ）を含み得る。期待目標情報は、追跡される目標が撮像デバイスにより取り込まれた複数の画像において満たすと期待される特性を指定する。期待目標情報は、追跡される目標が期待目標情報により指定された複数のパラメータを維持するように、可動物体、支持機構、および／または撮像デバイスを調整するべく用いられ得る。例えば、目標は、撮像デバイスにより取り込まれた１または複数の画像中の期待位置および／またはサイズを維持するように、追跡され得る。例えば、追跡目標の期待位置は、画像の中心付近にあるか、または中心から離れていることがある。追跡目標の期待サイズは、ほぼ一定の数のピクセルになり得る（例えば、初期目標サイズ）。期待目標情報は、初期目標情報と同一であるか、またはそうでないことがある。様々な実施形態において、期待目標情報は、制御端末により提供され、または提供されないことがある。例えば、期待目標情報は、可動物体に搭載した処理ユニットにより実行される制御ロジックにおいてハードコーデンイングされ、可動物体からローカルの、および／または遠隔のデータストアに格納され、他の好適な複数のソースから得られ得る。
いくつかの実施形態において、目標情報（特定の目標情報および目標タイプ情報を含む）は、制御端末１１２におけるユーザ入力に少なくとも部分的に基づいて生成され得る。更に、または代替的に、目標情報は、他の複数のソースからのデータに基づいて生成され得る。例えば、目標タイプ情報は、前の複数の画像に基づいて派生し、および／またはローカルもしくは遠隔のデータ記憶装置から抽出され得る。そのような目標タイプ情報は、ユーザにより選択され、および／または既定により可動物体に自動的に提供され得る。
目標情報は、８０６において、目標情報に従って目標を追跡する可動物体、支持機構、および／または撮像デバイスを調整するべく用いられ得る。追跡およびその他の関係するデータ処理は、可動物体に搭載した１または複数のプロセッサ、可動物体の遠隔の１または複数のプロセッサ、またはこれらの任意の好適な組み合わせにより、自動的に実行され得る。いくつかの実施形態において、目標情報は、可動物体により、追跡される目標を識別するべく用いられ得る。目標のそのような識別は、特定目標の特定の複数の特性を含む初期目標情報（例えば、可動物体により取り込まれた画像中の目標の提供された座標に基づく）、または目標情報に含まれる一般目標タイプ情報に基づいて実行され得る。
目標が識別されると、期待位置および／またはサイズ等、目標の期待特性からの偏差を検出するべく、（目標情報の一部としての）期待目標情報は、用いられ得る。偏差は、可動物体により取り込まれた一連の複数の画像中の目標の複数の特性（例えば、位置および／またはサイズ）を比較することにより検出され、複数の画像全体で複数の特性が変化するか否かを判断することができる。一連の画像は、異なる時点の可動物体により取り込まれてもよい。目標の位置における変化は、画像中の目標のの中心点の座標を期待目標位置の座標と比較することにより検出され得る。目標のサイズにおける変化は、期待目標サイズを目標がカバーする区域のサイズ（例えば、ピクセルでの）を比較することにより検出され得る。
検出された偏差に少なくとも部分的に基づいて、可動物体、支持機構、撮像デバイス、および／またはこれらの任意の好適なコンポーネントに関する複数の制御信号が、（例えば、可動物体に搭載した１または複数のプロセッサにより）自動的に生成され得る。複数の制御信号は、検出された偏差を実質的に補正するべく、用いられ得る。いくつかの実施形態において、調整は、可動物体がユーザにより提供された複数のナビゲーションコマンドに従ってナビゲートする間に、可動物体により取り込まれ複数の画像中の１または複数の期待目標特性（例えば、目標位置および／またはサイズ）を実質的に維持するべく用いられ得る。調整は、可動物体が、ユーザにより提供される複数のナビゲーションコマンド、もしくは予め格納された複数のナビゲーションパスを実行する場合、および／または撮像デバイスが１または複数の画像を取り込む場合に、実質的にリアルタイムで実行され得る。いくつかの実施形態において、調整値は、可動物体に搭載した１または複数のセンサ（例えば、近接センサまたはＧＰＳセンサ）により得られた感知データ等、他の情報に基づいて生成され得る。例えば、追跡される目標の位置情報は、近接センサにより得られ、および／または目標自体（例えば、ＧＰＳ位置）により提供され得る。そのような位置情報は、目標を追跡する複数の調整制御信号を生成するべく、検出された偏差に加えて用いられ得る。
いくつかの実施形態において、可動物体が、ユーザにより提供された複数のナビゲーションコマンドまたは複数の予め定められたナビゲーションパスに従ってナビゲートする場合、目標追跡のための調整は、可動物体自体の状態（例えば、姿勢、位置、向き、または速度）に影響を与えることなく、支持機構および／または撮像デバイスに対して制限される。可動物体が、ユーザにより提供される複数のナビゲーションコマンドまたは予め格納された複数のナビゲーションパスを実行する間に、可動物体を調整することが実行不可能であるか、またはそうでなければ所望でないので、このようになることがある。例えば、そのような調整は、支持機構に、目標の期待位置からの偏差を補償するべく、１つ、２つ、またはそれより多い回転軸を中心として、またはこれらに沿って等、可動物体に対して撮像デバイスを移動させ得る。追加的に、または代替的に、調整は、撮像デバイスの焦点距離もしくはズーム、フォーカス、または他の複数の動作パラメータに対する調整が、目標の期待サイズからの偏差を補償するようにさせ得る。そのような複数の調整のための例示的な複数の方法の論述が、図６〜図７に関連して提供される。他の複数の実施形態において、調整は、可動物体に対する調整も伴い得る。
本発明の別の態様によれば、目標を追跡する間に、１または複数のナビゲーションコマンドに従ってナビゲートする可動物体を制御する、複数の方法およびシステムが提供される。図９は、複数の実施形態による、ナビゲートおよび追跡する可動物体を制御するための例示的処理９００を図示する。処理９００の態様は、本明細書において説明されるもの等の制御端末により実行され得る。例えば、制御端末は、ハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、制御端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、グローブ、ヘルメット、マイク、またはこれらの好適な組み合わせを含み得る。
処理９００は、ナビゲーションまたはナビゲーション入力に関係するユーザ入力を受信するステップ９０２を備える。そのようなナビゲーション入力は、図８に関連して説明されたもの等の可動物体またはそのコンポーネントを制御するための複数のナビゲーションコマンドを生成するべく、用いられ得る。ナビゲーション入力は、キーボード、マウス、ジョイスティック、タッチスクリーン、ボタンマイク、ウェブカム等の制御端末により提供されるユーザインタフェースを介して提供され得る。手動で入力された複数のコマンド、音声制御、ジェスチャ制御、または（例えば、制御デバイスの移動、向き、および／または姿勢による）位置制御等の任意の好適なユーザ入力は、制御デバイスとインタラクトするべく、用いられ得る。
また、処理９００は、追跡または追跡入力に関係するユーザ入力を受信するステップ９０４を備える。そのような追跡入力は、本明細書において説明されるもの等の可動物体により追跡される目標、または複数の目標のタイプに関係する目標情報を生成するべく、用いられ得る。ナビゲーション入力を提供するためのものと同一であるか、または異なるインターフェースを用いる追跡入力が、提供され得る。例えば、追跡入力は、タッチスクリーンを介して提供され得るが、ナビゲーション入力は、制御端末の姿勢における変化（例えば、回転軸を中心とする制御端末の回転）を検出するように構成されたジョイスティックまたは慣性センサを介して提供され得る。別の例として、ナビゲーション入力および追跡入力の双方は、タッチスクリーン、キーボード、マウス、またはジョイスティック等、同一のユーザインタフェースを介して提供され得る。
いくつかの実施形態において、ナビゲーション入力、または追跡入力は、各々、２つまたはそれより多いユーザインタフェースを介して提供され得る。例えば、ナビゲーション入力は、ジョイスティックおよびタッチスクリーンの双方を介して提供され得る。別の例として、追跡入力は、タッチスクリーン、ジョイスティック、およびキーボードを介して提供され得る。
ナビゲーション入力は、９０６において可動物体に対する複数のナビゲーションコマンドを生成するべく、用いられ得る。例えば、１または複数の予め規定された軸に沿うか、またはこれらを中心とするジョイスティックのユーザによる移動からもたらされる複数の機械的信号は、対応する複数の軸（例えば、ピッチ、ヨー、またはロール）に沿って可動物体を移動させるための複数のナビゲーションコマンドに変換され得る。別の例として、ユーザによるグラフィックスユーザインタフェースとのインタラクション（例えば、可動物体の向きまたは位置を表すアイコンの移動）は、対応する複数のナビゲーションコマンドに変換され得る。別の例として、１または複数の予め規定された軸に沿うか、またはこれを中心とする制御端末のユーザによる移動は、１または複数の慣性センサにより検出され、対応する複数の軸（例えば、ピッチ、ヨー、またはロール）に沿って可動物体を移動させるための複数のナビゲーションコマンドを生成するべく、用いられ得る。ナビゲーション入力に加えて、複数のナビゲーションコマンドは、可動物体により提供される感知データ等、他のデータに基づいて生成され得る。
追跡入力は、９０８において、１または複数の目標を追跡する可動物体により用いられ得る目標情報を生成するべく、用いられ得る。目標情報は、本明細書において説明されるもの等の初期目標情報および／または期待目標情報を含み得る。初期目標情報は、特定の目標の特定の複数の特性（例えば、可動物体により取り込まれた画像中の目標の提供された座標に基づく）、または複数の目標のタイプの一般的特性（例えば、追跡される目標の提供された色および／またはテクスチャに基づく）を含み得る。初期目標情報は、例えば、１または複数の画像から、追跡される目標を識別するべく用いられ得る。期待位置および／またはサイズ等、目標の期待特性からの偏差を検出するべく、期待情報は、用いられ得る。いくつかの実施形態において、期待情報は、任意選択であってもよく、初期情報のいくつかまたは全部が、期待情報として用いられてもよい。
また、処理９００は、支持機構および／または複数の撮像デバイスの制御に関係するユーザ入力および複数の生成コマンドを受信するステップを備える。そのような制御の複数の例としては、支持機構により撮像デバイスの姿勢および／または向きを変更すること、撮像デバイスの１または複数の動作パラメータを調整すること（例えば、ズーム）等が挙げられ得る。
図１０において更に詳細に説明するもの等のいくつかの実施形態において、目標の座標、サイズ、および他の複数の特性は、ユーザによりグラフィックスユーザインタフェースにおいて選択され、初期目標情報および／または期待目標情報を生成するべく用いられ得る。
いくつかの実施形態において、生成された複数のナビゲーションコマンドおよび／または目標情報は、９１０において、制御端末の通信システム等を介して、可動物体に提供され得る。そのような複数のコマンドおよび情報は、可動物体を用いる間に（例えば、意図される環境において移動させ、またはそうでなければ操作する）提供され得る。いくつかの実施形態において、複数のナビゲーションコマンドおよび目標情報は、制御端末から可動物体へと直接に提供され得る。いくつかの他の実施形態において、複数のナビゲーションコマンドおよび目標情報は、可動物体に到達する前に、１または複数の中間エンティティ（例えば、中継局または他の可動物体）に提供され得る。
いくつかの実施形態において、処理９００の全てのステップは、１つの制御端末等、同一のエンティティにより実装される。いくつかの他の場合において、処理９００の複数のステップは、２またはそれより多い別個のエンティティにより実装される。そのような複数の別個のエンティティは、例えば、有線接続または無線接続を介して互いに通信し得る。例えば、９０２におけるナビゲーション入力を受信するステップおよび９０６における複数のナビゲーションコマンドを生成するステップは、第１のデバイスにより実装され得るが、９０４における追跡入力を受信するステップおよび９０８における目標情報を生成するステップは、第２のデバイスにより実装され得る。第２のデバイスは、目標情報を第１のデバイスに送信し得、第１のデバイスは、複数のナビゲーションコマンドおよび目標情報の双方を可動物体に送信するように構成され得る。別の例として、９０２および９０４における受信するステップは、あるデバイスにより実行され得るが、９０６および９０８における生成するステップは、別のデバイスにより実行され得る。
本発明のいくつかの他の態様によれば、ＵＡＶ等、本明細書において説明される可動物体により追跡される複数の目標を実質的にリアルタイムで選択し、ビューイングするためのインタラクティブなユーザインタフェースが提供される。そのようなユーザインタフェースは、本明細書において説明されるもの等の制御端末により提供され得る。図１０は、複数の実施形態による、目標を選択するための例示的処理１０００を図示する。処理１０００の態様は、本明細書において説明されるもの等の制御端末により実行され得る。
処理１０００は、複数の可動物体により取り込まれた１または複数の画像を表示するステップ１００２を備える。複数の画像は、本明細書において説明される支持機構により可動物体に接続された撮像デバイスにより、取り込まれ得る。支持機構は、撮像デバイスが可動物体に対して移動することを可能にし、または可能にしないことがある。あるいは、撮像デバイスは、支持機構を用いずに可動物体に直接に接続されてもよい。複数の画像は、可動物体から制御端末へと、または撮像デバイスから直接に送信され得る。従って、制御端末により受信される複数の画像は、制御端末に関連するユーザインタフェース上に表示される前に、復元され、またはそうでなければ処理され得る。ユーザインタフェースは、制御端末と一体のディスプレイにより提供され得る。あるいは、ディスプレイは、制御端末と別個であるが、これに動作可能に接続され得る。従って、表示される複数の画像は、静的であってもよく（例えば、静止画像）、または動的（例えば、動画）であってもよい。
いくつかの実施形態において、複数の画像は、複数の画像が可動物体および／または撮像デバイスから受信されるときに、実質的にリアルタイムで表示またはストリーミングされ得る。いくつかの実施形態において、複数の画像は、複数の画像が撮像デバイスにより取り込まれるときに、実質的にリアルタイムで可動物体および／または撮像デバイスから送信される。他の複数の場合に、複数の画像の取り込および／もしくは送信と、複数の画像の表示との間にはいくらかの遅延が存在することがある。
いくつかの実施形態において、処理１０００は、表示される複数の画像のうち少なくとも１つから目標のユーザ選択を受信するステップ１００４を備える。ユーザは、複数の画像を表示する同一のユーザインタフェースを介して目標を選択し得る。例えば、いくつかの実施形態において、目標のユーザ選択は、表示上に表示される１または複数の画像のうち少なくとも１つの区域を選択するユーザにより実現され、選択された区域は、目標に対応する。例えば、ユーザは、指またはスタイラスを用いて直接にタッチスクリーンをタッチすることにより、目標を選択し得る。別の例として、ユーザは、マウス、ジョイスティック、ジェスチャ、または音声コマンドを用いて目標を選択し得る。更に別の実施形態において、ユーザは、ヘルメット、ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｇｏｇｇｌｅ等のウェアラブルデバイスにより目標を選択し得る。目標区域の選択は、本明細書において説明されるもの等の任意の好適な複数の入力方法に関連するタッチもしくはタップ、スワイプ、回転、クリック等を含む、任意の好適な動きを伴い得る。
いくつかの実施形態において、選択目標は、ユーザにより選択された、表示する画像において、選択インジケータを用いて表示される。選択インジケータは、任意の好適な色もしくはパターンの円、チェックマーク、矢印、多角形、またはその他の好適な形状の物体のグラフィックオブジェクトにより表され得る。
ユーザ選択目標は、１００６において、目標情報を生成するべく用いられ得る。例えば、画像中の選択目標の座標およびピクセルサイズは、目標に対する初期情報として用いられ、またはこれを生成するべく用いられ得る。代替的または追加的に、選択目標に関連する複数の特性は、少なくともいくつかの目標タイプ情報を生成するべく用いられ得る。いくつかの実施形態において、残余の目標タイプ情報は、他のユーザ入力に基づいて提供され得る。例えば、目標タイプ情報は、追跡される目標の色およびテクスチャを含み得る。目標タイプ情報の色は、ユーザにより選択された特定目標から抽出され得るが、目標のテクスチャは、ユーザにより手動で入力され、または複数の予め定められたパターンから選択され得る。
いくつかの実施形態において、ユーザは、手動追跡モードと自動追跡モードとの間で選択することを可能にされる。手動追跡モードが選択されると、ユーザは、制御端末により表示される画像等から追跡する特定の目標を指定し得る。他方、自動追跡モードが選択されると、ユーザは、追跡される特定の目標ではなく目標タイプ情報を指定し得る。次に、可動物体は、目標タイプ情報を用いて、追跡される目標を自動的に識別し、次に、識別された目標を追跡し得る。
任意選択で、選択目標について情報は、期待目標情報を生成するべく用いられる。例えば、初期目標情報は、期待目標情報と同一であってもよい。別の例として、期待目標情報は、初期目標情報を参照して表され得る。例えば、期待目標位置は、初期目標位置からのオフセットを用いて表され得る。同様に、期待目標サイズは、期待目標サイズと初期目標サイズとの間の比率として表され得る（例えば、期待目標サイズは、初期目標サイズの二倍のサイズであり得る）。様々な実施形態において、目標情報は、ユーザにより選択された目標、他のユーザ入力方法（例えば、キーボードからのデータエントリ）を用いて得られたデータ、および／または複数の非ユーザソース（例えば、ローカルもしくは遠隔のデータ記憶装置、または他の好適な複数のコンピューティングシステム）からのデータに基づいて、生成され得る。
目標情報は、１００８において、追跡目的のために可動物体に提供され得る。例えば、初期目標情報および／または目標タイプ情報は、可動物体上の１または複数のプロセッサにより用いられ、追跡される目標を識別し得る。期待目標情報は、追跡処理中に目標の予め定められた位置、サイズ、および他の複数の特性を実質的に維持するべく、可動物体により用いられ得る。
様々な実施形態において、追跡処理を制御するべく用いられる目標情報の一部は、複数のユーザにより提供され、残余は、追跡システムにより提供され得る。例えば、一実施形態において、初期目標情報は、具体的な目標のユーザ選択を介してユーザにより提供されるが、期待目標情報は、既定により、システムによって提供される。別の実施形態において、ユーザは、目標タイプ情報を提供し得るが、システムは、目標タイプ情報に基づいて目標を自動的に判断し、ユーザにより指定され、またはシステムにより提供された期待目標情報を用いて目標を追跡する。更に別の実施形態において、ユーザは、初期目標情報および期待目標情報を含む全ての目標情報を提供し得、システムは、それに応じて指定された目標を専ら追跡する。
複数のユーザと追跡システムとの間の追跡制御の特定の割り当ては、可動物体の周囲、可動物体の速度もしくは高度、ユーザ嗜好、ならびに可動物体に搭載され、および／もしくは搭載されない利用可能なコンピューティングリソース（例えば、ＣＰＵもしくはメモリ）等、様々な要因に応じて異なり得る。例えば、可動物体が相対的に単純な環境（例えば、広いオープンスペースまたは屋外）においてナビゲートする場合よりも、可動物体が（例えば、多くの建物もしくは障害物を伴い、または屋内の）相対的に複雑な環境においてナビゲートする場合に、相対的により多くの制御がユーザに割り当てられ得る。別の例として、更なる制御は、可動物体がより高い高度にある場合よりも、可動物体がより低い高度にある場合に、ユーザに割り当てられ得る。更に別の例として、更なる制御は、可動物体が複雑な複数の計算を比較的迅速に実行するように適合された高速プロセッサで装備される場合に、可動物体に割り当てられ得る。
図１１は、複数の実施形態による、追跡目標をビューイングするための例示的処理１１００を図示する。処理１１００の複数の態様は、処理１０００を実装するための同一であるか、または異なる制御端末により実行され得る。
処理１１００は、本明細書において説明されるもの等の可動物体（例えば、ＵＡＶ）により取り込まれた複数の画像を受信するステップ１１０２を備える。複数の画像は、（例えば、支持機構により）可動物体に接続された撮像デバイスにより、取り込まれ得る。いくつかの場合において、複数の画像は、複数の画像を取り込んだ撮像デバイスから直接に受信され得る。複数の画像は、本明細書において説明されるもの等の制御端末により受信され得る。いくつかの実施形態において、複数の画像は、本明細書において説明されるもの等の目標情報が可動物体に提供された後に受信され得る。目標情報は、図９または図１０において論じられるもの等の処理９００または１０００に類似する処理に従って提供され得る。可動物体は、図４において論じられる処理４００に類似する処理に従って、目標情報により識別および／または指定された目標を追跡するように構成され得る。従って、受信された複数の画像のうち少なくともいくつかは、追跡される目標を含み得る。
また、処理１１００は、可動物体により追跡された１または複数の目標の複数の特性を示すべく、用いられる追跡データまたは情報を受信するステップ１１０４を備える。追跡情報の複数の例としては、可動物体から受信された１または複数の画像中の目標の相対座標もしくは絶対座標、ならびに／またはサイズ、複数の連続画像フレーム間の目標の複数の変化もしくはオフセット、複数のＧＰＳ座標、または目標についての他の位置情報等が挙げられ得る。
受信された複数の画像は、１１０６において、可動物体により追跡される目標を示す追跡データを用いて、表示され得る。例えば、追跡データは、複数の画像のいくつかまたは全部において追跡される目標の位置および／またはサイズを判断するべく、用いられ得る。この情報に基づいて、図１０において論じられる選択インジケータに類似するもの等の追跡インジケータは、生成および表示され得る。例えば、所与の画像中の目標位置を考慮して、画像は、ほぼ目標位置にあり、目標またはその一部をカバーするのに十分大きいサイズの追跡インジケータを用いて表示され得る。追跡インジケータの複数の例としては、ボックス、円、楕円、またはその他の好適な形状、色、またはサイズのグラフィックオブジェクトが挙げられ得る。
有利なことに、そのような追跡インジケータを用いて追跡目標を表示することは、複数のユーザが、可動物体により取り込まれ、および／またはこれから送信される複数の画像を実質的にリアルタイムでビューイングしつつ、追跡する目標を視覚的に識別するのに役立つ。換言すれば、複数のユーザは、複数の目標が可動物体により追跡されるのと実質的に同時に、複数の目標をビューイングし得る。他の複数の実施形態において、表示は、いくらかの遅延の後に提供され得る。
いくつかの実施形態において、可動物体により追跡される目標をビューイングしつつ、ユーザは、追跡される目標（例えば、追跡インジケータにより示される）を選択し、目標に関するより詳細な情報をビューイングし得る。また、ユーザは、複数の画像が表示されるユーザインタフェースとインタラクトすることにより、表示される目標およびその他の物体に関する他の複数の動作を実行し得る。例えば、ユーザは、タッチスクリーン全体で指を動かすことによりズームインおよびズームアウトし得る。
そのような複数のユーザ操作は、複数の追跡コマンドに変換され、可動物体に送信され得る。例えば、上記のユーザによるズームイン操作／ズームアウト操作は、撮像デバイス用の複数の好適ズームイン／ズームアウトコマンド、および／または目標により近く、またはより遠くに可動物体を移動させる複数の制御コマンドに変換され得る。代替的または追加的に、ユーザは、追跡するための異なる目標に切り替えることを選択し得る。そのような切り替えは、ユーザが異なる目標を選択するときに動的に実行され得る。異なる目標に関係する目標情報は、例えば、図１０において説明されるものに類似する形で可動物体に動的に提供されてもよい。次に、可動物体は応答して、本明細書において説明される複数の方法を用いて、例えば実質的にリアルタイムで異なる目標を追跡することに動的に切り替え得る。
図１２は、複数の実施形態による、可動物体を制御するための例示的制御端末１２００を図示する。制御端末１２００は、ＵＡＶ等の可動物体に接続された撮像デバイスまたは画像センサにより取り込まれた画像データ等の、感知データを表示するための表示区域１２０２を含む。画像データは、可動物体に搭載した撮像デバイスまたは画像センサにより取り込まれた１または複数の物体１２１０および１２０６の複数の画像を含み得る。１または複数の物体のうち１つは、可動物体により追跡される目標１２０６を含み得る。目標は、インジケータ１２０８を用いて表示され得る。インジケータ１２０８は、目標が可動物体により追跡されるユーザにより選択されていることを示す、図１０において論じられるもの等の選択インジケータ、および／または目標が可動物体により追跡されることを示す、図１１において論じられるもの等の追跡インジケータを含み得る。インジケータ１２０８は、複数の位置が異なる複数の画像全体で変化するときに、目標と共に移動するように構成され得る。
また、制御端末１２００は、ユーザ入力を受信するための１または複数の入力デバイス１２０４および１２０５を含み得る。そのような入力デバイスは、複数のジョイスティック１２０４、複数のボタンもしくはスイッチ１２０５、キーボード、マウス、タッチスクリーン、または任意の好適な複数のメカニズムを含み得る。例えば、１または複数のボタンまたはスイッチ１２０５は、ナビゲーション入力モード、目標入力モード等の異なる入力モード間で切り替えるべく用いられ得る。また、複数のスイッチ１２０５は、本明細書において説明される手動追跡モードと自動追跡モードとの間で選択するべく用いられ得る。複数のジョイスティック１２０４等の複数の入力デバイスのうちいくつかに関連する複数の機能は、選択される入力モードに応じて変わり得る。例えば、そのような複数の入力デバイスは、ナビゲーション入力モードが選択される場合にナビゲーション入力を提供し、目標入力モードが選択される場合に目標情報を提供するべく用いられ得る。別の例として、複数の入力デバイスは、手動追跡モードが選択される場合に特定の目標を選択し、自動追跡モードが選択される場合に目標タイプ情報を提供するべく、用いられ得る。
図１３ＡからＣは、いくつかの実施形態による、ユーザインタフェースを用いて目標を選択するための例示的方法を図示する。図１３Ａにおいて図示されるもの等の一実施形態において、ユーザインタフェースは、ユーザが手１３０２を用いて、目標に対応するタッチスクリーンの区域をタッチすることにより、目標１３０４を選択することを可能にし得る。選択目標１３０４は、選択目標１３０４の周囲の円等の選択インジケータ１３０６により示され得る。図１３Ｂにおいて図示されるもの等の別の実施形態において、ユーザインタフェースは、ユーザが、マウス１３０８を用いて、例えば、目標に対応するスクリーンの区域をクリックすることにより、目標１３１０を選択することを可能にし得る。選択目標１３１０は、選択インジケータ１３１２により示され得る。図１３Ｃにおいて図示されるもの等の更に別の実施形態において、ユーザインタフェースは、例えば、目標に対応するスクリーンの区域をタッピングすることにより、ユーザがスタイラス１３１４を用いる目標１３１６を選択することを可能にし得る。選択目標１３１６は、選択インジケータ１３１８を用いて示され得る。様々な実施形態において、選択インジケータは、円１３０６、長方形１３１２、またはダイアモンド１３１８等のあらゆる任意の形状であってもよい。
本明細書において説明される複数のシステムおよび方法は、多種多様な可動物体により実装され、および／またはこれに適用され得る。本明細書において説明される複数のシステム、デバイス、および方法は、多種多様な可動物体に適用され得る。すでに言及されたように、航空機の本明細書におけるいずれの説明も、任意の可動物体に適用され、用いられ得る。本発明の可動物体は、空中（例えば、固定翼機、回転翼航空機、または複数の固定翼部もしくは回転翼部を有しない航空機）、水中（例えば、船舶または潜水艦）、地上（例えば、車、トラック、バス、バン型車、自動二輪車等の自動車、ステッキ（ｓｔｉｃｋ）、釣竿等の可動構造体もしくはフレーム、または電車）、地下（例えば、地下鉄）、宇宙（例えば、宇宙船、衛星、または宇宙探査用ロケット（ｐｒｏｂｅ））、またはこれらの環境の任意の組み合わせ等、任意の好適な環境内で移動するように構成され得る。可動物体は、本明細書の他の箇所において説明される乗り物等の乗り物であり得る。いくつかの実施形態において、可動物体は、人間または動物等の生体に装着され得る。好適な複数の動物としては、霊長類、アビネス（ａｖｉｎｅｓ）、イヌ、ネコ、ウマ、ウシ、ヒツジ、ブタ、イルカ、齧歯動物または昆虫が挙げられ得る。
可動物体は、環境内で６自由度（例えば並進の３自由度および回転の３自由度）に対して自由に移動することが可能であり得る。あるいは、可動物体の移動は、予め定められた経路、航路、または向き等により、１または複数の自由度に対して制限され得る。移動は、エンジンまたはモータ等の任意の好適な作動メカニズムにより作動し得る。可動物体の作動メカニズムは、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、またはこれらの任意の好適な組み合わせ等、任意の好適なエネルギー源により電源供給され得る。可動物体は、本明細書の他の箇所において説明される推進システムによる、自己推進型であってもよい。推進システムは、任意選択で、電気エネルギー、磁気エネルギー、太陽エネルギー、風カエネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、またはこれらの任意の好適な組み合わせ等のエネルギー源により作動し得る。あるいは、可動物体は、生物により搬送され得る。
いくつかの例において、可動物体は、乗り物であり得る。好適な複数の乗り物としては、水上乗り物、航空機、宇宙飛行隊、または地上車両が挙げられ得る。例えば、航空機は、固定翼機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプタ、ロータクラフト）、固定翼部および回転翼部の双方を有する航空機、またはそのいずれも有しない航空機（例えば、小型飛行船、熱気球）であってもよい。乗り物は、空気、水上もしくは水中、宇宙、または地下を通る自己推進型等の自己推進型であり得る。自己推進型の乗り物は、１または複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、またはこれらの任意の好適な組み合わせを含む、推進システム等の推進システムを使用し得る。いくつかの例において、推進システムは、可動物体が面から離陸し、面に着陸し、現在位置および／または向きを維持し（例えば、ホバリング）、向きを変更し、および／または位置を変更することを可能にするべく、用いられ得る。
可動物体は、ユーザにより遠隔で制御され、または可動物体内または可動物体上の占有者によりローカルに制御され得る。いくつかの実施形態において、可動物体は、ＵＡＶ等の無人可動物体である。ＵＡＶ等の無人可動物体は、可動物体上に占有者を有しなくともよい。可動物体は、人間による、または自律制御システム（例えば、コンピュータ制御システム）、またはこれらの任意の好適な組み合わせにより制御され得る。可動物体は、人工知能を用いて構成されたロボット等、自律型または半自律型ロボットであり得る。
可動物体は、任意の好適なサイズおよび／または寸法を有し得る。いくつかの実施形態において、可動物体は、乗り物内または乗り物上に人間の占有者を有するサイズおよび／または寸法であってもよい。あるいは、可動物体は、乗り物内または乗り物上に人間の占有者を有することが可能なものより小さいサイズおよび／または寸法であってもよい。可動物体は、人間により持ち上げられ、または搬送されるのに好適なサイズおよび／または寸法であってもよい。あるいは、可動物体は、人間により持ち上げられ、または搬送されるのに好適なサイズおよび／または寸法より大きくてもよい。いくつかの例において、可動物体は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍよりも小さいか、またはこれに等しい最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより大きいか、またはこれに等しくてもよい。例えば、可動物体の対向するロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍよりも小さいか、またはこれに等しくてもよい。あるいは、対向するロータのシャフト間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより大きいか、またはこれに等しくなり得る。
いくつかの実施形態において、可動物体は、１００ｃｍ×１００ｃｍ×１００ｃｍよりも小さく、５０ｃｍ×５０ｃｍ×３０ｃｍよりも小さく、または５ｃｍ×５ｃｍ×３ｃｍよりも小さい体積を有し得る。可動物体の総体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、もしくは１０ｍ３よりも小さいか、またはこれに等しくてもよい。逆に、可動物体の総体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、もしくは１０ｍ３より大きいか、またはこれに等しくてもよい。
いくつかの実施形態において、可動物体は、約３２、０００ｃｍ２、２０、０００ｃｍ２、１０、０００ｃｍ２、１、０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、もしくは５ｃｍ２よりも小さいか、またはこれに等しいフットプリント（可動物体により包含される横方向の断面積と呼ばれ得る）を有し得る。逆に、フットプリントは、約３２、０００ｃｍ２、２０、０００ｃｍ２、１０、０００ｃｍ２、１、０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、もしくは５ｃｍ２より大きいか、またはこれに等しくてもよい。
いくつかの例において、可動物体は、１０００ｋｇ以下の重量であり得る。可動物体の重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、もしくは０．０１ｋｇよりも小さいか、またはこれに等しくてもよい。逆に、重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、もしくは０．０１ｋｇより大きいか、またはこれに等しくてもよい。
いくつかの実施形態において、可動物体は、可動物体により担持される荷重に相対して小さくなってもよい。以下に更に詳細に説明されるように、荷重は、搭載物および／または支持機構を含んでもよい。いくつかの例において、可動物体重量の積載重量に対する比率は、約１：１より大きいか、これよりも小さく、またはこれに等しくてもよい。いくつかの例において、可動物体重量の積載重量に対する比率は、約１：１より大きいか、これよりも小さく、またはこれに等しくてもよい。任意選択で、支持機構重量の積載重量に対する比率は、約１：１より大きいか、これよりも小さく、またはこれに等しくてもよい。所望の場合に、可動物体重量の積載重量に対する比率は、１：２、１：３、１：４、１：５、１：１０よりも小さいか、またはこれに等しく、あるいは更に小さくてもよい。また逆に、可動物体重量の積載重量に対する比率は、２：１、３：１、４：１、５：１、１０：１より大きいか、これに等しく、または更に大きくなり得る。
いくつかの実施形態において、可動物体は、低いエネルギー消費量を有し得る。例えば、可動物体は、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈよりも小さく、またはそれよりも小さいものを用い得る。いくつかの例において、可動物体の支持機構は、低いエネルギー消費量を有し得る。例えば、支持機構は、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈよりも小さく、またはそれよりも小さいものを用い得る。任意選択で、可動物体の搭載物は、約５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈよりも小さく、またはそれよりも小さいもの等の低いエネルギー消費量を有してもよい。
図１４は、本発明の複数の実施形態によるＵＡＶ１４００を図示する。ＵＡＶは、本明細書において説明される可動物体の一例となり得る。ＵＡＶ１４００は、４つのロータ１４０２、１４０４、１４０６、および１４０８を有する推進システムを含み得る。任意の数のロータが、提供されてもよい（例えば、１つ、２つ、３つ、４つ、５つ、６つ、またはそれより多い）。複数のロータは、本明細書の他の箇所において説明される自己引締めロータの複数の実施形態となり得る。無人航空機の複数のロータ、ロータアセンブリ、または他の推進システムは、無人航空機が位置をホバリング／維持し、向きを変更し、および／または位置を変更することを可能にし得る。複数の対向するロータのシャフト間の距離は、任意の好適な長さ１４１０となり得る。例えば、長さ１４１０は、２ｍよりも小さいか、またはこれに等しく、あるいは５ｍよりも小さいか、またはこれに等しくなり得る。いくつかの実施形態において、長さ１４１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、または５ｃｍ〜５ｍの範囲内になり得る。本明細書におけるＵＡＶの説明は、異なるタイプの可動物体等の可動物体に適用してもよく、またその逆も当てはまる。
いくつかの実施形態において、可動物体は、荷重を担持するように構成され得る。荷重としては、乗客、貨物、機器、器具等のうち１または複数が挙げられ得る。荷重は、筐体内に提供され得る。筐体は、可動物体の筐体と別個であるか、または可動物体のための筐体の一部であってもよい。あるいは、荷重は、筐体を用いて提供され得るが、可動物体は、筐体を有しない。あるいは、荷重の複数の部分または全荷重が、筐体外に提供され得る。荷重は、可動物体に対して堅固に固定され得る。任意選択で、荷重は、可動物体に対して可動式であり得る（例えば、可動物体に対して並進可能または回転可能）。
いくつかの実施形態において、荷重は、搭載物１４１２を含む。搭載物は、いずれの動作または機能も実行しないように構成され得る。あるいは、搭載物は、機能的な搭載物としても知られている動作または機能を実行するように構成された搭載物であり得る。例えば、搭載物は、１または複数の目標を調査するための１または複数のセンサを含み得る。画像取り込みデバイス（例えば、カメラ）、音声取り込みデバイス（例えば、放物面マイクロフォン）、赤外線撮像デバイス、または紫外線撮像デバイス等、任意の好適なセンサが搭載物に組み込まれ得る。センサは、静的感知データ（例えば、写真）または動的感知データ（例えば、動画）を提供し得る。いくつかの実施形態において、センサは、搭載物の目標に対する感知データを提供する。代替的に、または組み合わせて、搭載物は、複数の信号を１または複数の目標に提供するための１または複数のエミッタを含み得る。照明光源またはサウンド源等の任意の好適なエミッタが、用いられ得る。いくつかの実施形態において、搭載物は、可動物体から遠隔のモジュールとの通信等のための１または複数のトランシーバを含む。任意選択で、搭載物は、環境または目標とインタラクトするように構成され得る。例えば、搭載物は、工具、器具、またはロボットアーム等、複数の物体を操作することが可能なメカニズムを含み得る。
任意選択で、荷重は、支持機構１４１４を含み得る。支持機構は、搭載物に提供され得、搭載物は、直接的に（例えば、可動物体に直接に接触して）、または間接的に（例えば、可動物体に接触せずに）支持機構を介して可動物体に接続され得る。逆に、搭載物は、支持機構を必要とすることなく可動物体上に装着され得る。搭載物は、支持機構と一体に形成され得る。あるいは、搭載物は、支持機構に着脱可能に接続され得る。いくつかの実施形態において、搭載物は、１または複数の搭載物要素を含み得、複数の搭載物要素のうち１または複数は、上記のように可動物体および／または支持機構に対して可動式であり得る。
支持機構は、可動物体と一体に形成され得る。あるいは、支持機構は、可動物体に着脱可能に接続され得る。支持機構は、可動物体に直接的または間接的に接続され得る。支持機構は、搭載物に対する支持を提供し得る（例えば、搭載物の重量の少なくとも一部を担持する）。支持機構は、搭載物の移動を安定化し、および／または導くことが可能な好適な装着構造（例えば、ジンバルプラットフォーム）を含み得る。いくつかの実施形態において、支持機構は、可動物体に対する搭載物の状態（例えば、位置および／または向き）を制御するように適合され得る。例えば、支持機構は、搭載物が、可動物体の移動に関係なく、好適な参照フレームに対する位置および／または向きを維持するように、可動物体に対して（例えば、１、２、または３度の並進、および／もしくは１、２、または３度の回転に対して）移動するように構成され得る。参照フレームは、固定された参照フレーム（例えば、周囲環境）であり得る。あるいは、参照フレームは、移動参照フレーム（例えば、可動物体、搭載物目標）であり得る。
いくつかの実施形態において、支持機構は、支持機構および／または可動物体に対する搭載物の移動を可能にするように構成され得る。移動は、最大３自由度（例えば、１つ、２つ、もしくは３つの軸に沿った）に対する並進、または最大３自由度（例えば、１つ、２つ、もしくは３つの軸を中心とする）に対する回転、またはこれらの任意の好適な組み合わせであり得る。
いくつかの例において、支持機構は、支持機構フレームアセンブリおよび支持機構作動アセンブリを含み得る。支持機構フレームアセンブリは、搭載物に構造支持体を提供し得る。支持機構フレームアセンブリは、個別の支持機構フレームコンポーネントを含み、これらのうちいくつかは、相互に可動式であり得る。支持機構作動アセンブリは、個別の支持機構フレームコンポーネントの移動を作動させる１または複数のアクチュエータ（例えば、モータ）を含み得る。複数のアクチュエータは、複数の支持機構フレームコンポーネントの移動を同時に可能にすることができ、または１つの支持機構フレームコンポーネントの移動を一度に可能にするように構成され得る。複数の支持機構フレームコンポーネントの移動は、搭載物の対応する移動を生成し得る。例えば、支持機構作動アセンブリは、１または複数の回転軸（例えば、ロール軸、ピッチ軸、ヨー軸）を中心とする１または複数の支持機構フレームコンポーネントの回転を作動させ得る。１または複数の支持機構フレームコンポーネントの回転は、搭載物に、可動物体に対する１または複数の回転軸を中心として回転させ得る。代替的に、または組み合わせて、支持機構作動アセンブリは、１または複数の並進軸に沿った１または複数の支持機構フレームコンポーネントの並進を作動させ、それにより、可動物体に対する１または複数の対応する軸に沿った搭載物の並進を生成し得る。
いくつかの実施形態において、固定参照フレーム（例えば、周囲環境）に対する、および／または相互に対する可動物体、支持機構、および搭載物の移動は、端末により制御され得る。端末は、可動物体、支持機構、および／または搭載物から離れている場所の遠隔制御デバイスであり得る。端末は、サポートプラットフォーム上に配置され、またはこれに取り付けられ得る。あるいは、端末は、ハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、グローブ、ヘルメット、マイク、またはこれらの好適な組み合わせを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、またはディスプレイ等のユーザインタフェースを含み得る。任意の好適なユーザ入力は、手動で入力される複数のコマンド、音声制御、ジェスチャ制御、または位置制御（例えば、端末の移動、位置、もしくは傾斜による）等により端末とインタラクトするべく用いられ得る。
端末は、可動物体、支持機構、および／または搭載物の任意の好適な状態を制御するべく用いられ得る。例えば、端末は、可動物体、支持機構、および／または搭載物の相互からの、および／または相互への固定参照に対する位置および／または向きを制御するべく用いられ得る。いくつかの実施形態において、端末は、支持機構の作動アセンブリ、搭載物のセンサ、または搭載物のエミッタ等、可動物体、支持機構、および／または搭載物の個別の要素を制御するべく用いられ得る。端末は、可動物体、支持機構、または搭載物のうち１または複数と通信するように適合された無線通信デバイスを含み得る。
端末は、可動物体、支持機構、および／または搭載物の情報をビューイングするための好適なディスプレイユニットを含み得る。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、またはこれらの好適な組み合わせに関する、可動物体、支持機構、および／または搭載物の情報を表示するように構成され得る。いくつかの実施形態において、端末は、機能的な搭載物により提供されるデータ（例えば、カメラまたは他の画像取り込みデバイスにより記録された複数の画像）等、搭載物により提供される情報を表示し得る。
任意選択で、同一の端末は、可動物体、支持機構、および／もしくは搭載物、または可動物体、支持機構、および／または搭載物の状態を制御し、ならびに可動物体、支持機構、および／または搭載物からの情報を受信および／または表示してもよい。例えば、端末は、搭載物により取り込まれた画像データまたは搭載物の位置についての情報を表示しつつ、環境に対する搭載物の位置を制御してもよい。あるいは、異なる複数の機能に対して、異なる複数の端末が用いられ得る。例えば、第１の端末は、可動物体、支持機構、および／もしくは搭載物の移動もしくは状態をを制御し得るが、第２の端末は、可動物体、支持機構、および／または搭載物からの情報を受信および／または表示し得る。例えば、第１の端末は、環境に対する搭載物の位置決めを制御するべく用いられ得るが、第２の端末は、搭載物により取り込まれた画像データを表示する。様々な通信モードは、可動物体と、可動物体を制御し、データを受信する統合端末との間、または可動物体と、可動物体を制御し、データを受信する複数の端末との間で利用され得る。例えば、少なくとも２つの異なる通信モードは、可動物体と、可動物体を制御し、可動物体からデータを受信する端末との間で形成され得る。
図１５は、複数の実施形態による、支持機構１５０２および搭載物１５０４を含む可動物体１５００を図示する。可動物体１５００は、航空機として図示されるが、この図示は、限定的であることを意図せず、本明細書においてすでに説明されたように、任意の好適なタイプの可動物体が用いられ得る。当業者は、航空機システムの文脈において本明細書において説明される複数の実施形態のいずれかが、任意の好適な可動物体（例えば、ＵＡＶ）に適用され得ることを理解するであろう。いくつかの例において、搭載物１５０４は、支持機構１５０２を必要とすることなく、可動物体１５００上に設けられ得る。可動物体１５００は、複数の推進メカニズム１５０６、感知システム１５０８、および通信システム１５１０を含み得る。
複数の推進メカニズム１５０６は、すでに説明されたように、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、車軸、磁石、またはノズルのうち１または複数を含み得る。例えば、本明細書の他の箇所において開示されるように、複数の推進メカニズム１５０６は、複数の自己引締めロータ、ロータアセンブリ、または他の複数の回転推進ユニットであってもよい。可動物体は、１もしくは複数の、２つもしくはそれより多い、３つもしくはそれより多い、または４つもしくはそれよりも多い推進メカニズムを有し得る。複数の推進メカニズムは、全てが同一のタイプであってもよい。あるいは、１または複数の推進メカニズムは、異なるタイプの推進メカニズムであり得る。複数の推進メカニズム１５０６は、本明細書の他の箇所において説明される支持要素（例えば、ドライブシャフト）等の任意の好適な手段を用いて、可動物体１５００上に装着され得る。複数の推進メカニズム１５０６は、上部、底部、前面、背面、側面、またはこれらの好適な組み合わせ等、可動物体１５００の任意の好適な部分に装着され得る。
いくつかの実施形態において、複数の推進メカニズム１５０６は、可動物体１５００のいずれの水平移動も必要とせずに（例えば、滑走路を進むことなく）、可動物体１５００が面を鉛直に離陸し、または面に鉛直に着陸することを可能にし得る。任意選択で、複数の推進メカニズム１５０６は、可動物体１５００が指定された位置および／または向きで、空中でホバリングすることを可能にするように動作可能であり得る。推進メカニズム１５００のうち１または複数は、他の複数の推進メカニズムから独立して制御され得る。あるいは、複数の推進メカニズム１５００は、同時に制御されるように構成され得る。例えば、可動物体１５００は、可動物体に揚力および／または推力を提供し得る複数の水平に方向付けられたロータを有し得る。複数の水平に方向付けられたロータは、鉛直離陸機能、鉛直着陸機能、およびホバリング機能を可動物体１５００に提供するように作動し得る。いくつかの実施形態において、複数の水平に方向付けられたロータのうち１または複数は、時計回り方向に回転し得るが、複数の水平に方向付けられたロータのうち１または複数は、反時計回り方向に回転し得る。例えば、時計回りのロータの数は、反時計回りのロータの数に等しくなり得る。複数の水平に方向付けられた複数のロータの各々の回転率は、各ロータにより生成された揚力および／または推力を制御するべく、独立して変化し、それにより、可動物体１５００の空間的配置、速度、および／または加速度（例えば、最大３度の並進および最大３度の回転に対する）を調整し得る。
感知システム１５０８は、可動物体１５００の空間的配置、速度、および／または加速度（例えば、最大３度の並進および最大３度の回転に対する）を感知し得る１または複数のセンサを含み得る。１または複数のセンサとしては、ＧＰＳセンサ、動きセンサ、慣性センサ、近接センサ、または画像センサを含む、本明細書においてすでに説明された複数のセンサのいずれかが、挙げられ得る。感知システム１５０８により提供される感知データは、可動物体１５００の空間的配置、速度、および／または向きを（例えば、以下に説明される好適な処理ユニットおよび／または制御モジュールを用いて）を制御するべく、用いられ得る。あるいは、感知システム１５０８は、気象状態、潜在的な障害物の付近、地理的特徴の位置、人工的構造物の位置等、可動物体の周囲の環境に関するデータを提供するべく、用いられ得る。
通信システム１５１０は、複数の無線信号１５１６を介する通信システム１５１４を有する、端末１５１２との通信を可能にする。複数の通信システム１５１０、１５１４は、無線通信に好適な任意の数のトランスミッタ、レシーバ、および／またはトランシーバを含み得る。通信は、データが一方向のみに送信され得るように一方向通信であってもよい。例えば、一方向通信は、可動物体１５００のみを伴ってもよく、可動物体１５００は、端末１５１２にデータを送信し、またはその逆も当てはまる。データは、通信システム１５１０の１または複数のトランスミッタから、通信システム１５１２の１または複数のレシーバへと送信され得、またはその逆も当てはまる。あるいは、通信は、データが可動物体１５００と端末１５１２との間で双方の方向に送信され得るように、双方向通信であってもよい。双方向通信は、通信システム１５１０の１または複数のトランスミッタから、通信システム１５１４の１または複数のレシーバへとデータを送信することを含み得、その逆も当てはまる。
いくつかの実施形態において、端末１５１２は、可動物体１５００、支持機構１５０２、および搭載物１５０４のうち１または複数に制御データを提供し、可動物体１５００、支持機構１５０２、および搭載物１５０４のうち１または複数から情報（例えば、可動物体、支持機構、または搭載物の位置および／または動き情報、搭載物のカメラにより取り込まれた画像データ等、搭載物により感知されたデータ）を受信し得る。いくつかの例において、端末からの制御データは、可動物体、支持機構、および／または搭載物の複数の相対位置、移動、作動、または制御に対する複数の命令を含み得る。例えば、制御データは、可動物体の位置および／または向きの修正（例えば、複数の推進メカニズム１５０６の制御による）、または可動物体に対する搭載物の移動（例えば、支持機構１５０２の制御による）をもたらし得る。端末からの制御データは、カメラまたは他の画像取り込みデバイスの動作の制御等（例えば、静止画および動画を撮影し、ズームインまたはズームアウトし、オンまたはオフにし、複数の撮像モードを切り替え、画像解像度を変更し、フォーカスを変更し、被写界深度を変更し、露出時間を変更し、ビューイング角度または視界を変更する）、搭載物の制御をもたらし得る。いくつかの例において、可動物体、支持機構、および／または搭載物からの複数の通信は、（例えば、感知システム１５０８または搭載物１５０４の）１または複数のセンサからの情報を含み得る。複数の通信としては、１または複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、動きセンサ、慣性センサ、近接センサ、または画像センサ）からの感知情報が挙げられ得る。そのような情報は、可動物体、支持機構、および／または、搭載物の位置（例えば、場所、向き）、移動、または加速度に関し得る。搭載物からのそのような情報としては、搭載物の搭載物または感知された状態により取り込まれたデータが挙げられ得る。端末１５１２により送信されて提供される制御データは、可動物体１５００、支持機構１５０２、または搭載物１５０４のうち１または複数の状態を制御するように構成され得る。代替的に、または組み合わせて、支持機構１５０２および搭載物１５０４は、各々、端末が可動物体１５００、支持機構１５０２、および搭載物１５０４の各々と独立して通信し、またこれを制御し得るように、端末１５１２と通信するように構成された通信モジュールも含み得る。
いくつかの実施形態において、可動物体１５００は、端末１５１２に加えて、または端末１５１２に代えて、別の遠隔デバイスと通信するように構成され得る。また、端末１５１２は、別の遠隔デバイス、ならびに可動物体１５００と通信するように構成されてもよい。例えば、可動物体１５００および／または端末１５１２は、別の可動物体もしくは支持機構、または別の可動物体の搭載物と通信してもよい。所望である場合、遠隔デバイスは、第２の端末または他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または他のモバイルデバイス）であってもよい。遠隔デバイスは、可動物体１５００にデータを送信し、可動物体１５００からデータを受信し、端末１５１２にデータを送信し、および／または端末１５１２からデータを受信するように構成され得る。任意選択で、遠隔デバイスは、可動物体１５００および／または端末１５１２から受信されたデータがウェブサイトまたはサーバにアップロードされ得るように、インターネットまたは他の電気通信ネットワークに接続され得る。
図１６は、複数の実施形態による、目標を追跡するための例示的システム１６００を図示する。システム１６００は、本明細書において開示される複数のシステム、デバイス、および方法の任意の好適な実施形態と組み合わせて用いられ得る。例えば、システム１６００は、可動物体により実装され、または搬送され得る。システム１６００は、感知モジュール１６０２、処理ユニット１６０４、非一時的コンピュータ可読媒体１６０６、制御モジュール１６０８、および通信モジュール１６１０を含み得る。
感知モジュール１６０２は、異なる形で複数の可動物体に関する情報を収集する、異なるタイプのセンサを使用し得る。複数の異なるタイプのセンサは、複数の異なるタイプの信号、または複数の異なるソースからの信号を感知し得る。例えば、複数のセンサとしては、慣性センサ、ＧＰＳセンサ、近接センサ（例えば、ライダー（ｌｉｄａｒ））、またはビジョン／画像センサ（例えば、カメラ）が挙げられ得る。感知モジュール１６０２は、複数のプロセッサを有する処理ユニット１６０４に動作可能に接続され得る。いくつかの実施形態において、感知モジュールは、感知データを好適な外部デバイスまたはシステムに直接に送信するように構成された送信モジュール１６１２（例えば、Ｗｉ―Ｆｉ画像送信モジュール）に動作可能に接続され得る。例えば、送信モジュール１６１２は、感知モジュール１６０２のカメラにより取り込まれた複数の画像を遠隔の端末に送信するべく、用いられ得る。
処理ユニット１６０４は、プログラマブルプロセッサ（例えば、中央処理装置（ＣＰＵ））等の１または複数のプロセッサを有し得る。例えば、処理ユニット１６０４は、含フィールドプログラマブルゲートアレイ （ＦＰＧＡ）および／または１もしくは複数のＡＲＭプロセッサを含み得る。処理ユニット１６０４は、非一時的コンピュータ可読媒体１６０６に動作可能に接続され得る。非一時的コンピュータ可読媒体１６０６は、１または複数のステップを実行するための処理ユニット１６０４により、ロジック、コードおよび／または実行可能な複数のプログラム命令を格納し得る。非一時的コンピュータ可読媒体としては、１または複数のメモリユニット（例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）等の取り外し可能媒体または外部ストレージ）を含み得る。いくつかの実施形態において、感知モジュール１６０２からのデータは、非一時的コンピュータ可読媒体１６０６のメモリユニットに直接に伝達され、この中に格納され得る。非一時的コンピュータ可読媒体１６０６のメモリユニットは、本明細書において説明される複数の方法の任意の好適な実施形態を実行する、処理ユニット１６０４により実行可能なロジック、コード、および／または複数のプログラム命令を格納し得る。例えば、処理ユニット１６０４は、処理ユニット１６０４の１または複数のプロセッサに、本明細書において論じられる複数の追跡機能を実行させる複数の命令を実行するように構成され得る。複数のメモリユニットは、処理ユニット１６０４により処理される、感知モジュールからの感知データを格納し得る。いくつかの実施形態において、非一時的コンピュータ可読媒体１６０６の複数のメモリユニットは、処理ユニット１６０４により生成された複数の処理結果を格納するべく、用いられ得る。
いくつかの実施形態において、処理ユニット１６０４は、可動物体の状態を制御するように構成された制御モジュール１６０８に動作可能に接続され得る。例えば、制御モジュール１６０８は、可動物体の複数の推進メカニズムを制御し、６自由度に対する可動物体の空間的配置、速度、および／または加速度を調整するように構成され得る。代替的に、または組み合わせて、制御モジュール１６０８は、支持機構、搭載物、または感知モジュールの状態のうち１または複数を制御し得る。
処理ユニット１６０４は、１または複数の外部デバイス（例えば、端末、ディスプレイデバイス、または他の遠隔制御器）からデータを送信し、および／または受信するように構成された通信モジュール１６１０に動作可能に接続され得る。有線通信または無線通信等の通信の任意の好適な手段が用いられ得る。例えば、通信モジュール１６１０は、複数のローカルエリアネットワーク（ＬＡＮ）、複数のワイドエリアネットワーク（「ＷＡＮ）、赤外線、無線、ＷｉＦｉ、複数のポイントツーポイント（Ｐ２Ｐ）ネットワーク、複数の通信ネットワーク、クラウド通信等のうち１または複数を利用し得る。任意選択で、タワー、衛星、または移動局等の複数の中継局が用いられ得る。複数の無線通信は、近接性に依存し得、または近接性に依存しない。いくつかの実施形態において、視野は、複数の通信のために必要とされ、または必要とされないことがある。通信モジュール１６１０は、感知モジュール１６０２からの感知データ、および／または処理ユニット１６０４により生成された複数の処理結果、端末もしくは遠隔制御器からの予め定められた制御データもしくは複数の予め定められたユーザコマンド等のうち１もしくは複数を送信し、および／または受信し得る。
システム１６００のコンポーネントは、任意の好適な構成で配置され得る。例えば、システム１６００の複数のコンポーネントのうち１または複数は、可動物体、支持機構、搭載物、端末、感知システム、または上記のうち１または複数と通信する追加の外部デバイス上に位置付けられ得る。更に、図１６は、１つの処理ユニット１６０４および１つの非一時的コンピュータ可読媒体１６０６を図示するが、当業者は、これが限定的であることを意図せず、システム１６００が複数の処理ユニットおよび／または非一時的コンピュータ可読媒体を含み得ることを理解するであろう。いくつかの実施形態において、複数の処理ユニットおよび／または非一時的コンピュータ可読媒体のうち１または複数は、システム１６００により実行される処理および／または複数のメモリ機能の任意の好適な態様が上記の複数の場所のうち１または複数において行われ得るように、可動物体、支持機構、搭載物、端末、感知モジュール、上記のうち１もしくは複数と通信する追加の外部デバイス、またはこれらの好適な組み合わせ等の異なる位置に配置され得る。
図１７は、複数の実施形態による、可動物体を制御するための例示的システム１７００を図示する。システム１７００は、ＵＡＶ等の可動物体を制御するべく、用いられ得る。システム１７００は、本明細書において開示される複数のシステム、デバイス、および方法の任意の好適な実施形態と組み合わせて用いられ得る。例えば、システム１７００は、本明細書において説明されるもの等の制御端末により実装されてもよい。システム１７００は、入力モジュール１７０２、処理ユニット１７０４、非一時的コンピュータ可読媒体１７０６、表示モジュール１７０８、および通信モジュール１７１０を含み、これら全ては、バスまたは類似のネットワークを介して相互接続され得る。
入力モジュール１７０２は、入力モジュールを操作するユーザからの入力を受信するための１または複数の入力メカニズムを含み得る。そのような複数の入力メカニズムとしては、１または複数のジョイスティック、スイッチ、ノブ、スライドスイッチ、ボタン、ダイアル、タッチスクリーン、キーパッド、キーボード、マウス、音声制御器、ジェスチャ制御器、慣性センサ等が挙げられ得る。そのような入力モジュール１７０２は、可動物体、支持機構、搭載物、またはこれらのコンポーネントの複数の態様を制御するべく用いられる、ユーザ入力を受信するべく用いられ得る。そのような複数の態様としては、姿勢、位置、向き、ナビゲーション、追跡等が挙げられ得る。例えば、入力メカニズムは、ユーザにより、１または複数の位置に手動で設定され得、複数の位置の各々は、ＵＡＶを制御するための予め定められた入力に対応する。
いくつかの実施形態において、複数の入力メカニズムは、可動物体のナビゲーションを制御するための複数の制御コマンドを入力するユーザにより、操作され得る。例えば、ユーザは、予め定められたナビゲーションパスに応じた自動操縦装置（ａｕｔｏ ｐｉｌｏｔ）またはナビゲーション等、可動物体に対する飛行モードを入力するノブ、スイッチ、または類似の入力メカニズムを使用してもよい。別の例として、ユーザは、一定の形で制御端末を傾斜させることにより可動物体の位置、姿勢、向き、および他の態様を制御し得、これらは、１または複数の慣性センサにより検出され、対応する複数のナビゲーションコマンドを生成するべく用いられ得る。更に別の例として、ユーザは、搭載物の動作パラメータ（例えば、ズーム）、姿勢および／または搭載物（例えば、支持機構により）、または可動物体に搭載した任意の物体の他の複数の態様を調整する入力メカニズムを用い得る。
いくつかの実施形態において、入力メカニズムは、本明細書において説明されるもの等の目標情報を入力するユーザにより操作され得る。例えば、ユーザは、ノブ、スイッチ、または類似の入力メカニズムを使用し、手動追跡モードまたは自動追跡モード等の適切な追跡モードを選択し得る。また、ユーザは、特定目標を選択し、目標タイプ情報および他の類似の情報を追跡し指定する入力メカニズムを用いてもよい。様々な実施形態において、入力モジュールは、２以上のデバイスにより実装され得る。例えば、入力モジュールは、ジョイスティック有する標準的な遠隔制御器により実装され得、これは、可動物体に対する複数の制御命令を生成し得る、好適なアプリケーションソフトウェア（「ａｐｐ」）を起動するモバイルデバイス（例えば、スマートフォン）に動作可能に接続される。ａｐｐは、ユーザからの複数の入力を得るように構成され得る。
処理ユニット１７０４は、プログラマブルプロセッサ（例えば、中央処理装置（ＣＰＵ）またはマイクロコントローラ）等の１または複数のプロセッサを有し得る。処理ユニット１７０４は、メモリ１７０６に動作可能に接続され得る。メモリ１７０６は、１もしくは複数のルーチンまたは機能を実行するための処理ユニット１７０４により実行可能なデータおよび／もしくはロジック、コードおよび／もしくは複数のプログラム命令を格納するように構成された一時的および／または非一時的ストレージ媒体を含み得る。メモリとしては、１または複数のメモリユニット（例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）等の取り外し可能媒体または外部ストレージ）を含み得る。いくつかの実施形態において、入力モジュール１７０２からのデータは、メモリ１７０６のメモリユニットに直接に伝達され、この中に格納され得る。メモリ１７０６のメモリユニットは、本明細書において説明される複数の方法の任意の好適な実施形態を実行する、処理ユニット１７０４により実行可能なロジック、コード、および／または複数のプログラム命令を格納し得る。例えば、処理ユニット１７０４は、処理ユニット１７０４の１または複数のプロセッサに、可動物体から受信された感知データ（例えば、画像）を処理および表示し、ユーザ入力に基づいてナビゲーションコマンドおよび目標情報を含む複数の制御コマンドを生成させ、通信モジュール１７１０に、データ等を送信および／または受信させる複数の命令を実行するように構成され得る。複数のメモリユニットは、複数の外部デバイス（例えば、可動物体）から受信された感知データまたは他のデータを格納し得る。いくつかの実施形態において、メモリ１７０６の複数のメモリユニットは、処理ユニット１７０４により生成された複数の処理結果を格納するべく、用いられ得る。図１７は、１つの処理ユニット１７０４および１つのメモリ１７０６を図示するが、当業者は、これが限定的であることを意図せず、システム１７００がメモリの複数の処理ユニットおよび／またはメモリユニットを含み得ることを理解するであろう。
いくつかの実施形態において、表示モジュール１７０８は、位置、並進速度、並進加速度、向き、角速度、角加速度、またはこれらの任意の好適な組み合わせに関する、可動物体、支持機構、および／または搭載物の情報を表示するように構成され得る。表示モジュール１７０８は、感知データ（例えば、カメラまたは他の画像取り込デバイスにより記録された画像）、本明細書において説明されるもの等の追跡データ、制御フィードバックデータ等、可動物体および／または搭載物から受信される情報を表示するように構成され得る。いくつかの実施形態において、表示モジュール１７０８は、入力モジュール１７０２を実装する同一のデバイスにより、実装され得る。他の複数の実施形態において、表示モジュール１７０８は、入力モジュール１７０２を実装するデバイスと別個の（しかし、これに動作可能に接続され得る）デバイスにより実装され得る。
通信モジュール１７１０は、１または複数の遠隔デバイス（例えば、可動物体、搭載物、基地局等）からのデータを送信および／または受信するように構成され得る。例えば、通信モジュール１７１０は、制御データ（例えば、複数のナビゲーションコマンド、目標情報、および複数の追跡制御コマンド）を、複数の可動物体、支持機構、および／もしくは搭載物等の複数の外部システムもしくはデバイスに送信するように構成され得る。また、通信モジュール１７１０は、データ（例えば、感知データおよび追跡情報）を、そのような複数の外部システムまたはデバイスから受信するように構成され得る。いくつかの実施形態において、通信モジュール１７１０は、複数の遠隔デバイスにデータを送信し、これから受信するようにそれぞれ構成されたトランスミッタ１７１２およびレシーバ１７１４を含み得る。いくつかの実施形態において、通信モジュールは、トランスミッタおよびレシーバの複数の機能を組み合わせるトランシーバを含み得る。いくつかの実施形態において、トランスミッタおよびレシーバは、互いに、ならびに処理ユニット１７０４と通信し得る。本明細書において説明される有線通信または無線通信等、任意の好適な通信手段が用いられ得る。
本明細書において説明される複数の追跡方法およびシステムは、様々な用途を有し得る。例えば、図１８は、ユーザ１８０２がＵＡＶ１８０４を、様々な活動に従事する間に自身を自動的に追跡するように構成し得る、本発明の例示的な使用事例を図示する。図１８において図示するように、ユーザは、制御端末１８０６を用いて、目標情報をＵＡＶ１８０４に提供し得る。制御端末１８０６は、本明細書において説明されるもの等の入力情報を生成するユーザ入力を受信するためのユーザインタフェースを提供し得る。例えば、ユーザインタフェースは、ＵＡＶに搭載され、または他の箇所の撮像デバイス１８０５により取り込まれた１または複数の画像（例えば、映像または動画）を表示するように構成され得る。撮像デバイス１８０５は、本明細書において説明されるもの等の支持機構１８０３により、ＵＡＶに接続され得る。複数の画像は、リアルタイムでまたは実質的にリアルタイムで、ＵＡＶから制御端末に送信され得る。あるいは、複数の画像は、制御端末内にすでに格納され、および／または他の複数のソースにより提供もしくは生成され得る。複数の画像のうちいくつかは、ユーザを示し得る。ユーザは、例えば、ユーザに対応するディスプレイの区域をタッチし、またはそうでなければ選択することにより、これらの画像のうち１つから自身を選択し得る。いくつかの場合に、ユーザは、特定の目標情報を選択することに代えて、目標タイプ情報を指定してもよい。そのような目標タイプ情報は、「赤い帽子を有する人」等、追跡されるべき目標のタイプを記載するべく用いられ得る。ユーザにより指定される目標情報は、ＵＡＶに提供されてもよい。送信は、有線または無線接続を介して行われ得る。様々な実施形態において、目標情報は、ＵＡＶの動作前または動作中に提供され得る。例えば、目標情報は、ＵＡＶが離陸し、または着陸するときに提供され得る。いくつかの実施形態において、ユーザは、開始時間、終了時間、および／または追跡の持続時間も指定し得る。そのようなタイミング情報は、追跡処理のタイミングを制御するべく用いられ得る。
目標情報は、例えば、ユーザが運動（例えば、バイキングまたはランニング）しているときに、ユーザ１８０２を自動的に追跡するべく、ＵＡＶ１８０４に搭載したプロセッサにより用いられてもよい。ユーザは、追跡される間、移動してから実質的に静止し得るが、ＵＡＶに搭載した画像デバイス１８０５は、もたらされる複数の画像がユーザの予め定められたサイズまたは位置を維持するように、ユーザの複数の画像を取り込む。例えば、ＵＡＶ１８０４、支持機構１８０３、および／もしくは撮像デバイス１８０５の位置、姿勢、向き、速度、ズーム、および／もしくは他の複数の特性は、ユーザを追跡するべくリアルタイムで調整され得る。そのような調整は、ＵＡＶに搭載したプロセッサにより、ユーザが介在することなく自動的に生成され得る。代替的または追加的に、追跡は、いくつかのユーザの介在により実行され得る（例えば、撮像デバイスのズームの調整）。ユーザの予め定められたサイズまたは位置は、ユーザにより、またはシステムの既定に応じて指定され得る。いくつかの実施形態において、ユーザは、ユーザの追跡を容易にするべく、物体を着用し、またはそうでなければ搬送し得る。そのような物体としては、例えば、明るい色彩の帽子または衣類が挙げられ得る。
いくつかの実施形態において、追跡中に取り込まれた複数の画像は、撮像デバイスまたはＵＡＶから、表示、再生、格納、編集、または他の複数の目的用の制御端末または他の好適な複数のデバイスへと送信されてもよい。そのような送信は、複数の画像が撮像デバイスにより取り込まれときにリアルタイムで、または実質的にリアルタイムで行われ得る。あるいは、複数の画像の取り込みと送信との間には実質的な遅延が存在することがある。いくつかの実施形態において、複数の画像は、別の箇所に送信されずに、ＵＡＶに搭載したメモリ内に格納される。必要であれば、ユーザは、そのような複数の画像をリアルタイムでビューイングし、ＵＡＶもしくはそのコンポーネントの目標情報もしくは他の複数の態様を調整し得る。調整された目標情報は、上述のＵＡＶに提供されてもよく、所望の複数の画像が得られるまで、反復処理が継続し得る。いくつかの実施形態において、複数の画像は、後のビューイングまたは再生のために格納され得る。いくつかの実施形態において、複数の画像は、ＵＡＶ、撮像デバイス、および／または制御端末からいくつかの遠隔サーバへと送信され得る。例えば、複数の画像は、フェースブック（登録商標）またはツイッター（登録商標）等のソーシャルネットワークプラットフォーム上で共有されてもよい。
本発明の好ましい複数の実施形態を本明細書において示し、説明したが、そのような実施形態は、専ら例として提供されたことが当業者には明らかであろう。当業者は、本発明を逸脱することなく、多くの改変形態、変更形態、および代替形態に直ちに想到するであろう。本明細書において説明される、本発明の実施形態に対する様々な代替形態は、本発明を実施する場合に利用され得ることを理解されたい。以下の特許請求の範囲は、本発明の範囲を規定し、これらの特許請求の範囲の方法および構造、ならびにその均等物は、それにより包含されることが意図される。
（項目１）
無人航空機（ＵＡＶ）を制御するための方法であって、
遠隔ユーザから１または複数のナビゲーションコマンドを受信し、飛行経路に沿って上記ＵＡＶを移動させるステップと、
上記遠隔ユーザから、上記ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するステップと、
上記ＵＡＶが上記遠隔ユーザからの上記１または複数のナビゲーションコマンドに従って上記飛行経路に沿って移動する間に、上記ＵＡＶまたは上記撮像デバイスのうち少なくとも１つを自動的に調整することにより、上記目標情報に従って上記目標を追跡するステップとを備える、方法。
（項目２）
複数の追跡機能を有する無人航空機（ＵＡＶ）であって、
個別に、または集合的に、遠隔ユーザから（１）飛行経路に沿って上記ＵＡＶを移動させる１または複数のナビゲーションコマンド、および（２）上記ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された１または複数のレシーバと、
上記ＵＡＶが上記遠隔ユーザからの上記１または複数のナビゲーションコマンドに従い、上記飛行経路に沿って移動する間に、上記ＵＡＶまたは上記撮像デバイスのうち少なくとも１つを自動的に調整することにより、上記目標情報に従って上記目標を個別に、または集合的に追跡するように構成された１または複数のプロセッサとを備える、ＵＡＶ。
（項目３）
無人航空機（ＵＡＶ）を制御するためのシステムであって、
個別に、または集合的に、遠隔ユーザから（１）飛行経路に沿って上記ＵＡＶを移動させる１または複数のナビゲーションコマンド、および（２）上記ＵＡＶ上の撮像デバイスにより追跡される目標についての目標情報を受信するように構成された１または複数のレシーバと、
上記ＵＡＶが上記遠隔ユーザからの上記１または複数のナビゲーションコマンドに従い、上記飛行経路に沿って移動する間に、上記ＵＡＶまたは上記撮像デバイスのうち少なくとも１つを自動的に調整することにより、上記目標情報に従って上記目標を個別に、または集合的に追跡するように構成された１または複数のプロセッサとを備える、システム。
（項目４）
上記撮像デバイスは、カメラまたはカムコーダーを含む、項目３に記載のシステム。
（項目５）
１または複数のナビゲーションコマンドは、上記ＵＡＶの速度、位置、または姿勢を制御するように適合される、項目３に記載のシステム。
（項目６）
上記目標は、参照物体に対して実質的に静止状態にある、項目３に記載のシステム。
（項目７）
上記目標は、参照物体に対して移動する、項目３に記載のシステム。
（項目８）
上記目標情報は、初期目標情報を含む、項目３に記載のシステム。
（項目９）
上記初期目標情報は、上記撮像デバイスにより取り込まれた画像中に上記目標の初期位置または初期サイズを含む、項目８に記載のシステム。
（項目１０）
上記目標情報は、目標タイプ情報を含む、項目３に記載のシステム。
（項目１１）
上記目標情報に従って上記目標を追跡するステップは、画像認識アルゴリズムを用いて、上記目標タイプ情報に基づき、上記撮像デバイスにより取り込まれた１または複数の画像中から、追跡する上記目標を識別するステップを更に有する、項目１０に記載のシステム。
（項目１２）
上記目標タイプ情報は、色、テクスチャ、またはパターン情報を含む、項目１０に記載のシステム。
（項目１３）
上記目標情報は、期待目標情報を含む、項目３に記載のシステム。
（項目１４）
上記期待目標情報は、上記撮像デバイスにより取り込まれた画像中の上記目標の期待位置または期待サイズを含む、項目１３に記載のシステム。
（項目１５）
上記目標の上記期待サイズは、上記目標の初期サイズと同一である、項目１４に記載のシステム。
（項目１６）
上記目標の上記期待位置は、上記目標の初期位置と同一である、項目１４に記載のシステム。
（項目１７）
上記目標情報に従って上記目標を追跡するステップは、上記撮像デバイスにより取り込まれた１または複数の画像中における上記目標の上記期待位置または上記期待サイズを予め定められた程度の公差内に維持するステップを有する、項目１４に記載のシステム。
（項目１８）
上記撮像デバイスは、上記撮像デバイスが上記ＵＡＶに対して移動することを可能にするように構成された支持機構を介して上記ＵＡＶに接続される、項目３に記載のシステム。
（項目１９）
上記支持機構は、上記撮像デバイスが上記ＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される、項目１８に記載のシステム。
（項目２０）
上記目標情報に従って上記目標を追跡するステップは、上記ＵＡＶが上記遠隔ユーザからの上記１または複数のナビゲーションコマンドに従い、上記飛行経路に沿って移動する間に、上記ＵＡＶ、上記支持機構、または上記撮像デバイスのうち少なくとも１つを自動的に調整するステップを有する、項目１８に記載のシステム。
（項目２１）
上記目標情報は、期待目標情報を含み、
上記目標情報に従って上記目標を追跡するステップは、
上記撮像デバイスにより取り込まれた１または複数の画像に基づいて、上記目標の現在の目標情報を判断するステップと、
上記現在の目標情報の上記期待目標情報からの偏差を検出するステップと、
上記偏差を実質的に補正するように、上記ＵＡＶ、上記支持機構、または上記撮像デバイスに対する調整値を算出するステップとを有する、項目１８に記載のシステム。
（項目２２）
上記偏差は、上記目標の位置における変化に関係し、算出済みの上記調整値は、上記ＵＡＶに対する角速度に関係する、項目２１に記載のシステム。
（項目２３）
上記角速度は、上記ＵＡＶのヨー軸に相対する、項目２２に記載のシステム。
（項目２４）
上記角速度は、上記ＵＡＶのピッチ軸に相対する、項目２２に記載のシステム。
（項目２５）
上記偏差は、上記目標の位置における変化に関係し、算出済みの上記調整値は、上記ＵＡＶに対する上記撮像デバイスの角速度に関係する、項目２１に記載のシステム。
（項目２６）
上記角速度は、上記撮像デバイスのヨー軸に相対する、項目２５に記載のシステム。
（項目２７）
上記角速度は、上記撮像デバイスのピッチ軸に相対する、項目２５に記載のシステム。
（項目２８）
算出済みの上記調整値は、上記撮像デバイスを上記ＵＡＶに対して移動させるように上記支持機構に対する複数の制御信号を生成するべく用いられる、項目２５に記載のシステム。
（項目２９）
上記偏差は、上記目標のサイズにおける変化に関係し、上記調整値は、上記ＵＡＶに対する線形速度に関係する、項目２１に記載のシステム。
（項目３０）
上記偏差は、上記目標のサイズにおける変化に関係し、上記調整値は、上記撮像デバイスの１または複数のパラメータに関係する、項目２１に記載のシステム。
（項目３１）
上記撮像デバイスの上記１または複数のパラメータは、焦点距離、ズーム、またはフォーカスを含む、項目３０に記載のシステム。
（項目３２）
算出済みの上記調整値は、予め定められた範囲に限定される、項目２１に記載のシステム。
（項目３３）
上記予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する、項目３２に記載のシステム。
（項目３４）
上記制御システムは、上記ＵＡＶ用のナビゲーション制御システムまたは上記支持機構用の制御システムを含む、項目３３に記載のシステム。
（項目３５）
警告信号は、算出済みの上記調整値が上記予め定められた範囲から外れる場合に、提供される、項目３２に記載のシステム。
（項目３６）
上記目標を追跡するステップは、
算出済みの上記調整値を予め定められた最大閾値と比較するステップと、
算出済みの上記調整値が上記予め定められた最大閾値を超える場合に、上記予め定められた最大閾値を提供するステップとを有する、項目２１に記載のシステム。
（項目３７）
上記予め定められた最大閾値は、上記ＵＡＶもしくは上記撮像デバイスに対する最高角速度もしくは最高線形速度を含む、項目３２に記載のシステム。
（項目３８）
上記目標を追跡するステップは、
算出済みの上記調整値を予め定められた最小閾値と比較するステップと、
算出済みの上記調整値が上記予め定められた最小閾値よりも小さい場合に、上記予め定められた最小閾値を提供するステップとを有する、項目２１に記載のシステム。
（項目３９）
上記予め定められた最小閾値は、上記ＵＡＶもしくは上記撮像デバイスに対する最低角速度もしくは最低線形速度を含む、項目３８に記載のシステム。
（項目４０）
上記目標情報は、上記遠隔ユーザにアクセス可能な遠隔制御デバイスから受信される、項目３に記載のシステム。
（項目４１）
上記１または複数のナビゲーションコマンドは、同一の上記遠隔制御デバイスから受信される、項目４０に記載のシステム。
（項目４２）
上記１または複数のナビゲーションコマンドは、異なる遠隔制御デバイスから受信される、項目４０に記載のシステム。
（項目４３）
上記遠隔制御デバイスは、タッチスクリーン、ジョイスティック、キーボード、またはマウスからのユーザ入力を受信するように構成される、項目４０に記載のシステム。
（項目４４）
上記遠隔制御デバイスは、ウェアラブルデバイスからのユーザ入力を受信するように構成される、項目４０に記載のシステム。
（項目４５）
上記遠隔制御デバイスは、
上記ＵＡＶから、上記撮像デバイスにより取り込まれた１または複数の画像を受信し、
上記１または複数の画像を表示し、
表示された画像中から、目標におけるユーザ選択を受信し、
上記目標の上記ユーザ選択に基づいて上記目標についての上記目標情報を生成し、
上記目標情報を上記ＵＡＶに送信するように構成される、項目４０に記載のシステム。
（項目４６）
上記遠隔制御デバイスは、ユーザ入力に基づいて上記１または複数のナビゲーションコマンドを生成し、上記１または複数のナビゲーションコマンドを上記ＵＡＶに送信するように更に構成される、項目４１に記載のシステム。
（項目４７）
上記遠隔制御デバイスは、上記目標に関係する追跡情報を受信し、上記追跡情報を用いて上記１または複数の画像を表示するように更に構成される、項目４１に記載のシステム。
（項目４８）
複数の追跡機能を有する無人航空機（ＵＡＶ）であって、
個別に、または集合的に、遠隔ユーザから上記ＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された１または複数のレシーバと、
上記撮像デバイスにより取り込まれた１または複数の画像に基づいて、上記目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、上記目標の上記予め定められた位置または上記予め定められたサイズからの検出済みの上記偏差を実質的に補正するように、上記ＵＡＶ、支持機構、または上記撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された１または複数のプロセッサとを備え、
上記ユーザ指定目標情報は、上記撮像デバイスにより取り込まれた画像中の上記目標の上記予め定められた位置または上記予め定められたサイズを含み、
上記撮像デバイスは、上記撮像デバイスが上記ＵＡＶに対して移動することを可能にするように構成された上記支持機構を介して上記ＵＡＶに接続される、ＵＡＶ。
（項目４９）
無人航空機（ＵＡＶ）を制御するためのシステムであって、
個別に、または集合的に、遠隔ユーザから上記ＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するように構成された１または複数のレシーバと、
上記撮像デバイスにより取り込まれた１または複数の画像に基づいて、上記目標の予め定められた位置または予め定められたサイズからの偏差を個別に、または集合的に検出し、上記目標の上記予め定められた位置または上記予め定められたサイズからの検出済みの上記偏差を実質的に補正するように、上記ＵＡＶ、支持機構、または上記撮像デバイスを自動的に調整する複数のコマンドを生成するように構成された１または複数のプロセッサとを備え、
上記ユーザ指定目標情報は、上記撮像デバイスにより取り込まれた画像中の上記目標の上記予め定められた位置または上記予め定められたサイズを含み、
上記撮像デバイスは、上記撮像デバイスが上記ＵＡＶに対して移動することを可能にするように構成された上記支持機構を介して上記ＵＡＶに接続される、システム。
（項目５０）
無人航空機（ＵＡＶ）を制御するための方法であって、
遠隔ユーザから、上記ＵＡＶ上の撮像デバイスにより追跡される目標についてのユーザ指定目標情報を受信するステップと、
上記ＵＡＶに搭載したプロセッサにより、上記撮像デバイスにより取り込まれた１または複数の画像に基づいて、上記目標の予め定められた位置または予め定められたサイズからの偏差を検出するステップと、
上記目標の上記予め定められた位置または上記予め定められたサイズからの検出済みの上記偏差を実質的に補正するように、上記ＵＡＶ、支持機構、または上記撮像デバイスを自動的に調整するステップとを備え、
上記ユーザ指定目標情報は、上記撮像デバイスにより取り込まれた画像中における上記目標の上記予め定められた位置または上記予め定められたサイズを含み、
上記撮像デバイスは、上記撮像デバイスが上記ＵＡＶに対して移動することを可能にするように構成された上記支持機構を介して上記ＵＡＶに接続される、方法。
（項目５１）
上記撮像デバイスは、カメラまたはカムコーダーを含む、項目５０に記載の方法。
（項目５２）
上記遠隔ユーザから、上記ＵＡＶの速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するステップを更に備える、項目５０に記載の方法。
（項目５３）
上記遠隔ユーザから、上記支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するステップを更に備える、項目５０に記載の方法。
（項目５４）
上記遠隔ユーザから、上記撮像デバイスの１または複数の動作パラメータを制御するように適合された１または複数のコマンドを受信するステップを更に備える、項目５０に記載の方法。
（項目５５）
上記撮像デバイスの上記１または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む、項目５４に記載の方法。
（項目５６）
上記支持機構は、上記撮像デバイスが上記ＵＡＶに対する少なくとも１つの軸を中心として回転することを可能にするように構成される、項目５０に記載の方法。
（項目５７）
上記支持機構は、上記撮像デバイスが上記ＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される、項目５６に記載の方法。
（項目５８）
上記目標の上記目標情報は、目標タイプ情報を更に含む、項目５０に記載の方法。
（項目５９）
上記目標タイプ情報は、上記目標の色またはテクスチャを含む、項目５８に記載の方法。
（項目６０）
上記目標の上記予め定められた位置は、上記目標の初期位置または期待位置を含む、項目５０に記載の方法。
（項目６１）
上記目標の上記予め定められたサイズは、上記目標の初期サイズまたは期待サイズを含む、項目５０に記載の方法。
（項目６２）
上記目標の上記予め定められた位置または上記予め定められたサイズからの上記偏差を検出するステップは、上記撮像デバイスにより取り込まれた上記１または複数の画像中の上記目標の位置またはサイズを、上記予め定められた位置または上記予め定められたサイズとそれぞれ比較するステップを有する、項目５０に記載の方法。
（項目６３）
上記ＵＡＶ、上記支持機構、または上記撮像デバイスを調整するステップは、上記偏差を実質的に補正するように、上記ＵＡＶ、上記支持機構、または上記撮像デバイスに対する調整値を算出するステップを有する、項目５０に記載の方法。
（項目６４）
上記偏差は、上記目標の位置における変化に関係し、上記調整値は、上記ＵＡＶに対する角速度に関係する、項目６３に記載の方法。
（項目６５）
上記角速度は、上記ＵＡＶのヨー軸に相対する、項目６４に記載の方法。
（項目６６）
上記角速度は、上記ＵＡＶのピッチ軸に相対する、項目６４に記載の方法。
（項目６７）
上記偏差は、上記目標の位置における変化に関係し、上記調整値は、上記ＵＡＶに対する上記撮像デバイスの角速度に関係する、項目６３に記載の方法。
（項目６８）
算出済みの上記調整値は、上記撮像デバイスを上記ＵＡＶに対して移動させるように上記支持機構に対する複数の制御信号を生成するべく用いられる、項目６７に記載の方法。
（項目６９）
上記角速度は、上記撮像デバイスのヨー軸に相対する、項目６７に記載の方法。
（項目７０）
上記角速度は、上記撮像デバイスのピッチ軸に相対する、項目６７に記載の方法。
（項目７１）
上記偏差は、上記目標のサイズにおける変化に関係し、上記調整値は、上記ＵＡＶに対する線形速度に関係する、項目６３に記載の方法。
（項目７２）
上記偏差は、上記目標のサイズにおける変化に関係し、上記調整値は、上記撮像デバイスの１または複数のパラメータに関係する、項目６３に記載の方法。
（項目７３）
上記撮像デバイスの上記１または複数のパラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む、項目７２に記載の方法。
（項目７４）
算出済みの上記調整値は、予め定められた範囲に限定される、項目６３に記載の方法。
（項目７５）
上記予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する、項目７４に記載の方法。
（項目７６）
上記制御システムは、上記ＵＡＶ用のナビゲーション制御システムまたは上記支持機構用の制御システムを含む、項目７５に記載の方法。
（項目７７）
上記調整値が上記予め定められた範囲から外れる場合に、警告信号を提供するステップを更に備える、項目７４に記載の方法。
（項目７８）
警告信号は、オーディオ信号または視覚信号を提供するべく用いられる、項目７４に記載の方法。
（項目７９）
警告信号は、動力信号を提供するべく用いられる、項目７４に記載の方法。
（項目８０）
実質的にリアルタイムで、上記撮像デバイスにより取り込まれた複数の画像を上記遠隔ユーザにアクセス可能な遠隔ユーザデバイスに送信するステップを更に備える、項目５０に記載の方法。
（項目８１）
上記遠隔ユーザデバイスは、上記撮像デバイスにより取り込まれた上記複数の画像を表示するためのディスプレイを含む、項目８０に記載の方法。
（項目８２）
上記遠隔ユーザデバイスは、上記目標情報を提供するための入力デバイスを含む、項目８１に記載の方法。
（項目８３）
上記入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、またはスタイラスを含む、項目８２に記載の方法。
（項目８４）
上記入力デバイスは、ウェアラブルデバイスを含む、項目８２に記載の方法。
（項目８５）
上記目標情報は、送信済みの上記複数の画像に基づいて提供される、項目８２に記載の方法。
（項目８６）
実質的にリアルタイムで、上記目標の追跡情報を上記遠隔ユーザデバイスに提供するステップを更に備える、項目８０に記載の方法。
（項目８７）
上記遠隔ユーザデバイスは、
上記遠隔ユーザデバイス上に表示された１または複数の画像中から上記目標のユーザ選択を受信し、
上記目標の上記ユーザ選択に基づいて、上記目標の上記目標情報を生成するように構成される、項目８１に記載の方法。
（項目８８）
無人航空機（ＵＡＶ）を制御するための方法であって、
ディスプレイにより、実質的にリアルタイムで上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するステップと、
入力デバイスにより、実質的にリアルタイムで表示される上記１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するステップと、
上記目標の上記ユーザ選択に少なくとも部分的に基づいて、上記目標の目標情報を生成するステップと、
上記ＵＡＶが上記目標情報に従って上記目標を自主的に追跡することを可能にするように、上記ＵＡＶに上記目標情報を提供するステップを備える、方法。
（項目８９）
無人航空機（ＵＡＶ）を制御するためのシステムであって、
上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するように構成されたディスプレイと、
上記ディスプレイ上に表示される上記１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するように構成された入力デバイスと、
上記目標の上記ユーザ選択に少なくとも部分的に基づいて、上記目標の目標情報を個別に、または集合的に生成するように構成された１または複数のプロセッサと、
上記ＵＡＶが上記目標情報に従って上記目標を自主的に追跡することを可能にするように、上記ＵＡＶに上記目標情報を提供するように構成されたトランスミッタとを備える、システム。
（項目９０）
無人航空機（ＵＡＶ）を制御するための装置であって、
上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を表示するように構成されたディスプレイと、
上記ディスプレイ上に表示される上記１または複数の画像のうち少なくとも１つから目標のユーザ選択を受信するように構成された入力デバイスと、
上記目標の上記ユーザ選択に少なくとも部分的に基づいて、上記目標の目標情報を個別に、または集合的に生成するように構成された１または複数のプロセッサと、
上記ＵＡＶが上記目標情報に従って上記目標を自主的に追跡することを可能にするように、上記ＵＡＶに上記目標情報を提供するように構成されたトランスミッタとを備える、装置。
（項目９１）
上記目標情報は、初期目標情報を含む、項目９０に記載の装置。
（項目９２）
上記初期目標情報は、上記撮像デバイスにより取り込まれた画像中に上記目標の初期位置または初期サイズを含む、項目９１に記載の装置。
（項目９３）
上記初期目標情報は、上記目標の上記ユーザ選択に基づいて生成される、項目９１に記載の装置。
（項目９４）
上記目標情報は、目標タイプ情報を含む、項目９０に記載の装置。
（項目９５）
上記目標タイプ情報は、色、テクスチャ、またはパターン情報を含む、項目９４に記載の装置。
（項目９６）
上記目標タイプ情報は、上記目標の上記ユーザ選択に基づいて生成される、項目９４に記載の装置。
（項目９７）
上記目標情報は、期待目標情報を含む、項目９０に記載の装置。
（項目９８）
上記期待目標情報は、上記目標の上記ユーザ選択に基づいて生成される、項目９７に記載の装置。
（項目９９）
上記期待目標情報は、上記撮像デバイスにより取り込まれた画像中に上記目標の期待位置または期待サイズを含む、項目９７に記載の装置。
（項目１００）
上記目標情報は、期待目標情報を含まない、項目９０に記載の装置。
（項目１０１）
上記入力デバイスは、タッチスクリーン、ジョイスティック、キーボード、マウス、スタイラス、またはウェアラブルデバイスを含む、項目９０に記載の装置。
（項目１０２）
上記目標の上記ユーザ選択は、上記ディスプレイ上に表示される上記１または複数の画像のうち上記少なくとも１つの区域を選択するユーザにより実現され、選択された上記区域は、上記目標に対応する、項目９０に記載の装置。
（項目１０３）
上記目標の上記ユーザ選択は、上記ディスプレイ上に表示される上記１または複数の画像のうち上記少なくとも１つの区域を直接にタッチするユーザにより実現され、タッチされた上記区域は、上記目標に対応する、項目１０２に記載の装置。
（項目１０４）
上記ユーザは、スタイラス、マウス、キーボード、またはウェアラブルデバイスを用いて上記区域を選択する、項目１０２に記載の装置。
（項目１０５）
上記区域を選択することは、上記区域をタッチすること、スワイプすること、回転させること、またはクリックすることを含む、項目１０２に記載の装置。
（項目１０６）
上記１または複数のプロセッサは、上記目標の上記ユーザ選択に応答して、選択インジケータを用いて選択された上記目標を個別に、または集合的に上記ディスプレイ上に表示するように更に構成され、上記選択インジケータは、上記目標が上記ユーザにより選択されていることを示す、項目９０に記載の装置。
（項目１０７）
上記１または複数のプロセッサは、個別に、または集合的に、上記目標に関係する追跡情報を受信し、上記追跡情報に基づいて、上記撮像デバイスにより取り込まれた１または複数の後続の画像中の追跡インジケータを用いて選択された上記目標を表示するように更に構成され、上記追跡インジケータは、実質的にリアルタイムで、上記目標が上記目標情報に従って上記ＵＡＶにより追跡されていることを示す、項目９０に記載の装置。
（項目１０８）
無人航空機（ＵＡＶ）を制御するための方法であって、
実質的にリアルタイムで、上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するステップと、
上記１または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標のユーザ指定目標情報を受信するステップと、
上記ユーザ指定目標情報を上記ＵＡＶに提供するステップと、
上記１または複数の画像、および上記１または複数の画像中の上記目標と関連する追跡インジケータを表示するステップとを備え、
上記追跡インジケータは、上記目標が上記ユーザ指定目標情報に従って、実質的にリアルタイムで上記ＵＡＶにより追跡されていることを示す、方法。
（項目１０９）
無人航空機（ＵＡＶ）を制御するための装置であって、
実質的にリアルタイムで、上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するように構成されたレシーバと、
上記１または複数の画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、
上記ユーザ指定目標情報を上記ＵＡＶに提供するためのトランスミッタと、
上記１または複数の画像、および上記１または複数の画像中の上記目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、
上記追跡インジケータは、上記目標が上記ユーザ指定目標情報に従って、実質的にリアルタイムで上記ＵＡＶにより追跡されていることを示す、装置。
（項目１１０）
無人航空機（ＵＡＶ）を制御するためのシステムであって、
実質的にリアルタイムで、上記ＵＡＶに接続された撮像デバイスにより取り込まれた１または複数の画像を受信するように構成されたレシーバと、
上記１または複数画像から、画像中の目標の予め定められた位置または予め定められたサイズを含む目標についてのユーザ指定目標情報を受信するように構成された入力デバイスと、
上記ユーザ指定目標情報を上記ＵＡＶに提供するためのトランスミッタと、
上記１または複数の画像、および上記１または複数の画像中の上記目標に関連する追跡インジケータを表示するように構成されたディスプレイとを備え、
上記追跡インジケータは、上記目標が上記ユーザ指定目標情報に従って、実質的にリアルタイムで上記ＵＡＶにより追跡されていることを示す、システム。
（項目１１１）
上記入力デバイスは、上記ＵＡＶの速度、位置、向き、もしくは姿勢を制御するように適合された１もしくは複数のコマンド、または上記撮像デバイスの１もしく複数の動作パラメータを受信するように更に構成される、項目１１０に記載のシステム。
（項目１１２）
上記撮像デバイスは、上記撮像デバイスが少なくとも１つの軸に沿って上記ＵＡＶに対して回転することを可能にするように構成された支持機構を介して上記ＵＡＶに接続され、
上記入力デバイスは、上記支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するように更に構成される、項目１１０に記載のシステム。
（項目１１３）
上記支持機構は、上記撮像デバイスが上記ＵＡＶに対する少なくとも２つの軸を中心として回転することを可能にするように構成される、項目１１２に記載のシステム。
（項目１１４）
上記目標は、上記ＵＡＶ、上記支持機構、または上記撮像デバイスのうち少なくとも１つに対する自動調整により、上記目標情報に従って上記撮像デバイスにより追跡される、項目１１２に記載のシステム。
（項目１１５）
上記システムは、上記ＵＡＶの速度、位置、向き、もしくは姿勢を制御するように適合された１もしくは複数のコマンド、または上記撮像デバイスの１もしくは複数の動作パラメータを受信するように構成された第２の入力デバイスを更に備える、項目１１０に記載のシステム。
（項目１１６）
上記撮像デバイスは、上記撮像デバイスが少なくとも１つの軸に沿って上記ＵＡＶに対して回転することを可能にするように構成された支持機構を介して上記ＵＡＶに接続され、
上記システムは、上記支持機構の速度、位置、向き、または姿勢を制御するように適合された１または複数のコマンドを受信するように構成された第２の入力デバイスを更に備える、項目１１０に記載のシステム。
（項目１１７）
上記撮像デバイスの上記１または複数の動作パラメータは、焦点距離、ズームレベル、撮像モード、画像解像度、フォーカス、被写界深度、露出、レンズ速度、または視界を含む、項目１１６に記載のシステム。
（項目１１８）
上記目標は、上記ＵＡＶ、上記支持機構、または上記撮像デバイスのうち少なくとも１つに対する自動調整により、上記目標情報に従って上記撮像デバイスにより追跡される、項目１１６に記載のシステム。
（項目１１９）
上記予め定められた位置は、上記目標の初期位置を含む、項目１１０に記載のシステム。
（項目１２０）
上記予め定められたサイズは、上記目標の初期サイズを含む、項目１１０に記載のシステム。
（項目１２１）
上記予め定められた位置は、上記目標の期待位置を含む、項目１１０に記載のシステム。
（項目１２２）
上記予め定められたサイズは、上記目標の期待サイズを含む、項目１１０に記載のシステム。
（項目１２３）
上記目標情報は、目標タイプ情報を更に含む、項目１１０に記載のシステム。
（項目１２４）
上記目標情報は、上記目標のユーザ選択に基づいて生成される、項目１１０に記載のシステム。
（項目１２５）
上記追跡インジケータは、幾何形状、チェッマーク、または矢印を含む、項目１１０に記載のシステム。
（項目１２６）
上記幾何形状は、円、長方形、または三角形を含む、項目１２５に記載のシステム。
（項目１２７）
上記目標は、上記ＵＡＶまたは上記撮像デバイスのうち少なくとも１つに対する自動調整により、上記目標情報に従って上記撮像デバイスにより追跡される、項目１１０に記載のシステム。

Claims (36)

  1. 無人航空機（ＵＡＶ）を制御するための方法であって、
    ユーザから１または複数のナビゲーションコマンドを受信し、前記ＵＡＶを移動させるステップと、
    前記ユーザから、前記ＵＡＶの撮像デバイスにより追跡される目標の目標情報を受信するステップと、
    前記目標情報に基づいて、前記ＵＡＶ、前記撮像デバイス、または前記ＵＡＶ及び前記撮像デバイスの両方を調整する決定を行うステップであって、前記決定は、前記撮像デバイスの回転軸の数、前記ＵＡＶに対する前記回転軸の向き、または前記ＵＡＶもしくは前記撮像デバイスについて許容される最高角速度に依存する、ステップと、
    前記ＵＡＶが移動する間に、前記決定に従って前記ＵＡＶまたは前記撮像デバイスのうち少なくとも１つを自動的に調整し、前記目標を追跡するステップと、
    前記撮像デバイスにより撮像される画像中の前記目標のサイズを維持するのに必要とされるズームレベルを前記撮像デバイスがサポートしない場合、前記撮像デバイスのズームを調整することに代えて、または前記撮像デバイスのズームを調整することに加えて、前記画像中の前記目標のサイズが維持されるように前記ＵＡＶを移動させるステップとを備え、
    前記目標を追跡するステップは、ユーザと自動追跡システムとの間の追跡制御を前記ＵＡＶの周囲の環境または高度に基づいて動的に割り当てるステップを含み、前記ＵＡＶが屋外でナビゲートされる場合、または前記ＵＡＶが基準高度より高い高度にある場合、前記目標情報に含まれる目標タイプ情報に基づき、前記撮像デバイスにより取得された１または複数の画像中から、追跡する前記目標を識別し、前記ＵＡＶが屋内でナビゲートされる場合、または前記ＵＡＶが前記基準高度より低い高度にある場合、前記目標情報に含まれ、前記撮像デバイスにより取り込まれた画像中から前記ユーザにより指定された特定の目標を示す初期目標情報に基づき、追跡する前記目標を識別する、方法。
  2. 前記撮像デバイスは、カメラまたはカムコーダーを含む、請求項１に記載の方法。
  3. 前記１または複数のナビゲーションコマンドは、前記ＵＡＶの速度、位置、または姿勢を制御する、請求項１または請求項２に記載の方法。
  4. 前記目標情報は、前記初期目標情報、前記目標が前記撮像デバイスにより取り込まれた画像において満たすと期待される特性を指定する期待目標情報、および前記目標タイプ情報のうち少なくとも１つを含む、請求項１から３の何れか１つに記載の方法。
  5. 前記初期目標情報は、前記撮像デバイスから取得された画像中における前記目標の初期位置または初期サイズを含む、請求項４に記載の方法。
  6. 前記目標タイプ情報は、色、テクスチャ、およびパターン情報のうち少なくとも１つを含む、請求項４または５に記載の方法。
  7. 前記期待目標情報は、前記撮像デバイスにより取得された画像中の前記目標の期待位置または期待サイズを含む、請求項５に記載の方法。
  8. 前記目標の前記期待サイズは、前記目標の前記初期サイズと同一である、請求項７に記載の方法。
  9. 前記目標の前記期待位置は、前記目標の前記初期位置と同一である、請求項７に記載の方法。
  10. 前記撮像デバイスにより取得された１または複数の画像中における前記目標の前記期待位置または前記期待サイズは、予め定められた程度の公差内に維持される、請求項７に記載の方法。
  11. 前記撮像デバイスと前記ＵＡＶはそれぞれが相対的に移動可能であり、前記撮像デバイスは支持機構を介して前記ＵＡＶに接続される、請求項１から１０の何れか１つに記載の方法。
  12. 前記支持機構は、前記撮像デバイスが前記ＵＡＶに対して少なくとも２つの軸を中心として回転する、請求項１１に記載の方法。
  13. 前記ＵＡＶが移動する間に、前記ＵＡＶ、前記支持機構、および前記撮像デバイスのうち少なくとも１つが自動的に調整される、請求項１２に記載の方法。
  14. 前記目標情報は、期待目標情報を含み、
    前記方法は、
    前記撮像デバイスにより取得された１または複数の画像に基づいて、前記目標の現在の目標情報を判断するステップと、
    前記期待目標情報から前記現在の目標情報の偏差を検出するステップと、
    前記偏差を補正するように、前記ＵＡＶ、前記支持機構、および前記撮像デバイスのうち少なくとも１つに対する調整値を算出するステップとをさらに備える、請求項１１または１２に記載の方法。
  15. 前記偏差は、前記目標の位置における変化に関係する、請求項１４に記載の方法。
  16. 算出済みの前記調整値は、前記ＵＡＶに対する角速度に関係する、請求項１４または請求項１５に記載の方法。
  17. 前記角速度は、前記ＵＡＶのヨー軸またはピッチ軸に相対する、請求項１６に記載の方法。
  18. 前記偏差は、前記目標の位置における変化に関連し、
    前記調整値は、前記ＵＡＶに関連する、請求項１４に記載の方法。
  19. 前記撮像デバイスの角速度は、前記撮像デバイスのヨー軸またはピッチ軸に相対する、請求項１８に記載の方法。
  20. 前記撮像デバイスを前記ＵＡＶに対して移動させるように、算出済みの前記調整値を用いて、前記支持機構に対する複数の制御信号を生成するステップをさらに備える、請求項１９に記載の方法。
  21. 前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記ＵＡＶに対する線形速度に関連する、請求項１４に記載の方法。
  22. 前記偏差は、前記目標のサイズにおける変化に関係し、前記調整値は、前記撮像デバイスの１または複数のパラメータに関連する、請求項１４に記載の方法。
  23. 前記撮像デバイスのパラメータは、焦点距離、ズーム、およびフォーカスのうち少なくとも１つを含む、請求項２２に記載の方法。
  24. 算出済みの前記調整値は、予め定められた範囲に限定される、請求項１４に記載の方法。
  25. 前記予め定められた範囲は、制御システムの制御レバー量の予め定められた範囲に対応する、請求項２４に記載の方法。
  26. 前記制御システムは、前記ＵＡＶのナビゲーション制御システムおよび前記支持機構用の制御システムのうち少なくとも１つを含む、請求項２５に記載の方法。
  27. 算出済みの前記調整値が前記予め定められた範囲から外れる場合に、警告信号は、提供される、請求項２４に記載の方法。
  28. 算出済みの前記調整値を予め定められた最大閾値と比較するステップと、
    算出済みの前記調整値が前記予め定められた最大閾値を超える場合に、前記予め定められた最大閾値を提供するステップとをさらに備える、請求項１４から２７の何れか１つに記載の方法。
  29. 前記予め定められた最大閾値は、前記ＵＡＶもしくは前記撮像デバイスに対する最高角速度もしくは最高線形速度を含む、請求項２８に記載の方法。
  30. 算出済みの前記調整値を予め定められた最小閾値と比較するステップと、
    算出済みの前記調整値が前記予め定められた最小閾値よりも小さい場合に、前記予め定められた最小閾値を提供するステップとをさらに備える、請求項１４から２７の何れか１つに記載の方法。
  31. 前記予め定められた最小閾値は、前記ＵＡＶもしくは前記撮像デバイスに対する最低角速度もしくは最低線形速度を含む、請求項３０に記載の方法。
  32. 前記目標情報は、前記ユーザにアクセス可能な遠隔制御デバイスから受信される、請求項１から３１の何れか１つに記載の方法。
  33. 前記ユーザからのナビゲーションコマンドは、同一または異なる遠隔制御デバイスから受信される、請求項３２に記載の方法。
  34. ユーザから１または複数のナビゲーションコマンドを受信し、無人航空機（ＵＡＶ）を移動させるステップと、
    前記ユーザから、前記ＵＡＶの撮像デバイスにより追跡される目標の目標情報を受信するステップと、
    前記目標情報に基づいて、前記ＵＡＶ、前記撮像デバイス、または前記ＵＡＶ及び前記撮像デバイスの両方を調整する決定を行うステップであって、前記決定は、前記撮像デバイスの回転軸の数、前記ＵＡＶに対する前記回転軸の向き、または前記ＵＡＶもしくは前記撮像デバイスについて許容される最高角速度に依存する、ステップと、
    前記ＵＡＶが移動する間に、前記決定に従って前記ＵＡＶまたは前記撮像デバイスのうち少なくとも１つを自動的に調整し、前記目標を追跡するステップと、
    前記撮像デバイスにより撮像される画像中の前記目標のサイズを維持するのに必要とされるズームレベルを前記撮像デバイスがサポートしない場合、前記撮像デバイスのズームを調整することに代えて、または前記撮像デバイスのズームを調整することに加えて、前記画像中の前記目標のサイズが維持されるように前記ＵＡＶを移動させるステップと
    をコンピューターに実行させ、
    前記目標を追跡するステップは、ユーザと自動追跡システムとの間の追跡制御を前記ＵＡＶの周囲の環境または高度に基づいて動的に割り当てるステップを含み、前記ＵＡＶが屋外でナビゲートされる場合、または前記ＵＡＶが基準高度より高い高度にある場合、前記目標情報に含まれる目標タイプ情報に基づき、前記撮像デバイスにより取得された１または複数の画像中から、追跡する前記目標を識別し、前記ＵＡＶが屋内でナビゲートされる場合、または前記ＵＡＶが前記基準高度より低い高度にある場合、前記目標情報に含まれ、前記撮像デバイスにより取り込まれた画像中から前記ユーザにより指定された特定の目標を示す初期目標情報に基づき、追跡する前記目標を識別する、ＵＡＶ制御プログラム。
  35. 追跡機能を有する無人航空機（ＵＡＶ）であって、
    ユーザから前記ＵＡＶを移動させる１または複数のナビゲーションコマンド、および前記ＵＡＶの撮像デバイスにより追跡される目標についての目標情報を受信する１または複数の受信部と、
    前記目標情報に基づいて、前記ＵＡＶ、前記撮像デバイス、または前記ＵＡＶ及び前記撮像デバイスの両方を調整する決定を行う１または複数のプロセッサとを備え、
    前記決定は、前記撮像デバイスの回転軸の数、前記ＵＡＶに対する前記回転軸の向き、または前記ＵＡＶもしくは前記撮像デバイスについて許容される最高角速度に依存し、
    前記１または複数のプロセッサは、
    前記ＵＡＶが移動する間に、前記決定に従って前記ＵＡＶまたは前記撮像デバイスのうち少なくとも１つを自動的に調整し、前記目標を追跡し、
    前記撮像デバイスにより撮像される画像中の前記目標のサイズを維持するのに必要とされるズームレベルを前記撮像デバイスがサポートしない場合、前記撮像デバイスのズームを調整することに代えて、または前記撮像デバイスのズームを調整することに加えて、前記画像中の前記目標のサイズが維持されるように前記ＵＡＶを移動させ、
    前記目標を追跡することは、ユーザと自動追跡システムとの間の追跡制御を前記ＵＡＶの周囲の環境または高度に基づいて動的に割り当てるステップを含み、前記ＵＡＶが屋外でナビゲートされる場合、または前記ＵＡＶが基準高度より高い高度にある場合、前記目標情報に含まれる目標タイプ情報に基づき、前記撮像デバイスにより取得された１または複数の画像中から、追跡する前記目標を識別し、前記ＵＡＶが屋内でナビゲートされる場合、または前記ＵＡＶが前記基準高度より低い高度にある場合、前記目標情報に含まれ、前記撮像デバイスにより取り込まれた画像中から前記ユーザにより指定された特定の目標を示す初期目標情報に基づき、追跡する前記目標を識別する、ＵＡＶ。
  36. 無人航空機（ＵＡＶ）の制御システムであって、
    ユーザから前記ＵＡＶを移動させる１または複数のナビゲーションコマンド、および前記ＵＡＶの撮像デバイスにより追跡される目標の目標情報を受信する１または複数の受信部と、
    前記目標情報に基づいて、前記ＵＡＶ、前記撮像デバイス、または前記ＵＡＶ及び前記撮像デバイスの両方を調整する決定を行う処理部と
    を備え、
    前記決定は、前記撮像デバイスの回転軸の数、前記ＵＡＶに対する前記回転軸の向き、または前記ＵＡＶもしくは前記撮像デバイスについて許容される最高角速度に依存し、
    前記処理部は、
    前記ＵＡＶが移動する間に、前記決定に従って前記ＵＡＶまたは前記撮像デバイスのうち少なくとも１つを自動的に調整し、前記目標を追跡し、
    前記撮像デバイスにより撮像される画像中の前記目標のサイズを維持するのに必要とされるズームレベルを前記撮像デバイスがサポートしない場合、前記撮像デバイスのズームを調整することに代えて、または前記撮像デバイスのズームを調整することに加えて、前記画像中の前記目標のサイズが維持されるように前記ＵＡＶを移動させ、
    前記目標を追跡することは、ユーザと自動追跡システムとの間の追跡制御を前記ＵＡＶの周囲の環境または高度に基づいて動的に割り当てることを含み、前記ＵＡＶが屋外でナビゲートされる場合、または前記ＵＡＶが基準高度より高い高度にある場合、前記目標情報に含まれる目標タイプ情報に基づき、前記撮像デバイスにより取得された１または複数の画像中から、追跡する前記目標を識別し、前記ＵＡＶが屋内でナビゲートされる場合、または前記ＵＡＶが前記基準高度より低い高度にある場合、前記目標情報に含まれ、前記撮像デバイスにより取り込まれた画像中から前記ユーザにより指定された特定の目標を示す初期目標情報に基づき、追跡する前記目標を識別する、システム。
JP2016526059A 2014-07-30 2014-07-30 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム Active JP6784434B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/083315 WO2016015251A1 (en) 2014-07-30 2014-07-30 Systems and methods for target tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018047325A Division JP6849272B2 (ja) 2018-03-14 2018-03-14 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム

Publications (3)

Publication Number Publication Date
JP2017503226A JP2017503226A (ja) 2017-01-26
JP2017503226A5 JP2017503226A5 (ja) 2017-09-21
JP6784434B2 true JP6784434B2 (ja) 2020-11-11

Family

ID=54290321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016526059A Active JP6784434B2 (ja) 2014-07-30 2014-07-30 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム

Country Status (5)

Country Link
US (7) US9164506B1 (ja)
EP (2) EP3060966B1 (ja)
JP (1) JP6784434B2 (ja)
CN (6) CN105518555B (ja)
WO (1) WO2016015251A1 (ja)

Families Citing this family (289)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511658A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem und Verfahren zur Neupunktbestimmung
US10196088B2 (en) * 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9014874B2 (en) * 2013-01-29 2015-04-21 Foster-Miller, Inc. Tactical robot controller
EP2991897B1 (en) 2013-05-03 2020-02-12 AeroVironment, Inc. Vertical takeoff and landing (vtol) air vehicle
US9769387B1 (en) 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
JP6329642B2 (ja) 2013-12-10 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ センサ融合
US10133548B2 (en) * 2014-01-27 2018-11-20 Roadwarez Inc. System and method for providing mobile personal security platform
US9875454B2 (en) * 2014-05-20 2018-01-23 Verizon Patent And Licensing Inc. Accommodating mobile destinations for unmanned aerial vehicles
WO2016015251A1 (en) 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10068506B2 (en) * 2014-08-01 2018-09-04 Philips Lighting Holding B.V. System, device for creating an aerial image
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
US9442485B1 (en) 2014-08-13 2016-09-13 Trace Live Network Inc. Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system
WO2016033795A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Velocity control for an unmanned aerial vehicle
EP3428766B1 (en) * 2014-09-05 2021-04-07 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
JP6278539B2 (ja) 2014-09-05 2018-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 状況に基づく飛行モード選択
US10102590B1 (en) 2014-10-02 2018-10-16 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
US11688014B1 (en) 2014-10-02 2023-06-27 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
JP6387782B2 (ja) 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標物体の検出方法、検出装置及びロボット
US10191487B2 (en) * 2014-11-14 2019-01-29 Lg Electronics Inc. Control device and control method for flying bot
US10997544B1 (en) 2014-12-11 2021-05-04 Amazon Technologies, Inc. Delivery location identifiers
US11016276B2 (en) * 2014-12-18 2021-05-25 Fugro Roames Pty Limited Imaging system
US9305280B1 (en) 2014-12-22 2016-04-05 Amazon Technologies, Inc. Airborne fulfillment center utilizing unmanned aerial vehicles for item delivery
FR3031402B1 (fr) * 2015-01-02 2018-09-07 Squadrone System Procede de pilotage automatique d'un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee
US11532050B1 (en) 2015-01-27 2022-12-20 United Services Automobile Association (Usaa) Unmanned vehicle service delivery
WO2016130711A1 (en) * 2015-02-11 2016-08-18 Aerovironment, Inc. Pod operating system for a vertical take-off and landing (vtol) unmanned aerial vehicle (uav)
WO2016130797A1 (en) 2015-02-11 2016-08-18 Aerovironment, Inc. Pod cover system for a vertical take-off and landing (vtol) unmanned aerial vehicle (uav)
US9880563B2 (en) 2015-02-11 2018-01-30 Aerovironment, Inc. Geographic survey system for vertical take-off and landing (VTOL) unmanned aerial vehicles (UAVs)
US10336470B2 (en) 2015-02-11 2019-07-02 Aerovironment, Inc. Pod launch and landing system for vertical take-off and landing (VTOL)unmanned aerial vehicles (UAVs)
US9977435B2 (en) 2015-02-11 2018-05-22 Aeroviroment, Inc. Survey migration system for vertical take-off and landing (VTOL) unmanned aerial vehicles (UAVS)
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
JP6302860B2 (ja) * 2015-03-03 2018-03-28 ヤンマー株式会社 船舶
US10063772B2 (en) * 2015-03-19 2018-08-28 Casio Computer Co., Ltd. Image processing apparatus that sends image to external apparatus
TWI573104B (zh) * 2015-03-25 2017-03-01 宇瞻科技股份有限公司 室內監控系統及其方法
US9939810B1 (en) 2015-04-17 2018-04-10 United Services Automobile Association Indoor drone flight awareness system
US9557738B2 (en) 2015-04-21 2017-01-31 Gopro, Inc. Return path configuration for remote controlled aerial vehicle
US10696414B2 (en) 2015-04-21 2020-06-30 Gopro, Inc. Aerial capture platform
DE102015006233B4 (de) * 2015-05-18 2020-12-03 Rheinmetall Air Defence Ag Verfahren zur Bestimmung der Flugbahn einer Fremddrohne
US11140326B2 (en) 2015-05-22 2021-10-05 The United States Of America, As Represented By The Secretary Of The Navy Aerial video based point, distance, and velocity real-time measurement system
EP3650932B1 (en) 2015-05-27 2023-02-08 GoPro, Inc. Camera system using stabilizing gimbal
US9741255B1 (en) * 2015-05-28 2017-08-22 Amazon Technologies, Inc. Airborne unmanned aerial vehicle monitoring station
EP3101889A3 (en) * 2015-06-02 2017-03-08 LG Electronics Inc. Mobile terminal and controlling method thereof
WO2016197307A1 (en) * 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
US10250792B2 (en) * 2015-08-10 2019-04-02 Platypus IP PLLC Unmanned aerial vehicles, videography, and control methods
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
EP3341925B1 (en) * 2015-08-27 2023-09-13 Dronsystems Limited A highly automated system of air traffic control (atm) for at least one unmanned aerial vehicle (unmanned aerial vehicles uav)
EP3353706A4 (en) 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
WO2017071143A1 (en) 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
JP6596745B2 (ja) 2015-10-20 2019-10-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 対象物体を撮像するシステム
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US10587790B2 (en) * 2015-11-04 2020-03-10 Tencent Technology (Shenzhen) Company Limited Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
US9896205B1 (en) 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
CN105373132A (zh) * 2015-11-26 2016-03-02 北京浩恒征途航空科技有限公司 一种基于自动巡航无人机的低空遥感系统及遥感方法
CN105460217B (zh) * 2015-12-03 2017-11-14 北京奇虎科技有限公司 一种基于无人飞行器的续拍方法和无人飞行器
EP4342792A3 (en) * 2015-12-09 2024-04-17 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
JP6685713B2 (ja) * 2015-12-15 2020-04-22 キヤノン株式会社 撮像システムおよびその制御方法、通信装置、移動撮像装置
JP6685714B2 (ja) * 2015-12-15 2020-04-22 キヤノン株式会社 移動撮像装置の制御装置、移動撮像装置、および移動撮像装置の制御方法
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法
DE102015122183B4 (de) 2015-12-18 2018-12-06 Antony Pfoertzsch Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
US9720413B1 (en) 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9663227B1 (en) 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
CN105425614B (zh) * 2015-12-25 2019-01-29 北京经纬恒润科技有限公司 一种目标跟踪系统的测试验证方法、装置及系统
CN107071794A (zh) * 2015-12-31 2017-08-18 沈玮 Uav网络
US10454576B2 (en) 2015-12-31 2019-10-22 Wellen Sham UAV network
US9786165B2 (en) * 2015-12-31 2017-10-10 Wellen Sham Facilitating location positioning service through a UAV network
US9826256B2 (en) 2015-12-31 2017-11-21 Wellen Sham Facilitating multimedia information delivery through a UAV network
US9800321B2 (en) * 2015-12-31 2017-10-24 Wellen Sham Facilitating communication with a vehicle via a UAV
US9955115B2 (en) 2015-12-31 2018-04-24 Wellen Sham Facilitating wide view video conferencing through a drone network
US9630714B1 (en) 2016-01-04 2017-04-25 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on tilted optical elements
US9758246B1 (en) 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
US10169856B1 (en) 2016-01-27 2019-01-01 United Services Automobile Association (Usaa) Laser-assisted image processing
US10416667B2 (en) * 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
WO2017138920A1 (en) * 2016-02-09 2017-08-17 Ford Global Technologies, Llc Apparatus and method for an autonomous vehicle to follow an object
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9858821B2 (en) * 2016-02-26 2018-01-02 Ford Global Technologies, Llc Autonomous vehicle passenger locator
CN113589833A (zh) * 2016-02-26 2021-11-02 深圳市大疆创新科技有限公司 用于视觉目标跟踪的方法
CN114610049A (zh) * 2016-02-26 2022-06-10 深圳市大疆创新科技有限公司 用于修改无人飞行器自主飞行的系统和方法
CN108780316B (zh) * 2016-02-29 2022-07-08 深圳市大疆创新科技有限公司 用于飞行装置的移动控制的方法和系统
WO2017147731A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Uav hardware architecture
CN108292141B (zh) * 2016-03-01 2022-07-01 深圳市大疆创新科技有限公司 用于目标跟踪的方法和系统
JP6418181B2 (ja) * 2016-03-04 2018-11-07 トヨタ自動車株式会社 遠隔操作システム、車両及び遠隔操作装置
US10408936B2 (en) * 2016-03-11 2019-09-10 Raytheon Bbn Technologies Corp. LIDAR light fence to cue long range LIDAR of target drone
CN105915783B (zh) * 2016-03-30 2019-01-01 东斓视觉科技发展（北京）有限公司 摄影方法及装置
CN105872396B (zh) * 2016-03-30 2019-04-12 东斓视觉科技发展（北京）有限公司 摄影方法及装置
CN105866782B (zh) * 2016-04-04 2018-08-17 上海大学 一种基于激光雷达的运动目标检测系统及方法
JP6308238B2 (ja) * 2016-04-07 2018-04-11 カシオ計算機株式会社 飛行型カメラ装置、飛行型カメラシステム、端末装置、飛行型カメラ装置の制御方法およびプログラム
US10618673B2 (en) 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
CN105891908B (zh) * 2016-04-19 2018-04-13 华南农业大学 一种适用于无人机的机载气象站装置及其使用方法
CN107305374A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍系统
CN105959625B (zh) * 2016-05-04 2020-04-14 北京博瑞云飞科技发展有限公司 控制无人机追踪拍摄的方法及装置
US10204417B2 (en) * 2016-05-10 2019-02-12 International Business Machines Corporation Interactive video generation
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
WO2017201697A1 (en) 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
WO2017201698A1 (zh) * 2016-05-25 2017-11-30 深圳市大疆创新科技有限公司 一种追踪目标的方法及装置
EP3253051A1 (de) * 2016-05-30 2017-12-06 Antony Pfoertzsch Verfahren und system zum aufzeichnen von videodaten mit mindestens einem auf objekte ausrichtbaren fernsteuerbaren kamerasystem
WO2017206073A1 (en) * 2016-05-31 2017-12-07 Sz Dji Osmo Technology Co., Ltd. Method and system for adaptive gimbal
CN106054871A (zh) * 2016-05-31 2016-10-26 深圳市元征科技股份有限公司 一种无人机拍摄器方向调整方法及智能穿戴设备
KR20170136750A (ko) 2016-06-02 2017-12-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2017210826A1 (en) 2016-06-06 2017-12-14 Sz Dji Osmo Technology Co., Ltd. Carrier-assisted tracking
CN109477607A (zh) 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
JP6500849B2 (ja) * 2016-06-23 2019-04-17 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US10610145B2 (en) * 2016-06-30 2020-04-07 Wellen Sham Safety driving system
CN109416536B (zh) * 2016-07-04 2022-03-22 深圳市大疆创新科技有限公司 用于自动跟踪和导航的系统和方法
CN109479086B (zh) * 2016-07-20 2021-08-10 深圳市大疆创新科技有限公司 相对于物体变焦的方法和设备
FR3054334A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees comprenant un drone et une station au sol, et procede associe.
FR3054336A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et localisation amelioree de la cible.
CN109479119B (zh) 2016-07-22 2021-03-05 深圳市大疆创新科技有限公司 Uav交互视频广播的系统与方法
CN106125761B (zh) * 2016-07-25 2019-02-19 深圳市鸿专科技有限公司 无人机导航系统和导航方法
CN106292733B (zh) * 2016-07-26 2019-05-10 北京电子工程总体研究所 一种基于位置信息的触摸式跟踪确认系统及方法
WO2018018514A1 (en) * 2016-07-28 2018-02-01 SZ DJI Technology Co., Ltd. Target-based image exposure adjustment
WO2018027339A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Copyright notice
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
WO2018053877A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 控制方法、控制设备和运载系统
CN107087435B (zh) * 2016-09-27 2018-10-19 深圳市大疆创新科技有限公司 控制方法、控制装置、电子装置及飞行器控制系统
WO2018061172A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 撮像角度調整システム、撮像角度調整方法及びプログラム
CN106375669B (zh) * 2016-09-30 2019-08-06 天津远度科技有限公司 一种稳像方法、装置和无人机
MX2019003894A (es) 2016-10-04 2019-09-04 Walmart Apollo Llc Sistemas y metodos para navegacion autonoma con dron.
US10424130B2 (en) * 2016-10-04 2019-09-24 Walmart Apollo, Llc System and methods for drone-based vehicle status determination
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
FR3056921B1 (fr) * 2016-10-05 2018-11-23 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible.
JP6848320B2 (ja) * 2016-10-06 2021-03-24 富士ゼロックス株式会社 水中移動体
CN108702442B (zh) 2016-10-14 2021-04-16 深圳市大疆创新科技有限公司 用于时刻捕获的系统和方法
CN106794902B (zh) * 2016-10-18 2020-10-27 深圳市大疆灵眸科技有限公司 连接装置及具有该连接装置的无人机
CN109791405A (zh) 2016-10-24 2019-05-21 深圳市大疆创新科技有限公司 用于控制由成像装置捕捉的图像的系统和方法
CN106485736B (zh) * 2016-10-27 2022-04-12 深圳市道通智能航空技术股份有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
JP2020513606A (ja) * 2016-11-11 2020-05-14 エアロバイロメント, インコーポレイテッドAerovironment, Inc. 無人航空機の動作のための安全装置
AU2017364482B2 (en) * 2016-11-28 2020-02-27 Michael Amor Griffin A remote control device and system
WO2018098678A1 (zh) * 2016-11-30 2018-06-07 深圳市大疆创新科技有限公司 飞行器的控制方法、装置和设备以及飞行器
CN108616706A (zh) * 2016-12-10 2018-10-02 南京理工大学 具有图像处理能力的cmos图像传感器系统
JP2020502714A (ja) * 2016-12-15 2020-01-23 パワーヴィジョン・ロボット・インコーポレイテッド 遠隔コントローラを用いるドローン用の制御システムおよび方法
CN110291548A (zh) 2016-12-21 2019-09-27 沃尔玛阿波罗有限责任公司 用于经由无人驾驶飞行器将产品递送到由顾客指定的递送位置的系统和方法
CN107108023B (zh) * 2016-12-22 2019-09-27 深圳市大疆创新科技有限公司 无人机及其控制方法
WO2018112848A1 (zh) * 2016-12-22 2018-06-28 深圳市大疆创新科技有限公司 飞行控制方法和装置
US10909861B2 (en) * 2016-12-23 2021-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Unmanned aerial vehicle in controlled airspace
CN106741937A (zh) * 2017-01-03 2017-05-31 上海量明科技发展有限公司 无人机型通话装置及其通话方法
EP3889719A1 (en) * 2017-02-08 2021-10-06 SZ DJI Technology Co., Ltd. Methods and system for controlling a movable object
US11429111B2 (en) * 2017-02-08 2022-08-30 Marquette University Robotic tracking navigation with data fusion
CN106828957B (zh) * 2017-02-08 2019-06-14 南通亿思特机器人科技有限公司 一种用于野生动物研究的智能型无人机
JP6950192B2 (ja) * 2017-02-10 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
CN107031842B (zh) * 2017-03-17 2019-03-26 北京航空航天大学 一种喷水飞行器
KR20180107642A (ko) * 2017-03-22 2018-10-02 삼성전자주식회사 외부 객체의 움직임에 기반하여 이동 위치를 결정하는 방법 및 이를 구현한 전자 장치
CN106991147A (zh) * 2017-03-27 2017-07-28 重庆大学 一种植物识别系统及识别方法
CN111208906B (zh) * 2017-03-28 2021-12-24 联想(北京)有限公司 呈现图像的方法和显示系统
CN109690440B (zh) * 2017-03-31 2022-03-08 深圳市大疆创新科技有限公司 一种无人机的飞行控制方法及无人机
WO2018186750A1 (en) * 2017-04-05 2018-10-11 Blueye Robotics As Camera assisted control system for an underwater vehicle
WO2018191869A1 (zh) * 2017-04-18 2018-10-25 深圳市大疆创新科技有限公司 无人飞行器的控制方法、飞行控制器及无人飞行器
CN108521807B (zh) * 2017-04-27 2022-04-05 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
WO2018195979A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
WO2018195996A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Multi-object tracking based on lidar point cloud
EP3619104B1 (en) * 2017-05-04 2021-12-15 Carnegie Mellon University State estimation and localization for rov-based structural inspection
CN107128492B (zh) * 2017-05-05 2019-09-20 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
JP7165140B2 (ja) 2017-05-10 2022-11-02 グラバンゴ コーポレイション 効率的配置のための直列構成カメラアレイ
JP6888215B2 (ja) * 2017-05-12 2021-06-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム
DE102017208333A1 (de) * 2017-05-17 2018-11-22 Jenoptik Robot Gmbh Verfahren zum Überwachen eines Fahrzeugs mittels zumindest eines unbemannten Luftfahrzeugs, Steuergerät und unbemanntes Luftfahrzeug
CN113163119A (zh) * 2017-05-24 2021-07-23 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN108496352B (zh) * 2017-05-24 2021-02-09 深圳市大疆创新科技有限公司 拍摄方法及装置、图像处理方法及装置
JP6875196B2 (ja) * 2017-05-26 2021-05-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体
CN109479088A (zh) 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
US10139631B1 (en) 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera
US10484095B2 (en) * 2017-06-15 2019-11-19 The Aerospace Corporation Communications relay satellite with a single-axis gimbal
CN107390985A (zh) * 2017-07-04 2017-11-24 Tcl移动通信科技（宁波）有限公司 移动终端及其触摸屏输入控制方法、及存储介质
KR20190009103A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법
CN113762252B (zh) * 2017-08-18 2023-10-24 深圳市道通智能航空技术股份有限公司 无人机智能跟随目标确定方法、无人机和遥控器
US10740607B2 (en) 2017-08-18 2020-08-11 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
JP7057637B2 (ja) 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
US11074827B2 (en) * 2017-08-25 2021-07-27 Aurora Flight Sciences Corporation Virtual reality system for aerial vehicle
CN107590450A (zh) * 2017-09-01 2018-01-16 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
US10144504B1 (en) * 2017-09-01 2018-12-04 Kitty Hawk Corporation Decoupled hand controls for aircraft with vertical takeoff and landing and forward flight capabilities
EP3480118B1 (en) * 2017-09-06 2021-03-03 Autel Robotics Co., Ltd. Aerial vehicle landing method
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle
AU2017245322A1 (en) * 2017-10-10 2019-05-02 Canon Kabushiki Kaisha Method, system and apparatus for selecting frames of a video sequence
CN109708636B (zh) * 2017-10-26 2021-05-14 广州极飞科技股份有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
WO2019084919A1 (en) * 2017-11-03 2019-05-09 SZ DJI Technology Co., Ltd. Methods and system for infrared tracking
CN107908195B (zh) * 2017-11-06 2021-09-21 深圳市道通智能航空技术股份有限公司 目标追踪方法、装置、追踪器及计算机可读存储介质
WO2019092790A1 (ja) * 2017-11-07 2019-05-16 ヤマハ株式会社 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム
CN108447073B (zh) * 2017-11-22 2020-09-08 西北工业大学 一种基于dsp的无人空中加受油激光视觉跟踪方法
TWI657011B (zh) 2017-11-30 2019-04-21 財團法人工業技術研究院 無人機、無人機控制系統及控制方法
CN108089205B (zh) * 2017-12-21 2021-02-02 成都大学 一种无人机飞控人员定位系统
CN107943088A (zh) * 2017-12-22 2018-04-20 广州亿航智能技术有限公司 一种控制无人机的方法及其系统
CN114183662A (zh) * 2017-12-23 2022-03-15 深圳市大疆创新科技有限公司 一种云台校准方法及云台设备
CN108284855A (zh) * 2017-12-27 2018-07-17 河南辉煌信通软件有限公司 一种基于无人机的轨道巡检系统
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
JP6950538B2 (ja) * 2018-01-11 2021-10-13 トヨタ自動車株式会社 車両撮影支援装置及びプログラム
WO2019140686A1 (zh) * 2018-01-22 2019-07-25 深圳市大疆创新科技有限公司 跟随控制方法、控制终端及无人机
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
CN108227751B (zh) * 2018-01-29 2020-12-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
TWI641857B (zh) * 2018-02-09 2018-11-21 宏碁股份有限公司 電子裝置以及定位方法
CN110221618B (zh) * 2018-03-01 2023-05-30 北京京东乾石科技有限公司 飞行监控方法和装置及计算机可读存储介质
WO2019175992A1 (ja) * 2018-03-13 2019-09-19 日本電気株式会社 移動体誘導装置、移動体誘導方法、及びコンピュータ読み取り可能な記録媒体
WO2019183746A1 (zh) * 2018-03-26 2019-10-03 深圳市大疆创新科技有限公司 无人机的跟踪处理方法及控制终端
JP6452183B1 (ja) * 2018-03-30 2019-01-16 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 釣り動画撮像システム
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
US11148805B2 (en) * 2018-04-10 2021-10-19 Government Of The United States, As Represented By The Secretary Of The Army Enclosure for an unmanned aerial system
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
US11372410B2 (en) * 2018-04-19 2022-06-28 Axon Enterprise, Inc. Methods and apparatus for regulating a position of a drone
WO2019204823A1 (en) * 2018-04-20 2019-10-24 Axon Enterprise, Inc. Systems and methods for a housing equipment for a security vehicle
US11787346B2 (en) 2018-04-20 2023-10-17 Axon Enterprise, Inc. Systems and methods for a housing equipment for a security vehicle
CN108919640B (zh) * 2018-04-20 2020-04-03 西北工业大学 无人机自适应多目标跟踪的实现方法
CN108597054A (zh) * 2018-04-28 2018-09-28 深圳春沐源控股有限公司 防走失巡检方法和防走失巡检系统
CN108924473B (zh) * 2018-04-28 2023-07-25 广州亿航智能技术有限公司 基于无人机巡航模式的预订航拍方法及系统
CN110443825A (zh) * 2018-05-03 2019-11-12 香港商女娲创造股份有限公司 视觉追踪与人机互动系统及追随系统
CN108645403B (zh) * 2018-05-15 2021-03-23 中国人民解放军海军工程大学 一种基于卫星导航及姿态测量的无人机自动跟拍系统
CN108681718B (zh) * 2018-05-20 2021-08-06 北京工业大学 一种无人机低空目标精准检测识别方法
JP6922848B2 (ja) * 2018-05-24 2021-08-18 株式会社豊田自動織機 フォークリフト用遠隔操作システム
CN113395450A (zh) * 2018-05-29 2021-09-14 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
US11255975B2 (en) * 2018-06-05 2022-02-22 Pony Ai Inc. Systems and methods for implementing a tracking camera system onboard an autonomous vehicle
CN108572656A (zh) * 2018-06-08 2018-09-25 赫星科技有限公司 无人机定位装置以及无人机
CN110609562B (zh) * 2018-06-15 2021-07-16 华为技术有限公司 一种图像信息采集方法和装置
CN108958300B (zh) * 2018-06-26 2023-06-20 北京小米移动软件有限公司 云台控制方法及装置
CN110832495A (zh) * 2018-07-13 2020-02-21 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
WO2020023269A1 (en) * 2018-07-25 2020-01-30 Cnh Industrial America Llc Aerial monitoring system for agricultural equipment
JP6542445B1 (ja) 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
US10946883B2 (en) * 2018-08-09 2021-03-16 Alstom Transport Technologies Train detection system for a railway track, a method for detecting a train on a railway track, and a controller for a train detection system for detecting a train on a railway track
CN109062842B (zh) * 2018-08-15 2020-10-23 深圳市道通智能航空技术有限公司 一种遥控器与移动终端的通信方法、装置和遥控器
JP2020027574A (ja) * 2018-08-17 2020-02-20 株式会社東芝 自律移動装置、方法及び３次元モデリングシステム
CN109061627B (zh) * 2018-09-11 2021-02-26 长光禹辰信息技术与装备(青岛)有限公司 一种雷达光电联动系统及其控制方法
DE102018123411A1 (de) * 2018-09-24 2020-03-26 Autel Robotics Europe Gmbh Zielbeobachtungsverfahren, zugehörige Vorrichtung und System
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
JP6905504B2 (ja) * 2018-11-27 2021-07-21 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 警備システム、及び、警備方法
CN109120863B (zh) * 2018-10-23 2021-01-01 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质及移动终端
CN109376660B (zh) * 2018-10-26 2022-04-08 天宇经纬（北京）科技有限公司 一种目标监测方法、装置及系统
CN109188411B (zh) * 2018-11-13 2022-12-09 王鹂辉 一种红外闪频追踪系统
WO2020107338A1 (zh) * 2018-11-29 2020-06-04 深圳市大疆创新科技有限公司 一种图像传输装置及其装配方法和可移动平台
CN109743499A (zh) * 2018-12-29 2019-05-10 武汉云衡智能科技有限公司 一种应用于图像识别的变焦无人机和变焦无人机控制方法
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
CN109739155B (zh) * 2019-02-20 2021-09-03 中国人民解放军91245部队 一种人机互动式监视系统及监视方法
CN109976156B (zh) * 2019-03-13 2021-08-06 南京航空航天大学 固定翼无人机栖落机动轨迹的建模与预测控制方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7256668B2 (ja) * 2019-03-29 2023-04-12 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP6607590B1 (ja) * 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6607589B1 (ja) 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
WO2020237565A1 (zh) 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
US11553640B2 (en) 2019-06-11 2023-01-17 Cnh Industrial Canada, Ltd. Agricultural wear monitoring system
WO2020252688A1 (en) * 2019-06-19 2020-12-24 Powervision Tech (Suzhou) Ltd. Target recognition based on image information, system for target recognition based on image information
SE543438C2 (en) * 2019-06-20 2021-02-16 Scania Cv Ab Method, control arrangement and drone for calibration of vehicle sensors
CN112256009B (zh) * 2019-07-04 2021-11-02 深圳市越疆科技有限公司 寻线方法、装置、设备及可读存储介质
WO2021003657A1 (zh) * 2019-07-09 2021-01-14 深圳市大疆创新科技有限公司 一种无人机协同作业的控制方法、电子设备及系统
CN112230256B (zh) * 2019-07-15 2024-04-09 苏州宝时得电动工具有限公司 自主机器人及其定位校准方法、装置和存储介质
JP6873515B1 (ja) * 2019-07-25 2021-05-19 株式会社プロドローン 遠隔操縦システムおよびその操縦装置
EP4023398A4 (en) * 2019-08-26 2023-09-13 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, CONFIGURATION DEVICE, IMAGE RECOGNITION SYSTEM, ROBOT SYSTEM, CONFIGURATION METHOD, LEARNING DEVICE, AND LEARNED MODEL GENERATION METHOD
CN110749328B (zh) * 2019-08-30 2021-12-28 华为技术有限公司 定位方法与系统、电子设备、车辆与存储介质
JP6929914B2 (ja) * 2019-10-11 2021-09-01 三菱重工業株式会社 垂直離着陸機の自動着陸システム、垂直離着陸機および垂直離着陸機の着陸制御方法
CN112788227B (zh) * 2019-11-07 2022-06-14 富泰华工业（深圳）有限公司 目标追踪拍摄方法、装置、计算机装置及存储介质
TWI726536B (zh) 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN111015670B (zh) * 2019-12-28 2021-06-08 飞天诚信科技股份有限公司 一种机械手臂及其定位识别处理零件的方法
CN111103891B (zh) * 2019-12-30 2021-03-16 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
US20210201431A1 (en) * 2019-12-31 2021-07-01 Grabango Co. Dynamically controlled cameras for computer vision monitoring
CN111399533B (zh) * 2020-02-10 2022-07-26 合肥工业大学 异构多无人机协同任务分配与路径优化方法
CN111457895B (zh) * 2020-03-31 2022-04-22 彩虹无人机科技有限公司 一种无人机光电载荷的目标尺寸计算与显示方法
CN111439386B (zh) * 2020-04-17 2023-07-25 江苏无国界无人机科技有限公司 紫外、可见光、红外三合一的无人机电力巡检吊舱
CN111352410A (zh) * 2020-04-26 2020-06-30 重庆市亿飞智联科技有限公司 飞行控制方法、装置、存储介质、自动驾驶仪及无人机
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
WO2021243566A1 (zh) * 2020-06-02 2021-12-09 深圳市大疆创新科技有限公司 成像方法、成像装置、计算机可读存储介质
JP7014261B2 (ja) * 2020-06-15 2022-02-01 ソニーグループ株式会社 制御方法及び制御装置
SE2050738A1 (en) 2020-06-22 2021-12-23 Sony Group Corp System and method for image content recording of a moving user
US11256257B2 (en) 2020-06-30 2022-02-22 Sony Group Corporation Method of multi-drone camera control
US20230350413A1 (en) * 2020-07-20 2023-11-02 Canon U.S.A., Inc. Control system for an unmanned autonomous vehicle
US11737529B2 (en) 2020-09-23 2023-08-29 Yasiel Garcia Flying umbrella assembly
US11790671B2 (en) * 2020-10-05 2023-10-17 Crazing Lab, Inc. Vision based light detection and ranging system using multi-fields of view
CN114390191B (zh) * 2020-10-22 2023-11-10 华为技术有限公司 录像方法、电子设备及存储介质
EP3992936B1 (en) 2020-11-02 2023-09-13 Axis AB A method of activating an object-specific action when tracking a moving object
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
CN112866611A (zh) * 2020-12-31 2021-05-28 上海新住信机电集成有限公司 一种智能楼宇监控系统
JP2021073796A (ja) * 2021-01-25 2021-05-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、及び画像を取得する方法
CN112947519A (zh) * 2021-02-05 2021-06-11 北京御航智能科技有限公司 一种无人机的巡检方法、装置及边缘计算模块
US20220262263A1 (en) * 2021-02-16 2022-08-18 Flir Unmanned Aerial Systems Ulc Unmanned aerial vehicle search and rescue systems and methods
PL4047434T3 (pl) * 2021-02-19 2024-04-15 Anarky Labs Oy Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar
CN112784815B (zh) * 2021-02-19 2024-05-03 苏州科知律信息科技有限公司 一种无人机巡航目标识别方法、装置及云服务器
CN113252008B (zh) * 2021-04-17 2022-09-20 应急管理部国家自然灾害防治研究院 一种航空遥感窄视场相机拍摄控制方法
CN113286077A (zh) * 2021-04-19 2021-08-20 瑞泰影像科技(深圳)有限公司 全自动摄像头跟踪识别技术
US20220340276A1 (en) * 2021-04-27 2022-10-27 Joseph Harris Drone Umbrella Device
CN113184195B (zh) * 2021-06-25 2021-08-31 山东科技职业学院 一种智能配送系统
FR3129237B1 (fr) * 2021-11-17 2024-04-19 Airbus Defence & Space Sas Procédé d'acquisition d'images d'un objet spatial en orbite terrestre par un engin spatial en orbite terrestre
CN114044158B (zh) * 2021-11-29 2024-06-04 浙江图盛输变电工程有限公司温州科技分公司 基于人工智能图像识别的无人机自动驾驶系统
CN114485267B (zh) * 2021-12-30 2023-06-09 北京理工大学 一种发射与光电协同控制方法
CN114368335B (zh) * 2022-02-24 2023-04-18 浙江华云清洁能源有限公司 一种无人机纠偏装置和具有该无人机纠偏装置的移动车
WO2024092586A1 (zh) * 2022-11-02 2024-05-10 深圳市大疆创新科技有限公司 无人机的控制方法、装置及存储介质
KR20240088178A (ko) * 2022-12-13 2024-06-20 (주)이오시스템 드론 전투체계를 위한 표적추적시스템 및 그 제어방법
US11861894B1 (en) * 2023-05-05 2024-01-02 Royce Geospatial Consultants, Inc. Target custody platform for modeling target navigation trajectory with confidence intervals
CN117035745B (zh) * 2023-10-07 2023-12-19 上海华建电力设备股份有限公司 一种变电站线路保护系统及方法

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5927142B2 (ja) * 1975-11-21 1984-07-03 フジタ タカユキ テレビカメラノジドウツイビソウチ
DE4010073A1 (de) 1990-03-29 1991-10-02 Wabco Westinghouse Fahrzeug Einrichtung zur bergfahrt-erkennung
JPH0973543A (ja) * 1995-09-06 1997-03-18 Toshiba Corp 画像処理装置
US6460810B2 (en) 1996-09-06 2002-10-08 Terry Jack James Semiautonomous flight director
US6055523A (en) * 1997-07-15 2000-04-25 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for multi-sensor, multi-target tracking using a genetic algorithm
ATE305150T1 (de) 2000-05-17 2005-10-15 Boeing Co Intuitives fahrzeug und maschinensteuerung
US7173650B2 (en) * 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP4284949B2 (ja) * 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP4141860B2 (ja) * 2003-02-26 2008-08-27 健蔵 野波 小型無人ヘリコプタの自律制御装置及びプログラム
JP4133435B2 (ja) * 2003-02-26 2008-08-13 健蔵 野波 小型無人ヘリコプタの自律制御方法
US7555383B2 (en) 2003-05-28 2009-06-30 Northrop Grumman Corporation Target acquisition and tracking system
US7343232B2 (en) * 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
IL157098A (en) * 2003-07-24 2009-07-20 Rafael Advanced Defense Sys Spectral tracking of a target
US7302316B2 (en) 2004-09-14 2007-11-27 Brigham Young University Programmable autopilot system for autonomous flight of unmanned aerial vehicles
US20100004802A1 (en) * 2005-01-25 2010-01-07 William Kress Bodin Navigating UAVS with an on-board digital camera
US7415199B2 (en) 2005-05-24 2008-08-19 Sony Ericsson Mobile Communications Ab Image capture apparatus, methods and computer program products using auto-focus-generated distance estimates to control flash and image stabilization
JP4241673B2 (ja) 2005-06-17 2009-03-18 本田技研工業株式会社 移動体の経路生成装置
JP2007037713A (ja) * 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
DE112006002892B4 (de) 2005-10-21 2022-01-27 Deere & Company Systeme und Verfahren zum Umschalten zwischen autonomer und manueller Bedienung eines Fahrzeugs
US7734387B1 (en) 2006-03-31 2010-06-08 Rockwell Collins, Inc. Motion planner for unmanned ground vehicles traversing at high speeds in partially known environments
US8838289B2 (en) 2006-04-19 2014-09-16 Jed Margolin System and method for safely flying unmanned aerial vehicles in civilian airspace
US7778744B2 (en) 2006-04-20 2010-08-17 Honeywell International Inc. Avionics framework
US7581702B2 (en) 2006-06-09 2009-09-01 Insitu, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
US7587260B2 (en) 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US8355818B2 (en) 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
US8788118B2 (en) 2006-09-06 2014-07-22 Jeffrey A. Matos Systems and methods for detecting and managing the unauthorized use of an unmanned aircraft
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
DE102007032084A1 (de) 2007-07-09 2009-01-22 Eads Deutschland Gmbh Kollisions- und Konfliktvermeidungssystem für autonome unbemannte Flugzeuge (UAV)
GB0713336D0 (en) 2007-07-10 2007-08-22 Hw Comm Ltd Occupancy declaration/verification for passenger transport conveyances
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
CN100487724C (zh) * 2007-10-08 2009-05-13 北京科技大学 一种快速目标识别与定位系统及方法
CN101448142A (zh) * 2007-11-27 2009-06-03 鸿富锦精密工业（深圳）有限公司 影像追踪装置及其影像追踪方法
US8718838B2 (en) * 2007-12-14 2014-05-06 The Boeing Company System and methods for autonomous tracking and surveillance
US9026272B2 (en) * 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
US7970507B2 (en) * 2008-01-23 2011-06-28 Honeywell International Inc. Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle
JP4982407B2 (ja) 2008-02-22 2012-07-25 株式会社東芝 移動体画像追尾装置及び方法
WO2010077389A2 (en) * 2008-08-05 2010-07-08 University Of Florida Research Foundation, Inc. Systems and methods for maintaining multiple objects within a camera field-of-view
FR2935214B1 (fr) 2008-08-20 2010-10-08 Eads Europ Aeronautic Defence Procede et un dispositif de commande, a distance, d'une camera embarquee dans une station mobile
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
IL196923A (en) * 2009-02-05 2014-01-30 Elbit Systems Ltd Driving an imaging device on a suspended communication channel
US20100228406A1 (en) 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
US8977407B2 (en) 2009-05-27 2015-03-10 Honeywell International Inc. Adaptive user interface for semi-automatic operation
US8515609B2 (en) 2009-07-06 2013-08-20 Honeywell International Inc. Flight technical control management for an unmanned aerial vehicle
US9456185B2 (en) 2009-08-26 2016-09-27 Geotech Environmental Equipment, Inc. Helicopter
IL201682A0 (en) 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
CN101726296B (zh) * 2009-12-22 2013-10-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真系统
WO2011091224A1 (en) 2010-01-25 2011-07-28 Waters Technologies Corporation Method for determining equivalent thermal conditions between liquid chromatography systems
US8135503B2 (en) * 2010-04-27 2012-03-13 Honeywell International Inc. Ground proximity sensor
US8634653B1 (en) 2010-06-02 2014-01-21 The Boeing Company Object identification system
US20110304737A1 (en) * 2010-06-15 2011-12-15 Flir Systems, Inc. Gimbal positioning with target velocity compensation
AU2011317319A1 (en) * 2010-10-19 2013-05-02 Bae Systems Plc Sensor positioning for target tracking
IL208910A0 (en) * 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
KR20120044484A (ko) 2010-10-28 2012-05-08 삼성전자주식회사 이미지 처리 시스템에서 물체 추적 장치 및 방법
TWI514324B (zh) 2010-11-30 2015-12-21 Ind Tech Res Inst 影像目標區域追蹤系統與方法及電腦程式產品
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US20120143482A1 (en) 2010-12-02 2012-06-07 Honeywell International Inc. Electronically file and fly unmanned aerial vehicle
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
CN102156481B (zh) * 2011-01-24 2013-06-05 广州嘉崎智能科技有限公司 无人飞行器的智能追踪控制方法及系统
US9930298B2 (en) * 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
TW201249713A (en) * 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
CN102809969A (zh) * 2011-06-03 2012-12-05 鸿富锦精密工业（深圳）有限公司 无人飞行载具控制系统及方法
EP2538298A1 (en) 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US8761439B1 (en) * 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
CN102355574B (zh) * 2011-10-17 2013-12-25 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
IL216515A (en) 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
CN102419598B (zh) * 2011-12-08 2013-11-06 南京航空航天大学 一种多无人机协同侦察移动目标的方法
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
NO334183B1 (no) 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
CN102779347B (zh) * 2012-06-14 2014-08-06 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US20140008496A1 (en) * 2012-07-05 2014-01-09 Zhou Ye Using handheld device to control flying object
US20140018976A1 (en) 2012-07-13 2014-01-16 Honeywell International Inc. System and method for unmanned system data collection, management, and reporting
US9254363B2 (en) 2012-07-17 2016-02-09 Elwha Llc Unmanned device interaction methods and systems
CN202879792U (zh) * 2012-07-24 2013-04-17 金笛 悬浮式航空摄像与追踪自主飞行器系统
US9435520B2 (en) * 2012-08-16 2016-09-06 Ascendant Engineering Solutions Gimbal systems providing high-precision imaging capabilities in a compact form-factor
US20150350614A1 (en) 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
JP6055274B2 (ja) * 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US8798922B2 (en) 2012-11-16 2014-08-05 The Boeing Company Determination of flight path for unmanned aircraft in event of in-flight contingency
EP2733560A1 (en) 2012-11-19 2014-05-21 The Boeing Company Autonomous mission management
US9052013B2 (en) 2012-12-14 2015-06-09 Caterpillar Inc. Grade and payload based transmission gear selection strategy
JP6014484B2 (ja) * 2012-12-21 2016-10-25 セコム株式会社 自律移動ロボット
US9051043B1 (en) 2012-12-28 2015-06-09 Google Inc. Providing emergency medical services using unmanned aerial vehicles
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US9367067B2 (en) 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US9307383B1 (en) 2013-06-12 2016-04-05 Google Inc. Request apparatus for delivery of medical support implement by UAV
US8996207B2 (en) 2013-06-24 2015-03-31 Honeywell International Inc. Systems and methods for autonomous landing using a three dimensional evidence grid
US9650155B2 (en) 2013-06-25 2017-05-16 SZ DJI Technology Co., Ltd Aircraft control apparatus, control system and control method
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
US20150321758A1 (en) 2013-08-31 2015-11-12 II Peter Christopher Sarna UAV deployment and control system
CN103675870B (zh) * 2013-12-04 2016-01-20 海丰通航科技有限公司 追踪器设备
CN103604427B (zh) * 2013-12-10 2016-10-12 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN103778523B (zh) * 2014-01-09 2017-04-19 武汉猎隼科技有限公司 一种垂直起降无人机及其精确定位及避障方法
CN103838244B (zh) * 2014-03-20 2016-08-17 湖南大学 基于四轴飞行器的便携式目标跟踪方法及系统
US9354296B2 (en) 2014-05-20 2016-05-31 Verizon Patent And Licensing Inc. Dynamic selection of unmanned aerial vehicles
US9087451B1 (en) 2014-07-14 2015-07-21 John A. Jarrell Unmanned aerial vehicle communication, monitoring, and traffic management
US10399674B2 (en) 2014-07-28 2019-09-03 Insitu, Inc. Systems and methods countering an unmanned air vehicle
WO2016015251A1 (en) 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking

Also Published As

Publication number Publication date
US9846429B2 (en) 2017-12-19
CN105518555B (zh) 2017-11-03
CN107703963B (zh) 2020-12-01
EP3862837B1 (en) 2023-05-03
WO2016015251A1 (en) 2016-02-04
US20170068246A1 (en) 2017-03-09
US20170108877A1 (en) 2017-04-20
CN107015572A (zh) 2017-08-04
CN105518555A (zh) 2016-04-20
US20170023938A1 (en) 2017-01-26
US20220091607A1 (en) 2022-03-24
CN107577247A (zh) 2018-01-12
CN107168352A (zh) 2017-09-15
JP2017503226A (ja) 2017-01-26
US9567078B2 (en) 2017-02-14
US11194323B2 (en) 2021-12-07
EP3060966B1 (en) 2021-05-05
CN107168352B (zh) 2020-07-14
CN107291104A (zh) 2017-10-24
EP3862837A1 (en) 2021-08-11
US9164506B1 (en) 2015-10-20
CN107015572B (zh) 2021-01-22
CN107577247B (zh) 2021-06-25
US11106201B2 (en) 2021-08-31
US20160031559A1 (en) 2016-02-04
US20170322551A1 (en) 2017-11-09
EP3060966A1 (en) 2016-08-31
EP3060966A4 (en) 2017-01-11
CN107703963A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
JP6784434B2 (ja) 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム
JP6835392B2 (ja) 撮像装置により取得された画像を制御するためのシステム及び方法
US11829139B2 (en) Applications and skills for an autonomous unmanned aerial vehicle
JP2017503226A5 (ja)
US11755041B2 (en) Objective-based control of an autonomous unmanned aerial vehicle
CN108292141B (zh) 用于目标跟踪的方法和系统
JP6849272B2 (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
CN112740226A (zh) 基于人体指示的可移动物体的操作系统和方法
JP2021073796A (ja) 制御装置、及び画像を取得する方法
DE202014011010U1 (de) Systeme zur Zielverfolgung

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160512

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20170807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180326

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6784434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113