JP6735821B2 - Ｕａｖ経路を計画し制御するシステム及び方法 - Google Patents

Ｕａｖ経路を計画し制御するシステム及び方法 Download PDF

Info

Publication number
JP6735821B2
JP6735821B2 JP2018521078A JP2018521078A JP6735821B2 JP 6735821 B2 JP6735821 B2 JP 6735821B2 JP 2018521078 A JP2018521078 A JP 2018521078A JP 2018521078 A JP2018521078 A JP 2018521078A JP 6735821 B2 JP6735821 B2 JP 6735821B2
Authority
JP
Japan
Prior art keywords
reference point
movable object
drone
path
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018521078A
Other languages
English (en)
Other versions
JP2018535487A (ja
Inventor
シャオ フ
シャオ フ
アン リュウ
アン リュウ
リティアン チャン
リティアン チャン
ケタン タァン
ケタン タァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority claimed from PCT/CN2016/074830 external-priority patent/WO2017071143A1/en
Publication of JP2018535487A publication Critical patent/JP2018535487A/ja
Application granted granted Critical
Publication of JP6735821B2 publication Critical patent/JP6735821B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Description

関連出願の相互参照
本願は、２０１５年１０月３０日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＵＡＶ ＩＮＴＥＲＡＣＴＩＶＥ ＩＮＳＴＲＵＣＴＩＯＮＳ ＡＮＤ ＣＯＮＴＲＯＬ」という表題の国際出願第ＰＣＴ／ＣＮ２０１５／０９３４５９号明細書の優先権を主張するものであり、この国際出願の内容は全体的に、参照により本明細書に援用される。
幾つかの用途において、現実世界用途での偵察タスク及び探査タスクでは、搭載物（例えば、カメラ）を運ぶ航空機は、様々な方向で移動するように制御し得る。飛行ナビゲーション方法は、全地球測位システム（ＧＰＳ）データ又はカメラビジョンに基づき得る。しかし、飛行ナビゲーションの実用途の開発は、使用しやすいインタラクティブな制御及びガイダンスシステムがないことにより妨げられてきた。現在、１人又は複数のオペレータが、航空機が所望の方向への飛行及び／又は経路に沿った障害物の回避を行うように、航空機を手動で制御する必要があり得る。現在既知の飛行制御システムは一般に、オペレータが幾らかのレベルの航空経験又は航空機を操作する手動スキルを有することを必要とし、限られたリアルタイム自動制御機能を提供する。使用しやすいインタラクティブな制御及びガイダンスシステムがないことは、特定の用途において航空機の有用性を低減し得る。
直観的であり、使用しやすく、人間が人間−システムインタフェースとの対話を通して航空機を管理し操作できるようにする飛行制御システムが必要とされている。ユーザ側で航空機を手動操縦する負担を有意に低減することができ、したがって、ユーザは、航空機からの物体の視覚的モニタリング及び／又は航空画像の撮像等の搭載物又はミッションオペレーションにより容易に集中することができる。
様々な用途での様々な状況下で航空機の自律飛行機能及びロバスト性を改善するという別の必要性も存在する。用途は、ターゲット方向での航空機の移動を含み得る。状況は、屋内環境及び／又は屋外環境、ＧＰＳ信号がある場所、ＧＰＳ信号がない場所、又はＧＰＳ信号受信が不良な場所、様々な異なる地形、移動経路における障害物等を含み得る。障害物は、静止していることもあれば、又は移動可能であることもある。１つ又は複数の障害物は、航空機の移動方向に沿って存在し得、及び／又は移動方向において出現し得る。幾つかの場合では、障害物は、物体の高速移動群であり得、それにより、群のサイズ及び／又は形状は、不定形であり、物体が移動するにつれて経時変化し得る。したがって、リアルタイム又は準リアルタイムで物体を自動的に検出し、衝突を回避するように被制御様式で航空機の移動経路を調整する必要性が存在する。
本明細書において、少なくとも上記ニーズに応える改善された飛行制御機能を有するシステム、方法、及びデバイスが提供される。改善された追跡機能を無人航空機（ＵＡＶ）等の航空機に組み込むことができる。改善された追跡機能は、「タップアンドゴー」機能を含み得、それにより、ユーザは、ユーザ端末に表示された画像上の一点をタップして、可動物体にターゲット方向に向かって及び／又はターゲット方向において自動的に移動するように命令することができる。幾つかの場合では、手動飛行入力及び／又はユーザによる操作を必要とせずに、可動物体が基準点に到着するための移動経路をターゲット方向に基づいて自動的に生成することができる。移動経路は、可動物体の位置から基準点までの平滑な曲線軌道を定義し得る。移動経路は、可動物体の１つ又は複数の移動特性、消費電力、移動経路に沿った可動物体の操縦のしやすさ、可動物体の向き、及び／又は他のパラメータに基づいて最適化することができる。
幾つかの場合では、改善された飛行制御機能により、移動経路に沿った１つ又は複数の障害物の自動検出及び１つ又は複数の障害物を回避するような移動経路の調整が可能である。そのような機能は、可動物体が、未知の環境、ＧＰＳ信号受信が不良な環境、又は幾つかの障害物を含む環境においてターゲット方向に移動中である場合、特に有用であり得る。
例えば、本発明の幾つかの態様では、可動物体を制御する方法が提供される。本方法は、ターゲット方向に基づいて、可動物体の基準点及び基準点での可動物体の１つ又は複数の移動特性を推定することと、可動物体の位置及び基準点での可動物体の１つ又は複数の移動特性に基づいて、可動物体の位置から基準点への可動物体の移動経路を生成することとを含み得る。
本発明の態様によれば、可動物体を制御する装置が提供される。本装置は、１つ又は複数のプロセッサを備えてもよく、１つ又は複数のプロセッサは、個々に又は集合的に、ターゲット方向に基づいて、可動物体の基準点及び基準点での可動物体の１つ又は複数の移動特性を推定することと、可動物体の位置及び基準点での可動物体の１つ又は複数の移動特性に基づいて、可動物体の位置から基準点への可動物体の移動経路を生成することとを行うように構成される。
本発明の別の態様によれば、実行されると、コンピュータに、可動物体を制御する方法を実行させる命令を記憶した不揮発性コンピュータ可読媒体が提供される。本方法は、ターゲット方向に基づいて、可動物体の基準点及び基準点での可動物体の１つ又は複数の移動特性を推定することと、可動物体の位置及び基準点での可動物体の１つ又は複数の移動特性に基づいて、可動物体の位置から基準点への可動物体の移動経路を生成することとを含み得る。
本発明の追加の態様により、無人航空機（ＵＡＶ）システムを提供し得る。本システムは、ＵＡＶを制御するように動作可能な装置を備えてもよく、前記装置は１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサは、個々に又は集合的に、ターゲット方向に基づいて、ＵＡＶの基準点及び基準点でのＵＡＶの１つ又は複数の移動特性を推定することと、ＵＡＶの位置及び基準点でのＵＡＶの１つ又は複数の移動特性に基づいて、ＵＡＶの位置から基準点へのＵＡＶの移動経路を生成することとを行うように構成される。
本発明の更なる特徴は、可動物体のターゲット方向を特定する方法に関し得る。本方法は、画像をコンピュータ実装ディスプレイに提供することと、ユーザが画像上の一点を選択する場合、画像上の選択されたポイントの位置を取得することと、画像上の選択されたポイントの位置に基づいて、ターゲット方向を特定することとを含み得る。
本発明の態様によれば、可動物体のターゲット方向を特定する装置が提供される。本装置は、１つ又は複数のプロセッサを備えてもよく、１つ又は複数のプロセッサは、個々に又は集合的に、画像をコンピュータ実装ディスプレイに提供することと、ユーザが画像上の一点を選択する場合、画像上の選択されたポイントの位置を取得することと、画像上の選択されたポイントの位置に基づいて、ターゲット方向を特定することとを行うように構成される。
本発明の別の態様によれば、実行されると、コンピュータに可動物体のターゲット方向を特定する方法を実行させる命令を記憶した不揮発性コンピュータ可読媒体が提供される。本方法は、画像をコンピュータ実装ディスプレイに提供することと、ユーザが画像上の一点を選択する場合、画像上の選択されたポイントの位置を取得することと、画像上の選択されたポイントの位置に基づいて、ターゲット方向を特定することとを含み得る。
本発明の追加の態様により、無人航空機（ＵＡＶ）システムを提供し得る。本システムは、ＵＡＶを制御するように動作可能な装置を備えてもよく、前記装置は、１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサは、個々に又は集合的に、画像をコンピュータ実装ディスプレイに提供することと、ユーザが画像上の一点を選択する場合、画像上の選択されたポイントの位置を取得することと、画像上の選択されたポイントの位置に基づいて、ターゲット方向を特定することとを行うように構成される。
本発明の更なる態様は、環境内で可動物体の障害物回避を実行する方法に関し得る。本方法は、可動物体が、移動経路に沿った可動物体の予測移動に基づいて、１つ又は複数の障害物に衝突するか否かを判断することと、可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路を増分的に調整することと、少なくとも１つの方向での各増分角度について、可動物体が１つ又は複数の障害物と衝突することになるか否かを判断することとを含み得る。
本発明の態様によれば、環境内で可動物体の障害物回避を実行する装置が提供される。本装置は、１つ又は複数のプロセッサを備えてもよく、１つ又は複数のプロセッサは、個々に又は集合的に、可動物体が、移動経路に沿った可動物体の予測移動に基づいて、１つ又は複数の障害物に衝突するか否かを判断することと、可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路を増分的に調整することと、少なくとも１つの方向での各増分角度について、可動物体が１つ又は複数の障害物と衝突することになるか否かを判断することとを行うように構成される。
本発明の別の態様によれば、実行されると、コンピュータに環境内で可動物体の障害物回避を実行する方法を実行させる命令を記憶した不揮発性コンピュータ可読媒体が提供される。本方法は、可動物体が、移動経路に沿った可動物体の予測移動に基づいて、１つ又は複数の障害物に衝突するか否かを判断することと、可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路を増分的に調整することと、少なくとも１つの方向での各増分角度について、可動物体が１つ又は複数の障害物と衝突することになるか否かを判断することとを含み得る。
本発明の追加の態様により、無人航空機（ＵＡＶ）システムを提供し得る。本システムは、環境内でＵＡＶの障害物回避を実行するように動作可能な装置を備えてもよく、前記装置は、１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサは、個々に又は集合的に、可動物体が、移動経路に沿った可動物体の予測移動に基づいて、１つ又は複数の障害物に衝突するか否かを判断することと、可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路を増分的に調整することと、少なくとも１つの方向での各増分角度について、可動物体が１つ又は複数の障害物と衝突することになるか否かを判断することとを行うように構成される。
本発明の更なる態様は、環境内で可動物体を制御する方法に関し得る。本方法は、環境内のターゲット方向及び可動物体の１つ又は複数の移動特性に基づいて、可動物体の移動経路を生成することと、環境の少なくとも一部を表す環境マップを使用して、可動物体が１つ又は複数の障害物と衝突する確率を特定することを含み、確率は、移動経路に沿った可動物体の予測移動及び移動経路への１つ又は複数の障害物の予測移動に基づいて特定される。
本発明の態様によれば、環境内で可動物体を制御する装置が提供される。本装置は、１つ又は複数のプロセッサを備えてもよく、１つ又は複数のプロセッサは、個々に又は集合的に、環境内のターゲット方向及び可動物体の１つ又は複数の移動特性に基づいて、可動物体の移動経路を生成することと、環境の少なくとも一部を表す環境マップを使用して、可動物体が１つ又は複数の障害物と衝突する確率を特定することを行い、確率は、移動経路に沿った可動物体の予測移動及び移動経路への１つ又は複数の障害物の予測移動に基づいて特定されるように構成される。
本発明の別の態様によれば、実行されると、コンピュータに、環境内で可動物体を制御する方法を実行させる命令を記憶した不揮発性コンピュータ可読媒体が提供される。本方法は、環境内のターゲット方向及び可動物体の１つ又は複数の移動特性に基づいて、可動物体の移動経路を生成することと、環境の少なくとも一部を表す環境マップを使用して、可動物体が１つ又は複数の障害物と衝突する確率を特定することを含み、確率は、移動経路に沿った可動物体の予測移動及び移動経路への１つ又は複数の障害物の予測移動に基づいて特定される。
本発明の追加の態様により、無人航空機（ＵＡＶ）システムを提供し得る。本システムは、環境内のＵＡＶを制御するように動作可能な装置を備えてもよく、前記装置は１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサは、個々に又は集合的に、環境内のターゲット方向及び可動物体の１つ又は複数の移動特性に基づいて、可動物体の移動経路を生成することと、環境の少なくとも一部を表す環境マップを使用して、可動物体が１つ又は複数の障害物と衝突する確率を特定することを行い、確率は、移動経路に沿った可動物体の予測移動及び移動経路への１つ又は複数の障害物の予測移動に基づいて特定されるように構成される。
本発明の異なる態様が、個々に、集合的に、又は互いと組み合わせて理解することができることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下記載される特定の用途のいずれか又は任意の他のタイプの可動物体に適用し得る。本明細書での航空機のあらゆる記載は、任意の車両等の任意の可動物体に適用し得、使用し得る。さらに、航空移動（例えば、飛行）の状況で本明細書に開示されるシステム、デバイス、及び方法は、地上移動、水上移動、水中移動、又は宇宙空間での移動等の他のタイプの移動の状況で適用することもできる。
本発明の他の目的及び特徴は、明細書、特許請求の範囲、及び添付図を検討することにより明らかになる。
本明細書において言及される全ての公開物、特許、及び特許出願は、個々の各公開物、特許、又は特許出願が特に且つ個々に参照により援用されることが示されるものとして、参照により本明細書に援用される。
本発明の新規の特徴は、特に添付の特許請求の範囲に記載されている。本発明の特徴及び利点のよりよい理解が、本発明の原理が利用される例示的な実施形態を記載する以下の詳細な説明を参照することにより得られる。
幾つかの実施形態による、視覚的対話ナビゲーションに使用されるシステムの例を示す。 幾つかの実施形態による、視覚的対話ナビゲーションシステム内で生じ得る通信の例を示す。 幾つかの実施形態による、ユーザ選択のポイントに基づいて空間ターゲット方向を特定するのに使用することができるカメラ撮像のジオメトリモデルを示す。 幾つかの実施形態による、ユーザがターゲット方向を選択することができるユーザインタフェース（ＵＩ）の例を示す。 幾つかの実施形態による、ユーザがターゲット方向を調整できるユーザインタフェース（ＵＩ）の例を示す。 幾つかの実施形態による、可動物体の方向を制御するフローチャートを示す。 幾つかの他の実施形態による、視覚的対話ナビゲーションシステム内で生じ得る通信の例を示す。 幾つかの実施形態による、可動物体が、ターゲット方向に関連付けられた基準点に向かって移動する場合、とることができる異なる移動経路の例を示す。 幾つかの実施形態による、可動物体の位置からターゲット方向に関連付けられた基準点まで生成される移動経路を示す。 幾つかの実施形態による、可動物体の位置からターゲット方向に関連付けられた複数の基準点まで生成することができる異なる移動経路の例を示す。 部分Ａは、幾つかの実施形態による、可動物体が第１のターゲット方向から第２のターゲット方向まで移動する場合に生成することができる、異なる移動経路の例を示す。 幾つかの更なる実施形態による、視覚的対話ナビゲーションシステム内で生じ得る通信の例を示す。 幾つかの実施形態による、障害物を回避するために上方向又は下方向での可動物体の移動経路の増分的な調整を示す。 幾つかの実施形態による、障害物を回避するために左方向及び右方向での可動物体の移動経路の水平での調整を示す。 幾つかの実施形態による、障害物を回避するために、可動物体が左方向又は右方向に水平に移動するような可動物体の移動経路の調整を示す。 幾つかの実施形態による、障害物を回避するための３Ｄ掃引構成での可動物体の移動経路の調整を示す。 幾つかの実施形態による、１つ又は複数の障害物を回避するための可動物体の移動経路の反復調整を示す。 幾つかの実施形態による、ユーザがターゲット方向を選択することができ、それにより、移動経路が、ターゲット方向において障害物を回避するために、可動物体の移動経路を自動的に調整されるユーザインタフェース（ＵＩ）の例を示す。 幾つかの実施形態による、可動物体の移動経路を生成する方法のフローチャートを示す。 幾つかの実施形態による、可動物体の障害物回避方法のフローチャートを示す。 幾つかの実施形態による、可動物体を制御するシステムの概略ブロック図である。
本明細書において提供されるシステム、方法、及びデバイスは、可動物体の操作のしやすさを改善するのに使用することができる。本明細書において提供される制御システムは、直観的で使用しやすく、ユーザが、グラフィカル人間−システムインタフェースとの対話を通して可動物体を管理し操作できるようにする。グラフィカル人間−システムインタフェースへの入力から特定されるターゲット方向に基づいて、可動物体の移動経路を自動的に生成することができる。移動経路は、可動物体が１つ又は複数の障害物と衝突しないように、自動的に調整することができる。したがって、可動物体を手動操縦するという負担を有意に低減することができ、したがって、ユーザは、物体の視覚的モニタリング及び／又は航空画像撮影等の搭載物又はミッションオペレーションにより容易に集中することができる。改善された機能は、無人航空機（ＵＡＶ）等の任意のタイプの航空機に組み込むことができる。
本発明の異なる態様が、個々に、集合的に、又は互いと組み合わせて理解することができることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下に記載される特定の用途のいずれか又は任意の他のタイプの遠隔制御される車両若しくは可動物体に適用し得る。
図１は、視覚的ナビゲーションに使用されるシステムの例を示す。視覚的ナビゲーションシステム１００は、可動物体１０２と、可動物体との双方向通信が可能なユーザ端末１０６とを含み得る。可動物体は、搭載物１０４を搬送するように構成し得る。ユーザ端末を使用して、可動物体及び／又は搭載物の１つ又は複数の移動特性を制御することができる。例えば、ユーザ端末を使用して、可動物体が環境内を指定された方向１１０に航行可能なように、可動物体を制御することができる。指定された方向は、ユーザ端末へのユーザ入力から特定されるターゲット方向であり得る。１つ又は複数の物体１０８が環境内に存在し得る。幾つかの場合では、ユーザ端末を使用して、可動物体が物体に向かって航行、物体を追跡、物体を追尾、又は物体に関連するデータ（例えば、画像データ）を取得することが可能なように、可動物体を制御することができる。
可動物体１０２は、環境をトラバースすることが可能な任意の物体であり得る。可動物体は、空気、水、陸、及び／又は宇宙空間をトラバースすることが可能であり得る。環境は、静止物体及び移動可能な物体を含み得る。静止物体の例としては、地勢、植物、ランドマーク、建物、一体構造物、又は任意の固定された構造物を挙げることができる。移動可能な物体の例としては、人々、車両、動物、発射体等を挙げることができる。
幾つかの場合では、環境は慣性基準系であり得る。慣性基準系を使用して、時空間を均一的、等方的、及び時間独立的に記述し得る。慣性基準系は、可動物体に相対して確立し得、可動物体に従って移動し得る。慣性基準系での測定は、変換（例えば、ニュートン物理学でのガリレイ変換）により別の基準系（例えば、全球基準系（ｇｌｏｂａｌ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ））での測定に変換することができる。
可動物体１０２は車両であり得る。車両は自己推進車両であり得る。車両は、１つ又は複数の推進ユニットを用いて環境をトラバースし得る。車両は、航空車両、陸ベースの車両、水ベースの車両、又は宇宙空間ベースの車両であり得る。車両は無人車両であり得る。車両は、人間の乗員を乗せずに環境をトラバースすることが可能であり得る。代替的には、車両は人間の乗員を搬送し得る。幾つかの実施形態では、可動物体は無人航空機（ＵＡＶ）であり得る。
本明細書でのＵＡＶ又は任意の他のタイプの可動物体の任意の記載は、任意の他のタイプの可動物体又は様々なカテゴリの可動物体全般に適用し得、又はこの逆も同じであり得る。例えば、本明細書でのＵＡＶの任意の記載は、任意の無人の陸境界、水ベース、又は宇宙ベースの車両に適用し得る。可動物体の更なる例は、本明細書の他の箇所で更に詳細に提供される。
上述したように、可動物体は、環境内でトラバースすることが可能であり得る。可動物体は、三次元内で飛行することが可能であり得る。可動物体は、１つ、２つ、又は３つの軸に沿って空間並進することが可能であり得る。１つ、２つ、又は３つの軸は互いに直交し得る。軸は、ピッチ軸、ヨー軸、及び／又はロール軸に沿い得る。可動物体は、１つ、２つ、又は３つの軸の回りを回転可能であることもできる。１つ、２つ、又は３つの軸は、互いに直交し得る。軸は、ピッチ軸、ヨー軸、及び／又はロール軸であり得る。可動物体は、最高で自由度６に沿って移動可能であり得る。可動物体は、移動において可動物体を支援し得る１つ又は複数の推進ユニットを含み得る。例えば、可動物体は、１つ、２つ、又は３つ以上の推進ユニットを有するＵＡＶであり得る。推進ユニットは、ＵＡＶの揚力を生成するように構成し得る。推進ユニットは回転翼を含み得る。可動物体はマルチ回転翼ＵＡＶであり得る。
可動物体は任意の物理的構成を有し得る。例えば、可動物体は、中心体から延びる１つ又はアーム又は分岐部を有する中心体を有し得る。アームは中心体から側方又は放射状に延び得る。アームは、中心体に相対して移動可能であってもよく、又は中心体に相対して静止してもよい。アームは、１つ又は複数の推進ユニットを支持し得る。例えば、各アームは、１つ、２つ、又は３つ以上の推進ユニットを支持し得る。
可動物体は筐体を有し得る。筐体は、１つの一体片、２つの一体片、又は複数の個片から形成し得る。筐体は、１つ若しくは複数の構成要素が配置されるキャビティを含み得る。構成要素は、飛行コントローラ、１つ若しくは複数のプロセッサ、１つ若しくは複数のメモリ記憶ユニット、１つ若しくは複数のセンサ（例えば、１つ若しくは複数の慣性センサ又は本明細書の他の箇所に記載される任意の他のタイプのセンサ）、１つ若しくは複数のナビゲーションユニット（例えば、全地球測位システム（ＧＰＳ）ユニット）、１つ若しくは通信ユニット、又は任意の他のタイプの構成要素等の電気構成要素であり得る。筐体は、単一のキャビティ又は複数のキャビティを有し得る。幾つかの場合では、飛行コントローラは、１つ又は複数の推進ユニットと通信し得、及び／又は１つ又は複数の推進ユニットの動作を制御し得る。飛行コントローラは、１つ又は複数の電子速度制御（ＥＳＣ）モジュールを用いて１つ又は複数の推進ユニットと通信し、及び／又はその動作を制御し得る。飛行コントローラは、ＥＳＣモジュールと通信して、推進ユニットの動作を制御し得る。
可動物体はオンボード搭載物１０４を支持し得る。搭載物は、可動物体に相対して固定値を有してもよく、又は可動物体に相対して移動可能であってもよい。搭載物は、可動物体に相対して空間的に並進し得る。例えば、搭載物は、可動物体に相対して１つ、２つ、又は３つの軸に沿って移動し得る。搭載物は、可動物体に相対して回転することもできる。例えば、搭載物は、可動物体に相対して１つ、２つ、又は３つの軸の回りを回転し得る。軸は互いに直交し得る。軸は、ピッチ軸、ヨー軸、及び／又はロール軸であり得る。代替的には、搭載物は、可動物体内に固定又は統合し得る。
搭載物は、支持機構を用いて可動物体に相対して移動可能であり得る。支持機構は、可動物体に相対する支持機構の移動を可能にし得る１つ又は複数のジンバルステージを含み得る。例えば、支持機構は、支持機構が可動物体に相対して第１の軸の回りを回転できるようにし得る第１のジンバルステージ、支持機構が可動物体に相対して第２の軸の回りを回転できるようにし得る第２のジンバルステージ、及び／又は支持機構が可動物体に相対して第３の軸の回りを回転できるようにし得る第３のジンバルステージを含み得る。本明細書の他の箇所に記載される支持機構の任意の説明及び／又は特徴が該当し得る。
搭載物は、可動物体周囲の環境を感知可能なデバイス、信号を環境に放射可能なデバイス、及び／又は環境と相互作用可能なデバイスを含み得る。
１つ又は複数のセンサは、搭載物として提供し得、環境を感知可能であり得る。１つ又は複数のセンサは、撮像デバイスを含み得る。撮像デバイスは物理的な撮像デバイスであり得る。撮像デバイスは、電磁放射線（例えば、可視光、赤外線光、及び／又は紫外線光）を検出し、検出された電磁放射線に基づいて画像データを生成するように構成することができる。撮像デバイスは、光の波長に応答して電気信号を生成する電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサを含み得る。生成される電気信号は処理されて、画像データを生成することができる。撮像デバイスにより生成される画像データは、１つ又は複数の画像を含むことができ、画像は静止画（例えば、写真）、動的画像（例えば、ビデオ）、又はそれらの適する組合せであり得る。画像データは、多色性（例えば、ＲＧＢ、ＣＭＹＫ、ＨＳＶ）であってもよく、又は単色性（例えば、グレースケール、白黒、セピア）であってもよい。撮像デバイスは、光を画像センサに向けるように構成されたレンズを含み得る。
撮像デバイスはカメラであることができる。カメラは、動的画像データ（例えば、ビデオ）を捕捉するムービーカメラ又はビデオカメラであることができる。カメラは、静止画（例えば、写真）を捕捉するスチルカメラであることができる。カメラは、動的画像データ及び静的画像の両方を捕捉し得る。カメラは、動的画像データの捕捉と静止画の捕捉とを切り替え得る。本明細書に提供される特定の実施形態は、カメラの状況で説明されるが、本開示が任意の適する撮像デバイスに適用可能であり、カメラに関連する本明細書での任意の説明が、任意の適する撮像デバイスにも適用可能であり、カメラに関連する本明細書での任意の説明が、他のタイプの撮像デバイスにも適用可能なことが理解されるものとする。カメラを使用して、３Ｄシーン（例えば、環境、１つ又は複数の物体等）の２Ｄ画像を生成することができる。カメラにより生成される画像は、３Ｄシーンの２Ｄ画像面への射影を表すことができる。したがって、２Ｄ画像内の各点は、シーンでの３Ｄ空間座標に対応する。カメラは光学要素（例えば、レンズ、ミラー、フィルタ等）を備え得る。カメラは、カラー画像、グレースケール画像、赤外線画像等を捕捉し得る。カメラは、赤外線画像を捕捉するように構成される場合、熱撮像デバイスであり得る。
幾つかの実施形態では、搭載物は、複数の撮像デバイス又は複数のレンズ及び／又は画像センサを有する撮像デバイスを含み得る。搭載物は、複数の画像を略同時に撮影可能であり得る。複数の画像は、３Ｄシーン、３Ｄ仮想環境、３Ｄマップ、又は３Ｄモデルの作成を支援し得る。例えば、右画像及び左画像を撮影し、立体マッピングに使用し得る。較正両眼画像から深度マップを計算し得る。任意の数の画像（例えば、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上、７つ以上、８つ以上、９つ以上）を同時に撮影して、３Ｄシーン／仮想環境／モデル及び／又は深度マッピングの作成を支援し得る。画像は、略同じ方向に向けられてもよく、又はわずかに異なる方向に向けられてもよい。幾つかの場合では、他のセンサ（例えば、超音波データ、ＬＩＤＡＲデータ、本明細書の他の箇所に記載される任意の他のセンサからのデータ、又は外部デバイスからのデータ）からのデータは、２Ｄ又は３Ｄの画像又はマップの作成を支援し得る。
撮像デバイスは、特定の画像解像度で画像又は一連の画像を捕捉し得る。幾つかの実施形態では、画像解像度は、画像内のピクセル数によって定義し得る。幾つかの実施形態では、画像解像度は、約３５２×４２０ピクセル以上、約４８０×３２０ピクセル以上、約７２０×４８０ピクセル以上、約１２８０×７２０ピクセル以上、約１４４０×１０８０ピクセル以上、約１９２０×１０８０ピクセル以上、約２０４８×１０８０ピクセル以上、約３８４０×２１６０ピクセル以上、約４０９６×２１６０ピクセル以上、約７６８０×４３２０ピクセル以上、又は約１５３６０×８６４０ピクセル以上であり得る。幾つかの実施形態では、カメラは、４Ｋカメラ又はより高い解像度を有するカメラであり得る。
撮像デバイスは、特定の捕捉率で一連の画像を捕捉し得る。幾つかの実施形態では、一連の画像は、約２４ｐ、約２５ｐ、約３０ｐ、約４８ｐ、約５０ｐ、約６０ｐ、約７２ｐ、約９０ｐ、約１００ｐ、約１２０ｐ、約３００ｐ、約５０ｉ、又は約６０ｉ等の標準ビデオフレーム率で捕捉し得る。幾つかの実施形態では、一連の画像は、速度が０．０００１秒以下、０．０００２秒以下、０．０００５秒以下、０．００１秒以下、０．００２秒以下、０．００５秒以下、０．０１秒以下、０．０２秒以下、０．０５秒以下、０．１秒以下、０．２秒以下、０．５秒以下、１秒以下、２秒以下、５秒以下、又は１０秒以下毎に約１枚の画像を捕捉し得る。幾つかの実施形態では、捕捉率は、ユーザ入力及び／又は外部状況（例えば、雨、雪、風、環境の不明瞭な表面テクスチャ）に応じて変更し得る。
撮像デバイスは、調整可能なパラメータを有し得る。同一の外部状況（例えば、場所、照明）の影響下にありながら、異なるパラメータ下で、異なる画像を撮像デバイスにより捕捉し得る。調整可能なパラメータは、露出（例えば、露出時間、シャッタ速度、アパーチャ、フィルム速度）、利得、ガンマ、関心領域、ビニング／サブサンプリング、ピクセルクロック、オフセット、トリガーリング、ＩＳＯ等を含み得る。露出に関連するパラメータは、撮像デバイス内の画像センサに達する光量を制御し得る。例えば、シャッタ速度は、光が画像センサに達する時間量を制御し得、アパーチャは、所与の時間で画像センサに達する光量を制御し得る。利得に関連するパラメータは、光学センサからの信号の増幅を制御し得る。ＩＳＯは、利用可能な光へのカメラの感度レベルを制御し得る。露出及び利得を制御するパラメータはまとめて考慮し得、本明細書では、エクスポ（ＥＸＰＯ）と呼ばれ得る。
幾つかの代替の実施形態では、撮像デバイスは物理的撮像デバイスを超え得る。例えば、撮像デバイスは、画像又はビデオフレームの捕捉及び／又は生成が可能な任意の技法を含み得る。幾つかの実施形態では、撮像デバイスは、別の物理的デバイスから得られた画像を処理可能なアルゴリズムを指し得る。
搭載物は１つ又は複数のタイプのセンサを含み得る。センサのタイプの幾つかの例としては、場所センサ（例えば、全地球測位システム（ＧＰＳ）センサ、場所の三角測量を可能にするモバイルデバイス送信機）、ビジョンセンサ（例えば、カメラ等の可視光、赤外線光、又は紫外線光を検出可能な撮像デバイス）、近接性又は距離センサ（例えば、超音波センサ、ライダー、飛行時間又は深度カメラ）、慣性センサ（例えば、加速度計、ジャイロスコープ、及び／又は重力検出センサ、これらは慣性測定ユニット（ＩＭＵ）を形成し得る）、高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、気圧計）、温度センサ、湿度センサ、振動センサ、オーディオセンサ（例えば、マイクロフォン）、及び／又はフィールドセンサ（例えば、磁力計、電磁センサ、電波センサ）を挙げることができる。
搭載物は、信号を環境に放射可能な１つ又は複数のデバイスを含み得る。例えば、搭載物は、電磁スペクトルに沿ったエミッタ（例えば、可視光エミッタ、紫外線エミッタ、赤外線エミッタ）を含み得る。搭載物は、レーザ又は任意の他のタイプの電磁エミッタを含み得る。搭載物は、超音波信号等の１つ又は複数の振動を放射し得る。搭載物は可聴音を放射し得る（例えば、スピーカから）。搭載物は、電波信号又は他のタイプの信号等の電波信号を放射し得る。
搭載物は、環境と相互作用可能であり得る。例えば、搭載物はロボットアームを含み得る。搭載物は、液体成分、気体成分、及び／又は固体成分等の送出品目を含み得る。例えば、搭載物は、殺虫剤、水、肥料、抗火材料、食料、パッケージ、又は任意の他の品目を含み得る。
本明細書での搭載物の任意の例は、可動物体により搬送し得るデバイス又は可動物体の一部であり得るデバイスに適用し得る。例えば、１つ又は複数のセンサは、可動物体の一部であり得る。１つ又は複数のセンサは、搭載物に加えて提供し得る。これは、本明細書に記載される搭載物等の任意のタイプの搭載物に適用し得る。
可動物体は、ユーザ端末１０６と通信可能であり得る。ユーザ端末は、可動物体自体、可動物体の搭載物、及び／又は可動物体の支持機構と通信し得、支持機構は搭載物の支持に使用される。本明細書での可動物体との通信という任意の記載は、可動物体の搭載物との通信、可動物体の支持機構との通信、及び／又は可動物体の１つ又は複数の個々の構成要素（例えば、通信ユニット、ナビゲーションユニット、推進ユニット、電源、プロセッサ、メモリ記憶ユニット、及び／又はアクチュエータ）との通信にも適用し得る。
可動物体とユーザ端末との通信は、無線通信であり得る。可動物体とユーザ端末との間に直接通信を提供し得る。直接通信は、いかなる中間デバイス又はネットワークも必要とせずに行い得る。可動物体とユーザ端末との間に間接通信を提供し得る。間接通信は、１つ又は複数の中間デバイス又はネットワークを用いて行い得る。例えば、間接通信は、電気通信ネットワークを利用し得る。間接通信は、１つ又は複数のルータ、通信塔、衛星、又は任意の他の中間デバイス若しくはネットワークを用いて実行し得る。通信のタイプの例としては、限定ではなく、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）技術、汎用パケット無線サービス（ＧＰＲＳ）、ＧＳＭ（登録商標）、エンハンストデータＧＳＭ環境（ＥＤＧＥ）、３Ｇ、４Ｇ、又はロングタームエボリューション（ＬＴＥ）プロトコル等のモバイルデータプロトコルに基づくネットワーク、赤外線（ＩＲ）通信技術、及び／又はＷｉ−Ｆｉを挙げることができ、無線、有線、又はそれらの組合せを介する通信であり得る。
ユーザ端末は、任意のタイプの外部デバイスであり得る。ユーザ端末の例としては、限定ではなく、スマートフォン／セルフォン、タブレット、個人情報端末（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、メディアコンテンツプレーヤ、ビデオゲーミングステーション／システム、仮想現実システム、拡張現実システム、ウェアラブルデバイス（例えば、時計、眼鏡、手袋、ヘッドギア（帽子、ヘルメット、仮想現実ヘッドセット、拡張現実ヘッドセット、ヘッドマウントデバイス（ＨＭＤ）、ヘッドバンド等）、ペンダント、アームバンド、足バンド、靴、ベスト）、ジェスチャ認識デバイス、マイクロフォン、画像データを提供若しくはレンダリング可能な任意の電子デバイス、又は任意の他のタイプのデバイスを挙げることができる。ユーザ端末は、ハンドヘルド物体であり得る。ユーザ端末はポータブルであり得る。ユーザ端末は、人間ユーザにより携帯し得る。幾つかの場合では、ユーザ端末は、人間ユーザからリモートに配置し得、ユーザは、無線通信及び／又は有線通信を使用してユーザ端末を制御することができる。ユーザ端末の様々な例及び／又は特徴は、本明細書の他の箇所で更に詳細に提供される。
ユーザ端末は、１つ又は複数の動作の命令を提供し得る不揮発性コンピュータ可読媒体を実行可能であり得る１つ又は複数のプロセッサを含み得る。ユーザ端末は、１つ又は複数の動作を実行するコード、論理、又は命令を含む不揮発性コンピュータ可読媒体を含む１つ又は複数のメモリ記憶デバイスを含み得る。ユーザ端末は、ユーザ端末が可動物体と通信し、可動物体から撮像データを受信できるようにするソフトウェアアプリケーションを含み得る。ユーザ端末は通信ユニットを含み得、通信ユニットにより、可動物体との通信が可能になり得る。幾つかの場合では、通信ユニットは、単一の通信モジュール又は複数の通信モジュールを含み得る。幾つかの場合では、ユーザ端末は、単一の通信リンク又は複数の異なるタイプの通信リンクを使用して可動物体と対話可能であり得る。
ユーザ端末はディスプレイを含み得る。ディスプレイは画面であり得る。ディスプレイは、タッチスクリーンであってもよく、又はタッチスクリーンでなくともよい。ディスプレイは発光ダイオード（ＬＥＤ）画面、ＯＬＥＤ画面、液晶ディスプレイ（ＬＣＤ）画面、プラズマ画面、又は任意の他のタイプの画面であり得る。ディスプレイは、グラフィカルユーザインタフェース（ＧＵＩ）を示すように構成し得る。ＧＵＩは、ユーザがＵＡＶの動作を制御できるようにし得る画像を示し得る。例えば、ユーザは、画像から可動物体の移動方向を選択し得る。ユーザは、画像の一部（例えば、点、領域、及び／又は物体）を選択して、ターゲット方向を定義し得る。ユーザは、画面（例えば、タッチスクリーン）に直接触れることにより、ターゲット方向を選択し得る。ユーザは、例えば、画面上のポイントに触れることにより、画面の一部に触れ得る。代替的には、ユーザは、既存の領域セットから画面上の領域を選択してもよく、領域の境界、領域の直径を描画してもよく、又は任意の他の方法で画面の一部を指定してもよい。ユーザは、ユーザ対話デバイス（例えば、マウス、ジョイスティック、キーボード、トラックボール、タッチパッド、ボタン、音声コマンド、ジェスチャ認識、姿勢センサ、端末センサ、タッチ容量性センサ、又は任意の他のデバイス）を用いて、画像の一部を選択することにより、ターゲット方向を選択し得る。タッチスクリーンは、ユーザのタッチの位置、タッチの長さ、タッチの圧力、及び／又はタッチの移動を検出するように構成し得、それにより、上述したタッチ様式のそれぞれは、ユーザからの特定の入力コマンドを示し得る。
ディスプレイ上の画像は、可動物体の搭載物を用いて収集されたビューを示し得る。例えば、撮像デバイスにより捕捉された画像をディスプレイに表示し得る。これは一人称視点（ＦＰＶ）と見なし得る。幾つかの場合では、単一の撮像デバイスを提供し得、単一のＦＰＶを提供しうる。代替的には、異なる視野を有する複数の撮像デバイスを提供し得る。ビューは複数のＦＰＶ間で切り替えてもよく、又は複数のＦＰＶを同時に表示してもよい。複数のＦＰＶは、異なる視野を有し得る異なる撮像デバイスに対応（又は異なる撮像デバイスにより生成）し得る。ユーザ端末におけるユーザは、撮像デバイスにより収集された画像の一部を選択して、ターゲット及び／又は可動物体による移動方向を指定し得る。
別の例では、ディスプレイ上の画像は、可動物体の搭載物からの情報を用いて生成し得るマップを示し得る。マップは、任意選択的に、立体マッピング技法を使用し得る複数の撮像デバイス（例えば、右カメラ、左カメラ、又はより多くのカメラ）を用いて生成し得る。幾つかの場合では、マップは、環境に相対する可動物体、環境に相対する撮像デバイス、及び／又は撮像デバイスに相対する可動物体についての位置情報に基づいて生成し得る。位置情報は、姿勢情報、空間場所情報、角速度、線形速度、角加速度、及び／又は線形加速度を含み得る。マップは、任意選択的に、本明細書の他の箇所で更に詳細に記載されるように、１つ又は複数の追加のセンサを用いて生成し得る。マップは、二次元（２Ｄ）マップ又は三次元（３Ｄ）マップであり得る。ビューは、二次元マップビューと三次元マップビューとの間で切り替えてもよく、又は二次元マップビュー及び三次元マップビューを同時に表示してもよい。ユーザ端末におけるユーザは、マップの一部を選択して、ターゲット及び／又は可動物体による移動方向を指定し得る。ビューは、１つ又は複数のＦＰＶと１つ又は複数のマップビューとの間で切り替えてもよく、又は１つ又は複数のＦＰＶ及び１つ又は複数のマップビューを同時に表示してもよい。ユーザは、ビューのいずれかを使用してターゲット又は方向を選択し得る。ユーザにより選択される部分は、ターゲット及び／又は方向を含み得る。ユーザは、記載のように、選択技法のいずれかを使用して一部を選択し得る。
幾つかの実施形態では、画像は、ユーザ端末（例えば、仮想現実システム又は拡張現実システム）に表示される３Ｄ仮想環境において提供し得る。３Ｄ仮想環境は、任意選択的に、３Ｄマップに対応し得る。仮想環境は、ユーザが操作することができる複数のポイント又は物体を含み得る。ユーザは、仮想環境内の様々な異なる動作を通してポイント又は物体を操作することができる。それらの動作の例としては、１つ又は複数のポイント又は物体の選択、ドラッグアンドドロップ、並進、回転、スピン、プッシュ、プル、ズームイン、ズームアウト等を挙げることができる。三次元仮想空間でのポイント又は物体の任意のタイプの移動動作を意図し得る。ユーザ端末におけるユーザは、仮想環境内のポイント又は物体を操作して、可動物体の移動経路及び／又は可動物体の移動特性を制御し得る。
ユーザ端末は、任意選択的に、可動物体の飛行等の可動物体の移動を制御するのに使用し得る。ユーザ端末は、ユーザが可動物体の飛行を手動で直接制御できるようにし得る。代替的には、ユーザが可動物体の飛行を手動で直接制御できるようにし得る別個のデバイスを提供し得る。別個のデバイスは、ユーザ端末と通信してもよく、又は通信しなくともよい。可動物体の飛行は、任意選択的に、完全に自律的又は半自律的であり得る。ユーザ端末は、任意選択的に、可動物体の任意の構成要素（例えば、搭載物の動作、支持機構の動作、１つ又は複数のセンサ、通信、ナビゲーション、着陸スタンド、１つ又は複数の構成要素の作動、電源制御、又は任意の他の機能）の制御に使用し得る。代替的には、別個のデバイスは、可動物体の１つ又は複数の構成要素の制御に使用し得る。別個のデバイスは、ユーザ端末と通信してもよく、又は通信しなくともよい。１つ又は複数の構成要素は、１つ又は複数のプロセッサを用いて自動的に制御し得る。
ターゲット方向１１０は、ユーザにより選択し得る。可動物体は、ターゲット方向において移動し得る。ターゲット方向は、ユーザが画像（例えば、ＦＰＶ又はマップビュー内の）一部を選択することにより選択し得る。可動物体は、撤回命令が受信されるまで、又は撤回条件が実現される場合、ターゲット方向において移動し得る。例えば、可動物体は、新しい方向が入力されるまで、ターゲット方向において自動的に移動し得る。可動物体は、異なる飛行モードが選択されるまで、ターゲット方向において移動し得る。例えば、ユーザは、可動物体の飛行を手動制御し得る。
可動物体の移動に対して制限を提供し得る。別の場合、飛行制限を適用し得る状況を検出し得る。更に詳細に後述するように、ターゲット追跡又は方向追跡を実行している際、障害物回避が生じ得る。飛行上昇限度、飛行下降限度、範囲制限、又は他のタイプの飛行制限等の追加の制限を適用し得る。
図２は、視覚的ナビゲーションシステム内で生じ得る通信の例を示す。視覚的ナビゲーションシステム２００内で、ユーザ端末２０６は提供され、１人又は複数のユーザから入力を受け入れるように構成し得る。ユーザ端末は可動物体と通信し得る。例えば、ユーザ端末は、可動物体に搭載される撮像デバイス２０４及び移動コントローラ２１８と通信し得る。視覚的ナビゲーションシステムは、ユーザ端末、撮像デバイス、及び移動コントローラと通信する方向分析器２１２を更に含み得る。方向分析器は、移動コントローラの一部であってもよく、又は一部でなくともよい。方向分析器は、ユーザ端末へのユーザ入力及び撮像デバイスにより得られる１つ又は複数の画像に基づいて、可動物体のターゲット方向を特定するように構成することができる。撮像デバイスは、１つ又は複数の物体２０８及び／又は１つ又は複数の方向２１０を示す部分を含み得る画像を捕捉することができる。
ユーザ端末は出力デバイスを含み得る。出力デバイスは、画面等のディスプレイであり得る。画面は入力デバイスとして機能することもできる。ユーザは、画面を介してユーザ端末と対話し得る。例えば、出力デバイスがタッチスクリーンである場合、ユーザは、様々な動作を通して視覚的物体を選択（クリック又はタッチ）することにより、タッチスクリーン上のグラフィカルユーザインタフェース（ＧＵＩ）内の視覚的物体を操作することができる。それらの動作の例としては、１つ又は複数のポイント又は物体の選択、形状の描画、ドラッグアンドドロップ、並進、回転、スピン、プッシュ、プル、ズームイン、ズームアウト等を挙げることができる。ＧＵＩ内の任意のタイプのユーザ動作を意図し得る。ユーザ端末におけるユーザは、ＧＵＩ内の視覚的物体を操作して、可動物体の方向、移動経路、追跡機能、及び／又は移動特性を制御することができる。
ディスプレイは、本明細書の他の箇所に記載される任意の特徴を有し得る。ディスプレイは、ユーザ端末に組み込んでもよく、又はユーザ端末の残りの部分とは別個に提供してもよい。ユーザ端末の残りの部分とは別個に提供される場合、ディスプレイはユーザ端末と通信し得る。任意選択的に、出力デバイスとユーザ端末の残りの部分との間に双方向通信を提供し得る。
ユーザ端末は、出力デバイスに、１つ又は複数の画像を表示するように構成し得、１つ又は複数の画像を通して、ユーザはターゲット方向を選択することができる。上述したように、画像はＦＰＶ及び／又はマップビューを含み得る。画像は、ライブ画像又はターゲット方向が選択された後、ターゲット方向の視覚的表現を含み得る。ターゲット方向は、ユーザが画像において選択を行う場合、特定し得る。例えば、ユーザにより選択される画像の一部は、ターゲット方向を構成し得る。
１つ又は複数の撮像デバイス２０４を提供し得る。１つ又は複数の撮像デバイスは、略同じ視野又は異なる視野を有し得る。１つ又は複数の撮像デバイスは、可動物体に相対して移動可能であり得、一方、１つ又は複数の撮像デバイスは、可動物体に相対して静止し得る。一例では、撮像デバイスの１つ又は複数は、撮像デバイスが可動物体に相対して移動できるようにし得る支持機構により支持し得る。撮像デバイスの１つ又は複数は、直接、可動物体上にあってもよく、可動物体と同じ方向及び速度で移動してもよく、及び／又は可動物体に相対して移動しなくともよい。
１つ又は複数の撮像デバイスは、環境の画像を捕捉し得る。環境は、１つ又は複数の物体２０８を含み得る。方向２１０は、ユーザが画像内で選択する場合、定義又は特定し得る。ターゲット方向は、１つ又は複数の物体の画像から定義又は特定し得る。１つ又は複数の撮像デバイスにより捕捉された画像データは、例えば、１つ又は複数の物体の静止画又はビデオフレームに対応し得る。物体は、可動物体により光学的に撮像することができる任意の物理的物体又は構造を含み得る。物体は、２Ｄ若しくは３Ｄフォーマットで静止画及び／又はビデオフレームで示すことができ、リアルライフ及び／若しくはアニメーション化することができ、カラー、白／黒、若しくはグレースケールであることができ、任意の色空間にあることができ、又はワイヤフレームモデルであることができる。１つ又は複数の撮像デバイスからの画像は、撮像デバイスからユーザ端末に送信し、ユーザ端末の出力デバイスにレンダリングし得る。
画像データは、撮像デバイスから方向分析器２１２に送信することができる。方向分析器は、オンボード撮像デバイス、オンボード支持機構、オンボード可動物体、又は外部デバイス（例えば、ユーザ端末、サーバ等）であることができる。幾つかの実施形態では、方向分析器は、撮像デバイスからリモートに配置し得る。例えば、方向分析器は、撮像デバイスと通信するリモートサーバに配置し得る。方向分析器は、任意の他のタイプの外部デバイス（例えば、可動物体のリモートコントローラ、基準場所を有する基地局等）に提供してもよく、又はクラウド計算基盤に分散してもよい。幾つかの実施形態では、方向分析器及び移動コントローラは同じデバイスに配置し得る。他の実施形態では、方向分析器及び移動コントローラは、異なるデバイスに配置し得る。方向分析器及び移動コントローラは、有線又は無線通信チャネルを介して通信し得る。幾つかの実施形態では、方向分析器は可動物体に配置し得る。例えば、方向分析器は、可動物体の筐体に配置し得る。幾つかの更なる実施形態では、方向分析器は、可動物体と通信する基地局に配置し得る。方向分析器は、（ｉ）撮像デバイスから画像データを受信し、（ｉｉ）ユーザ端末から入力を受信し、それにより、入力を使用してターゲット方向が特定され、（ｉｉｉ）画像データを参照して入力を分析して、カメラ座標系及び世界座標系の両方でターゲット方向を特定し、（ｉｖ）ターゲット方向を移動コントローラ及びユーザ端末に送信することが可能な限り、任意の場所に配置し得る。幾つかの場合では、ユーザ端末は、レンダリングされた画像上のグラフィカル要素としてターゲット方向を表示するように構成し得る。移動コントローラは、ターゲット方向に基づいて可動物体の移動を行うように構成し得る。
幾つかの実施形態では、撮像デバイスにより捕捉された画像データは、画像データが方向分析器に提供される前、媒体ストレージ（図示せず）に記憶し得る。方向分析器は、媒体ストレージから直接、画像データを受信するように構成し得る。幾つかの実施形態では、方向分析器は、撮像デバイス及び媒体ストレージの両方から同時に画像データを受信するように構成し得る。媒体ストレージは、複数の物体の画像データを記憶可能な任意のタイプの記憶媒体であることができる。上述したように、画像データは、ビデオ画像又は静止画を含み得る。ビデオ画像又は静止画は、本明細書において後に説明するように、方向分析器により処理し分析し得る。媒体ストレージは、ＣＤ、ＤＶＤ、ブルーレイディスク、ハードディスク、磁気テープ、フラッシュメモリカード／ドライブ、固体状態ドライブ、揮発性又は不揮発性メモリ、ホログラフィックデータストレージ、及び任意の他のタイプの記憶媒体として提供することができる。幾つかの実施形態では、媒体ストレージは、画像データを方向分析器に提供可能なコンピュータであることができる。
別の例として、媒体ストレージは、ウェブサーバ、企業サーバ、又は任意の他のタイプのコンピュータサーバであることができる。媒体ストレージは、方向分析器から要求を受け入れ（例えば、ＨＴＴＰ又はデータ送信を開始することができる他のプロトコル）、要求された画像データを方向分析器に供給するようにプログラムされたコンピュータであることができる。さらに、媒体ストレージは、画像データを配信する、フリーツーエア、ケーブル、衛星、及び他のブロードキャスト設備等のブロードキャスト設備であることができる。媒体ストレージは、データネットワーク（例えば、クラウド計算ネットワーク）内のサーバであることもできる。
幾つかの実施形態では、媒体ストレージは、撮像デバイスに搭載して配置し得る。幾つかの他の実施形態では、媒体ストレージは、可動物体にオンボードで配置されるが、撮像デバイスからオフボードで配置し得る。幾つかの更なる実施形態では、媒体ストレージは、可動物体及び／又は撮像デバイスからオフボードの１つ又は複数の外部デバイスに配置し得る。それらの更なる実施形態では、媒体ストレージは、リモートコントローラ、地上局、サーバ等に配置し得る。上記構成要素の任意の構成又は組合せを意図し得る。幾つかの実施形態では、媒体ストレージは、ピアツーピアネットワークアーキテクチャを介して撮像デバイスと通信し得る。幾つかの実施形態では、媒体ストレージは、クラウド計算アーキテクチャを使用して実装し得る。
画像データは、方向分析器に提供して（例えば、画像信号の形態で）、処理／分析されて、ターゲット方向を特定し得る。幾つかの例では、方向分析器は、プロセッサで実行されるソフトウェアプログラム及び／又は１つ又は複数の画像フレームを分析して、ターゲット方向を特定するハードウェアとして実行することができる。
方向分析器は、可動物体とターゲット方向との相対位置を特定するように更に構成し得る。幾つかの場合では、方向分析器は、環境（例えば、慣性基準系）及び／又は互いに対する撮像デバイス及び／又は可動物体の位置を特定し得る。方向分析器は、環境（例えば、慣性基準系）内及び／又は可動物体（例えば、可動物体により支持された撮像デバイスを含み得る）に対するターゲット方向のベクトルを特定し得る。任意選択的に、１つ又は複数の追加のセンサ及び／又は外部デバイスからのデータを使用して、方向分析器による位置情報の特定を支援し得る（例えば、ＩＭＵデータ又は本明細書の他の箇所に記載される任意の他のセンサからのデータ）。上述したように、位置情報は、空間場所（例えば、１つ、２つ、又は３つの軸を参照した）、姿勢（例えば、１つ、２つ、又は３つの軸を参照した）、線形速度、角速度、線形加速度、及び／又は角加速度を含み得る。
撮像デバイスからの画像フレームは、ユーザ端末の出力デバイスに表示し得る。例えば、環境、及び／又は環境内の様々な物体の位置、及び／又は環境内の可動物体の位置を示すマップを表示し得る。マップは２Ｄマップ又は３Ｄマップであり得る。マップは、出力デバイスに表示し得る。方向分析器からのデータは、ユーザ端末に直接提供し得、ユーザ端末は、いかなる中間分析又は処理も必要とせずに、出力デバイスにデータを表示し得る。例えば、ターゲット方向を示すデータは、方向分析器から送信して、ユーザ端末の出力デバイスに表示し得る。
方向分析器からのデータは、移動コントローラに提供し得る。移動コントローラは、可動物体に搭載して、支持機構に搭載して、撮像デバイスに搭載して、及び／又は外部デバイス又はネットワークに提供し得る。移動コントローラは、可動物体の飛行を制御し得る。任意選択的に、移動コントローラは、１つ又は複数の飛行命令を生成して、可動物体の１つ又は複数の推進ユニットに提供し得る。移動コントローラは、任意選択的に、可動物体の移動経路を生成し得る。移動経路は、実質的に固定されてもよく、又は可変若しくは動的であり得る。移動経路は、ターゲット方向における機首方位を含み得る。移動経路は、撤回状況が検出される（例えば、更なる入力が検出されるか、又は飛行制限が適用される）まで、機首方位をターゲット方向に保ち得る。移動コントローラは、可動物体（図示せず）の１つ又は複数の推進ユニットと通信し得る。
任意選択的に、１つ又は複数のセンサからの情報は、移動コントローラに提供し得る。例えば、１つ又は複数の組のＩＭＵからの情報は、移動コントローラに提供し得る。１つ又は複数の組のＩＭＵは、可動物体に搭載して、支持機構に搭載して、及び／又は搭載物に搭載し得る。ＩＭＵからのデータは、可動物体、支持機構、及び／又は搭載物の位置情報を示し得る。移動コントローラは、任意選択的に、可動物体の移動を制御するに当たり、１つ又は複数のセンサからの情報を使用し得る。任意選択的に、１つ又は複数のセンサからの情報は、可動物体及び／又はその環境に相対する撮像デバイスの位置を制御するのに使用し得る。
移動コントローラは、情報をユーザ端末から受信し得る。移動コントローラは、ターゲット方向のユーザ選択を示す情報を受信し得る。移動コントローラは、ターゲット方向のユーザ選択に応答して、可動物体の移動経路を生成し、及び／又は移動を制御し得る。
移動コントローラからの情報は、任意選択的に、ユーザ端末に提供し得る。例えば、ユーザ端末は、移動経路についての情報を受信し得る。移動経路及び／又は機首方位は、任意選択的に、出力デバイスに表示し得る。
図２では、動作可能に接続された別個の構成要素として示されているが、図示の構成が単なる例示を目的とすることが理解される。デバイスの特定の構成要素又はデバイスを除去又は接続し得、他の構成要素又はデバイスを追加し得る。
可動物体（ＵＡＶ等）のターゲット方向を特定する方法は、図２のシステムを使用して実施することができる。方法は、画像をコンピュータ実装ディスプレイに提供し、ユーザが画像上のポイントを選択する場合、画像上の選択されたポイントの位置を取得し、画像上の選択されたポイントの位置にもと付いて、ターゲット方向を特定することを含み得る。ターゲット方向は、例えば、方向分析器２１２を使用して生成し得る。
画像は、可動物体に搭載される撮像デバイス（例えば、撮像デバイス２０４）により捕捉し得る。画像は、可動物体が移動する環境の一部を視覚的に示し得る。画像は、可動物体から撮影された一人称視点（ＦＰＶ）を示し得る。任意選択的に、画像は、環境の環境マップであり得る。環境マップは、地形図であり得る。環境マップは、メトリックマップを含むこともできる。メトリックマップは、以下の少なくとも１つを含み得る。ポイントクラウド、３Ｄグリッドマップ、２Ｄグリッドマップ、又は２．５Ｄグリッドマップ。幾つかの場合では、メトリックマップは占有グリッドマップを含み得る。
画像データは、撮像デバイス及び／又は可動物体からユーザ端末（例えば、ユーザ端末２０６）に直接又は間接的に送信し得る。コンピュータ実装ディスプレイは、ユーザ端末のタッチスクリーンデバイスであり得る。画像は、コンピュータ実装ディスプレイに略リアルタイム又は準リアルタイムでレンダリングし得る。ユーザは、以下に詳細に説明するように、ターゲット方向に関連付けられた画像のポイント又は一部を選択することにより、ターゲット方向で移動するように可動物体を制御し得る。
様々なタイプの座標系を利用して、ターゲット方向を選択し、ターゲット方向での可動物体の移動を行うことができる。例えば、１つ又は複数の座標系は、撮像デバイス及び／又は可動物体にローカルであり得る。１つ又は複数の座標系は、環境等の慣性基準系に相対して提供されるグローバル座標系を含み得る。撮像デバイス及び／又は可動物体の位置は、グローバル座標系を参照して特定することができる。幾つかの場合では、撮像デバイス及び／又は可動物体の位置は、ローカル座標を参照して特定することができる。撮像デバイス及び／又は可動物体の位置は、グローバル座標とローカル座標との間で変換し得る。
任意選択的に、画像におけるターゲット方向は、撮像デバイスのローカル座標系及び／又は撮像デバイスにより捕捉される画像に関して特定し得る。ターゲット方向の局所座標は、ターゲット方向のグローバル座標に変換することができる。例えば、ターゲット方向を示すローカル座標系でのベクトルは、グローバル座標系でのベクトルに変換することができる。ローカル座標系は、撮像デバイスのカメラ座標系であり得る。グローバル座標系は、可動物体が移動する環境の世界座標系であり得る。
可動物体が移動する空間でのターゲット方向を計算／表示画面上のユーザ選択ポイントを可動物体が移動する空間でのターゲット方向に変換する方法について、以下に説明する。
画像上の選択ポイントの位置は、ユーザが画面においてポイントを選択する場合、取得し得る。表示画面がタッチスクリーンである場合、ユーザは、タッチスクリーンの一部にタッチ、タップ、又はクリックすることによりポイントを選択し得る。画像上の選択ポイントの位置は、選択ポイントの１組の画面座標を１組の画像座標に変換し、１組の画像座標を正規化することにより取得し得る。ターゲット方向は、正規化された１組の画像座標に基づいて特定し得る。
例えば、ユーザが、ユーザ端末に表示されたグラフィカルユーザインタフェース（ＧＵＩ）画像内の一点を選択する場合、画面位置に対応する選択ポイントの座標（ｘｓｃｒｅｅｎ，ｙｓｃｒｅｅｎ）を取得することができる。選択ポイントの座標（ｘｓｃｒｅｅｎ，ｙｓｃｒｅｅｎ）は、アプリケーションプログラミングインタフェース（ＡＰＩ）を介して取得することができる。ＡＰＩは、例えば、ユーザ端末に実装されるＩＯＳ（商標）ベースのＡＰＩ又はＡｎｄｒｏｉｄ（商標）ベースのＡＰＩであり得る。選択ポイントの座標（ｘｓｃｒｅｅｎ，ｙｓｃｒｅｅｎ）は、撮像デバイスにより捕捉された未処理画像での選択ポイントの座標である座標（ｘｒａｗｉｍａｇｅ，ｙｒａｗｉｍａｇｅ）に変換することができる。
次に、選択ポイントの未処理画像座標（ｘｒａｗｉｍａｇｅ，ｙｒａｗｉｍａｇｅ）は、未処理画像内の現在のプレビュー画像の位置及び割合に基づいて、（ｘｐｅｒｃｅｎｔａｇｅ，ｙｐｅｒｃｅｎｔａｇｅ）に正規化することができる。正規化の式は、

により得ることができ、式中、画像幅及び画像高さはそれぞれ、未処理画像フレームの幅及び高さに対応する。上記変換及び／又は正規化は、ソフトウェア及び／又はハードウェアの組合せを使用して、ユーザ端末により実行することができる。
次に、ユーザ選択ポイント２２０の正規化座標（ｘｐｅｒｃｅｎｔａｇｅ，ｙｐｅｒｃｅｎｔａｇｅ）は、１つ又は複数の通信チャネルを介してユーザ端末から方向分析器に送信し得る。方向分析器は、正規化座標（ｘｐｅｒｃｅｎｔａｇｅ，ｙｐｅｒｃｅｎｔａｇｅ）に基づいて、空間ターゲット方向（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）を計算するように構成することができる。方向分析器は、ターゲット方向（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）をユーザ端末及び移動コントローラに送信するように更に構成することができる。ターゲット方向は、２Ｄディスプレイ座標（ｘｄｉｒ，ｙｄｉｒ）に変換し得、この座標は次に、ユーザ端末でレンダリングされる画像に射影され表示される。移動コントローラは、ターゲット方向（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）に基づいて、可動物体の移動を制御するように構成することができる。
ユーザ選択ポイントに基づく空間ターゲット方向（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）の計算について、図３を参照して詳細に説明する。図３は、カメラ撮像のジオメトリモデルを示す。ジオメトリモデルは、カメラの光軸が捕捉画像の中心と位置合わせされると仮定し得るが、本発明はそれに限定されない。幾つかの他のジオメトリモデルでは、光軸は、捕捉画像の中心と位置合わせされる必要はなく、画像の中心からずれることができる。
図３に示されるように、点（ｘｗ，ｙｗ，ｚｗ）は、点Ｏに関して定義される世界座標系での任意の点であり、Ｄは世界座標系での点の深度であり、ｚｗ＝Ｄである。（ｘｉ，ｙｉ）は、カメラ座標系での同じ点（ｘｗ，ｙｗ，ｚｗ）の対応する座標である。以下の関係を取得し得る。

以下の式は、画像の（ｘｐｅｒｃｅｎｔａｇｅ，ｙｐｅｒｃｅｎｔａｇｅ）、ｘｉ、ｙｉ、及び（画像幅，画像高さ）の間の関係に基づく。

画像の焦点距離ｆと視野（ＦＯＶ）との以下の関係：

に基づいて、以下の式を取得し得る。

すなわち、

上記に示されるように、座標（ｘｗ，ｙｗ，ｚｗ）は、未知の値Ｄを含む。選択された方向は方向ベクトルであるため、正規化ステップを実行して、未知の値Ｄをなくすことができる。Ｄ＝１であると仮定すると、カメラ座標系での選択方向の方向ベクトルＯＡは、


により与え得る。図３のモデルを使用して、世界座標系での点（ｘｗ，ｙｗ，ｚｗ）に基づいて、カメラ座標系でのターゲット方向のベクトルＯＡを取得することができる。世界座標系での点（ｘｗ，ｙｗ，ｚｗ）には、カメラ座標系での選択点（ｘｉ，ｙｉ）を関連付け得る。世界座標系での点（ｘｗ，ｙｗ，ｚｗ）は深度値Ｄを含み得る。カメラ座標系でのターゲット方向のベクトルＯＡは、深度値Ｄに関して（ｘｗ，ｙｗ，ｚｗ）を正規化することにより取得することができ、深度値Ｄは、正規化後、ベクトルＯＡからなくすことができる。
次に、カメラ座標系でのターゲット方向のベクトルＯＡは、変換行列を使用して、世界基準系でのターゲット方向のベクトルＯＡｇｎｄに変換することができる。例えば、可動物体から世界座標系（東，北，地表）への変換行列は、

としてジンバルにより提供することができる。世界座標系（東，北，地表）での選択方向の空間方向ベクトルＯＡｇｎｄは、

として与え得る。幾つかの実施形態では、変換行列は、可動物体の１つ又は複数のセンサから収集されるデータを使用することにより取得することができる。１つ又は複数のセンサは、可動物体のＩＭＵに配置し得る。１つ又は複数のセンサは、可動物体の姿勢を測定するように構成し得る。変換行列は、部分的に可動物体の姿勢を使用して取得することができる。
方向分析器は、計算されたターゲット方向を元のユーザ端末に送信するように構成し得る。ユーザ端末は、ターゲット方向をグラフィカル要素としてコンピュータ実装ディスプレイでの画像に再射影するように構成し得る。方向ベクトルＯＡをプレビュー画像に再射影するプロセスは、図３に記載される方法の逆である。
図４は、幾つかの実施形態による、ユーザがターゲット方向を選択することができるユーザインタフェース（ＵＩ）の例を示す。部分Ａは、環境の初期表示を示す。部分Ｂは、ユーザが初期表示内のターゲット方向を選択することを示す。部分Ｃは、ターゲット方向に移動している可動物体の画像を示す。可動物体はＵＡＶであり得る。ＵＡＶの対応する移動／機首方位は、コンパスに示される。
部分Ａは、環境の初期表示を示す。ＦＰＶは、示されるように提供し得る。ＦＰＶは、撮像デバイスからのライブストリーミング画像を含み得る。ＦＰＶは、代替的には、撮像デバイスからの画像のグラフィカル図又は表現であり得る。提示される例では、水平線が、視野内の物体と共に示される。ＵＡＶは、環境の初期表示が行われている間、静止してもよく、又は移動してもよい。例えば、対応するコンパスは静止したＵＡＶを示す。
ＦＰＶが示されている間、ＦＰＶの代替として、又はＦＰＶと併せて、他のタイプのビューを提示し得る。例えば、マップビューを提供し得る。マップビューは、オーバーヘッドマップ等の２Ｄマップを含み得る。マップビューは３Ｄマップを含み得る。３Ｄマップは、様々な角度から３Ｄ環境を見るように変更可能であり得る。本明細書において上述したように、ソリッドレンダリング、ワイヤフレーム、又は他のタイプの撮像が示され得る。ディスプレイは、ユーザ端末上に示され得る。任意選択的に、ユーザはユーザ端末をホールドし得る。
部分Ｂは、ユーザが初期表示内でターゲット方向を選択することを示す。ユーザは、画像の一部を選択して、ターゲット方向を選択し得る。上述したように、画像はＦＰＶ及び／又はマップを含み得る。ユーザは、ＦＰＶ又はマップの一部を選択して、ターゲット方向を選択し得る。ユーザにより選択された画像の一部は、任意選択的に、点であり得る。ＵＡＶは、選択点により示される方向で移動し得る。ＵＡＶの方向的機首方位は、ＵＡＶの現在場所及び軌道に沿った選択点を含む角度によって決まり得る。
提示される例では、ユーザは、ＵＡＶの現在位置の北東であるターゲット方向を選択し得る。対応するコンパスは、ＵＡＶが対応する北東方向において移動し得ることを示す。
ターゲット方向のユーザ選択は、ターゲット方向の側方選択を含み得る。幾つかの場合では、ターゲット方向は二次元平面内にあり得る。例えば、ユーザは、ＵＡＶが移動すべき方向が北であるか、南であるか、東であるか、西であるか、それともそれらの間の任意の方向であるかを指定し得る。ＵＡＶは、指定された二次元方向で移動する間、略同じ高度のままであり得る。
幾つかの実施形態では、ＵＡＶは、ＵＡＶの飛行経路に影響を及ぼし得る飛行制限に直面し得る。例えば、幾つかの側方飛行制限を適用し得る。一例では、ＵＡＶは、ユーザ端末の特定の範囲内に留まり得る。ＵＡＶがターゲット方向に移動中であり、ユーザ端末の範囲をまさに超えようとしている場合、ＵＡＶは、停止してホバリングするか、又はユーザ端末に向けて戻り得る。別の例では、ＵＡＶは、ジオフェンス領域内に留まり得る。ＵＡＶは、ターゲット方向に移動中であり、ジオフェンス領域外にまさに出ようとしている場合、停止ホバリングするか、又はユーザ端末に向けて戻り得る。障害物は、飛行制限区域であり得る。代替的には、飛行制限区域は、任意の障害物を含んでもよく、又は含まなくてもよい。任意の他のタイプの飛行制限も適用可能である。
代替的には、ターゲット方向のユーザ選択は、ターゲット方向の三次元選択を含み得る。ターゲット方向は、三次元空間内の任意の場所であり得る。例えば、ユーザは、ＵＡＶが移動すべき方向が、北であるか、南であるか、東であるか、西であるか、上であるか、下であるか、それともそれらの間の任意の方向であるかを指定し得る。ＵＡＶは、指定された三次元方向内を移動している間、高度を変更可能であり得る。
幾つかの実施形態では、ＵＡＶは、ＵＡＶの飛行経路に影響を及ぼし得る飛行制限に直面し得る。上述した等の側方飛行制限を提供し得る。ＵＡＶの高度変更を制限し得る追加の高度飛行制限が提供可能である。例えば、ターゲット方向が上方である場合、ＵＡＶは、そのターゲット方向に無制限に移動し得、その間ずっと、ＵＡＶの高度を増大させる。代替的には、飛行上昇限度等の飛行制限を作動させ得る。ＵＡＶは、飛行上昇限度に達した場合、水平飛行し、略同じ高度に留まり得る。しかし、ＵＡＶは、同じ指定された側方方向に移動し続け得る。同様に、ターゲット方向が下方である場合、ＵＡＶは、地面に達するまで、その方向に無制限に移動し得、その間ずっと、高度を低減させる。代替的には、飛行下降限度等の飛行制限を作動させ得る。ＵＡＶは、飛行下降限度に達した場合、水平飛行し、略同じ高度に留まり得る。しかし、ＵＡＶは、同じ指定された側方方向に移動し続け得る。
幾つかの実施形態では、任意選択的に、選択されたターゲットの視覚的インジケータ（コンパス及び／又はベクトル等）を表示し得る。さらに、任意選択的に、飛行角度、コンパス方向、将来／ターゲット宛先等を示す機首方位情報を２Ｄマップ及び／又は３Ｄマップに表示し得る。
ユーザが方向を指定し得る精度は、約０．０１度以下、約０．０５度以下、約０．１度以下、約０．５度以下、約１度以下、約２度以下、約３度以下、約５度以下、約７度以下、約１０度以下、約１５度以下、約２０度以下、又は約３０度以下であり得る。
ユーザが画像の一部を選択して、ターゲット方向を指定する場合、選択されたターゲット方向は、視覚的に画面に示されてもよく、又は示されなくともよい。例えば、ターゲット方向を示す視覚的マーカを画像内に提供し得る。視覚的マーカは、点、領域、アイコン、線、又はベクトルであり得る。例えば、点は、ターゲット方向の選択を示し得る。別の例では、ベクトルは、ＵＡＶの機首方位である方向を示し得る。
幾つかの実施形態では、ユーザは、ＵＡＶが方向モードであることを指定し得る。ＵＡＶが方向モードである場合、ユーザにより選択される画像の一部は、ＵＡＶが、他の方向に直面するまで、又は飛行制限に直面するまで移動する方向を決定し得る。ＵＡＶは、方向変更、飛行制限、飛行モード変更、低電源、又は障害物等の停止又は変更基準に直面するまで、その方向に無制限に移動し得る。ユーザは、ターゲット追跡モード等の１つ又は複数の利用可能なモードから方向モードを選択することにより、ＵＡＶが方向モードであることを指定し得る。
別の例では、ＵＡＶは、ユーザが選択する画像の一部がターゲット方向であることを示すユーザインタフェースツールをユーザが選択する場合、ターゲット方向に飛行し得る。ターゲット方向ツールは、１回使用ツールであってもよく（例えば、ユーザは、別のターゲット方向を選択するために、ツールを再選択する必要がある）、又は複数回、使用してもよい（ユーザは、ツールを切り替えるまで、ツールを再選択する必要なく、ターゲット方向を指定し続けることができる）。
他の例では、画面上の１つ又は複数の画像（例えば、ＦＰＶ、２Ｄマップ、及び／又は３Ｄマップ）は、飛行方向を示す１つ又は複数の所定の領域を有し得る。領域は、他の領域から視覚的に区別し得る。例えば、領域は、境界線、矢印、又は領域を区別し得る任意の他のタイプの特徴を含み得る。幾つかの場合、領域は、画像周囲の境界線内に提供し得る、他の場合、ＵＡＶのターゲット方向を調整できるようにし得る１つ又は複数の矢印ボタンを提供し得る。追加の例では、ユーザは、ＵＡＶが移動すべきターゲット方向を示す１つ又は複数の値又は座標を示し得る。例えば、角度は、ＵＡＶが向かうターゲット方向を提供し得る。角度は、二次元又は三次元方向制御機構を提供し得る。別の例では、値は、ターゲット方向を記述するベクトルに沿った空間座標を含み得る。
ユーザがユーザインタフェースを使用してターゲット方向を指定できるようにする任意の他のユーザインタフェースツール又は技法を提供し得る。
部分Ｃは、ＵＡＶがターゲット方向に移動中であるとき、ＵＡＶにより捕捉された画像を示す。例えば、ＦＰＶから、ＵＡＶが指定された方向に移動中であるとき、かつて遠くにあった物体はより近くなり得る。ＵＡＶがターゲット方向を辿る際、マップビューから、物体はＵＡＶを通り過ぎて示され得る。対応するコンパスに示されるように、ＵＡＶは、ターゲット方向に移動し続け得る。
幾つかの場合では、ユーザがターゲット方向を指定する場合、ＵＡＶは、一定速度又は可変速度でそのターゲット方向に移動し得る。標準ターゲット移動速度を提供し得る。可変ターゲット移動速度も提供し得る。代替的には、ユーザは、ＵＡＶがターゲット方向に移動し得る速度及び／又は加速度を指定し得る。ＵＡＶの速度に影響を及ぼす本明細書の任意の説明は、ターゲット方向でのＵＡＶの加速度に影響を及ぼすことにも適用し得る。幾つかの場合では、ユーザは、ユーザがターゲット方向を指定するのと同時に速度に影響を及ぼし得る。例えば、ユーザがターゲット方向を選択する場合、ユーザがターゲット方向に触れるクリック数又はタッチ数が、ＵＡＶの速度に影響を及ぼし得る。例えば、ユーザが、ターゲット方向を示す点に１回触れる場合、ＵＡＶは第１の速度で移動し得、ユーザが点を複数回触れる場合、ＵＡＶは第２の速度で移動し得る。第２の速度は、第１の速度よりも大きい速度であり得る。ＵＡＶの移動速度は、ターゲット方向を示す点のタッチ数又は選択数に対応し得る。正比例関係を選択数とＵＡＶの速度との間に提供し得る。幾つかの場合、線形関係を選択数とＵＡＶの速度との間に提供し得る。例えば、ユーザが点をＮ回クリックする場合、ＵＡＶの速度はＸ＋Ｎ＊Ｙであり得、ここで、Ｘは速度値であり、Ｙは速度乗算子であり、Ｎは、ターゲット方向が選択された回数である。任意の他の数学的関係も提供し得る。ユーザは、最初の選択を行い、第１の速度を取得し、次に、選択を再び行い、ＵＡＶを加速させ得る。ユーザは、選択をし続けて、ＵＡＶを加速し続け得る。
別の例では、ユーザがターゲット方向を選択する場合、ターゲット方向の選択長はＵＡＶの速度に影響を及ぼし得る。例えば、ユーザが、第１の期間にわたりターゲット方向を示す点に触れる場合、ＵＡＶは第１の速度で移動し得、ユーザが、第１の期間よりも長い第２の期間にわたり触れる場合、ＵＡＶは第２の速度で移動し得る。第２の速度は第１の速度よりも大きい速度であり得る。ＵＡＶの移動速度は、ターゲット方向を示す点のタッチ長又は選択長に対応し得る。正比例関係を選択長とＵＡＶの速度との間に提供し得る。幾つかの場合、線形関係を選択長とＵＡＶの速度との間に提供し得る。
様々な他のタイプのユーザ対話が、ターゲット方向に移動するＵＡＶの速度に影響を及ぼし得る。幾つかの例では、スワイプ移動（例えば、スワイプの速度、スワイプの長さ、スワイプの数）がＵＡＶの速度に影響を及ぼし得る。他の例では、異なる領域に触れて、ＵＡＶの速度に影響を及ぼし得る。別の例では、別個の制御機構を速度制御に提供し得る。例えば、ユーザは、ＵＡＶがターゲット方向に移動している間、手動制御機構を使用して速度を調整し得る。速度は、手動制御機構に従ってリアルタイムで調整し得る。別の例では、ユーザは、所望の速度の数値を入力するか、又は予め選択された複数の選択肢から速度を選択し得る。
図５は、幾つかの実施形態による、ユーザがターゲット方向を調整できるようにするユーザインタフェース（ＵＩ）の例を示す。部分Ａは、ＵＡＶが第１のターゲット方向に向かっている間の環境の表示を示す。部分Ｂは、ユーザが表示内で第１のターゲット方向とは異なる第２のターゲット方向を選択することを示す。部分Ｃは、ＵＡＶが第２のターゲット方向で移動しているとき、ＵＡＶにより捕捉された画像を示す。上述したように、画像は、ＦＰＶとして示されるが、ＦＰＶと併せて又はＦＰＶの代替としてマップであってもよい。ＵＡＶの対応する移動／機首方位は、コンパスに示される。
部分Ａは、ＵＡＶが第１のターゲット方向に向かっている間の環境の表示を示す。対応するコンパスは、ＵＡＶが北東方向に移動中であることを示す。ターゲット方向が選択される場合、ＵＡＶは、上述した等（例えば、方向変更、飛行制限、飛行モード変更、低電源、又は障害物）の方向を変更する必要がある状況に直面するまで、そのターゲット方向に沿って継続し得る。ＵＡＶは、一定の速度及び／又は加速度又は可変の速度及び／又は加速度に沿ってターゲット方向で継続し得る。
部分Ｂは、ユーザが、表示内で第１のターゲット方向と異なる第２のターゲット方向を選択することを示す。例えば、第２のターゲット方向は北西方向であり得る。第２のターゲット方向は、第１のターゲット方向と同じように選択し得る。第２のターゲット方向は、ＵＡＶが第１のターゲット方向で移動している間、選択し得る。対応するコンパスは、ＵＡＶが現在、北西方向に移動中であることを示す。
部分Ｃは、第２のターゲット方向に移動中の可動物体の画像を示す。ＵＡＶは、第１のターゲット方向での移動から第２のターゲット方向での移動に遷移し得る。第１のターゲット方向から第２のターゲット方向への遷移は、比較的急又は漸次的であり得る。
図６は、幾つかの実施形態による、可動物体の方向を制御するフローチャートを示す。まず、ユーザは画像上の点を選択し得る。画像は、ユーザ端末の出力デバイスにレンダリングされるＧＵＩに提供し得る。ユーザが点を選択する場合、選択は、その点に関連付けられたターゲット方向に拡張し得る。次に、可動物体はターゲット方向に移動し得る。可動物体は、撤回状況が検出されるまで、ターゲット方向に移動し続け得る。例えば、可動物体は、新しいターゲット方向命令をユーザ端末において受信するまで、ターゲット方向で飛行し得る。新しいターゲット方向命令は、ユーザが画像上の別の異なる点を選択する場合、受信し得る。ユーザが異なる点を選択する場合、ターゲット方向選択は、元の可動物体の方向から、新しい点に関連付けられた新しいターゲット方向に切り替わり得る。次に、可動物体は、移動経路を変更し、新しいターゲット方向に移動し得る。
図７は、幾つかの実施形態による、視覚的対話ナビゲーションシステム内で生じ得る通信の例を示す。図７の視覚的ナビゲーションシステム７００は、図２のシステム２００と同様であり得るが、システム７００は、移動経路生成器２１４を更に含む。移動経路生成器は、可動物体が、ターゲット方向に向かう前、基準点に到着するための移動経路を生成するように構成することができる。移動経路は、幾つかの場合、例えば、（１）ユーザが、可動物体の既存の移動方向と異なるターゲット方向を選択する場合、（２）可動物体の現在又は初期の位置が、ターゲット方向におけるベクトルに沿っていない場合、（３）可動物体が静止、ホバリング、又は休止している場合、及び／又は（４）可動物体の機首部がターゲット方向に向けられていない場合において必要であり得る。
移動経路生成器により生成することができる移動経路の幾つかの例を図８に示す。特に、図８は、ターゲット方向に関連付けられた基準点に向かって移動しているとき、可動物体がとることができる異なる移動経路の例を示す。
部分Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれにおいて、基準点８３０をターゲット方向に関連付け得る。基準点は、可動物体８０２がターゲット方向に移動する開始位置に対応し得る。基準点は、ターゲット方向により定義される空間ベクトルに沿った点であり得る。移動経路は、可動物体の現在位置又は初期位置から基準点まで生成し得る。移動経路は、線形、湾曲、又は曲線であり得る。
部分Ａにおいて、可動物体は、ターゲット方向と位置合わせされた方向Ｄ１に移動中であり得る。換言すれば、方向Ｄ１はターゲット方向と同じである。直線移動経路を可動物体の現在位置から基準点８３０−１まで生成し得る。可動物体の向き（例えば、機首方位）は、可動物体が移動経路に沿って基準点８３０−１へターゲット方向で移動する際、変わらないままであり得る。
部分Ｂにおいて、可変物体は、ターゲット方向に略平行する方向Ｄ２に移動中であり得る。直線移動経路を可動物体の現在位置から基準点８３０−２まで生成し得る。可動物体の向き（例えば、機首方位）は、可動物体が移動経路に沿って基準点８３０−２へ移動する際、変わり得る。例えば、可動物体は最初、移動経路の方向に向かうように、新しい向きへ回転し得る。次に、可動物体は、新しい向きを有する移動経路に沿って移動し得る。可動物体は、基準点に到達した場合、ターゲット方向に移動する前に、可動物体の機首部がターゲット方向に面するように再び回転し得る。
部分Ｃは、以下の違いを除き、部分Ｂと同様である。部分Ｃでは、曲線移動経路を可動物体の現在位置から基準点８３０−３まで生成することができる。可動物体の向きは、可動物体が移動経路に沿って移動する際、連続変化し得る。可動物体は、移動経路に沿って略接線様式で移動し得る。
部分Ｄにおいて、可動物体は、ターゲット方向と異なる方向Ｄ４に移動中であり得る。例えば、方向Ｄ４は、ターゲット方向に対して斜めであり得る。直線移動経路を可動物体の現在位置から基準点８３０−４まで生成し得る。可動物体の向き（例えば、機首方位）は、可動物体が移動経路に沿って基準点８３０−４に移動する際、変わり得る。例えば、可動物体は最初、移動経路の方向に向かうように、新しい向きへ回転し得る。次に、可動物体は、新しい向きを有する移動経路に沿って移動し得る。可動物体は、基準点に到達した場合、ターゲット方向に移動する前に、可動物体の機首部がターゲット方向に面するように再び回転し得る。
部分Ｅは、以下の違いを除き、部分Ｄと同様である。部分Ｅでは、曲線移動経路を可動物体の現在位置から基準点８３０−５まで生成することができる。可動物体の向きは、可動物体が移動経路に沿って移動する際、連続変化し得る。可動物体は、移動経路に沿って略接線様式で移動し得る。
部分Ｂ及びＤにおいて、可動物体は、現在位置及び基準点において急な合流部を生成する、現在位置を基準点に結ぶ線形移動経路並びにターゲット方向及び既存の移動方向の差に起因して、向きの急な変更を経験し得る。向きのこれらの急な変更は、急激な減速又は加速を生じさせ得、可動物体の飛行性能を低減するおそれがある。
これとは対照的に、部分Ｃ及び部分Ｅでの曲線移動経路では、可動物体は、ターゲット方向での移動を開始する前、現在位置から基準点へ平滑に遷移することができる。平滑な曲線移動経路に沿った可動物体の移動を行うために、可動物体の向きの急激な変更を回避することができ、それにより、可動物体の飛行性能が改善する。例えば、曲線での切り替えコースは、可動物体の消費電力の低減及び／又は可動物体の飛行安定性の改善等の特定の利点を提供し得る。
次に、移動経路（特に、図８の部分Ｃ及びＥにおける曲線移動経路）の生成について図９を参照して説明する。図９は、幾つかの実施形態による、可動物体の位置からターゲット方向に関連付けられた基準点へ生成される移動経路を示す。
図７及び図９を参照すると、移動経路生成器は、可動物体９０２の基準点９３０及びターゲット方向に基づいて基準点での可動物体の１つ又は複数の移動特性を推定するように構成することができる。ターゲット方向は、ユーザ端末に表示される画像（例えば、ＦＰＶ）で「タップされた」方向に対応し得る。ターゲット方向は、本明細書の他の箇所で説明される方向分析器を使用して、ユーザ端末へのユーザ入力から特定し得る。移動経路生成器は、可動物体の位置及び基準点での可動物体の１つ又は複数の移動特性に基づいて、可動物体の位置９３２から基準点への可動物体の移動経路９３４を生成するように構成し得る。
基準点９３０は、可動物体がターゲット方向での移動を開始する開始点に対応し得る。可動物体の位置９３２は、可動物体の初期位置又は現在位置に対応し得る。幾つかの場合、位置９３２及び基準点９３０は異なる高度にあり得る。他の場合、位置９３２及び基準点９３０は同じ高度にあり得る。
図９に示されるように、可動物体は、位置９３２にある場合、ターゲット方向と異なる初期方向に向かい得る。初期方向は、可動物体の中心を通るｘ軸に沿い得る。初期方向は、図８の部分Ｅに示される例と同様に、ターゲット方向に対して斜めであり得る。初期方向は、可動物体の位置９３２での移動経路への第１の接線により定義し得る。ターゲット方向は、基準点９３０での移動経路への第２の接線により定義し得る。第１の接線及び第２の接線は、異なる方向に延び得る。第１の接線及び第２の接線は非平行であり得る。例えば、第１の接線及び第２の接線は、図９に示されるように、互いに対して斜めであり得る。幾つかの場合では、第１の接線及び第２の接線は、互いに平行であり得る（例えば、図８の部分Ｃに示されるように）。幾つかの他の場合、第１の接線及び第２の接線は、互いに直交することができる。
移動経路９３４は曲線であり得る。例えば、位置９３２と基準点９３０との間の移動経路は、半径ｒを有し、点Ｏにおいて角度θを有する弧を形成し得る。点Ｏは、可動物体の初期方向に直交する方向にあり得る。例えば、点Ｏは、可動物体の中心を通るｙ軸に沿ってあり得る。角度θは一定であり得る。任意選択的に、角度θは可変であり得る。半径ｒは、位置９３０と基準点９３２との間の距離ｄに伴って変化し得る。距離ｄは、位置９３０と基準点９３２とを接合する直線の長さにより与え得る。半径ｒは、位置と基準点との間の距離が増大する場合、増大し得る。逆に、半径ｒは、位置と基準点との間の距離が低減する場合、低減し得る。移動経路９３４の長さｌは、半径ｒに伴って変化し得る。長さｌは、移動経路の弧長に対応し得る。移動経路の長さｌは、半径ｒが増大する場合、増大し得る。逆に、移動経路の長さｌは、半径ｒが低減する場合、低減し得る。ターゲット方向は、線ｕが基準点を通る状態で、角度θを形成し得る。線ｕは第１の接線に平行（すなわち、初期方向に平行）し得る。半径ｒはｌ／θにより与え得る。
図９では、基準点９３０での可動物体の向きは、位置９３２での可動物体の向きと異なり得る。例えば、可動物体の機首部は、位置９３２において初期方向に面し得、基準点９３０においてターゲット方向に面し得る。任意選択的に、幾つかの実施形態では、可動物体は、位置９３２及び基準点９３０の両方で同じ向きであり得る。
可動物体は、第１の瞬間に１つ又は複数の移動特性を有する位置９３２にあり得る。移動特性は、位置９３２での可動物体の第１の速度及び／又は第１の加速度を含み得る。可動物体の位置９３２、第１の速度、及び第１の加速度は、可動物体の１つ又は複数のセンサを使用して取得し得る。１つ又は複数のセンサは、可動物体の慣性測定ユニット（ＩＭＵ）に提供し得る。ＩＭＵは、加速度計とジャイロスコープとの組合せを使用して、可動物体の速度、向き、及び重力を測定し報告するように構成される電子デバイスであり得る。任意選択的に、磁力計を含め得る。ＩＭＵは、１つ又は複数の加速度計を使用して現在の加速率を検出し、１つ又は複数のジャイロスコープを使用して、ピッチ、ロール、及びヨーのような回転属性の変化を検出し得る。磁力計を含めて、向きドリフトに対する較正を支援し得る。
可動物体は、第２の瞬間に１つ又は複数の移動特性を有する基準点９３０にあると推定し得る。第２の瞬間は、第１の瞬間後の時点であり得る。基準点での可動物体の移動特性は、基準点での可動物体の第２の速度及び／又は第２の加速度を含み得る。基準点、第２の速度、及び第２の加速度は、ユーザ入力から取得し得る。ユーザ入力は、ユーザ端末のコンピュータ実装インタフェースを介して提供し得る。基準点、第２の速度、及び第２の加速度はそれぞれ、ユーザが第２の瞬間において望む可動物体の位置、速度、及び加速度に対応し得る。基準点は、ターゲット方向を定義する空間ベクトルに沿って存在し得る。上述したように、基準点は、可動物体がターゲット方向での移動を開始するから開始位置に対応し得る。ターゲット方向は、本明細書の他の箇所に記載されるように、ユーザ入力から取得することもできる。可動物体は、移動経路を辿ることにより、第２の瞬間において第２の速度及び第２の加速度で基準点９３０に到達すると予測し得る。
幾つかの場合、世界座標での可動物体の位置９３２を（０，０，０）に初期化して、計算を簡略化し得る。世界座標での可動物体の基準点９３０は、（ｒ＊ｓｉｎ（θ），ｒ（１−ｃｏｓ（θ）），１／ｔａｎ（α））により与え得る。特に、基準点のｘ座標はｒ＊ｓｉｎ（θ）として計算し得、基準点のｙ座標はｒ（１−ｃｏｓ（θ））として計算し得、基準点のｚ座標は１／ｔａｎ（α）として計算し得る。角度θは、θ＝ａｔａｎ（ｙｓｐａｃｅ／ｘｓｐａｃｅ）により与え得る。角度αは、

により与え得る。座標（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）は、図３を参照して上述したように、カメラ座標系でのユーザ選択方向の方向ベクトルＯＡに対応し得る。
幾つかの場合、移動経路９３４の長さｌは、単位長１に正規化して、計算を簡略化し得る。したがって、基準点９３０の正規化されたｘ座標は、ｓｉｎ（θ）／θにより与え得る。基準点９３０の正規化されたｙ座標は、（１−ｃｏｓ（θ））／θにより与え得る。次に、正規化されたｘ座標及びｙ座標のそれぞれをスケール係数Ｓで乗算して、基準点９３０の実際のｘ座標及びｙ座標を得る。スケール係数Ｓは、Ｖｘ、Ｖｙ、及びＶｚに基づいて特定し得、これらは（北，東，地表）座標系での可動物体の３軸速度である。

速度Ｖｘ、Ｖｙ、及びＶｚは、位置９３２での可動物体の３軸速度であり得る。
移動経路は、位置９３２、基準点９３０、並びに位置９３２及び基準点９３０での可動物体の１つ又は複数の移動特性の関数により表すことができる。移動経路を表す関数は、本明細書の他の箇所に記載される移動経路生成器により生成することができる。移動経路は、１つ又は複数の関数により表し得る。１つ又は複数の関数は、多項式関数、ベジエ曲線、Ｂスプライン等を含み得る。多項式関数はｎ次のものであることができ、ここで、ｎは１以上の整数であることができる。ｎ＝１の場合、関数は直線であり、可動物体は、直線の移動経路（例えば、図８の部分Ａに示されるように）に沿って移動するように構成し得る。ｎ＞１の場合、多項式関数は曲線であり、可動物体は、曲線移動経路（例えば、図８の部分Ｅ及び図９に示されるように）に沿って移動するように構成し得る。
多項式関数は、時間の関数として提供し得、瞬間時点での可動物体の変位を計算するのに使用することができる。環境内の可動物体の空間位置は、変位から得ることができる。変位は、環境内の可動物体の線形変位及び／又は角度変位を含み得る。時間ベースの多項式関数の一次導関数を使用して、瞬間時点での可動物体の速度を計算することができる。速度は、環境内の可動物体の線形速度及び／又は角速度を含み得る。同様に、時間ベースの多項式関数の二次導関数を使用して、瞬間時点での可動物体の加速度を計算することができる。加速度は、環境内の可動物体の線形加速度及び／又は角加速度を含み得る。したがって、時間ベースの多項式関数及びその導関数を使用して、異なる瞬間での可動物体の複数の移動特性を特定することができる。
移動経路生成器は、移動経路を表す時間ベースの多項式関数の１つ又は複数の係数を特定するように構成し得る。１つ又は複数の係数は、位置９３２、基準点９３０、並びに位置９３２及び基準点９３０での１つ又は複数の移動特性に基づいて特定し得る。１つ又は複数の係数は、部分的に逆多項式行列に基づいて特定し得る。逆多項式行列中の値は、時間ベースの多項式関数及びその導関数から得ることができる。１つ又は複数の係数は、位置９３２と基準点９３０との間の１つ又は複数の中間ウェイポイントを使用せずに特定することができる。したがって、移動経路９３４は、位置９３０と基準点９３４との間の１つ又は複数の中間ウェイポイントを使用せずに生成することができる。
上述したように、移動経路は、ｎ次多項式関数により表すことができる。可動物体が一定速度で移動している場合、移動経路は、低次（例えば、一次）の時間ベースの多項式関数で表すことができ、それにより、関数の一次導関数は速度を示し、一定である。可動物体が一定の加速度で移動している場合、移動経路は、次の次元（例えば、二次）の時間ベースの多項式関数で表すことができ、それにより、関数の二次導関数は加速度を示し、一定である。移動経路に障害物がないか、又は障害物が比較的少数である場合、より低次の多項式関数を使用して、移動経路を表し得る。
幾つかの場合、移動経路は、より高次の時間ベースの多項式関数（例えば、ｎ＞２）で表し得る。可動物体が、異なる速度及び加速度で様々なポイントを移動する複雑な軌道で移動することが望まれる場合、及び／又は（２）移動経路に比較的多数の障害物がある場合では、より高次の時間ベースの多項式関数を使用し得る。上記事例では、移動経路は、以下に示される五次の時間ベースの多項式関数等のより高次の時間ベースの多項式関数を使用して平滑化することができる。
ｆ（ｔ）＝ａ５＊ｔ５＋ａ４＊ｔ４＋ａ３＊ｔ３＋ａ２＊ｔ２＋ａ１＊ｔ１＋ａ０
式中、ａ０、ａ１、ａ２、ａ３、ａ４、及びａ５は、多項式関数ｆ（ｔ）の異なる次数の項の係数である。上記例は五次の時間ベースの多項式関数を示すが、本発明はそれに限定されない。幾つかの場合、移動経路を表す多項式関数は、五次よりも低次（例えば、三次又は四次）であることができる。代替的には、移動経路を表す多項式関数は、五次よりも高次（例えば、六次又は七次）であることができる。移動経路は、任意の度数／次数の多項式関数で表し得るが、関数（又は移動経路）の生成に必要な処理電力量が一般に、関数の度数／次数に伴って増大することに留意されたい。
移動経路生成器は、関数ｆ（ｔ）を生成するように構成し得る。関数ｆ（ｔ）は、位置９３２と基準点９３０との間に可動物体の移動経路を定義し得る。関数ｆ（ｔ）は、空間ターゲット方向ベクトル（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）と、位置９３２及び基準点９３０での可動物体の移動特性とに基づいて生成し得る。位置９３２は、移動経路の開始点Ｐｓｔａｒｔに対応し得る。基準点９３０は、移動経路の終了点Ｐｅｎｄに対応し得る。可動物体は、開始点Ｐｓｔａｒｔにおいて開始速度Ｖｓｔａｒｔ及び開始加速度Ａｓｔａｒｔを有し得る。可動物体は、終了点Ｐｅｎｄにおいて終了速度Ｖｅｎｄ及び終了加速度Ａｅｎｄを有し得る。開始点Ｐｓｔａｒｔの座標は、Ｐｓｔａｒｔ＝（ｘｓｔａｒｔ，ｙｓｔａｒｔ，ｚｓｔａｒｔ）により与え得る。開始速度Ｖｓｔａｒｔは、Ｖｓｔａｒｔ＝（ｖｘｓｔａｒｔ，ｖｙｓｔａｒｔ，ｖｚｓｔａｒｔ）であるような、異なる軸に沿った速度成分を含み得る。開始加速度Ａｓｔａｒｔは、Ａｓｔａｒｔ＝（ａｘｓｔａｒｔ，ａｙｓｔａｒｔ，ａｚｓｔａｒｔ）であるような、異なる軸に沿った速度成分を含み得る。終了点Ｐｅｎｄの座標は、Ｐｅｎｄ＝（ｘｅｎｄ，ｙｅｎｄ，ｚｅｎｄ）により与え得る。終了速度Ｖｅｎｄは、Ｖｅｎｄ＝（ｖｘｅｎｄ，ｖｙｅｎｄ，ｖｚｅｎｄ）であるような、異なる軸に沿った速度成分を含み得る。終了加速度Ａｅｎｄは、Ａｅｎｄ＝（ａｘｅｎｄ，ａｙｅｎｄ，ａｚｅｎｄ）であるような、異なる軸に沿った速度成分を含み得る。
移動経路での任意のポイントでの可動物体の位置は、関数ｆ（ｔ）により与え得る。
ｆ（ｔ）＝ａ５＊ｔ５＋ａ４＊ｔ４＋ａ３＊ｔ３＋ａ２＊ｔ２＋ａ１＊ｔ１＋ａ０
移動経路での任意のポイントでの可動物体の速度は、関数ｆ（ｔ）の一次導関数により与え得る。
ｆ’（ｔ）＝５＊ａ５＊ｔ４＋４＊ａ４＊ｔ３＋３＊ａ３＊ｔ２＋２＊ａ２＊ｔ１＋ａ１
移動経路での任意のポイントでの可動物体の加速度は、関数ｆ（ｔ）の二次導関数により与え得る。
ｆ’’（ｔ）＝２０＊ａ５＊ｔ３＋１２＊ａ４＊ｔ２＋６＊ａ３＊ｔ１＋２＊ａ２
可動物体が開始点Ｐｓｔａｒｔにある場合、時間ｔはゼロに設定又は初期化し得る。ｔ＝０を上記関数に代入すると、
Ｐｓｔａｒｔ＝ｆ（０）＝ａ０
Ｖｓｔａｒｔ＝ｆ’（０）＝ａ１
Ａｓｔａｒｔ＝ｆ’’（０）＝２＊ａ２
が得られる。可動物体が終了点Ｐｅｎｄにある場合、関数は、
Ｐｅｎｄ＝ｆ（ｔ）
Ｖｅｎｄ＝ｆ’（ｔ）
Ａｅｎｄ＝ｆ’’（ｔ）
により与えられ得る。
上記関数及び係数は、Ｆ＝Ｍ＊Ａとして行列形態で書き換えることができ、これは単位時間の仮定に基づく。

Ａは、多項式関数ｆ（ｔ）の係数を含む行列である。係数は、Ａ＝Ｍ−１＊Ｆから得ることができ、その理由は、全てのパラメータが測定可能であるか、既知であるか、又はユーザにより提供されるためである。例えば、開始点Ｐｓｔａｒｔ、開始速度Ｖｓｔａｒｔ、及び開始加速度Ａｓｔａｒｔは既知であり、可動物体が開始点にあるとき、１つ又は複数のセンサ（例えば、ＩＭＵ）により測定することができる。終了点Ｐｅｎｄ、終了速度Ｖｅｎｄ、及び終了加速度Ａｅｎｄは、ユーザ入力（例えば、ユーザ端末を通して提供される）から取得し得る。終了点には、ターゲット方向にある基準点９３０に対応し得、コンピュータ実装ディスプレイでのユーザ選択点を関連付け得る。終了速度及び終了加速度は、終了点での可動物体の入力速度及び入力加速度（ユーザにより提供又は定義されるような）に対応し得る。
各方向（Ｘ，Ｙ，及びＺ）での線を平滑化のために、幾つかのｎ次多項式を分解して、以下の既知の値を考慮に入れることにより、場所、速度、及び加速度が、移動経路の開始点及び終了点で連続することを保証し得る。（１）開始点及び終了点の場所、（２）開始点及び終了点での速度、並びに（３）開始点及び終了点での加速度。例えば、Ｘ方向では、開始点での場所、速度、及び加速度は、時間ｔ＝０での

にそれぞれ対応する既知の値であり、可動物体の１つ又は複数のセンサ（例えば、ＩＭＵ）を使用して特定し得る。終了点での場所、速度、及び加速度は、時間ｔ＝１での

にそれぞれ対応する既知の値であり、ユーザ端末を通してユーザ入力から取得し得る。Ｔは、可動物体が開始点から終了点まで移動するためにかかる時間であり、調整可能なパラメータである。Ｔが小さいほど、移動経路の曲線は急になり、Ｔが大きいほど、曲線は緩くなる。以下の五次多項式を解き、
ｘ（ｔ）＝ａ５ｔ５＋ａ４ｔ４＋ａ３ｔ３＋ａ２ｔ２＋ａ１ｔ＋ａ０
Ｘ方向での制御点の時系列を取得し得る。同様に、以下の五次多項式を解き、
ｙ（ｔ）＝ｂ５ｔ５＋ｂ４ｔ４＋ｂ３ｔ３＋ｂ２ｔ２＋ｂ１ｔ＋ｂ０
Ｙ方向での制御点の時系列を取得し得る。同様に、以下の五次多項式を解き、
ｚ（ｔ）＝ｃ５ｔ５＋ｃ４ｔ４＋ｃ３ｔ３＋ｃ２ｔ２＋ｃ１ｔ＋ｃ０
Ｚ方向での制御点の時系列を取得し得る。
再び図７を参照すると、移動経路生成器２１４は、移動経路を表す関数を移動コントローラ２１８に提供するように構成し得る。移動コントローラは、移動経路に沿った位置９３２（開始点）から基準点９３０（終了点）への可動物体の移動を行うように構成し得る。可動物体は、図９に示されるように、略曲線で移動経路に沿って移動するように構成し得る。移動コントローラは、可動物体が基準点に到達するとき、ターゲット方向での可動物体の移動を行うように構成し得る。可動物体は、基準点９３０から開始して略線形にターゲット方向に移動するように構成し得る。
図１０は、幾つかの実施形態による、可動物体の位置から、１つ又は複数のターゲット方向に関連付けられた複数の基準点まで生成することができる異なる移動経路の例を示す。
図１０の部分Ａは、可動物体の位置から、平行するターゲット方向ベクトルにある異なる基準点まで生成することができる異なる円弧形移動経路を示す。複数の基準点１０３０を推定し得る。複数の基準点は、可動物体１００２に相対して異なるターゲット方向に沿った異なる位置にあり得る。ターゲット方向は互いに平行し得る。任意選択的に、ターゲット方向は、互いに平行する必要はない。第１の基準点１０３０−１は、可動物体の最も近くに配置し得る。第２の基準点１０３０−２は、第１の基準点１０３０−１と第３の基準点１０３０−３との間で、可動物体から離れて配置し得る。第３の基準点１０３０−３は、可動物体から最も離れて配置し得る。可動物体の位置１０３２から各基準点まで、異なる移動経路１０３４を生成し得る。例えば、第１の移動経路１０３４−１を位置１０３２から第１の基準点１０３０−１まで生成し得、第２の移動経路１０３４−２を位置１０３２と第２の基準点１０３０−２まで生成し得、第３の移動経路１０３４−３を位置１０３２から第３の基準点１０３０−３まで生成し得る。各移動経路は、半径及び角度θを有する円弧を形成し得る。半径は、位置１０３２と基準点との間の距離が増大する場合、増大し、位置１０３２と基準点との間の距離が低減する場合、低減する。例えば、移動経路１０３４−１は、第１の基準点１０３０−１から点Ｏ１まで延びる、半径ｒ１を有する円弧を形成し得、移動経路１０３４−２は、第２の基準点１０３０−２から点Ｏ２まで延びる、半径ｒ２を有する円弧を形成し得、移動経路１０３４−３は、第３の基準点１０３０−３から点Ｏ３まで延びる、半径ｒ３を有する円弧を形成し得る。点Ｏ１、Ｏ２、及びＯ３は、可動物体から延びるｙ軸に沿って存在し得る。ｙ軸は、可動物体のピッチ軸に対応し得る。可動物体は、位置１０３２でのｘ軸に沿った初期方向に向かい得る。ｘ軸は、可動物体のロール軸に対応し得る。半径ｒ１、ｒ２、及びｒ３はそれぞれ、ｙ軸に沿って点Ｏ１、Ｏ２、及びＯ３において角度θを形成し得る。第１の移動経路、第２の移動経路、及び第３の移動経路の円弧長は、ｌ１、ｌ２、及びｌ３によりそれぞれ与え得る。図１０の例では、ｒ３＞ｒ２＞ｒ１且つｌ３＞ｌ２＞ｌ１であり、それにより、移動経路１０３４−１は最短の弧長を有し、移動経路１０３４−３は最長の弧長を有する。
図１０の部分Ｂは、可動物体の位置から、同じターゲット方向ベクトル上にある異なる基準点まで生成することができる異なる移動経路を示す。複数の基準点は、可動物体に相対して同じターゲット方向に沿った異なる点に存在し得る。第４の基準点１０３０−４は、可動物体の最も近くに配置し得る。第５の基準点１０３０−５は、第４の基準点１０３０−４と第６の基準点１０３０−６との間で、可動物体から離れて配置し得る。第６の基準点１０３０−６は、可動物体から最も離れて配置し得る。可動物体の位置から各基準点まで異なる移動経路１０３４を生成し得る。例えば、第４の移動経路１０３４−４を位置１０３２と第４の基準点１０３０−４との間に生成し得、第５の移動経路１０３４−５を位置１０３２と第５の基準点１０３０−５との間に生成し得、第６の移動経路１０３４−６を位置１０３２と第６の基準点１０３０−６との間に生成し得る。図１０の部分Ｂでは、第４の移動経路１０３４−４は最大量の曲率を有し得、第６の移動経路１０３４−６は最小量の曲率を有し得る。例えば、第４の移動経路１０３４−４は湾曲し得、一方、第６の移動経路１０３４−６は略直線であり得る。
したがって、可動物体が初期又は現在位置から任意のターゲット方向ベクトルにある基準点まで、又は同じターゲット方向ベクトルに沿って存在する異なる基準点まで、異なる長さ、異なる半径、及び異なる曲率（例えば、湾曲、線形、又は両方の組合せ）の移動経路を生成することができる。ユーザは、コンピュータ実装インタフェースを介して入力を提供することにより（例えば、ユーザ端末に表示される画像上の点を選択又はタップすることにより）、任意の基準点を選択し得る。ユーザが可動物体により近い点を選ぶ（例えば、基準点１０３０−１）場合、例えば、図１０の部分Ａに示されるように、より小さな半径を有する移動経路（例えば、移動経路１０３４−１）を可動物体の現在又は初期位置から基準点まで生成することができる。逆に、ユーザが、可動物体からより離れた点を選ぶ（例えば、基準点１０３２−３）場合、例えば、図１０の部分Ａに示されるように、より大きな半径を有する移動経路（例えば、移動経路１０３４−３）を可動物体の現在又は初期位置から基準点まで生成することができる。
図１１の部分Ａは、幾つかの実施形態による、可動物体が第１のターゲット方向から第２のターゲット方向に移動する場合、生成することができる異なる移動経路の例を示す。示されるように、可動物体は最初、方向Ｄ１に移動中であり得る。可動物体は、新しいターゲット方向Ｄ２に向かう命令を受信し得る。命令は、ユーザ端末へのユーザ入力を介して提供し得る。
移動経路生成器は、可動物体がコースを方向Ｄ１での現在移動から方向Ｄ２に切り替えるための１つ又は複数の移動経路１１３４を生成するように構成し得る。異なる移動経路は、初期方向Ｄ１でのベクトルに沿った異なる出口点と、ターゲット方向Ｄ２でのベクトルに沿った異なる入口点とに基づいて生成し得る。例えば、第１の移動経路１１３４−１を第１の出口点１１３２−１と第１の入口点１１３０−１との間に生成し得る。同様に、第２の移動経路１１３４−２を第２の出口点１１３２−２と第２の入口点１１３０−２との間に生成し得、第３の移動経路１１３４−３を第３の出口点１１３２−３と第３の入口点１１３０−３との間に生成し得、第４の移動経路１１３４−４を第４の出口点１１３２−４と第４の入口点１１３０−４との間に生成し得る。任意の数の移動経路を生成することができ、可動物体は、移動経路のいずれかに沿って移動するように制御し得る。図１１の部分Ａに示されるように、第１の移動経路〜第４の移動経路は、可動物体が移動の起点方向から新しいターゲット方向に平滑に遷移できるようにする曲線経路である。第１の移動経路〜第４の移動経路の曲率は、例えば、図１０におけるモデル及び式を使用して決定することができる。
移動経路の曲率は、可動物体が方向変更命令を受信したときの可動物体の速度及び／又は加速度、方向変更の程度、推進ユニットのタイプ、可動物体の構成、可動物体のユーザによる指定、又は任意の他のファクタ等の１つ又は複数のファクタにも依存し得る。幾つかの場合、標準曲率又は漸次的変更の移動経路を提供し得る。代替的には、曲率は、述べたファクタのうちの１つ又は複数に従って変更し得る。例えば、可動物体は、非常に素早く移動中である場合、仮により低速で移動中であった場合ほど急なターンをすることは可能ではないことがある。移動コントローラは、移動経路での方向の変更を行うために、計算を行い得る。移動コントローラは、本明細書の他の箇所に記載されるような特性のいずれかを有し得る。
図１１の部分Ｂは、幾つかの実施形態による、可動物体の既存の移動経路の拡張を示す。幾つかの場合、推定された基準点１１３０−１は、ターゲット方向でのベクトルに沿って存在しないことがあり、距離Δだけベクトルからずれることがある。それらの場合、既存の移動経路を推定基準点１１３０−１から、ターゲット方向でのベクトルに沿って存在する新しい基準点１１３０−２まで拡張し得る。既存の移動経路は、移動経路の一部を複製し、複製された部分を推定基準点１１３０−１から新しい基準点１１３０−２まで繋ぐことにより拡張し得る。幾つかの実施形態では、移動経路を表す関数（例えば、多項式関数）を調整して、移動経路を新しい基準点１１３０−２まで拡張し得る。関数の調整は、関数の度数（次元）の調整及び／又は関数内の１つ又は複数の係数の調整を含み得る。
上述したように、可動物体は、移動経路に沿って現在位置又は初期位置から、ターゲット方向のベクトルに沿った基準点まで移動するように構成し得る。多くの現実世界用途では、周囲環境は、可動物体の移動経路に障害物を含み得る。これらの障害物は、静止していることもあれば、移動可能なこともあれば、又は移動中であることもある。したがって、移動経路をリアルタイムで再計算することにより可動物体がそのような障害物を回避するために、外部環境についての情報が必要であり得る。幾つかの実施形態では、外部環境についての情報は、１つ又は複数の撮像デバイスにより捕捉される１つ又は複数の画像に基づいて、３Ｄマップで提供し得る。可動物体の移動経路は、３Ｄマップ基づいて調整し得る。
図１２は、幾つかの実施形態による、視覚的対話ナビゲーションシステム内で生じ得る通信の例を示す。図１２の視覚的ナビゲーションシステム１２００は、図７のシステム７００と同様であるが、システム１２００は、障害物回避ユニット２１６を更に含む。障害物回避ユニットは、移動経路生成器と同じ場所にあり得る。障害物回避ユニットは、移動経路生成器の一部であり得る。代替的には、移動経路生成器は、障害物回避ユニットの一部であり得る。障害物回避ユニットは、システムの任意の場所、例えば、可動物体に搭載して、又はユーザ端末に配置し得る。障害物回避ユニット及び／又は移動経路生成器は、３Ｄマップ等の環境マップ内の通過可能な（開かれた）空間を通って移動する移動経路を生成するように構成し得る。
障害物回避ユニットは、移動経路に沿った可動物体の予測移動に基づいて、可動物体が１つ又は複数の障害物に衝突することになるか否かを判断するように構成し得る。移動経路は、本明細書の他の箇所に（例えば、図９、図１０、及び図１１に）記載される移動経路に対応し得る。障害物回避ユニットは、可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路を増分的に調整するように構成し得る。障害物回避ユニットは、少なくとも１つの方向での角度の増分毎に、可動物体が１つ又は複数の障害物と衝突することになるか否かを判断するように更に構成し得る。
障害物回避ユニットは、環境マップに基づいて、可動物体が１つ又は複数の障害物に衝突することになるか否かを判断し得る。環境マップは、可動物体の周囲環境の３Ｄマップであり得る。３Ｄマップは、１つ又は複数の撮像デバイスにより捕捉された周囲物体の画像での深度情報に基づいて生成し得る。幾つかの実施形態では、障害物回避ユニットは、移動経路を示す軌道を環境マップに重ね、軌道が、環境マップ内に示される１つ又は複数の障害物の近傍であるか否か、又は交差するか否かを判断するように構成し得る。
軌道が、環境マップ内に示される１つ又は複数の障害物の近傍にない、又は交差しない場合、障害物回避ユニットは、衝突の危険がないか、又は低いと判断し得、既存の移動経路を移動コントローラに提供し得る。逆に、障害物回避ユニットは、軌道が環境マップ内に示される１つ又は複数の障害物の近傍にあるか、又は交差する場合、可動物体が１つ又は複数の障害物と衝突することになると判断し得る。
障害物回避ユニットは、可動物体が１つ又は複数の障害物と衝突する可能性が低いか、又は衝突することにならない１つ又は複数の角度を特定し、１つ又は複数の角度に基づいて可動物体の移動経路を調整するように構成し得る。移動コントローラは、調整された移動経路に沿って移動するように可動物体を制御するように構成し得る。
幾つかの実施形態では、障害物回避ユニットは、少なくとも１つの方向において移動経路の角度を増分的に調整するように構成し得る。調整すべき移動経路の角度は、図９において上述したθ＝ａｔａｎ（ｙｓｐａｃｅ／ｘｓｐａｃｅ）により与えられる角度θを含み得る。さらに、移動経路の角度は、

により与えられる角度αを含み得る。角度θ及びαは、図３を参照して上述したように、カメラ座標系でのユーザ選択方向の方向ベクトルＯＡに対応する座標（ｘｓｐａｃｅ，ｙｓｐａｃｅ，ｚｓｐａｃｅ）の三角関数である。したがって、移動経路は、障害物がない１つ又は複数の移動経路を決定するために、少なくとも１つの方向において一連の角度をトラバースするように調整することができる。少なくとも１つの方向は、環境内の世界座標系の１つ又は複数の軸に相対して定義し得る。例えば、少なくとも１つの方向は、世界座標系のｘ軸、ｙ軸、又はｚ軸に相対して定義し得る。
幾つかの実施形態では、障害物回避ユニットは、少なくとも１つの方向において、移動経路の角度を増分的にＮ回調整するように構成し得る。Ｎは１を超えるの任意の整数であり得る。移動経路の角度は、固定度間隔で増分的に調整し得る。例えば、移動経路の角度は、１度、２度、３度、４度、５度、６度、７度、８度、９度、１０度、又は１５度の間隔で増分的に調整し得る。代替的には、移動経路の角度は、１５度よりも大きい間隔で増分的に調整し得る。任意選択的に、移動経路の角度は、１度未満の間隔で増分的に調整し得る。幾つかの実施形態では、移動経路の角度は、様々な度数の間隔で増分的に調整し得る。増分角度は、移動経路上の点に相対して定義し得る。点は、移動経路上の初期点に対応し得る。点には、可動物体の場所を関連付け得る。障害物回避ユニットは、移動経路が第１の角度に調整された場合、可動物体が１つ又は複数の障害物と衝突しないと判断し得る。移動コントローラは、第１の角度で調整された移動経路に沿った可動物体の移動を行い、１つ又は複数の障害物を回避するように構成し得る。
幾つかの実施形態では、移動経路の角度は、移動経路内の障害物の有無に基づいて、動的に増分的に調整し得る。例えば、障害物回避ユニットが移動経路において障害物を検出する場合、移動経路の角度を小さな増分で調整して、障害物を迂回するための可動物体の移動経路の最小調整を特定し得る。移動経路の角度は、可動物体が障害物の迂回に成功した後、より大きな増分で再調整し得る。
幾つかの実施形態では、移動経路の角度は、移動経路内の障害物の密度に基づいて、動的に増分的に調整し得る。例えば、障害物回避ユニットが移動経路において高密度の障害物を検出する場合、移動経路の角度を小さな増分で調整して、高密度の障害物を迂回する可動物体の移動経路の微調整を決定し得る。逆に、障害物回避ユニットが移動経路において低密度の障害物を検出する場合、障害物間により開かれた（通過可能な）空間があり得るため、移動経路の角度をより大きな増分で調整し得る。
幾つかの実施形態では、障害物回避ユニットは、移動経路の角度を増分的に第１の角度よりも大きな第２の角度に調整するように構成し得る。障害物回避ユニットは、移動経路が第２の角度に調整された場合、可動物体が１つ又は複数の障害物と衝突しないと判断し得る。第２の角度で調整された移動経路は、第１の経路で調整された移動経路と比較して、衝突に対してより高い安全性マージンを提供し得る。
図１３は、幾つかの実施形態による、障害物を回避するための上方向又は下方向での可動物体の移動経路の増分的な調整を示す。図１３の部分Ａを参照すると、可動物体はまず、移動経路１３３４−１に沿って移動中であり得る。障害物回避ユニットは、衝突に繋がる障害物が移動経路１３３４−１にあることを検出し得る。障害物回避ユニットは、移動経路の角度を上方向に増分的に調整して、可動物体が障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定し得る。部分Ａに示されるように、移動経路１３３４−１はまず、移動経路１３３４−２へ角度θ１だけ上方に調整し得る。障害物回避ユニットは、調整された移動経路１３３４−２の軌道が環境マップ内に示される障害物の近傍にあるか否か、又は交差するか否かを判断することにより、調整された移動経路上で衝突が発生するか否かを判断するように構成し得る。部分Ａの例では、調整された移動経路１３３４−２上で衝突はなお生じる。障害物がない経路を特定するために、次に、移動経路１３３４−２は、１３３４−３へ角度θ２だけ上方に調整される。幾つかの場合では、角度θ２はθ１と略同じであり得る。他の場合、角度θ１及びθ２は異なり得る。例えば、角度θ２はθ１未満であってもよく、又はθ１より大きくてもよい。障害物回避ユニットは、移動経路１３３４−３において衝突がないと判断し得る。したがって、障害物回避ユニットは、可動物体の移動経路を１３３４−１から１３３４−３に変更し得る。次に、可動物体は、移動経路１３３４−３に沿って移動するように制御される。
幾つかの実施形態では、移動経路１３３４−３は、１３３４−４へ角度θ３だけ上方に調整し得る。移動経路１３３４−４は、移動経路１３３４−３と比較して衝突に対してより高い安全性マージンを提供し得、可動物体は、移動経路１３３４−４に沿って移動するように制御され得る。
図１３の部分Ｂは、部分Ａと同様であるが、移動経路の角度は下方向に増分的に調節されて、可動物体が障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定する。部分Ｂに示されるように、移動経路１３３４−５は、まず角度θ１だけ下方に調整されて、移動経路１３３４−６になり得る。障害物回避ユニットは、調整された移動経路の軌道が環境マップ内に示される障害物の近傍にあるか否か、又は交差するか否かを判断することにより、調整された移動経路１３３４−６上で衝突が発生するか否かを判断するように構成し得る。部分Ｂの例では、移動経路１３３４−６上で衝突はなお生じる。障害物がない経路を特定するために、次に、移動経路１３３４−６は、１３３４−７へ角度θ２だけ下方に調整される。障害物衝突ユニットは、移動経路１３３４−７において衝突がないと判断し得る。したがって、障害物回避ユニットは、可動物体の移動経路を１３３４−５から１３３４−７に変更し得る。次に、可動物体は、移動経路１３３４−７に沿って移動するように制御される。
図１４は、幾つかの実施形態による、障害物を回避するための左方向及び右方向での可動物体の移動経路の水平での調整を示す。図１３では、移動経路の調整は、可動物体のヨー軸（ｚ軸）に平行する垂直方向（上方及び下方）で行い得る。図１４では、移動経路の調整は、可動物体のピッチ軸（ｙ軸）に平行する水平方向（左及び右）で行い得る。
図１４では、可動物体はまず、移動経路１４３４−１に沿って移動中であり得る。障害物回避ユニットは、衝突することになる障害物が移動経路に存在することを検出し得る。障害物回避ユニットは、左方向又は右方向に移動経路の角度を増分的に調整して、可動物体が障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定し得る。例として、移動経路１４３４−１はまず、移動経路１４３４−２へ角度θ１だけ左に調整し得る。障害物回避ユニットは、調整された移動経路１４３４−２の軌道が環境マップ内に示される障害物の近傍にあるか否か、又は交差するか否かを判断することにより、調整された移動経路上で衝突が発生するか否かを判断するように構成し得る。移動経路１４３４−２上で衝突はなお生じる。障害物がない経路を特定するために、次に、移動経路１４３４−２は、１４３４−３へ角度θ２だけ左に調整される。幾つかの場合では、角度θ２はθ１と略同じであり得る。他の場合、角度θ１及びθ２は異なり得る。例えば、角度θ２はθ１未満であってもよく、又はθ１より大きくてもよい。障害物回避ユニットは、移動経路１４３４−３において衝突がないと判断し得る。したがって、障害物回避ユニットは、可動物体の移動経路を１４３４−１から１４３４−３に変更し得る。
幾つかの場合、左に調整する代わりに、移動経路１４３４−１を右に調整することができる。例えば、移動経路１４３４−１は、移動経路１４３４−４へ角度θ３だけ右に調整することができ、移動経路１４３０−４は、移動経路１４３４−５へ角度θ４だけ右に調整することができる。移動経路１４３４−５を移動経路１４３４−６へ角度θ５だけ右に調整することにより、障害物のない経路を取得し得る。
図１５は、幾つかの実施形態による、障害物を回避するために、可動物体が左方向又は右方向に水平に移動するような可動物体の移動経路の調整を示す。図１５は図１４と同様であるが、図１５の環境は複数の障害物を含み、調整された移動経路は略線形の経路を含む。
図１５では、移動経路１５３４−１の調整は、可動物体のピッチ軸（ｙ軸）に平行する水平方向（左及び右）で行い得る。障害物回避ユニットは、移動経路１５３４−１が角度θ１、θ２、及びθ３だけ左に順次調整され、角度θ５、θ６、θ７、及びθ８だけ右に順次調整された場合であってもなお、衝突が生じ得ると判断し得る。障害物回避ユニットは続けて、水平迂回戦略を用いて衝突がなお発生するか否かを判断し得る。水平迂回戦略は、左方向又は右方向において略線形であるように、移動経路を調整することを含み得る。図１５の例では、水平迂回戦略での移動経路は、可動物体のピッチ軸（ｙ軸）に略平行し得るか、又はピッチ軸に位置合わせされ得る。左水平迂回移動経路１５３４−５において、衝突は発生すると判断される。しかし、右水平迂回移動経路１５３４−１０により、障害物がない経路を取得し得る。したがって、障害物回避ユニットは、可動物体の移動経路を１５３４−１から１５３４−１０に変更し得る。
図１３〜図１５を参照して上述したように、障害物回避ユニットは、複数の方向において移動経路の角度を増分的に順次調整するように構成し得る。例えば、障害物回避ユニットは、移動経路の角度を第１の方向において増分的に調整して、可動物体が１つ又は複数の障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定し得る。第１の方向において角度が特定されない場合、障害物回避ユニットは、移動経路の角度を第２の方向において増分的に更に調整して、可動物体が１つ又は複数の障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定し得る。第２の方向において角度が特定されない場合、障害物回避ユニットは、移動経路の角度を第３の方向において増分的に更に調整して、可動物体が１つ又は複数の障害物と衝突しないか、又は衝突する可能性が低い１つ又は複数の角度を特定し得る。幾つかの場合、第１の方向、第２の方向、及び第３の方向のうちの２つ以上は、互いに直交し得る。幾つかの実施形態では、第１の方向、第２の方向、及び第３の方向のうちの２つ以上は、互いと平行であり得る。幾つかの実施形態では、第１の方向、第２の方向、及び第３の方向のうちの２つ以上は、互いと逆であり得る。幾つかの代替の実施形態では、第１の方向、第２の方向、及び第３の方向のうちの２つ以上は、互いと斜めであり得る。幾つかの場合、第１の方向は、可動物体のヨー軸（ｚ軸）に平行する上方向に対応し得、第２の方向は、可動物体のピッチ軸（ｙ軸）に平行する左方向に対応し得、第３の方向は、可動物体のピッチ軸（ｙ軸）に平行するが、第２の方向とは逆の右方向に対応し得る。
図１６は、幾つかの実施形態による、障害物を回避するための３Ｄ掃引構成での可動物体の移動経路の調整を示す。図１６では、移動経路の角度は、複数の調整された移動経路が３Ｄ構成で可動物体から外側に向かって掃引するように、放射状に増分的に調整し得る。移動経路の角度は、可動物体のロール軸、ヨー軸、及びピッチ軸のそれぞれに直交して又は斜めに配置される複数の方向において増分的に調整し得る。複数の方向は、少なくとも、可動物体のロール軸に相対して上に延びる第１の方向、ロール軸に相対して左に延びる第２の方向、ロール軸に相対して右に延びる第３の方向、及びロール軸に相対して下に延びる第４の方向を含み得る。幾つかの実施形態では、移動経路の角度は、第１の方向において増分的に調整し、その後、第２の方向、第３の方向、及び第４の方向が続く。
図１７は、幾つかの実施形態による、１つ又は複数の障害物を回避するための可動物体の移動経路の反復調整を示す。上述したように、障害物回避ユニットは、（１）移動経路に沿った可動物体の予測される移動に基づいて、可動物体が１つ又は複数の障害物に衝突するか否かを判断し、（２）可動物体が１つ又は複数の障害物と衝突すると判断される場合、少なくとも１つの方向において移動経路の角度を増分的に調整し、（３）少なくとも１つの方向での増分角度毎に、可動物体が１つ又は複数の障害物と衝突するか否かを判断するように構成し得る。幾つかの実施形態では、障害物回避ユニットは、可動物体が調整された移動経路に沿って移動しているとき、固定距離間隔又は可変距離間隔で上記ステップ（１）から（３）を繰り返すように構成し得る。例えば、移動経路１７３４−１は、可動物体が移動経路１７３４−１にある第１の障害物との衝突を回避するために、移動経路１７３４−２へ位置Ｐ０において上方に調整し得る。可動物体は続けて、移動経路１７３４−２に沿って移動するように制御し得る。可動物体が位置Ｐ１に達すると、障害物回避ユニットは、上記障害物回避判断ステップを繰り返し得る。位置Ｐ１は、距離ｘ１だけ可動物体の位置Ｐ０から離れ得る。距離ｘ１は、ｘ軸移動方向に沿って測定し得る。位置Ｐ１は、位置Ｐ０よりも第１の障害物の近傍にあり得る。移動経路１７３４−２は、可動物体が移動経路１７３４−２にある第２の障害物との衝突を回避するために、移動経路１７３４−３へ位置Ｐ１において上方に調整し得る。可動物体は続けて、移動経路１７３４−３に沿って移動するように制御し得る。可動物体が位置Ｐ２に達すると、障害物回避ユニットは、上記障害物回避判断ステップを繰り返し得る。位置Ｐ２は、距離ｘ２だけ可動物体の位置Ｐ１から離れ得る。距離ｘ２も、ｘ軸移動方向に沿って測定し得る。位置Ｐ２は、位置Ｐ１よりも第２の障害物の近傍にあり得る。幾つかの実施形態では、距離ｘ１及びｘ２は、障害物回避ステップが固定距離間隔で実行されるように同じであり得る。代替的には、距離ｘ１及びｘ２は、障害物回避ステップが可変距離間隔で実行されるように異なり得る。距離間隔は、可動物体が移動経路（又は調整された移動経路）に沿って移動する際、可動物体と障害物との相対位置に依存し得る。例えば、障害物回避ステップは、可動物体が調整された移動経路に沿って移動中であり、１つ又は複数の障害物から所定の距離にある場合、実行し得る。同様に、障害物回避ステップは、可動物体が、１つ又は複数の障害物により近い調整移動経路に沿って移動中である場合、実行し得る。可動物体が１つ又は複数の障害物のより近くに移動した場合、障害物のより明確な画像を取得し得、それにより、環境マップを更新することができる。したがって、障害物回避ユニットは、更新された環境マップに基づいて移動経路を微調整し調整することができる。
幾つかの実施形態では、障害物回避ユニットは、可動物体が調整された移動経路に沿って移動しているとき、固定時間間隔又は可変時間間隔で上記障害物回避ステップ（１）から（３）を繰り返すように構成し得る。例えば、図１７を参照すると、障害物回避ステップの各シーケンスを時間ｔ０、ｔ１、及びｔ２において実行し得る。第１の時間間隔は（ｔ１−ｔ０）により与え得、第２の時間間隔は（ｔ２−ｔ１）により与え得る。幾つかの実施形態では、第１の時間間隔及び第２の時間間隔は、障害物回避ステップが固定時間間隔で実行されるように、同じであり得る。代替的には、第１の時間間隔及び第２の時間間隔は、障害物回避ステップが可変時間間隔で実行されるように、異なり得る。
幾つかの実施形態では、障害物回避ユニットは、環境内のターゲット方向と、可動物体の１つ又は複数の移動特性とに基づいて、可動物体の移動経路を生成するように構成し得る。障害物回避ユニットは、環境の少なくとも一部を表す環境マップを使用して、可動物体が１つ又は複数の障害物と衝突する確率を特定するように更に構成し得る。確率は、移動経路に沿った可動物体の予測される移動と、移動経路への１つ又は複数の障害物の予測される移動とに基づいて特定し得る。
障害物回避ユニットは、移動経路を環境マップに重ねて、１つ又は複数の障害物が移動経路に沿って存在するか否かを判断するように構成し得る。環境マップは、地形図又はメトリックマップを含み得る。メトリックマップは、以下の少なくとも１つを含み得る。ポイントクラウド、３Ｄグリッドマップ、２Ｄグリッドマップ、又は２．５Ｄグリッドマップ。メトリックマップは占有グリッドマップを含むこともできる。
障害物回避ユニットは、環境マップをリアルタイムで分析することにより、移動経路への１つ又は複数の障害物の予測移動を特定するように構成し得る。１つ又は複数の障害物の予測移動は、障害物の１つ又は複数の移動特性に基づいて特定し得る。１つ又は複数の移動特性は、環境内の１つ又は複数の軸に沿った及び／又は軸の周囲の障害物の速度及び／又は加速度を含み得る。
障害物回避ユニットは、衝突の確率が閾値以上であるか否かを判断するように構成し得る。障害物回避ユニットは、衝突の確率が閾値以上である場合、可動物体が１つ又は複数の障害物と衝突する可能性が高いか、又は衝突すると判断し得る。逆に、障害物回避ユニットは、衝突の確率が閾値未満である場合、可動物体が１つ又は複数の障害物と衝突する可能性が低いか、又は衝突しないと判断し得る。移動コントローラは、衝突の確率が閾値未満である場合、可動物体の移動経路を維持し、衝突の確率が閾値以上である場合、可動物体の移動経路を調整するように構成し得る。障害物回避ユニットは、少なくとも１つの方向において移動経路の角度を増分的に変更することにより、移動経路を調整し、少なくとも１つの方向での各増分角度毎に、衝突の確率が閾値未満であるか否かを判断するように構成し得る。幾つかの実施形態では、障害物回避ユニットは、複数の方向において移動経路の角度を増分的に変更することにより、移動経路の角度を調整し、各方向での各増分角度毎に、衝突の確率が閾値未満であるか否かを判断し得る。障害物回避ユニットは、衝突の確率が閾値未満である１つ又は複数の選択された角度を有する１つ又は複数の調整された移動経路を特定し得る。移動コントローラは、１つ又は複数の選択された角度を有する１つ又は複数の調整された移動経路に沿って移動するように、可動物体を制御し得る。
図１８は、幾つかの実施形態による、ユーザがターゲット方向を選択できるようにするユーザインタフェース（ＵＩ）の例を示し、ユーザによるターゲット方向の選択により、可動物体がターゲット方向において障害物を回避するように、移動経路は自動的に調整される。部分Ａは、環境の初期表示を示す。部分Ｂは、ユーザが表示内のターゲット方向を選択しており、障害物が移動経路にあり得ることを示す。部分Ｃは、障害物を回避した調整された移動経路を移動中の可動物体の画像を示す。可動物体はＵＡＶであり得る。ＵＡＶの対応する移動／機首方位は、コンパスに示される。
部分Ａは、環境の初期表示を示す。上述したように、初期表示は、ＦＰＶ及び／又はマップビューを含み得る画像を含み得る。まず、環境の画像は、ユーザがターゲット方向を選択する前に提示し得る。環境内の木等の１つ又は複数の物体を表示し得る。対応するコンパスは、ＵＡＶが任意選択的に移動中ではないことを示し得る。代替の実施形態では、ＵＡＶは、ユーザがターゲット方向を選択する際、既に移動中であり得る。
部分Ｂは、ユーザが表示内でターゲット方向を選択していることを示す。例えば、ターゲット方向は北東方向であり得る。ターゲット方向は、本明細書の他の箇所で更に詳細に説明されたような任意の様式で選択し得る。幾つかの場合、ＵＡＶが移動中である場合、１つ又は複数の物体が、ＵＡＶの経路にある場合、障害物になり得る。例えば、ユーザは、北東方向においてターゲット方向を選択し得る。北東方向での経路に、木が存在し得る。
ＵＡＶは、上述した障害物回避方法の１つ又は複数を使用して、提示された障害物を回避するように、ＵＡＶの飛行経路を自動的に調整し得る。対応するコンパスは、ＵＡＶが障害物を回避し得ることを示す。本明細書の他の箇所に記載される飛行コントローラ等の飛行コントローラが、ＵＡＶがいかに障害物を回避すべきかを特定するに当たり支援し得る。ＵＡＶは、障害物を側方に迂回してもよく、及び／又は障害物の上及び／又は下を移動してもよい。幾つかの場合、障害物は静止した障害物であり得る。代替的には、障害物は移動している障害物であり得る。本明細書の他の箇所に更に詳細に説明された技法等の任意の障害物回避技法を利用し得る。
部分Ｃは、障害物を回避したターゲット方向に移動中の可動物体の画像を示す。例えば、ＵＡＶは、障害物であった木の周囲を飛行し得、それにより、ＵＡＶは、対応するコンパスにより示されるように、北東であり得る元のターゲット方向を続けることができる。
図１９は、幾つかの実施形態による、可動物体の移動経路を生成する方法のフローチャートを示す。まず、ユーザ端末のアプリケーションが、コンピュータ実装ディスプレイ上の画像において点が選択（「タップ」）されたか否かを判断し得る。ディスプレイはユーザ端末の一部であり得、アプリケーションは、ユーザ端末のソフトウェアとハードウェアとの組合せを使用して実行し得る。画像は、例えば、可動物体のカメラにより捕捉されたＦＰＶビューであり得る。可動物体はＵＡＶであり得る。ユーザ端末は、ＵＡＶを制御するためにユーザにより使用することができる。
アプリケーションは、ポイントがタップされたと判断する場合、タップされてポイントの画像座標を方向分析器に送信し得る。方向分析器は、部分的に表示画面でのタップされたポイントの座標及びカメラの姿勢に基づいて、タップされたポイントの空間方向を計算するように構成し得る。タップされたポイントの空間方向は、図２及び図３において上述した方法を使用して計算し得る。
次に、タップされたポイントの空間方向は、移動経路生成器に提供し得る。移動経路生成器は、初期位置又は現在位置から空間方向にある基準点までの新しい軌道を計画するように構成し得る。軌道は移動経路であり得る。新しい軌道は、ＵＡＶ位置情報及び３Ｄ環境マップ情報に基づいて計画し得る。
次に、障害物回避ユニットは、ＵＡＶが新しい軌道上の任意の障害物と衝突するか否かを診断し得る。衝突が判断される場合、軌道を飛行コントローラに出力し得る。飛行コントローラは、軌道に沿って飛行するようにＵＡＶを制御するように構成し得る。
衝突が判断される場合、衝突回避ユニットは、一連の障害物回避ステップ（例えば、図１３〜図１７において上述したステップ）を実行して、迂回軌道を特定し得る。障害物回避ステップは、３Ｄ環境マップ情報及びＵＡＶ位置情報に基づき得る。迂回軌道が存在する場合、衝突回避ユニットは、迂回軌道を飛行コントローラに出力し得、次に、飛行コントローラは、迂回軌道に沿って飛行するようにＵＡＶを制御する。迂回軌道が存在しない場合、衝突回避ユニットは、命令を飛行コントローラに提供して、ＵＡＶが現在位置でホバリングするか、又は着陸するようにＵＡＶを制御し得る。
幾つかの場合、ポイントがタップされていない場合、アプリケーションは、前の軌道が存在するか否かを判断し得る。前の軌道が存在しない場合、アプリケーションは、命令を飛行コントローラに提供して、ＵＡＶが現在位置でホバリングするか、又は着陸するようにＵＡＶを制御し得る。前の軌道が存在する場合、移動経路生成器は、ＵＡＶ位置情報に基づいて前の軌道を拡張し得る。障害物回避ユニットは続けて、上述した障害物回避ステップのうちの１つ又は複数を使用して、拡張された軌道上でＵＡＶが任意の障害物と衝突するか否かを判断し得る。
図２０は、幾つかの実施形態による、可動物体の障害物回避方法のフローチャートを示す。図２０は、図１９の障害物回避ステップをより詳細に示す。衝突が判断される場合、衝突回避ユニットはまず、（１）タップされたポイントの空間方向の水平射影、（２）ＵＡＶ位置情報、及び（３）３Ｄ環境マップ情報（図１３において上述したように）に基づいて、障害物のない軌道を求めて上方を検索し得る。衝突回避ユニットは、飛行軌道の角度を上方向に調整して、トライアル軌道を計画することにより、検索し得る。トライアル軌道は、調整された移動経路であり得る。衝突回避ユニットは、任意の衝突がトライアル軌道で生じるか否かを判断し得る。トライアル軌道で衝突が判断されない場合、衝突回避ユニットは、トライアル軌道を新しい軌道として出力し得る。衝突が存在すると判断される場合、衝突回避ユニットは、飛行軌道の角度を増分的に調整し得、次の増分角度から別のトライアル軌道を計画し得る。
幾つかの場合、まず障害物のない軌道を求めて上方を検索する代わりに、衝突回避ユニットはまず、左右対称検索を実行し得る（例えば、図１４及び図１５に示されるように）。例えば、衝突回避ユニットは、左方向及び／又は右方向において飛行軌道の角度を調整して、トライアル軌道を計画することにより、検索し得る。衝突回避ユニットは、任意の衝突がトライアル軌道で生じるか否かを判断し得る。トライアル軌道で衝突が判断されない場合、衝突回避ユニットは、トライアル軌道を新しい軌道として出力し得る。衝突が存在すると判断される場合、衝突回避ユニットは、飛行軌道の角度を増分的に調整し、次の増分角度から別のトライアル軌道を計画し得る。幾つかの場合、衝突回避ユニットは、上方、左へ、及び／又は右へＮ回検索して、１つ又は複数の障害物のない軌道を特定するように構成し得る。
本明細書に記載されるシステム、デバイス、及び方法は、多種多様な可動物体に適用することができる。先に述べたように、本明細書での航空車両の任意の記載は、任意の可動物体に適用し得、任意の可動物体に使用し得る。本発明の可動物体は、空中（例えば、固定翼機、回転翼航空機、又は固定翼も回転翼も有さない航空機）、水中（例えば、船舶若しくは潜水艦）、地上（例えば、車、トラック、バス、バン、自動二輪車等の自動車両、スティック、釣り竿等の可動構造若しくはフレーム、若しくは列車）、地下（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、若しくは宇宙探査機）、又はこれらの環境の任意の組合せ等の任意の適する環境内で移動するように構成することができる。可動物体は、本明細書の他の箇所に記載される車両等の車両であることができる。幾つかの実施形態では、可動物体は、人間又は動物等の生体に搭載することができる。
可動物体は、自由度６（例えば、並進に自由度３及び回転に自由度３）に関して環境内を自在に移動可能であり得る。代替的には、可動物体の移動は、所定の経路、行路、又は向きによる等の１つ又は複数の自由度に関して制約することができる。移動は、エンジン又はモータ等の任意の適する作動機構により作動することができる。可動物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、又は任意の適するそれらの組合わせ等の任意の適するエネルギー源により電力供給することができる。可動物体は、本明細書の他の箇所に記載されるように、推進システムを介して自己推進し得る。推進システムは、任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合わせ等のエネルギー源で駆動し得る。代替的には、可動物体は生体により携帯し得る。
幾つかの例では、可動物体は航空機であることができる。適する車両としては、水上車両、航空車両、宇宙車両、又は地上車両を挙げることができる。例えば、航空機は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプタ、回転翼機）、固定翼と回転翼の両方を有する航空機、又はいずれも有さない航空機（例えば、飛行船、熱気球）であり得る。車両は、空中、水上、水中、宇宙空間、地上、又は地下で自己推進されるような自己推進型であることができる。自己推進型車両は、１つ又は複数のエンジン、モータ、車輪、車軸、磁石、回転翼、プロペラ、翼、ノズル、又は任意の適するそれらの組合わせを含む推進システム等の推進システムを利用することができる。幾つかの場合では、推進システムを使用して、可動物体を表面から離陸させ、表面に着陸させ、現在の位置及び／又は向きを維持させ（例えば、ホバリングさせ）、向きを変更させ、及び／又は位置を変更させることができる。
可動物体は、ユーザにより遠隔制御することもでき、又は可動物体内若しくは可動物体上の搭乗者によりローカルに制御することもできる。幾つかの実施形態では、可動物体は、ＵＡＶ等の無人可動物体である。ＵＡＶ等の無人可動物体は、可動物体に搭載された搭乗者を有さなくてよい。可動物体は、人間により、自律制御システム（例えば、コンピュータ制御システム）により、又は任意の適するそれらの組合わせにより制御することができる。可動物体は、人工知能が構成されたロボット等の自律的又は半自律的ロボットであることができる。
可動物体は、任意の適するサイズ及び／又は寸法を有することができる。幾つかの実施形態では、車両内又は車両上に人間の搭乗者を有するようなサイズ及び／又は寸法のものであり得る。代替的には、可動物体は、車両内又は車両上に人間の搭乗者を有することが可能なサイズ及び／又は寸法よりも小さなものであり得る。可動物体は、人間により持ち上げられるか、又は携帯されるのに適するサイズ及び／又は寸法であり得る。代替的には、可動物体は、人間により持ち上げられるか、又は携帯されるのに適するサイズ及び／又は寸法よりも大きくてよい。幾つかの場合、可動物体は、約２ｃｍ、約５ｃｍ、約１０ｃｍ、約５０ｃｍ、約１ｍ、約２ｍ、約５ｍ、又は約１０ｍ以下の最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、約２ｃｍ、約５ｃｍ、約１０ｃｍ、約５０ｃｍ、約１ｍ、約２ｍ、約５ｍ、又は約１０ｍ以上であり得る。例えば、可動物体の対向する回転翼のシャフト間の距離は、約２ｃｍ、約５ｃｍ、約１０ｃｍ、約５０ｃｍ、約１ｍ、約２ｍ、約５ｍ、又は約１０ｍ以下であり得る。代替的には、対向する回転翼のシャフト間の距離は、約２ｃｍ、約５ｃｍ、約１０ｃｍ、約５０ｃｍ、約１ｍ、約２ｍ、約５ｍ、又は約１０ｍ以上であり得る。
幾つかの実施形態では、可動物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満の体積を有し得る。可動物体の総体積は、約１ｃｍ３以下、約２ｃｍ３以下、約５ｃｍ３以下、約１０ｃｍ３以下、約２０ｃｍ３以下、約３０ｃｍ３以下、約４０ｃｍ３以下、約５０ｃｍ３以下、約６０ｃｍ３以下、約７０ｃｍ３以下、約８０ｃｍ３以下、約９０ｃｍ３以下、約１００ｃｍ３以下、約１５０ｃｍ３以下、約２００ｃｍ３以下、約３００ｃｍ３以下、約５００ｃｍ３以下、約７５０ｃｍ３以下、約１０００ｃｍ３以下、約５０００ｃｍ３以下、約１０，０００ｃｍ３以下、約１００，０００ｃｍ３以下、約１ｍ３以下、又は約１０ｍ３以下であり得る。逆に、可動物体の総体積は、約１ｃｍ３以上、約２ｃｍ３以上、約５ｃｍ３以上、約１０ｃｍ３以上、約２０ｃｍ３以上、約３０ｃｍ３以上、約４０ｃｍ３以上、約５０ｃｍ３以上、約６０ｃｍ３以上、約７０ｃｍ３以上、約８０ｃｍ３以上、約９０ｃｍ３以上、約１００ｃｍ３以上、約１５０ｃｍ３以上、約２００ｃｍ３以上、約３００ｃｍ３以上、約５００ｃｍ３以上、約７５０ｃｍ３以上、約１０００ｃｍ３以上、約５０００ｃｍ３以上、約１０，０００ｃｍ３以上、約１００，０００ｃｍ３以上、約１ｍ３以上、又は約１０ｍ３以上であり得る。
幾つかの実施形態では、可動物体は、約３２，０００ｃｍ２以下、約２０，０００ｃｍ２以下、約１０，０００ｃｍ２以下、約１，０００ｃｍ２以下、約５００ｃｍ２以下、約１００ｃｍ２以下、約５０ｃｍ２以下、約１０ｃｍ２以下、又は約５ｃｍ２以下の設置面積（可動物体により包含される横方向の断面積と呼び得る）を有し得る。逆に、設置面積は、約３２，０００ｃｍ２以上、約２０，０００ｃｍ２以上、約１０，０００ｃｍ２以上、約１，０００ｃｍ２以上、約５００ｃｍ２以上、約１００ｃｍ２以上、約５０ｃｍ２以上、約１０ｃｍ２以上、又は約５ｃｍ２以上であり得る。
幾つかの場合では、可動物体は１０００ｋｇ以下の重量であり得る。可動物体の重量は、約１０００ｋｇ以下、約７５０ｋｇ以下、約５００ｋｇ以下、約２００ｋｇ以下、約１５０ｋｇ以下、約１００ｋｇ以下、約８０ｋｇ以下、約７０ｋｇ以下、約６０ｋｇ以下、約５０ｋｇ以下、約４５ｋｇ以下、約４０ｋｇ以下、約３５ｋｇ以下、約３０ｋｇ以下、約２５ｋｇ以下、約２０ｋｇ以下、約１５ｋｇ以下、約１２ｋｇ以下、約１０ｋｇ以下、約９ｋｇ以下、約８ｋｇ以下、約７ｋｇ以下、約６ｋｇ以下、約５ｋｇ以下、約４ｋｇ以下、約３ｋｇ以下、約２ｋｇ以下、約１ｋｇ以下、約０．５ｋｇ以下、約０．１ｋｇ以下、約０．０５ｋｇ以下、又は約０．０１ｋｇ以下であり得る。逆に、重量は、約１０００ｋｇ以上、約７５０ｋｇ以上、約５００ｋｇ以上、約２００ｋｇ以上、約１５０ｋｇ以上、約１００ｋｇ以上、約８０ｋｇ以上、約７０ｋｇ以上、約６０ｋｇ以上、約５０ｋｇ以上、約４５ｋｇ以上、約４０ｋｇ以上、約３５ｋｇ以上、約３０ｋｇ以上、約２５ｋｇ以上、約２０ｋｇ以上、約１５ｋｇ以上、約１２ｋｇ以上、約１０ｋｇ以上、約９ｋｇ以上、約８ｋｇ以上、約７ｋｇ以上、約６ｋｇ以上、約５ｋｇ以上、約４ｋｇ以上、約３ｋｇ以上、約２ｋｇ以上、約１ｋｇ以上、約０．５ｋｇ以上、約０．１ｋｇ以上、約０．０５ｋｇ以上、又は約０．０１ｋｇ以上であり得る。
幾つかの実施形態では、可動物体は、可動物体により運ばれる積載物に相対して小さくてよい。積載物は、更に詳細に後述するように、搭載物及び／又は支持機構を含み得る。幾つかの例では、積載物の重量に対する可動物体の重量の比は、約１：１よりも大きい、小さい、又は等しくてもよい。幾つかの場合では、積載物の重量に対する可動物体の重量の比は、約１：１よりも大きい、小さい、又は等しくてもよい。任意選択的に、積載物の重量に対する支持機構の重量の比は、約１：１よりも大きい、小さい、又は等しくてもよい。所望の場合、積載物の重量に対する可動物体の重量の比は、１：２以下、１：３以下、１：４以下、１：５以下、１：１０以下、又はそれよりも小さな比であり得る。逆に、積載物の重量に対する可動物体の重量の比は、２：１以上、３：１以上、４：１以上、５：１以上、１０：１以上、又はそれよりも大きな比であることもできる。
幾つかの実施形態では、可動物体は低エネルギー消費量を有し得る。例えば、可動物体は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満、又はそれよりも小さな値を使用し得る。幾つかの場合では、可動物体の支持機構は低エネルギー消費量を有し得る。例えば、支持機構は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満、又はそれよりも小さな値を使用し得る。任意選択的に、可動物体の搭載物は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満、又はそれよりも小さな値等の低エネルギー消費量を有し得る。
幾つかの実施形態では、ＵＡＶは、複数の回転翼を有する推進システムを含むことができる。任意の数の回転翼を提供し得る（例えば、１、２、３、４、５、６、又は７以上）。無人航空機の回転翼、回転翼組立体、又は他の推進システムは、無人航空機のホバリング／位置の維持、向きの変更、及び／又は場所の変更を可能にし得る。対向する回転翼のシャフト間の距離は、任意の適する長さであることができる。例えば、長さは、２ｍ以下又は５ｍ以下であることができる。幾つかの実施形態では、長さは、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内であることができる。ＵＡＶに関する本明細書での任意の記載は、異なるタイプの可動物体等の可動物体に適用し得、又はその逆も同様である。
幾つかの実施形態では、可動物体は、積載物を運ぶように構成することができる。積載物は、乗客、貨物、機器、器具等のうちの１つ又は複数を含むことができる。積載物は筐体内に提供し得る。筐体は、可動物体の筐体とは別個であってもよく、又は可動物体の筐体の一部であってもよい。代替的には、積載物に筐体を提供することができ、一方、可動物体は筐体を有さない。代替的には、積載物の部分又は積載物全体は、筐体なしで提供することができる。積載物は、可動物体に強固に固定することができる。任意選択的に、積載物は可動物体に対して移動可能であることができる（例えば、可動物体に対して並進可能又は回転可能）。
幾つかの実施形態では、積載物は搭載物を含む。搭載物は、いかなる動作又は機能も実行しないように構成することができる。代替的には、搭載物は、機能的搭載物としても知られる、動作又は機能を実行するように構成される搭載物であることができる。例えば、搭載物は、１つ又は複数のターゲットを調査する１つ又は複数のセンサを含むことができる。画像捕捉デバイス（例えば、カメラ）、オーディオ捕捉デバイス（例えば、パラボラマイクロフォン）、赤外線撮像デバイス、又は紫外線撮像デバイス等の任意の適するセンサを搭載物に組み込むことができる。センサは、静的感知データ（例えば、写真）又は動的感知データ（例えば、ビデオ）を提供することができる。幾つかの実施形態では、センサは、搭載物のターゲットの感知データを提供する。代替的には、又は組み合わせて、搭載物は、信号を１つ又は複数のターゲットを提供する１つ又は複数のエミッタを含むことができる。照明源又は音源等の任意の適するエミッタを使用することができる。幾つかの実施形態では、搭載物は、可動物体からリモートなモジュールと通信する等のために、１つ又は複数の送受信機を含む。任意選択的に、搭載物は、環境又はターゲットと対話するように構成することができる。例えば、搭載物は、ロボットアーム等の物体を操作可能なツール、器具、又は機構を含むことができる。
任意選択的に、積載物は支持機構を含み得る。支持機構は搭載物に提供することができ、搭載物は、支持機構を介して可動物体に直接（例えば、可動物体に直接接触する）又は間接的に（例えば、可動物体に接触しない）接続することができる。逆に、搭載物は、支持機構を必要とせずに可動物体に搭載することができる。搭載物は、支持機構と一体形成することができる。代替的には、搭載物は支持機構に脱着可能に接続することができる。幾つかの実施形態では、搭載物は、１つ又は複数の搭載物要素を含むことができ、搭載物のうちの１つ又は複数は、上述したように、可動物体及び／又は支持機構に相対して移動可能であることができる。
支持機構は、可動物体と一体形成することができる。代替的には、支持機構は、可動物体に脱着可能に接続することができる。支持機構は、可動物体に直接又は間接的に接続することができる。支持機構は、搭載物に支持を提供することができる（例えば、搭載物の重量の少なくとも一部を担持する）。支持機構は、搭載物の移動を安定化し、及び／又は指示することが可能な適する搭載構造（例えば、ジンバルプラットフォーム）を含むことができる。幾つかの実施形態では、支持機構は、可動物体に相対する搭載物の状態（例えば、位置及び／又は向き）を制御するように構成することができる。例えば、支持機構は、搭載物が、可動物体の移動に関係なく、適する基準系に相対してその位置及び／又は向きを維持するように、可動物体に相対して移動する（例えば、１度、２度、又は３度の並進及び／又は１度、２度、又は３度の回転に関して）ように構成することができる。基準系は固定基準系（例えば、周囲環境）であることができる。代替的には、基準系は移動基準系（例えば、可動物体、搭載物ターゲット）であることができる。
幾つかの実施形態では、支持機構は、支持機構及び／又は可動物体相対する搭載物の移動を可能にするように構成することができる。この移動は、自由度３までに関する（例えば、１つ、２つ、若しくは３つの軸に沿った）並進、自由度３までに関する（例えば、１つ、２つ、若しくは３つの軸の回りの）回転、又はそれらの任意の適する組合せであることができる。
幾つかの場合では、支持機構は、支持機構フレーム組立体及び支持機構作動組立体を含むことができる。支持機構フレーム組立体は、構造的支持を搭載物に提供することができる。支持機構フレーム組立体は、個々の支持機構フレーム構成要素を含むことができ、支持機構フレーム構成要素の幾つかは互いに対して移動可能であることができる。支持機構作動組立体は、個々の支持機構フレーム構成要素の移動を作動させる１つ又は複数のアクチュエータ（例えば、モータ）を含むことができる。アクチュエータは、複数の支持機構フレーム構成要素の同時移動を可能にすることができるか、又は一度に１つの支持機構フレーム構成要素の移動を可能にするように構成し得る。支持機構フレーム構成要素の移動は、搭載物の対応する移動を生成することができる。例えば、支持機構作動組立体は、１つ又は複数の回転軸（例えば、ロール軸、ピッチ軸、又はヨー軸）の回りでの１つ又は複数の支持機構フレーム構成要素の回転を作動させることができる。１つ又は複数の支持機構フレーム構成要素の回転は、搭載物を可動物体に相対して、１つ又は複数の回転軸の回りを回転させることができる。代替的に、又は組み合わせて、支持機構作動組立体は、１つ又は複数の並進軸に沿った１つ又は複数の支持機構フレーム構成要素の並進を作動させ、それにより、可動物体に相対した１つ又は複数の対応する軸に沿った搭載物の並進を生み出すことができる。
幾つかの実施形態では、固定基準系（例えば、周囲環境）及び／又は互いに相対する可動物体、支持機構、及び搭載物の移動は、端末により制御することができる。端末は、可動物体、支持機構、及び／又は搭載物から離れた場所にある遠隔制御デバイスであることができる。端末は、支持プラットフォームに配置又は固定することができる。代替的には、端末は、ハンドヘルド又はウェアラブルデバイスであることができる。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、メガネ、手袋、ヘルメット、マイクロフォン、又はそれらの適する組合わせを含むことができる。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、又はディスプレイ等のユーザインタフェースを含むことができる。手動入力されたコマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の移動、場所、又は傾きを介した）等の任意の適するユーザ入力が、端末との対話に使用可能である。
端末は、可動物体、支持機構、及び／又は積載物の任意の適する状態の制御に使用することができる。例えば、端末は、固定基準系に対する及び／又は相互に対する可動物体、支持機構、及び／又は積載物の位置及び／又は向きの制御に使用することができる。幾つかの実施形態では、端末は、支持機構の作動組立体、搭載物のセンサ、又は搭載物のエミッタ等の可動物体、支持機構、及び／又は搭載物の個々の要素の制御に使用することができる。端末は、可動物体、支持機構、又は搭載物のうちの１つ又は複数と通信するように構成された無線通信デバイスを含むことができる。
端末は、可動物体、支持機構、及び／又は搭載物の情報の表示に適するディスプレイユニットを含むことができる。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、又はこれらの任意の適する組合わせに関する可動物体、支持機構、及び／又は搭載物の情報を表示するように構成することができる。幾つかの実施形態では、端末は、機能的な搭載物により提供されるデータ（例えば、カメラ又は他の画像捕捉デバイスにより記録された画像）等の搭載物により提供される情報を表示することができる。
任意選択的に、同じ端末は、可動物体、支持機構、及び／又は搭載物又は可動物体、支持機構、及び／又は搭載物の状態の両方を制御するとともに、可動物体、支持機構、及び／又は搭載物からの情報を受信及び／又は表示し得る。例えば、端末は、搭載物により捕捉された画像データ又は搭載物の位置についての情報を表示しながら、環境に対する搭載物の測位を制御し得る。代替的には、異なる端末を異なる機能に使用し得る。例えば、第１の端末は可動物体、支持機構、及び／又は搭載物の移動又は状態を制御し得、一方、第２の端末は可動物体、支持機構、及び／又は搭載物から情報を受信及び／又は表示し得る。例えば、第１の端末は、環境に対する搭載物の測位の制御に使用し得、一方、第２の端末は、搭載物により捕捉された画像データを表示する。可動物体と、可動物体の制御及びデータ受信の両方を行う統合端末との間で、又は可動物体と、可動物体の制御及びデータ受信の両方を行う複数の端末との間で、様々な通信モードを利用し得る。例えば、可動物体と、可動物体の制御及び可動物体からのデータ受信の両方を行う端末との間で、少なくとも２つの異なる通信モードを形成し得る。
図２１は、実施形態による、支持機構２１０２及び搭載物２１０４を含む可動物体２１００を示す。可動物体２１００は航空機として示されているが、この描写は限定であるとことを意図せず、本明細書において上述したように、任意の適するタイプの可動物体が使用可能である。当業者であれば、航空機システムに関連して本明細書に記載される実施形態がいずれも、任意の適する可動物体（例えば、ＵＡＶ）に適用可能なことを理解する。幾つかの場合では、搭載物２１０４は、支持機構２１０２を必要とせずに、可動物体２１００上に提供し得る。可動物体２１００は、推進機構２１０６、感知システム２１０８、及び通信システム２１１０を含み得る。
推進機構２１０６は、上述したように、回転翼、プロペラ、翼、エンジン、モータ、車輪、車軸、磁石、又はノズルのうちの１つ又は複数を含むことができる。例えば、推進機構２１０６は、本明細書の他の箇所に開示されるように、自己締め付け回転翼、回転翼組立体、又は他の回転推進ユニットであり得る。可動物体は、１つ以上、２つ以上、３つ以上、又は４つ以上の推進機構を有し得る。推進機構は、全てが同じタイプであり得る。代替的には、１つ又は複数の推進機構は、異なるタイプの推進機構であることができる。推進機構２１０６は、本明細書の他の箇所に記載されるように支持要素（例えば、駆動シャフト）等の任意の適する手段を使用して、可動物体２１００に搭載することができる。推進機構２１０６は、可動物体２１００の上部、下部、前部、後部、側面、又はこれらの適する組合わせ等の可動物体２１００の任意の適する部分に搭載することができる。
幾つかの実施形態では、推進機構２１０６は、可動物体２１００のいかなる水平移動も必要とせずに（例えば、滑走路を移動せずに）、可動物体２１００が表面から鉛直に離陸するか、又は表面に鉛直に着陸できるようにし得る。任意選択的に、推進機構２１０６は、可動物体２１００が、空中の特定の位置及び／又は向きでホバリングできるようにするように動作可能である。推進機構２１００のうちの１つ又は複数は、他の推進機構から独立して制御され得る。代替的には、推進機構２１００は、同時に制御されるように構成することができる。例えば、可動物体２１００は、可動物体に揚力及び／又は推進力を提供することができる複数の水平面指向回転翼を有することができる。複数の水平面指向回転翼は、鉛直離陸機能、鉛直着陸機能、及びホバリング機能を可動物体２１００に提供するように作動することができる。幾つかの実施形態では、水平面指向回転翼のうちの１つ又は複数は、時計回り方向に回転し得、一方、水平回転翼のうちの１つ又は複数は、反時計回り方向に回転し得る。例えば、時計回りの回転翼の数は、反時計回りの回転翼の数と等しくてよい。水平面指向回転翼のそれぞれの回転速度は、各回転翼により生成される揚力及び／又は推進力を制御するように、独立して変更することができ、それにより、可動物体２１００の空間的配置、速度、及び／又は加速度（例えば、最大並進自由度３及び最大回転自由度３に関して）を調整する。
感知システム２１０８は、可動物体２１００の空間的配置、速度、及び／又は加速度（例えば、最大並進自由度３及び最大回転自由度３に関して）を感知し得る１つ又は複数のセンサを含むことができる。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、運動センサ、慣性センサ、近接センサ、又は画像センサを含むことができる。感知システム２１０８により提供される感知データは、可動物体２１００の空間的配置、速度、及び／又は向きを制御するのに使用することができる（例えば、後述するように、適する処理ユニット及び／又は制御モジュールを使用して）。代替的には、感知システム２１０８を使用して、気象状況、潜在的な障害物への近接度、地理的特徴の場所、人工構造物の場所等の可動物体の周囲の環境に関するデータを提供することができる。
通信システム２１１０は、無線信号２１１６を介して、通信システム２１１４を有する端末２１１２と通信できるようにする。通信システム２１１０、２１１４は、無線通信に適する任意の数の送信機、受信機、及び／又は送受信機を含み得る。通信は、データが一方向でのみに送信可能なように、一方向通信であり得る。例えば、一方向通信は、可動物体２１００のみがデータを端末２１１２に送信すること、又はこの逆を含み得る。データは、通信システム２１１０の１つ又は複数の送信機から、通信システム２１１２の１つ又は複数の受信機に送信し得、又はその逆も同様である。代替的には、通信は、可動物体２１００と端末２１１２との間で両方向でデータを送信することができるように、双方向通信であり得る。双方向通信は、通信システム２１１０の１つ又は複数の送信機から、通信システム２１１４の１つ又は複数の受信機にデータを送信すること、及びその逆を含むことができる。
幾つかの実施形態では、端末２１１２は、可動物体２１００、支持機構２１０２、及び搭載物２１０４の１つ又は複数に制御データを提供することができ、可動物体２１００、支持機構２１０２、及び搭載物２１０４の１つ又は複数から情報（例えば、可動物体、支持機構、又は搭載物の位置情報及び／又は動き情報、搭載物カメラにより捕捉された画像データ等の搭載物により感知されたデータ）を受信することができる。幾つかの場合、端末からの制御データは、可動物体、支持機構、及び／又は搭載物の相対位置、移動、作動、又は制御に関する命令を含み得る。例えば、制御データは、可動物体の場所及び／又は向きの変更（例えば、推進機構２１０６の制御を介して）又は可動物体に相対する搭載物の移動（例えば、支持機構２１０２の制御を介して）を生じさせ得る。端末からの制御データは、カメラ又は他の画像捕捉デバイスの動作制御等の搭載物の制御（例えば、静止画又は動画の撮影、ズームイン又はズームアウト、オン又はオフの切り替え、画像モードの切り替え、画像解像度の変更、フォーカスの変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更）を生じさせ得る。幾つかの場合、可動物体、支持機構、及び／又は搭載物からの通信は、１つ又は複数のセンサ（例えば、感知システム２１０８又は搭載物２１０４の）からの情報を含み得る。通信は、１つ又は複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、運動センサ、慣性センサ、近接センサ、又は画像センサ）から感知された情報を含み得る。そのような情報は、可動物体、支持機構、及び／又は搭載物の位置（例えば、場所、向き）、移動、又は加速度に関し得る。搭載物からのそのような情報は、搭載物により捕捉されたデータ又は搭載物の感知された状態を含み得る。端末２１１２により送信されて提供される制御データは、可動物体２１００、支持機構２１０２、又は搭載物２１０４のうちの１つ又は複数の状態を制御するように構成することができる。代替として、又は組み合わせて、支持機構２１０２及び搭載物２１０４はそれぞれ、端末２１１２と通信するように構成された通信モジュールを含むこともでき、それにより、端末は、可動物体２１００、支持機構２１０２、及び搭載物２１０４のそれぞれと独立して通信し、制御することができる。
幾つかの実施形態では、可動物体２１００は、端末２１１２に加えて又は端末２１１２に代えて、別のリモートデバイスと通信するように構成することができる。端末２１１２は、別のリモートデバイス及び可動物体２１００と通信するように構成することもできる。例えば、可動物体２１００及び／又は端末２１１２は、別の可動物体又は別の可動物体の支持機構若しくは搭載物と通信し得る。所望の場合、リモートデバイスは、第２の端末又は他の計算デバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイルデバイス）であり得る。リモートデバイスは、データを可動物体２１００に送信し、データを可動物体２１００から受信し、データを端末２１１２に送信し、及び／又はデータを端末２１１２から受信するように構成することができる。任意選択的に、リモートデバイスは、インターネット又は他の通信ネットワークに接続することができ、それにより、可動物体２１００及び／又は端末２１１２から受信したデータをウェブサイト又はサーバにアップロードすることができる。
幾つかの実施形態では、実施形態により、可動物体を制御するシステムを提供し得る。システムは、本明細書に開示されるシステム、デバイス、及び方法の任意の適する実施形態と組み合わせて使用することができる。システムは、感知モジュール、処理ユニット、不揮発性コンピュータ可読媒体、制御モジュール、及び通信モジュールを含むことができる。
感知モジュールは、異なる方法で可動物体に関連する情報を収集する異なるタイプのセンサを利用することができる。異なるタイプのセンサは、異なるタイプの信号又は異なるソースからの信号を感知し得る。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接センサ（例えばライダー）、又はビジョン／画像センサ（例えば、カメラ）を含むことができる。感知モジュールは、複数のプロセッサを有する処理ユニットに動作可能に接続することができる。幾つかの実施形態では、感知モジュールは、適する外部デバイス又はシステムに感知データを直接送信するように構成された送信モジュール（例えば、Ｗｉ−Ｆｉ画像送信モジュール）に動作可能に接続することができる。例えば、送信モジュールを使用して、感知モジュールのカメラにより捕捉された画像をリモート端末に送信することができる。
処理ユニットは、プログラマブルプロセッサ（例えば、中央処理装置（ＣＰＵ））等の１つ又は複数のプロセッサを有することができる。処理ユニットは、不揮発性コンピュータ可読媒体に動作可能に接続することができる。不揮発性コンピュータ可読媒体は、１つ又は複数のステップを実行するために処理ユニットにより実行可能な論理、コード、及び／又はプログラム命令を記憶することができる。不揮発性コンピュータ可読媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ）等のリムーバブルメディア又は外部ストレージ）を含むことができる。幾つかの実施形態では、感知モジュールからのデータは、不揮発性コンピュータ可読媒体のメモリユニットに直接伝達され、そこに記憶することができる。不揮発性コンピュータ可読媒体のメモリユニットは、処理ユニットにより実行可能であり、本明細書に記載された方法による任意の適する実施形態を実行する論理、コード、及び／又はプログラム命令を記憶することができる。例えば、処理ユニットは、１つ又は複数のプロセッサに、感知モジュールにより生成された感知データを解析させる命令を実行するように構成することができる。メモリユニットは、処理ユニットにより処理された感知モジュールからの感知データを記憶することができる。幾つかの実施形態では、不揮発性コンピュータ可読媒体のメモリユニットを使用して、処理ユニットにより生成された処理結果を記憶することができる。
幾つかの実施形態では、処理ユニットは、可動物体の状態を制御するように構成された制御モジュールに動作可能に接続することができる。例えば、制御モジュールは、可動物体の空間的配置、速度、及び／又は加速度を自由度６に関して調整するよう、可動物体の推進機構を制御するように構成することができる。代替的には、又は組み合わせて、制御モジュールは、支持機構、搭載物、又は感知モジュールの状態のうちの１つ又は複数を制御することができる。
処理ユニットは、１つ又は複数の外部デバイス（例えば、端末、ディスプレイデバイス、又は他のリモートコントローラ）からデータを送信及び／又は受信するように構成された通信モジュールに動作可能に接続することができる。有線通信又は無線通信等の任意の適する通信手段を使用し得る。例えば、通信モジュールは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信網、クラウド通信等のうちの１つ又は複数を利用することができる。任意選択的に、電波塔、衛星、又は移動局等の中継局を使用することができる。無線通信は、近接度依存型であってもよく、又は近接度独立型であってもよい。幾つかの実施形態では、通信にＬＯＦ（ｌｉｎｅ−ｏｆ−ｓｉｇｈｔ）が必要なこともあれば、又は必要ないこともある。通信モジュールは、感知モジュールからの感知データ、処理ユニットにより生成された処理結果、所定の制御データ、端末又はリモートコントローラからのユーザコマンド等のうちの１つ又は複数を送信及び／又は受信することができる。
システムの構成要素は、任意の適する構成で配置することができる。例えば、システムの構成要素のうちの１つ又は複数は、可動物体、支持機構、搭載物、端末、感知システム、又は上記のうち１つ又は複数と通信する追加の外部デバイスに配置することができる。幾つかの実施形態では、複数の処理ユニット及び／又は不揮発性コンピュータ可読媒体のうちの１つ又は複数は、異なる場所、例えば可動物体、支持機構、搭載物、端末、感知モジュール、上記のうち１つ又は複数と通信する追加の外部デバイス、又はこれらの適する組合わせに配置することができ、それにより、システムにより実行される処理及び／又はメモリ機能の任意の適する態様は、上記場所のうちの１つ又は複数で行うことができる。
本明細書で使用される場合、Ａ及び／又はＢは、Ａ又はＢ、及びＡ及びＢ等のそれらの組合せのうちの１つ又は複数を包含する。「第１」、「第２」、「第３」等の用語が、本明細書では、様々な要素、構成要素、領域、及び／又はセクションを記述するために使用されることがあり、これらの要素、構成要素、領域、及び／又はセクションが、これらの用語により限定されるべきではないことが理解される。これらの用語は単に、ある要素、構成要素、領域、又はセクションを別の要素、構成要素、領域、又はセクションから区別するためだけに使用されている。したがって、後述する第１の要素、構成要素、領域、又はセクションは、本発明の教示から逸脱せずに、第２の要素、構成要素、領域、又はセクションと呼ぶことができる。
本明細書で使用される用語は、特定に実施形態を説明することのみを目的とし、本発明の限定を意図しない。本明細書で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈により別段のことが明らかに示される場合を除き、複数形も同様に包含することが意図される。用語「備える」及び／又は「備えている」又は「含む」及び／又は「含んでいる」が、本明細書で使用される場合、述べられた特徴、領域、完全体、ステップ、動作、要素、及び／又は構成要素を指定するが、１つ又は複数の他の特徴、領域、完全体、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解される。
さらに、「下」又は「下部」及び「上」又は「上部」等の相対的な用語は、本明細書では、図に示されるようなある要素の、他の要素に対する関係を記述するために使用し得る。相対的な用語が、図に示される向きに加えて、要素の様々な向きの包含を意図することが理解される。例えば、図の１つでの要素が反転する場合、他の要素の「下」側にあるものとして説明された要素は、他の要素の「上」側に向けられる。したがって、例示的な用語である「下」は、図の特定の向きに応じて「下」及び「上」の向きの両方を包含することができる。同様に、図の１つでの要素が反転した場合、他の要素の「下」又は「真下」にあるものとして説明された要素は、他の要素の「上」に向けられる。したがって、例示的な用語「下」又は「真下」は、上及び下の向きの両方を包含することができる。
本願発明の好ましい実施形態が本明細書に示され、説明されたが、そのような実施形態は、単に例として提供されたことが当業者には明らかである。多くの修正、変更、及び置換が、本発明から逸脱することなく、当業者に想起されるであろう。本明細書に記載された本発明の実施形態に対する様々な代替が、本発明の実行に際して利用可能なことが理解されるべきである。本明細書に記載された実施形態の多くの異なる組合せが可能であり、そのような組合せは、本開示の一部と見なされる。加えて、本明細書において任意の一実施形態に関連して考察された全ての特徴は、本明細書における他の実施形態で使用されるように容易に適合することができる。以下の特許請求の範囲が本発明の範囲を規定し、これらの特許請求の範囲及びそれらの均等物内の方法及び構造がそれにより包含されることが意図される。

Claims (31)

  1. 無人機の移動を制御する方法であって、
    ユーザ端末によるユーザ入力により、前記無人機が移動するターゲット方向を特定し、前記無人機の基準点及び前記基準点での前記無人機の１つ又は複数の移動特性を取得するステップと、
    前記ターゲット方向、前記無人機の位置及び前記基準点での前記無人機の１つ又は複数の移動特性に基づいて、前記無人機の前記位置から前記基準点への前記無人機の移動経路を生成するステップと
    を含み、
    前記移動特性は、前記基準点での前記無人機の速度及び加速度のうち少なくとも１つを含み、
    前記ユーザ入力は、前記ユーザ端末であるコンピュータ実装インタフェースをタップすることにより得られ、当該タップにより、前記ターゲット方向が特定されるのと同時に前記基準点での前記無人機の速度及び加速度のうち少なくとも１つが取得される、方法。
  2. 前記基準点での前記無人機の速度及び加速度のうち少なくとも１つは、前記ユーザ入力のタップ数又はタップ期間の長さによって指定される、請求項１に記載の方法。
  3. 前記無人機の前記位置は、前記無人機の初期位置又は現在位置を含む、請求項１に記載の方法。
  4. 前記位置から前記基準点への前記移動経路に沿った前記無人機の移動を行うステップを更に含む、請求項１に記載の方法。
  5. 前記無人機が前記基準点に達したとき、前記ターゲット方向での前記無人機の移動を行うステップを更に含む、請求項１に記載の方法。
  6. 前記移動経路は、前記位置、前記基準点、並びに前記位置及び前記基準点での前記無人機の前記１つ又は複数の移動特性の関数により表示される、請求項１に記載の方法。
  7. 初期方向は、前記無人機の前記位置での前記移動経路への第１の接線により定義される、請求項１に記載の方法。
  8. 前記ターゲット方向は、前記基準点での前記移動経路への第２の接線により定義される、請求項７に記載の方法。
  9. 前記第１の接線及び前記第２の接線は、異なる方向に延びる、請求項８に記載の方法。
  10. 前記第１の接線及び前記第２の接線は、互いに斜めであり、または互いに直交する、請求項９に記載の方法。
  11. 前記基準点での前記無人機の向きは、前記位置での前記無人機の向きと異なる、請求項１に記載の方法。
  12. 前記無人機は、前記位置及び前記基準点の両方において同じ向きである、請求項１に記載の方法。
  13. 前記位置及び前記基準点は、異なる高度にある、請求項１に記載の方法。
  14. 前記無人機は、第１の瞬間に前記１つ又は複数の対応する移動特性を有する前記位置にあり、前記移動特性は、前記位置での前記無人機の第１の速度及び第１の加速度のうち少なくとも１つを含む、請求項１〜１３のいずれか一項に記載の方法。
  15. 前記第１の瞬間と異なる第２の瞬間に前記１つ又は複数の対応する移動特性を有する前記無人機は、前記基準点にあると推定され、前記基準点での前記無人機の速度及び加速度は、第２の速度及び第２の加速度である、請求項１４に記載の方法。
  16. 前記基準点、前記第２の速度、及び前記第２の加速度は、前記ユーザ入力から得られる、請求項１５に記載の方法。
  17. 前記基準点、前記第２の速度、及び前記第２の加速度はそれぞれ、前記第２の瞬間においてユーザが望む位置、速度、及び加速度に対応する、請求項１６に記載の方法。
  18. 前記第２の瞬間は、前記第１の瞬間後に生じる時点である、請求項１５に記載の方法。
  19. 前記無人機は、前記移動経路を辿ることにより前記第２の瞬間に前記第２の速度及び前記第２の加速度で前記基準点に到達すると予測される、請求項１５に記載の方法。
  20. 無人機の周囲の環境の画像は、前記コンピュータ実装インタフェースにレンダリングされる、請求項１に記載の方法。
  21. 前記画像は、前記無人機から撮影される一人称視点（ＦＰＶ）として予測される、請求項２０に記載の方法。
  22. 前記ターゲット方向は、前記環境内で定義されるベクトルである、請求項２０に記載の方法。
  23. 前記移動経路は、前記環境内で生成される、請求項２０に記載の方法。
  24. 前記環境の環境マップを生成することを更に含む、請求項２０に記載の方法。
  25. 前記移動経路は、１つ又は複数の関数により表示される、請求項１〜２４のいずれか一項に記載の方法。
  26. 前記１つ又は複数の関数は、多項式時間ベース関数を含む、請求項２５に記載の方法。
  27. １つ又は複数の多項式関数は、ベジエ曲線又はＢスプラインを含む、請求項２６に記載の方法。
  28. 前記移動経路は、前記位置と前記基準点との間の１つ又は複数の中間ウェイポイントを使用せずに生成されるステップを、含む請求項１に記載の方法。
  29. 無人機の移動を制御する装置であって、１つ又は複数のプロセッサを備え、前記１つ又は複数のプロセッサは、個々に又は集合的に、
    ユーザ端末によるユーザ入力により、前記無人機が移動するターゲット方向を特定し、前記無人機の基準点及び前記基準点での前記無人機の１つ又は複数の移動特性を取得することと、
    前記ターゲット方向、前記無人機の位置及び前記基準点での前記無人機の１つ又は複数の移動特性に基づいて、前記無人機の前記位置から前記基準点への前記無人機の移動経路を生成することと
    を行うように構成され、
    前記移動特性は、前記基準点での前記無人機の速度及び加速度のうち少なくとも１つを含み、
    前記ユーザ入力は、前記ユーザ端末であるコンピュータ実装インタフェースをタップすることにより得られ、当該タップにより、前記ターゲット方向が特定されるのと同時に前記基準点での前記無人機の速度及び加速度のうち少なくとも１つが取得される、装置。
  30. 実行されると、コンピュータに無人機の移動を制御する方法を実行させる命令を記憶した不揮発性コンピュータ可読媒体であって、前記方法は、
    ユーザ端末によるユーザ入力により、前記無人機が移動するターゲット方向を特定し、前記無人機の基準点及び前記基準点での前記無人機の１つ又は複数の移動特性を取得することと、
    前記ターゲット方向、前記無人機の位置及び前記基準点での前記無人機の１つ又は複数の移動特性に基づいて、前記無人機の前記位置から前記基準点への前記無人機の移動経路を生成することと
    を含み、
    前記移動特性は、前記基準点での前記無人機の速度及び加速度のうち少なくとも１つを含み、
    前記ユーザ入力は、前記ユーザ端末であるコンピュータ実装インタフェースをタップすることにより得られ、当該タップにより、前記ターゲット方向が特定されるのと同時に前記基準点での前記無人機の速度及び加速度のうち少なくとも１つが取得される、不揮発性コンピュータ可読媒体。
  31. 無人航空機（ＵＡＶ）システムであって、
    前記ＵＡＶを制御するように動作可能な装置を備え、前記装置は、１つ又は複数のプロセッサを備え、前記１つ又は複数のプロセッサは、個々に又は集合的に、
    ユーザ端末によるユーザ入力により、前記ＵＡＶが移動するターゲット方向を特定し、前記ＵＡＶの基準点及び前記基準点での前記ＵＡＶの１つ又は複数の移動特性を取得することと、
    前記ターゲット方向、前記ＵＡＶの位置及び前記基準点での前記ＵＡＶの１つ又は複数の移動特性に基づいて、前記ＵＡＶの前記位置から前記基準点への前記ＵＡＶの移動経路を生成することと
    を行うように構成され、
    前記移動特性は、前記基準点での前記ＵＡＶの速度及び加速度のうち少なくとも１つを含み、
    前記ユーザ入力は、前記ユーザ端末であるコンピュータ実装インタフェースをタップすることにより得られ、当該タップにより、前記ターゲット方向が特定されるのと同時に前記基準点での前記ＵＡＶの速度及び加速度のうち少なくとも１つが取得される、無人航空機（ＵＡＶ）システム。
JP2018521078A 2015-09-15 2016-02-29 Ｕａｖ経路を計画し制御するシステム及び方法 Expired - Fee Related JP6735821B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
PCT/CN2015/093459 WO2017045251A1 (en) 2015-09-15 2015-10-30 Systems and methods for uav interactive instructions and control
CNPCT/CN2015/093459 2015-10-30
PCT/CN2016/074830 WO2017071143A1 (en) 2015-10-30 2016-02-29 Systems and methods for uav path planning and control

Publications (2)

Publication Number Publication Date
JP2018535487A JP2018535487A (ja) 2018-11-29
JP6735821B2 true JP6735821B2 (ja) 2020-08-05

Family

ID=58288098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018521078A Expired - Fee Related JP6735821B2 (ja) 2015-09-15 2016-02-29 Ｕａｖ経路を計画し制御するシステム及び方法

Country Status (5)

Country Link
US (6) US20190011921A1 (ja)
EP (2) EP3353706A4 (ja)
JP (1) JP6735821B2 (ja)
CN (7) CN107209854A (ja)
WO (3) WO2017045116A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU200639U1 (ru) * 2020-09-02 2020-11-03 Илья Игоревич Бычков Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом

Families Citing this family (234)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257727B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems methods, and devices having databases and automated reports for electronic spectrum management
US10257728B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10219163B2 (en) 2013-03-15 2019-02-26 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10244504B2 (en) 2013-03-15 2019-03-26 DGS Global Systems, Inc. Systems, methods, and devices for geolocation with deployable large scale arrays
US10299149B2 (en) 2013-03-15 2019-05-21 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10237770B2 (en) 2013-03-15 2019-03-19 DGS Global Systems, Inc. Systems, methods, and devices having databases and automated reports for electronic spectrum management
US9078162B2 (en) 2013-03-15 2015-07-07 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US11646918B2 (en) 2013-03-15 2023-05-09 Digital Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US10231206B2 (en) 2013-03-15 2019-03-12 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices
US8750156B1 (en) 2013-03-15 2014-06-10 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10257729B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices having databases for electronic spectrum management
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
KR101740312B1 (ko) * 2015-01-09 2017-06-09 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
US10370118B1 (en) 2015-10-31 2019-08-06 Simon Saito Nielsen Lighting apparatus for remote controlled device
CN108351653B (zh) * 2015-12-09 2022-08-09 深圳市大疆创新科技有限公司 用于uav飞行控制的系统和方法
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US10845188B2 (en) * 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US9758246B1 (en) 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
US11009894B2 (en) * 2016-03-28 2021-05-18 Nec Corporation Unmanned flying device control system, unmanned flying device control method, and inspection device
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20170123907A (ko) * 2016-04-29 2017-11-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US11972683B2 (en) * 2016-05-25 2024-04-30 Yunex Gmbh Method, device and arrangement for tracking moving objects
TWI598143B (zh) * 2016-06-03 2017-09-11 博泰科技有限公司 飛行器的跟隨遙控方法
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
CN109417609B (zh) * 2016-07-08 2021-10-29 深圳市大疆创新科技有限公司 用于组合和编辑uav操作数据和视频数据的方法和系统
CN109564434B (zh) * 2016-08-05 2023-07-25 深圳市大疆创新科技有限公司 用于定位可移动物体的系统和方法
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20190004524A1 (en) * 2016-08-31 2019-01-03 Faraday&Future Inc. System and method for planning a vehicle path
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
CN106444848B (zh) * 2016-11-28 2018-11-30 广州极飞科技有限公司 控制无人机飞行的方法及装置
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR20180064253A (ko) * 2016-12-05 2018-06-14 삼성전자주식회사 비행 제어 방법 및 이를 지원하는 전자 장치
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10459020B2 (en) 2017-01-23 2019-10-29 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum
US10529241B2 (en) * 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN106909170B (zh) * 2017-04-26 2020-04-07 北京小米移动软件有限公司 控制飞行器的方法和装置
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
AU2018278323A1 (en) 2017-05-31 2019-12-05 Geomni, Inc. System and method for mission planning and flight automation for unmanned aircraft
EP3613208A4 (en) * 2017-06-02 2020-06-24 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR TRACKING MULTIPLE OBJECTIVES AND AUTOFOCUSING BASED ON DEEP MACHINE LEARNING AND LASER RADAR
CN107273937A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种视频及图像中目标任意角度标记方法
WO2019029551A1 (en) * 2017-08-10 2019-02-14 Hangzhou Zero Zero Technology Co., Ltd. SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
JP7057637B2 (ja) * 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
CN107505951B (zh) * 2017-08-29 2020-08-21 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
US10719087B2 (en) 2017-08-29 2020-07-21 Autel Robotics Co., Ltd. Target tracking method, unmanned aerial vehicle, and computer readable storage medium
CN107590450A (zh) * 2017-09-01 2018-01-16 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10491824B2 (en) 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
WO2019069626A1 (ja) * 2017-10-06 2019-04-11 株式会社豊田自動織機 移動車両
FR3074950B1 (fr) * 2017-10-19 2019-12-27 Valeo Comfort And Driving Assistance Procede de traitement de donnees et systeme embarque associe
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109753076B (zh) * 2017-11-03 2022-01-11 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
US10921825B2 (en) 2017-11-04 2021-02-16 Automodality, Inc. System and method for perceptive navigation of automated vehicles
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
EP3711037A4 (en) * 2017-11-13 2022-01-12 Geomni, Inc. SYSTEM AND METHOD FOR MISSION PLANNING, FLIGHT AUTOMATION AND HIGH RESOLUTION IMAGE CAPTURE BY AN UNPILOTED AIRCRAFT
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
CA3024707A1 (en) * 2017-11-21 2019-05-21 Reliance Core Consulting Methods and systems for detecting motion corresponding to a field of interest
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
EP3671681A4 (en) * 2017-11-30 2020-08-26 SZ DJI Technology Co., Ltd. MAXIMUM TEMPERATURE POINT MONITORING PROCESS, DEVICE AND DRONE
US11496684B2 (en) 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108052901B (zh) * 2017-12-13 2021-05-25 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN110197097B (zh) * 2018-02-24 2024-04-19 北京图森智途科技有限公司 一种港区监控方法及系统、中控系统
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
US20210011495A1 (en) * 2018-03-13 2021-01-14 Nec Corporation Moving body guidance apparatus, moving body guidance method, and computer-readable recording medium
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
WO2019191940A1 (en) * 2018-04-04 2019-10-10 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
WO2019203920A1 (en) * 2018-04-17 2019-10-24 Hrl Laboratories, Llc Hardware and system of bounding box generation for image processing pipeline
WO2019205062A1 (zh) * 2018-04-26 2019-10-31 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US20190346842A1 (en) * 2018-05-11 2019-11-14 Honeywell International Inc. Transferring annotations to images captured by remote vehicles between displays
WO2019220877A1 (ja) * 2018-05-14 2019-11-21 富士フイルム株式会社 移動型機器及び撮影システム
US10839492B2 (en) * 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
CN110291775B (zh) * 2018-05-29 2021-07-06 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11801937B2 (en) * 2018-07-26 2023-10-31 California Institute Of Technology Systems and methods for avian flock flight path modification using UAVs
CN109285179B (zh) * 2018-07-26 2021-05-14 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
CN109292099B (zh) * 2018-08-10 2020-09-25 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
CN109376587A (zh) * 2018-09-05 2019-02-22 福州日兆信息科技有限公司 基于物联网的检测查勘通信铁塔智能巡检系统和方法
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
CN109358497B (zh) * 2018-09-14 2020-04-21 北京航空航天大学 一种基于b样条函数的卫星路径规划和预测控制的跟踪方法
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11036216B2 (en) * 2018-09-26 2021-06-15 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN110892353A (zh) * 2018-09-30 2020-03-17 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
CN109447326B (zh) * 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN109101041A (zh) * 2018-10-22 2018-12-28 深圳市智璟科技有限公司 一种无人飞机的动态跟随及动态返航方法
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN109656319B (zh) * 2018-11-22 2021-06-15 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息方法与设备
CN109561282B (zh) * 2018-11-22 2021-08-06 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
WO2020104584A1 (en) * 2018-11-22 2020-05-28 Lorenz Technology Aps A method for inducing an autonomous behavior into an unmanned vehicle, and a communication unit for use in such a method
CN109618131B (zh) * 2018-11-22 2021-08-24 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
WO2020107475A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 喷洒无人机的避障控制方法、装置、设备及存储介质
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
EP3667696A1 (en) * 2018-12-14 2020-06-17 ASML Netherlands B.V. Stage apparatus suitable for electron beam inspection apparatus
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
TR201819906A2 (ja) * 2018-12-20 2019-03-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi
KR102166326B1 (ko) * 2018-12-21 2020-10-15 충북대학교 산학협력단 드론의 3차원 경로 설정 시스템
CN109754420B (zh) 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
JP7219609B2 (ja) * 2018-12-27 2023-02-08 株式会社Subaru 最適経路生成システム
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN111376239B (zh) * 2018-12-29 2023-06-27 希姆通信息技术（上海）有限公司 机器人的抓取方法及系统
US11001991B2 (en) * 2019-01-11 2021-05-11 Caterpillar Inc. Optimizing loading of a payload carrier of a machine
CN111435259A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 一种智能跟随车移动控制装置和智能跟随车
US10950104B2 (en) * 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
CN111476827B (zh) * 2019-01-24 2024-02-02 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
WO2020170534A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 飛行体、情報処理方法及びプログラム
CN109947123B (zh) * 2019-02-27 2021-06-22 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
CN113613852B (zh) * 2019-03-20 2024-05-10 柯惠Lp公司 机器人手术碰撞检测系统
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
US11455742B2 (en) * 2019-04-19 2022-09-27 Thermoteknix Systems Ltd. Imaging systems including real-time target-acquisition and triangulation features and human-machine interfaces therefor
CN110876275A (zh) * 2019-04-30 2020-03-10 深圳市大疆创新科技有限公司 一种瞄准控制方法、移动机器人及计算机可读存储介质
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
WO2020237609A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
CN111742277B (zh) * 2019-06-26 2024-02-20 深圳市大疆创新科技有限公司 无人机的控制方法、设备、无人机及存储介质
CN112119427A (zh) 2019-06-28 2020-12-22 深圳市大疆创新科技有限公司 目标跟随的方法、系统、可读存储介质和可移动平台
US20210405646A1 (en) * 2019-07-03 2021-12-30 Lg Electronics Inc. Marker, method of moving in marker following mode, and cart-robot implementing method
EP3998578A4 (en) * 2019-07-16 2022-07-20 SZ DJI Technology Co., Ltd. METHOD, DEVICE, AND SYSTEM FOR PHOTOGRAPHY, AND COMPUTER READABLE INFORMATION MEDIA
CN111328387B (zh) * 2019-07-19 2024-02-20 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110618700A (zh) * 2019-08-23 2019-12-27 西南交通大学 用于社区配送的三维地理信息系统及无人机航迹路径规划应用方法
CN111752295B (zh) * 2019-08-27 2021-09-10 广州极飞科技股份有限公司 无人机飞行轨迹规划方法及相关装置
DE102019214139B4 (de) * 2019-09-17 2021-07-29 Atlas Elektronik Gmbh Optische Minendetektion in geringer Wassertiefe
CN110758381B (zh) * 2019-09-18 2021-05-04 北京汽车集团有限公司 生成转向轨迹的方法、装置、存储介质及电子设备
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110928432B (zh) * 2019-10-24 2023-06-23 中国人民解放军军事科学院国防科技创新研究院 指环鼠标、鼠标控制装置及鼠标控制系统
DE102019129182A1 (de) * 2019-10-29 2021-04-29 Krones Aktiengesellschaft Verfahren zur Überwachung eines Behälterstroms in einer Abfüllanlage, Überwachungssystem und Platzhalter für einen Behälter oder eine Umverpackung
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
JP7192748B2 (ja) * 2019-11-25 2022-12-20 トヨタ自動車株式会社 搬送システム、学習済みモデル生成方法、学習済みモデル、制御方法およびプログラム
CN113031511B (zh) * 2019-12-24 2022-03-22 沈阳智能机器人创新中心有限公司 一种基于高阶b样条的多轴系统实时引导轨迹规划方法
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
US20210206491A1 (en) * 2020-01-03 2021-07-08 Tencent America LLC Unmanned aerial system communication
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
CN111260689B (zh) * 2020-01-16 2022-10-11 东华大学 一种基于置信度增强的相关滤波视觉跟踪方法
CN111212456B (zh) * 2020-01-16 2022-07-08 中国电建集团成都勘测设计研究院有限公司 基于地理位置面向低功耗远距离物联网的多径路由方法
US20210247196A1 (en) * 2020-02-10 2021-08-12 Uber Technologies, Inc. Object Detection for Light Electric Vehicles
CN115362473A (zh) 2020-02-18 2022-11-18 康耐视公司 用于对长于视场的运动物体进行三维扫描的系统和方法
CN112650235A (zh) * 2020-03-11 2021-04-13 南京奥拓电子科技有限公司 一种机器人避障控制方法、系统及机器人
CN111240342A (zh) * 2020-03-12 2020-06-05 南京奥拓电子科技有限公司 一种机器人避障控制方法与装置、机器人及机器人系统
CN112639874A (zh) * 2020-03-20 2021-04-09 深圳市大疆创新科技有限公司 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN113515111B (zh) * 2020-03-25 2023-08-25 宇通客车股份有限公司 一种车辆避障路径规划方法及装置
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
CN111455900B (zh) * 2020-04-01 2021-11-12 无锡格物智能科技有限公司 路障布设方法、终端、计算机设备和存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111600644A (zh) * 2020-04-09 2020-08-28 西安理工大学 一种紫外光协助无人机编队最优刚性拓扑生成方法
CN113552868A (zh) * 2020-04-22 2021-10-26 西门子股份公司 消防机器人的导航方法及其导航装置
CN112753001A (zh) * 2020-04-24 2021-05-04 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、控制终端及可读存储介质
US11415990B2 (en) 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
WO2021223171A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 目标跟踪方法和装置、可移动平台以及成像平台
CN113688463B (zh) * 2020-05-18 2024-01-23 中国航发商用航空发动机有限责任公司 导线碰撞角度范围筛选方法和装置、计算机可读存储介质
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111596692B (zh) * 2020-06-09 2021-06-01 北京航空航天大学 一种平流层飞艇的环绕跟踪移动目标控制方法及系统
EP3926432A1 (en) * 2020-06-16 2021-12-22 Hexagon Geosystems Services AG Touch control of unmanned aerial vehicles
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111862154B (zh) * 2020-07-13 2024-03-01 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
CN112050813B (zh) * 2020-08-08 2022-08-02 浙江科聪控制技术有限公司 一种用于防暴一区移动机器人的激光导航系统
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
CN114245000A (zh) * 2020-09-09 2022-03-25 北京小米移动软件有限公司 拍摄方法和装置、电子设备、存储介质
CN114735388B (zh) * 2020-09-24 2023-09-05 深圳市海柔创新科技有限公司 任务处理方法、控制终端、机器人、仓储系统及存储介质
CN112162570B (zh) * 2020-10-10 2022-12-06 中国人民解放军海军航空大学 一种四旋翼直升飞机小范围动态跟踪的方法
WO2022104489A1 (es) * 2020-11-20 2022-05-27 Drovid Technologies Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
CN114556425A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 定位的方法、设备、无人机和存储介质
FR3118222B1 (fr) * 2020-12-22 2023-05-05 Naval Group Systeme de planification d'une trajectoire optimisee d'un vehicule maritime
GB2598010B (en) * 2021-01-18 2022-08-17 Hybrid Drones Ltd Vision system and method for unmanned aerial vehicles
EP4305594A2 (en) * 2021-03-08 2024-01-17 Ridecell, Inc. A framework for 3d object detection and depth prediction from 2d images
CN112896551B (zh) * 2021-05-08 2021-09-07 成都飞机工业（集团）有限责任公司 一种飞机航电设备安装的校准辅助方法
CN113418522B (zh) * 2021-08-25 2021-12-14 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113848869B (zh) * 2021-10-20 2023-03-07 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN113961016B (zh) * 2021-10-25 2023-11-10 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于a*算法的无人机动态目标航迹规划方法及系统
WO2023081279A1 (en) * 2021-11-03 2023-05-11 Amit Bahl Methods and systems for detecting intravascular device failure
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置
CN114119651B (zh) * 2021-11-30 2022-10-25 重庆紫光华山智安科技有限公司 目标跟踪方法、系统、设备及存储介质
US11417106B1 (en) 2022-02-04 2022-08-16 King Abdulaziz University Crowd evacuation system based on real time perception, simulation, and warning
CN114625170B (zh) * 2022-03-24 2023-05-12 中国民用航空飞行学院 一种山区火灾直升机救援飞行路径动态规划方法
CN114584928B (zh) * 2022-05-05 2022-08-05 深圳源中瑞科技有限公司 基于电子围栏的路径推测方法、装置、计算机设备和介质
US20230367463A1 (en) * 2022-05-11 2023-11-16 Supercell Oy Randomized movement control
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質
US11972521B2 (en) 2022-08-31 2024-04-30 Snap Inc. Multisensorial presentation of volumetric content
CN115451919B (zh) * 2022-09-28 2023-06-30 安徽理工大学 一种智能型无人测绘装置及方法
WO2024089890A1 (ja) * 2022-10-28 2024-05-02 三菱電機株式会社 遠隔操作システムおよび遠隔操作方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117649426B (zh) * 2024-01-29 2024-04-09 中国科学院长春光学精密机械与物理研究所 抗无人机起落架遮挡的运动目标跟踪方法
CN117893933B (zh) * 2024-03-14 2024-05-24 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155683A (en) 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JP3600383B2 (ja) * 1996-09-30 2004-12-15 三菱重工業株式会社 移動体追跡装置
JPH10141891A (ja) * 1996-11-07 1998-05-29 Mitsubishi Heavy Ind Ltd 飛しょう経路の設定方法
SE515655C2 (sv) 1999-12-22 2001-09-17 Saab Ab "System och metod för kollisionsundvikning mellan farkoster
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
US7173650B2 (en) 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP2003177120A (ja) 2001-08-30 2003-06-27 Toppan Printing Co Ltd アウトイオンの分析方法、パーティクルまたは溶出物の測定方法、ならびにクリーンフィルムとその積層体
JP4301861B2 (ja) * 2002-05-20 2009-07-22 川崎重工業株式会社 移動体の操縦方法及び装置
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4213518B2 (ja) * 2003-05-27 2009-01-21 川崎重工業株式会社 移動体の制御方法及び制御装置
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US7602480B2 (en) 2005-10-26 2009-10-13 Alcatel-Lucent Usa Inc. Method and system for tracking a moving station or target in free space communications
US7835542B2 (en) 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8902233B1 (en) 2006-06-09 2014-12-02 Pixar Driving systems extension
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
IL183006A0 (en) * 2007-05-06 2007-12-03 Wave Group Ltd A bilateral robotic omni-directional situational awarness system having a smart throw able transportaion case
ATE523864T1 (de) * 2007-09-20 2011-09-15 Delphi Tech Inc Verfahren zur objektverfolgung
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
JP4497236B2 (ja) 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
EP2182419B1 (en) 2008-11-04 2012-02-15 Saab Ab Avoidance manoeuvre generator for an aircraft
CN101489147B (zh) * 2009-01-16 2010-12-01 西安电子科技大学 基于感兴趣区域的幅型比变换方法
US20100228406A1 (en) * 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
CN101614816B (zh) * 2009-07-24 2011-08-31 东北大学 一种室内移动机器人位姿检测装置及控制方法
JP5382122B2 (ja) * 2009-07-31 2014-01-08 富士通株式会社 移動体位置検出装置および移動体位置検出方法
US8515596B2 (en) 2009-08-18 2013-08-20 Honeywell International Inc. Incremental position-based guidance for a UAV
US20110279682A1 (en) * 2009-11-12 2011-11-17 Le Li Methods for Target Tracking, Classification and Identification by Using Foveal Sensors
CN101769754B (zh) * 2010-01-19 2012-04-25 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
US9681065B2 (en) * 2010-06-15 2017-06-13 Flir Systems, Inc. Gimbal positioning with target velocity compensation
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
IL208910A0 (en) 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
CN102087530B (zh) * 2010-12-07 2012-06-13 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
US8494766B2 (en) * 2011-01-07 2013-07-23 Ge Aviation Systems, Llc Flight management system with integrated tactical commands for use with an aircraft and method of operating same
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
JP5848507B2 (ja) 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
EP2511659A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Geodätisches Markierungssystem zur Markierung von Zielpunkten
JP5719230B2 (ja) * 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
WO2013051046A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、情報表示方法及び情報表示プログラム
WO2013066613A1 (en) * 2011-10-19 2013-05-10 Crown Equipment Corporation Identifying and evaluating potential center stringers of a pallet in an image scene
KR101887055B1 (ko) * 2011-11-14 2018-09-11 삼성전자주식회사 로봇 청소기 및 그 제어 방법
US20130226373A1 (en) * 2012-02-27 2013-08-29 Ge Aviation Systems Llc Methods for in-flight adjusting of a flight plan
CN102629385B (zh) * 2012-02-28 2014-09-24 中山大学 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法
NO334183B1 (no) * 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
CA2872698C (en) 2012-05-04 2018-07-24 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
CN202758243U (zh) * 2012-09-06 2013-02-27 北京工业大学 一种无人机飞行操控系统
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
CN102902282B (zh) * 2012-09-25 2015-08-12 中国兵器工业第二0五研究所 基于光轴与惯性轴重合的地理跟踪方法
CN102955478B (zh) * 2012-10-24 2016-01-20 深圳一电科技有限公司 无人机飞行控制方法及系统
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN103914068A (zh) * 2013-01-07 2014-07-09 中国人民解放军第二炮兵工程大学 一种基于栅格地图的服务机器人自主导航方法
GB201301748D0 (en) * 2013-01-31 2013-03-20 Reiter Johannes Aircraft for Vertical Take-off and Landing with a Wing Arrangement comprising an extendible lift increasing system
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9253410B2 (en) 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6250952B2 (ja) * 2013-04-26 2017-12-20 古野電気株式会社 情報表示装置及び針路設定方法
CN104217417B (zh) * 2013-05-31 2017-07-07 张伟伟 一种视频多目标跟踪的方法及装置
US9715761B2 (en) 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
JP6296801B2 (ja) 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US9237318B2 (en) 2013-07-26 2016-01-12 SkyBell Technologies, Inc. Doorbell communication systems and methods
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN103530894B (zh) * 2013-10-25 2016-04-20 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
US10248886B2 (en) * 2013-10-30 2019-04-02 Pgs Geophysical As System and method for underwater distance measurement
CN103576692A (zh) * 2013-11-07 2014-02-12 哈尔滨工程大学 一种多无人机协同飞行方法
CN103611324B (zh) * 2013-11-14 2016-08-17 南京航空航天大学 一种无人直升机飞行控制系统及其控制方法
EP3074832A4 (en) * 2013-11-27 2017-08-30 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN103871075B (zh) * 2013-12-30 2015-11-18 华中科技大学 一种大椭圆遥感卫星地球背景相对运动估计方法
CN103822615B (zh) * 2014-02-25 2016-01-20 北京航空航天大学 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
EP3111647B1 (en) 2014-02-26 2019-03-20 Searidge Technologies Inc. Image stitching and automatic-color correction
US10226869B2 (en) 2014-03-03 2019-03-12 University Of Washington Haptic virtual fixture tools
US9165361B1 (en) 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
WO2016015251A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN106796721B (zh) * 2014-09-11 2021-05-04 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
US9355320B2 (en) * 2014-10-30 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Blur object tracker using group lasso method and apparatus
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP6222879B2 (ja) 2014-11-14 2017-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体の制御方法、装置及び移動デバイス
CN104361770B (zh) * 2014-11-18 2017-01-04 武汉理工大学 用于交通信息采集无人机的精确降落自动控制方法
US9896202B2 (en) * 2014-12-03 2018-02-20 X Development Llc Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
WO2016106746A1 (en) 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Vehicle altitude restrictions and control
CN204360218U (zh) 2014-12-31 2015-05-27 深圳市大疆创新科技有限公司 移动物体
CN104537898B (zh) * 2015-01-08 2017-11-28 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
US9373036B1 (en) 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN104656665B (zh) * 2015-03-06 2017-07-28 云南电网有限责任公司电力科学研究院 一种新型无人机通用避障模块及步骤
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN104714556B (zh) * 2015-03-26 2017-08-11 清华大学 无人机智能航向控制方法
CN104820428B (zh) * 2015-04-20 2017-11-07 余江 一种无人机的记忆型航迹再现方法及其装置
CN104796611A (zh) 2015-04-20 2015-07-22 零度智控（北京）智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
CN106155092A (zh) * 2015-04-21 2016-11-23 高域（北京）智能科技研究院有限公司 一种智能多模式飞行拍摄设备及其飞行控制方法
CN104834307A (zh) * 2015-04-23 2015-08-12 杨珊珊 无人飞行器的控制方法及控制装置
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN111762136A (zh) 2015-05-12 2020-10-13 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
CN104853104B (zh) * 2015-06-01 2018-08-28 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN104850134B (zh) * 2015-06-12 2019-01-11 北京中飞艾维航空科技有限公司 一种无人机高精度自主避障飞行方法
BR112017027321B1 (pt) 2015-06-19 2022-09-13 Nissan Motor Co., Ltd Dispositivo e método de assistência ao estacionamento
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
US10012982B2 (en) 2015-12-11 2018-07-03 Fuji Xerox Co., Ltd. System and method for focus and context views for telepresence and robotic teleoperation
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
WO2018086032A1 (zh) * 2016-11-10 2018-05-17 深圳市大疆创新科技有限公司 飞行控制方法、装置及飞行器
CN112486202A (zh) * 2016-11-28 2021-03-12 深圳市大疆创新科技有限公司 一种航线编辑方法、装置及控制设备
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法
AU2018368776B2 (en) * 2017-11-17 2021-02-04 Divine Logic, Inc. Systems and methods for tracking items
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU200639U1 (ru) * 2020-09-02 2020-11-03 Илья Игоревич Бычков Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом

Also Published As

Publication number Publication date
WO2017045251A1 (en) 2017-03-23
US10129478B2 (en) 2018-11-13
WO2017045315A1 (zh) 2017-03-23
US20170134631A1 (en) 2017-05-11
CN110276786A (zh) 2019-09-24
EP3353706A4 (en) 2019-05-08
CN108139759B (zh) 2022-04-15
US20190082088A1 (en) 2019-03-14
CN108351649A (zh) 2018-07-31
CN108351649B (zh) 2022-03-18
US20180203467A1 (en) 2018-07-19
CN114815906A (zh) 2022-07-29
CN110276786B (zh) 2021-08-20
US20210116943A1 (en) 2021-04-22
US20210223795A1 (en) 2021-07-22
US20190011921A1 (en) 2019-01-10
EP3374836A1 (en) 2018-09-19
EP3353706A1 (en) 2018-08-01
CN107148639B (zh) 2019-07-16
EP3374836A4 (en) 2018-12-05
JP2018535487A (ja) 2018-11-29
US10928838B2 (en) 2021-02-23
US11635775B2 (en) 2023-04-25
CN107148639A (zh) 2017-09-08
WO2017045116A1 (en) 2017-03-23
US10976753B2 (en) 2021-04-13
CN108139759A (zh) 2018-06-08
CN107209854A (zh) 2017-09-26
CN114594792A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
JP6735821B2 (ja) Ｕａｖ経路を計画し制御するシステム及び方法
US20210116944A1 (en) Systems and methods for uav path planning and control
US20210072745A1 (en) Systems and methods for uav flight control
US11932392B2 (en) Systems and methods for adjusting UAV trajectory
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
JP2021073796A (ja) 制御装置、及び画像を取得する方法
JP2021036452A (ja) Ｕａｖ軌道を調整するシステム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200714

R150 Certificate of patent or registration of utility model

Ref document number: 6735821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees