JP6312178B2 - ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置 - Google Patents

ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置 Download PDF

Info

Publication number
JP6312178B2
JP6312178B2 JP2016553376A JP2016553376A JP6312178B2 JP 6312178 B2 JP6312178 B2 JP 6312178B2 JP 2016553376 A JP2016553376 A JP 2016553376A JP 2016553376 A JP2016553376 A JP 2016553376A JP 6312178 B2 JP6312178 B2 JP 6312178B2
Authority
JP
Japan
Prior art keywords
transport aircraft
item
image
imaging devices
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016553376A
Other languages
English (en)
Other versions
JP2017509981A (ja
Inventor
ワン、タオ
ヤン、ジアキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017509981A publication Critical patent/JP2017509981A/ja
Application granted granted Critical
Publication of JP6312178B2 publication Critical patent/JP6312178B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/15—UAVs specially adapted for particular uses or applications for conventional or electronic warfare
    • B64U2101/19—UAVs specially adapted for particular uses or applications for conventional or electronic warfare for use as targets or decoys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Description

無人航空機（ＵＡＶ）等の無人機は、軍用及び民生用の広範な環境において監視、偵察、探査などの業務を行うために用い得る。ＵＡＶは、遠隔のユーザーによって手動で制御されてもよく、半自律的もしくは自律的に運転されてもよい。このようなＵＡＶは、周囲環境からセンサデータを収集するセンサと、収集したデータからＵＡＶを操縦するための情報を計算し決定するプロセッサと、を備え得る。
しかし、既存の方法でナビゲーション情報を評価すると、最適な評価結果を得られない場合がある。例えば、１つのセンサから集められたセンサデータは、低品質となることがある。他方、複数のセンサからのセンサデータを処理して、状態情報を評価、決定する場合、システムの処理遅延が増加する場合がある。低品質のセンサデータまたは処理遅延の増加は、ＵＡＶの機能に悪影響を与えることがある。
本発明に関わる実施形態では、周囲環境内において、ＵＡＶ等の輸送機の状態情報をより良く評価する方法を提供する。多くの実施形態において、ＵＡＶは、周囲環境に関する情報を収集する複数の撮像装置を備える。各撮像装置から取得したデータは、処理されて、例えば、各撮像装置の時間間隔にわたる画像データの品質を判定できる。画像データの品質に基づいて、ＵＡＶの状態情報を評価するために、処理する撮像装置の画像データのサブセットを選択できる。本発明による選択的な処理方法を使用すると、コンピューティングリソースを節約し、評価された状態情報の正確度を向上させることが可能となる。また、この方法を用いると、多様な環境タイプ及び運転条件におけるＵＡＶの機能性を向上させることができる。
本発明は、１つの態様において、ナビゲーションシステムを提供する。このシステムは、個々に複数の画像を撮影する複数の撮像装置を備える輸送機と、１つ以上のプロセッサと、を備える。１つ以上のプロセッサは、複数の撮像装置に動作可能に接続され、個々にまたは集合的に、次のステップ（ａ）〜（ｃ）を実行する。（ａ）各撮像装置からの複数の画像の各画像における特徴点数を計算する。（ｂ）計算した特徴点数に基づいて、複数の撮像装置の少なくとも１つを選択する。（ｃ）選択した撮像装置（単数または複数）からの複数の画像を用いて、輸送機の状態情報を評価する。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶは、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。また、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は、空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、輸送機は、輸送機を移動させる１つ以上の推進ユニットを備え得る。１つ以上の推進ユニットは、輸送機に揚力を与えることができる１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は輸送機に配置され、各撮像装置は異なる視野から複数の画像を撮影する。また、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。複数の撮像装置は、それぞれ、輸送機に対して異なる方向に向けられ得る。異なる方向は、直交する方向でよい。あるいは、少なくとも４つの異なる方向を含み得る。これらの異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置され得る。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、各画像の特徴点数は、各画像の顕著性を示し得る。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであり得る。
ある実施形態において、上記のステップ（ｂ）は、特徴点数が所定の閾値を超えるか否かを評価することを含み得る。
ある実施形態において、状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、１つ以上のプロセッサは、次のステップ（ｄ）を実行し得る。（ｄ）状態情報に基づいて輸送機を移動させる制御信号を出力する。
ある実施形態において、輸送機の運転中、上記のステップ（ａ）〜（ｃ）を繰り返してよい。ステップ（ａ）〜（ｃ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返し得る。
本発明は、他の態様において、複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する方法を提供する。方法は、次のステップ（ａ）〜（ｄ）を含む。（ａ）複数の撮像装置の各撮像装置を用いて複数の画像を撮影するステップ。（ｂ）プロセッサを用いて、各撮像装置からの複数の画像の各画像の特徴点数を計算するステップ。（ｃ）プロセッサを用いて、計算した特徴点数に基づいて、複数の撮像装置の少なくとも１つを選択するステップ。（ｄ）プロセッサを用いて、選択した撮像装置（単数または複数）からの複数の画像を用いて輸送機の状態情報を評価するステップ。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶの重量は、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。あるいは、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は、空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、輸送機は、輸送機を移動させる１つ以上の推進ユニットを備え得る。１つ以上の推進ユニットは、輸送機に揚力を与えることができる１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は輸送機に配置され、複数の画像のそれぞれを異なる視野から撮影する。ある実施形態において、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。複数の撮像装置は、それぞれ、輸送機に対して異なる方向に向けられてよい。異なる方向は、直交する方向でよい。あるいは、それと併用して、異なる方向は、少なくとも４つの異なる方向を含んでよい。それらの異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置できる。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、各画像の特徴点数は、各画像の顕著性を示し得る。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであり得る。
ある実施形態において、上記のステップ（ｃ）は、特徴点数が所定の閾値を超えるか否かを評価するステップを含み得る。
ある実施形態において、状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、評価する方法は、状態情報に基づいて輸送機を移動させる制御信号を出力するステップをさらに含み得る。
ある実施形態において、輸送機の運転中、上記のステップ（ａ）〜（ｄ）を繰り返してよい。ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返し得る。
また、本発明は、他の態様において、ナビゲーションシステムを提供する。このシステムは、輸送機と、１つ以上のプロセッサを備える。輸送機は、輸送機を移動させる１つ以上の推進ユニットと、各撮像装置が複数の画像を撮影する複数の撮像装置とを備える。１つ以上のプロセッサは、複数の撮像装置に動作可能に接続され、個々にまたは集合的に、次のステップ（ａ）〜（ｄ）を実行し得る。（ａ）各撮像装置からの複数の画像の画質を評価すること。（ｂ）ステップ（ａ）の評価に基づいて複数の撮像装置の少なくとも１つを選択すること。（ｃ）選択した撮像装置（単数または複数）からの複数の画像を用いて輸送機の状態情報を評価すること。また、１つ以上のプロセッサは、さらに、次のステップ（ｄ）を実行し得る。（ｄ）状態情報に基づいて、１つ以上の推進ユニットに輸送機を移動させる制御信号を出力すること。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶは、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。また、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、１つ以上の推進ユニットは、輸送機に揚力を与える１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は輸送機に配置され、各撮像装置は異なる視野から複数の画像を撮影する。ある実施形態において、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。複数の撮像装置は、それぞれ、輸送機に対して異なる方向に向けられ得る。異なる方向は、直交する方向でよい。あるいは、それと併用して、異なる方向は、少なくとも４つの異なる方向を含み得る。これらの異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置され得る。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、画質は、複数の画像の各画像の特徴点数に基づき得る。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであり得る。画質は、複数の画像の各画像の顕著性に基づき得る。画質は、複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づき得る。画質は、輸送機の状態情報の評価に使用する複数の画像の適切性に基づき得る。
ある実施形態において、ステップ（ａ）は、複数の画像の画質が所定の閾値を超えるか否かを評価することを含み得る。ステップ（ａ）は、複数の画像の中のどの画像が最も高画質であるかを識別することを含み得る。
ある実施形態において、状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、輸送機の運転中、ステップ（ａ）〜（ｃ）を繰り返してよい。ステップ（ａ）〜（ｃ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返してよい。
また、本発明は、他の態様において、複数の撮像装置が取り付けられた移動中の輸送機を制御する方法を提供する。制御方法は、次のステップ（ａ）〜（ｄ）を含む。（ａ）複数の撮像装置の各撮像装置を用いて複数の画像を撮影するステップ。（ｂ）プロセッサを利用して、各撮像装置からの複数の画像の画質を評価するステップ。（ｃ）プロセッサを利用して、ステップ（ｂ）の評価に基づいて、複数の撮像装置の少なくとも１つを選択するステップ。（ｄ）プロセッサを利用して、選択した撮像装置（単数または複数）からの複数の画像を用いて輸送機の状態情報を評価するステップ。また、ある実施形態において、制御方法は、次のステップ（ｅ）をさらに含む。（ｅ）プロセッサを利用して、状態情報に基づいて、輸送機に搭載された１つ以上の推進ユニットに輸送機を移動させる制御信号を出力するステップ。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶは、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。あるいは、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は、空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、１つ以上の推進ユニットは、輸送機に揚力を与える１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は輸送機に配置され、複数の画像のそれぞれを異なる視野から撮影する。ある実施形態において、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。
複数の撮像装置は、それぞれ、輸送機に対して異なる方向に向けられてよい。異なる方向は、直交する方向でよい。あるいは、少なくとも４つの異なる方向を含み得る。それらの異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置できる。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、画質は、複数の画像の各画像の特徴点数に基づき得る。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであり得る。画質は、複数の画像の各画像の顕著性に基づき得る。画質は、複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づき得る。画質は、航空機の状態情報の評価に使用する複数の画像の適切性に基づき得る。
ある実施形態において、ステップ（ｂ）は、上記した複数の画像の画質が所定の閾値を超えるか否かを評価するステップを含み得る。
ある実施形態において、ステップ（ｂ）は、複数の画像の中のどの画像が最も高画質であるかを識別するステップを含み得る。
ある実施形態において、状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、輸送機の運転中、ステップ（ａ）〜（ｄ）を繰り返してよい。ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返し得る。
また、本発明は、他の態様において、ナビゲーションシステムを提供する。このシステムは、航空機と、１つ以上のプロセッサを備える。輸送機は、各撮像装置が複数の画像を撮影する複数の撮像装置を備える。複数の撮像装置は、一次撮像装置と、１つ以上の二次撮像装置とを含む。１つ以上のプロセッサは、撮像装置に動作可能に接続され、個々にまたは集合的に、次のステップ（ａ）〜（ｄ）を実行し得る。（ａ）一次撮像装置からの複数の画像の画質を評価して、画質が所定の閾値を満たすか否かを決定する。（ｂ）ステップ（ａ）の画質が所定の閾値を満たさない場合、１つ以上の二次撮像装置からの複数の画像の画質を評価する。（ｃ）ステップ（ｂ）の評価に基づいて１つ以上の二次撮像装置の少なくとも１つを選択する。（ｄ）選択した二次撮像装置（単数または複数）からの複数の画像を用いて輸送機の状態情報を評価する。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶは、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。あるいは、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は、空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、１つ以上の推進ユニットは、航空機に揚力を与えることができる１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は輸送機に配置され、各撮像装置は異なる視野から複数の画像を撮影する。また、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。複数の撮像装置は、それぞれ、輸送機に対して異なる方向に向けられ得る。異なる方向は、直交する方向でよい。あるいは、異なる方向は、少なくとも４つの異なる方向を含み得る。これらの異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置され得る。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、ステップ（ａ）及び（ｂ）の各画質は、上記した複数の画像の各画像の特徴点数に基づいてよい。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムでよい。
ある実施形態において、ステップ（ａ）及び（ｂ）の各画質は、上記した複数の画像の各画像の顕著性に基づき得る。ステップ（ａ）及び（ｂ）の各画質は、上記した複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づき得る。ステップ（ａ）及び（ｂ）の各画質は、輸送機の状態情報の評価に使用する上記した複数の画像の適切性に基づき得る。
ある実施形態において、ステップ（ｂ）は、上記した複数の画像の画質が第２の所定の閾値を超えるか否かを評価することを含み得る。ステップ（ｂ）は、上記した複数の画像の中のどの画像が最も高画質であるかを識別することを含み得る。
ある実施形態において、状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、輸送機の運転中、ステップ（ａ）〜（ｄ）を繰り返してよい。ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返し得る。
また、本発明は、他の態様において、複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する方法を提供する。制御方法は、次のステップ（ａ）〜（ｅ）を含む。（ａ）複数の撮像装置の各撮像装置を用いて複数の画像を撮影するステップ。ここで、複数の撮像装置は、一次撮像装置と１つ以上の二次撮像装置とを含む。（ｂ）プロセッサを利用して、一次撮像装置からの複数の画像の画質を評価して、画質が所定の閾値を満たすか否かを決定するステップ。（ｃ）ステップ（ｂ）の画質が所定の閾値を満たさない場合、プロセッサを利用して、１つ以上の二次撮像装置からの複数の画像の画質を評価するステップ。（ｄ）プロセッサを利用して、ステップ（ｃ）の評価に基づいて１つ以上の二次撮像装置の少なくとも１つを選択するステップ。（ｅ）プロセッサを利用して、選択した二次撮像装置（単数または複数）からの複数の画像を用いて輸送機の状態情報を評価するステップ。
ある実施形態において、輸送機は、ＵＡＶであり得る。ＵＡＶは、１０ｋｇを越えない重量であり得る。ＵＡＶの最大寸法は、１．５ｍを越えない大きさであり得る。ＵＡＶは、４００ｍを越えない高さを飛行できる。あるいは、ＵＡＶは、飛行制限領域の存在を検出し、飛行制限領域から所定の距離内を飛行しないようにできる。飛行制限領域は、空港であり得る。ＵＡＶは、多重回転翼航空機であり得る。
ある実施形態において、１つ以上の推進ユニットは、航空機に揚力を与える１つ以上の回転翼を備え得る。
ある実施形態において、複数の撮像装置は航空機に配置され、各撮像装置は異なる視野から複数の画像を撮影する。また、複数の撮像装置は、少なくとも３つの撮像装置を含み得る。あるいは、複数の撮像装置は、少なくとも４つの撮像装置を含み得る。複数の撮像装置は、それぞれ、航空機に対して異なる方向に向けられ得る。異なる方向は、直交する方向でよい。あるいは、それと併用して、異なる方向は、少なくとも４つの異なる方向を含み得る。これらの異なる方向の少なくとも１つは、航空機の動作方向に、ほぼ沿ってよい。複数の撮像装置は、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置され得る。
ある実施形態において、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。所定の時間間隔は、約０．０２秒から約０．１秒の範囲内であり得る。
ある実施形態において、ステップ（ｂ）及び（ｃ）の各画質は、上記した複数の画像の各画像の特徴点数に基づき得る。各画像の特徴点数は、コーナー検出アルゴリズムを用いて計算できる。コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムであり得る。
ある実施形態において、ステップ（ｂ）及び（ｃ）の各画質は、上記した複数の画像の各画像の顕著性に基づき得る。ステップ（ｂ）及び（ｃ）の各画質は、上記した複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づき得る。ステップ（ｂ）及び（ｃ）の各画質は、輸送機の状態情報の評価に使用する上記した複数の画像の適切性に基づき得る。
ある実施形態において、ステップ（ｃ）は、上記した複数の画像の画質が第２の所定の閾値を超えるか否かを評価するステップを含み得る。ステップ（ｃ）は、上記した複数の画像の中のどの画像が最も高画質であるかを識別するステップを含み得る。
ある実施形態において、状態情報は、航空機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、航空機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、航空機の運転中、ステップ（ａ）〜（ｅ）を繰り返してよい。ステップ（ａ）〜（ｅ）は、０．０２秒毎に約１回から０．１秒毎に約１回繰り返し得る。
本発明の様々な態様は、個別に、集合的に、または相互に組み合わせて認識され得ることを理解されたい。本明細書において説明する本発明の様々な実施形態は、以下に記載する任意の特定の用途、または任意の他のタイプの可動物体に適用し得る。航空機に関する本発明の任意の説明は、さらに、空中運動（例えば、飛行）の文脈において本明細書で説明するシステム、デバイス、および方法は、また、地上もしくは水上の運動、水中の運動、または宇宙での運動などの他のタイプの運動の文脈においても適用可能である。さらに、回転翼または回転翼アセンブリに関する本明細書における任意の説明は、回転によって推進力を生じさせる任意の推進システム、推進装置、または推進機構（例えば、プロペラ、車輪、車軸）に適用してよく、回転によって推進力を生じさせる任意の推進システム、推進装置、または推進機構（例えば、プロペラ、車輪、車軸）に適用し、使用し得る。
また、本発明は、その他の態様において、ある環境内で輸送機を操縦するシステムを提供する。このシステムは、輸送機と、１つ以上のプロセッサとを備える。輸送機は、輸送機に配置された複数のセンサを備え、各センサは異なる視野からセンサデータを取得する。１つ以上のプロセッサは、複数のセンサに動作可能に接続され、個々にまたは集合的に、次の（ａ）〜（ｃ）を実行する。（ａ）１つ以上の所定の基準に基づいて、ある環境内での輸送機の操縦に使用する複数のセンサのサブセットを選択する。（ｂ）選択したセンサ（単数または複数）からのセンサデータを処理し、ある環境内で輸送機を操縦するナビゲーション情報を生成する。（ｃ）ナビゲーション情報に基づいて輸送機を制御する信号を出力する。
ある実施形態において、センサのサブセットの選択は次のように行われる。すなわち、少なくとも、各センサが１つ以上の所定の基準を満たすか否かを評価し、その評価結果が、１つ以上の所定の基準を満たすセンサを選択する。１つ以上の所定の基準は、次の（ａ）〜（ｄ）を含み得る。（ａ）センサが輸送機の動作方向にほぼ沿って向けられているか否か。（ｂ）センサが取得するセンサデータの品質が所定の閾値を超えるか否か。（ｃ）センサが複数のセンサのうち最も高いセンサデータ品質を有するか否か。（ｄ）センサの消費電力が所定の閾値未満か否か。（ｅ）センサが複数のセンサのうちで消費電力が最も少ないか否か。
ある実施形態において、サブセットのセンサの数は、輸送機の動作方向によって異なる。サブセットのセンサの数は、環境の複雑性によって異なり得る。
ある実施形態において、輸送機は、ＵＡＶであり得る。輸送機は、輸送機を移動させる１つ以上の推進ユニットを備え得る。１つ以上の推進ユニットは、輸送機に揚力を与えることができる１つ以上の回転翼を備え得る。
ある実施形態において、複数のセンサは、複数の異なるセンサタイプを含む。複数のセンサは、撮像装置、超音波センサ、ライダセンサ、または、レーダセンサの少なくとも１つを含み得る。複数のセンサは、少なくとも３つのセンサまたは少なくとも４つのセンサを含み得る。各センサは、輸送機に対して異なる方向に向けられ得る。異なる方向は、直交する方向でよい。異なる方向は、少なくとも４つの異なる方向を含み得る。異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。
ある実施形態において、複数のセンサは、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される。
ある実施形態において、ナビゲーション情報は、輸送機の状態情報を含む。状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、ナビゲーション情報は、環境に関する環境情報を含む。環境情報は、環境の１つ以上の障害物の場所を含み得る。信号によって、輸送機は、１つ以上の障害物を回避できる。
本発明は、他の態様において、ある環境内で輸送機を操縦する方法を提供する。輸送機を操縦する方法は、以下のステップを含む。（ａ）プロセッサを利用して、１つ以上の所定の基準に基づいて、ある環境内の輸送機の操縦に使用する複数のセンサのサブセットを選択するステップ。ここで、複数のセンサは輸送機に配置され、各センサは異なる視野からセンサデータを取得する。（ｂ）プロセッサを利用して、選択したセンサ（単数または複数）からのセンサデータを処理し、ある環境内で輸送機を操縦するナビゲーション情報を生成するステップ。（ｃ）プロセッサを利用して、ナビゲーション情報に基づいて、輸送機を制御する信号を出力するステップ。
ある実施形態において、サブセットを選択するステップは、各センサを評価してセンサが１つ以上の所定の基準を満たすか否かを決定するステップ、センサが１つ以上の所定の基準を満たす場合にそのセンサを選択するステップ、を含む。１つ以上の所定の基準は、次の（ａ）〜（ｄ）を含み得る。（ａ）センサが輸送機の動作方向にほぼ沿って向けられているか否か。（ｂ）センサが取得するセンサデータの品質が所定の閾値を超えるか否か。（ｃ）センサが複数のセンサのうち最も高いセンサデータ品質を有するか否か。（ｄ）センサの消費電力が所定の閾値未満か否か。（ｅ）センサが複数のセンサのうちで消費電力が最も少ないか否か。
ある実施形態において、サブセットのセンサの数は、輸送機の動作方向によって異なる。サブセットのセンサの数は、環境の複雑性によって異なり得る。
ある実施形態において、輸送機は、ＵＡＶであり得る。輸送機は、輸送機を移動させる１つ以上の推進ユニットを備え得る。１つ以上の推進ユニットは、輸送機に揚力を与えることができる１つ以上の回転翼を備え得る。
ある実施形態において、複数のセンサは、複数の異なるセンサタイプを含む。複数のセンサは、撮像装置、超音波センサ、ライダセンサ、または、レーダセンサの少なくとも１つを含み得る。複数のセンサは、少なくとも３つのセンサまたは少なくとも４つのセンサを含み得る。各センサは、輸送機に対して異なる方向に向けられてよい。異なる方向は、直交する方向でよい。異なる方向は、少なくとも４つの異なる方向を含み得る。異なる方向の少なくとも１つは、輸送機の動作方向に、ほぼ沿ってよい。
ある実施形態において、複数のセンサは、輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される。
ある実施形態において、ナビゲーション情報は、輸送機の状態情報を含む。状態情報は、輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含み得る。姿勢は、輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含み得る。
ある実施形態において、ナビゲーション情報は、環境に関する環境情報を含む。環境情報は、環境の１つ以上の障害物の場所を含み得る。信号によって、輸送機は、１つ以上の障害物を回避できる。
本発明の他の目的及び特徴は、明細書、特許請求の範囲、及び、添付の図面を参照することによって明らかとなろう。
（参照による組み込み）
本明細書において言及される全ての刊行物、特許、および特許出願は、個別の刊行物、特許、または特許出願のそれぞれが具体的にかつ個別に示され参照により組み込まれるのと同程度に、参照によって本明細書に組み込まれる。
本発明の新規の特徴は、添付する特許請求の範囲において、詳細に示される。本発明の特徴及び利点は、本発明の原理を利用する例示的な実施形態を示す以下の詳細な説明、および以下の付随する図面を参照することによって、より深く理解されるであろう。
本発明の実施形態に関わる、屋外環境で運転しているＵＡＶを示す図である。 本発明の実施形態に関わる、屋内環境で運転しているＵＡＶを示す図である。 本発明の実施形態に関わる、複数のセンサが接続されたＵＡＶを示す図である。 本発明の実施形態に関わる、異なる視野を有するセンサを示す図である。 本発明を適用した、環境内で航空機を操縦する方法のステップを示すフローチャートである。 本発明を適用した、複数の撮像装置からの画像を用いて、ＵＡＶの状態情報を処理するシステムを示す図である。 本発明を適用した、状態情報を評価し、処理された情報に基づいて航空機を制御する方法のステップを示すフローチャートである。 本発明を適用した、特徴点数の計算に基づいて、状態情報を評価する方法のステップを示すフローチャートである。 本発明の実施形態に関わる、一次撮像装置及び二次撮像装置を備えた、移動中のＵＡＶを示す上面図である。 本発明を適用した、一次撮像装置及び二次撮像装置に基づいた状態情報を評価する方法のステップを示すフローチャートである。 本発明を適用した、３つの二次撮像装置によって取得された３つの画像列の特徴点数の例を示す図である。 本発明の実施形態に関わる、ＵＡＶを示す図である。 本発明の実施形態に関わる、支持機構及び搭載物を含む可動物体を示す図である。 本発明を適用した、可動物体を制御するシステムを示す図である。
以下、本発明による、ＵＡＶ等の輸送機の状態情報を評価するナビゲーションシステム及び方法について説明する。ある実施形態において、ＵＡＶは、環境データを収集する複数のセンサを運搬できる。また、センサは、カメラ等の撮像装置を含み得る。本発明による方法は、２つ以上の撮像装置を用いて、異なる視野から複数の画像を取得することを含み得る。また、複数の撮像装置よって撮影された画像フレームの品質を、時間間隔にわたって比較して、その期間に、最も高品質の画像列を有する一次撮像装置を判定し得る。プロセッサは、一次撮像装置が撮影した画像フレームのみからの情報を処理して、ＵＡＶの状態を判定または評価してよい。この方法は、１つの撮像装置で、ある期間にわたって高品質の画像を取得するのが困難な状況において、正確で信頼できる状態情報を提供するために有利となり得る。一次撮像装置によって撮影された画像のみから状態情報を求めて画像を処理することによって、処理時間及び遅延を低減し得る。また、必要なコンピュータリソースも低減し得る。本明細書に開示するように環境データ収集に複数の撮像装置を使用することは、多様な環境及び運転条件においても、ＵＡＶの状態情報の判定の正確度を向上させることができる。そのことにより、ナビゲーション及び障害物回避等のＵＡＶの機能性のロバスト性及び柔軟性を高めることができる。
本明細書に記載する実施形態は、ＵＡＶ等の様々なタイプの輸送機に適用できる。例えば、ＵＡＶは、重量が１０ｋｇを越えない、または最大寸法が１．５ｍを越えないことのいずれか、またはその両方の小型ＵＡＶでよい。ある実施形態において、ＵＡＶは、複数のプロペラで推進されて空中を移動する多重回転翼航空機等の回転翼機（例えば、クアッドコプタ）でよい。本明細書で提示する本発明の実施形態と共に使用するのに適するＵＡＶ、他の輸送機、及び、他の可動物体の追加の実施例について、以下にさらに詳しく記載する。
本明細書に記載するＵＡＶは、（例えば、機上コントローラ等の適切なコンピュータシステムによって）完全に自律して運転されてもよく、半自律的に、または、手動で（例えば、人間ユーザーによって）運転されてもよい。ＵＡＶは、適切な実体（例えば、人間ユーザーまたは自律制御システム）からの命令を受信でき、１つ以上のアクションを行って、このような命令に応答できる。例えば、地面から離陸し、（例えば、並進の３以下の自由度及び回転の３以下の自由度で）空中を移動し、目標場所もしくは一連の目標場所に移動し、空中でホバーリングし、地面に着陸する等、ＵＡＶを制御できる。他の実施例として、ＵＡＶは、特定の速度と加速度のいずれか、または、その両方で、（例えば、並進の３以下の自由度及び回転の３以下の自由度で）、移動するよう制御できる。さらに、命令によって、本明細書に記載する部品等（例えば、センサ、アクチュエータ、推進ユニット、搭載物等）の１つ以上のＵＡＶ部品を制御できる。例えば、幾つかの命令によって、カメラ等のＵＡＶの搭載物の位置、向き、動作の少なくとも１つを制御できる。また、ＵＡＶは、１つ以上の所定の運転規則に従って運転するようにできる。運転規則を用いて、ＵＡＶの位置（例えば、緯度、経度、高度）、向き（例えば、ロール、ピッチ、ヨー）、速度（例えば、並進速度と角速度の少なくとも１つ）、加速度（例えば、並進加速度と角加速の少なくとも１つ）の少なくとも１つ等、ＵＡＶの任意の適切な側面を制御してよい。例えば、運転規則により、閾値高度を超えた飛行を許可しないようにできる。例えば、ＵＡＶは、地上から４００ｍを超えない高さを飛行するようにできる。ある実施形態において、運転規則は、ＵＡＶの安全性を向上させ、安全に関する事故を防止する自動化機構を提供できる。例えば、ＵＡＶは、飛行制限領域（例えば、空港）を検出し、飛行制限領域から所定の距離内を飛行しないようにして、航空機及び他の障害物との衝突の可能性を回避できる。
図１には、屋外環境１００で運転されるＵＡＶ１０２が、本発明の実施形態に従って示されている。屋外環境１００は、都市、郊外、もしくは、田舎の設定、または、少なくとも部分的に建物内ではない任意の他の環境であり得る。ＵＡＶ１０２は、地面１０４の比較的近く（例えば、低い高度）で運転されてもよく、地面１０４から比較的離れて（例えば、高い高度）で運転されてもよい。例えば、地面から約１０ｍ以下で運転されるＵＡＶ１０２は、低い高度にあると考えてよく、地面から約１０ｍ以上で運転されるＵＡＶ１０２は、高い高度にあると考えてよい。
また、屋外環境１００は、１つ以上の障害物１０８ａ〜１０８ｄを含む。障害物は、ＵＡＶ１０２の移動を妨害する可能性のある任意の物体または実体を含み得る。一部の障害物は、建物、地上車（例えば、車、オートバイ、トラック、自転車）、人間、動物、植物（例えば、高木、低木）、及び、他の人工もしくは自然の構造物等、地面１０４に位置し得る（例えば、障害物１０８ａ、１０８ｄ）。一部の障害物は、地面１０４、水域、人工構造物、または、自然構造物と接触する、それらに支持される、のいずれか、または、その両方であってよい。あるいは、一部の障害物は、航空機（例えば、飛行機、ヘリコプタ、熱気球、他のＵＡＶ）または鳥類を含み、全体として空中１０６に位置し得る（例えば、障害物１０８ｂ、１０８ｃ）。空中の障害物は、地面１０４、水域、自然構造物、または、人工構造物のいずれにも支持されなくてよい。地面１０４に位置する障害物は、空中１０６に著しく延びた部分（例えば、塔、超高層ビル、街灯柱、ラジオ放送塔、送電線、高木等、背の高い構造物）を含み得る。
図２には、屋内環境１５０で運転されるＵＡＶ１５２が、本発明の実施形態に従って示されている。屋内環境１５０は、建物１５４の内部であり、建物１５４は、床１５６、１つ以上の壁１５８、天井もしくは屋根１６０、の少なくとも１つを有する。例示の建物は、家屋、アパート、事務所、製造施設、保管施設等の、居住用、商用、または、工業用建物を含む。建物１５４の内部は、床１５６、壁１５８、及び、天井１６０によって完全に囲まれ、ＵＡＶ１５２は、その内部空間に閉じ込められ得る。逆に、床１５６、壁１５８、または、天井１６０の少なくとも１つがなくてもよく、それによって、ＵＡＶ１５２は、内部から外部に、または、外部から内部に飛行できる。あるいは、１つ以上の開口部１６４（例えば、ドア、窓、天窓）を、床１５６、壁１５８、または、天井１６０に形成してもよい。
屋外環境１００と同様、屋内環境１５０は、１つ以上の障害物１６２ａ〜１６２ｄを含み得る。家具、器具、人間、動物、植物、及び、他の人工もしくは自然の物体等の障害物（例えば、障害物１６２ａ）は、床１５６上に位置し得る。逆に、鳥類または他のＵＡＶ等の障害物（例えば、障害物１６２ｂ）は空中に位置し得る。屋内環境１５０内の一部の障害物は、他の構造または物体によって支持されてよい。照明器具、天井ファン、または、他の天井に取り付ける器具もしくは構造等の障害物（例えば、障害物１６２ｃ）は、天井１６０に取り付けられてよい。また、照明器具、棚、戸棚、及び、他の壁に取り付ける器具もしくは構造等の障害物（例えば、障害物１６２ｄ）は、壁１５８に取り付けられてもよい。床１５６、壁１５８、及び、天井１６０を含む建物１５４の構造部品も障害物と考えられることは、注意を要する。
本明細書に記載する障害物は、実質的に不動（例えば、建物、植物、構造物）であってもよい。あるいは、実質的に可動（例えば、人間、動物、航空機、または、他の移動できる物体）であってもよい。不動部品と可動部品の組み合わせを含み得る障害物もある（例えば、風車）。可動の障害物または障害物部品は、所定のまたは予測可能な経路またはパターンに従って移動し得る。例えば、車の移動は、（例えば、道路形状によって）比較的予測可能な場合がある。あるいは、一部の可動の障害物または障害物部品は、ランダムに、または、予測不能な軌道に沿って移動し得る。例えば、動物などの生き物は、比較的予測不能に移動し得る。
安全、効率的に運転できるように、周囲環境の物体の場所等の環境情報と、位置、速度、高度、及び、加速度等のＵＡＶの状態情報のいずれか、または、両方を評価する機構を、ＵＡＶに備えることは有益となり得る。さらに、環境情報と状態情報のいずれか、または両方の正確な評価は、特に、ＵＡＶが半自律的に、または、完全に自律して運転している時の操縦を容易にでき、また、広範なＵＡＶの機能的な価値を高め得る。
従って、本明細書に記載するＵＡＶは、センサデータを収集する１つ以上のセンサを備え得る。センサデータは処理されて、ＵＡＶを操縦するためのナビゲーション情報を取得できる。ナビゲーション情報は、ＵＡＶの状態、周囲環境、または、環境内の物体に関する情報を含み得る。収集されたセンサデータに基づいて、ＵＡＶの操縦を制御する制御信号が生成され得る。本明細書に開示する実施形態と共に使用するのに適切なセンサは、例えば、位置センサ（例えば、全地球測位システム（ＧＰＳ）センサ、位置三角測量を可能にするモバイル機器送信機）、視覚センサ（例えば、カメラ等の可視光、赤外線、または、紫外線を検出できる撮像装置）、近接もしくは距離センサ（例えば、超音波センサ、ライダー、飛行時間型もしくは深度カメラ、レーダ）、慣性センサ（例えば、加速度計、ジャイロスコープ、慣性計測装置（ＩＭＵ））、高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、気圧計）、オーディオセンサ（例えば、マイクロフォン）、または、フィールドセンサ（例えば、磁気計、電磁センサ）を含む。１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上等、任意の適切な数及び組み合わせのセンサを用いてもよい。また、データは、異なるタイプ（例えば、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上のタイプ）のセンサから受信できる。異なるタイプのセンサは、異なるタイプの信号または情報（例えば、位置、向き、速度、加速度、近接性、圧力等）を測定する、異なるタイプの測定技術を利用してデータを取得する、のいずれかまたは両方であってよい。例えば、センサは、能動型センサ（例えば、自身のエネルギー源からのエネルギーを生成、測定するセンサ）及び受動型センサ（例えば、利用可能なエネルギーを検出するセンサ）の任意の適切な組み合わせを含み得る。他の実施例として、一部のセンサは、グローバル座標系で提供された絶対測定データ（例えば、ＧＰＳセンサによって提供された位置データ、コンパスまたは磁気計によって提供された姿勢データ）を生成してもよい。一方、他のセンサは、ローカル座標系で提供される相対測定データ（例えば、ジャイロスコープによって提供される相対角速度、加速度計によって提供される相対並進加速度、視覚センサによって提供される相対姿勢情報、超音波センサ、ライダー、または、飛行時間型カメラによって提供される相対距離情報）を生成してよい。場合によっては、ローカル座標系は、ＵＡＶに対して規定される機体座標系であってよい。
センサは、ＵＡＶ、周囲環境、または、環境内の物体に関するデータ等、ナビゲーションにとって有用な様々なタイプのセンサデータを収集できる。センサデータは、状態情報または環境情報等のナビゲーション情報を取得するように、（例えば、１つ以上のプロセッサによって）処理できる。例えば、少なくとも一部のセンサは、ＵＡＶの状態に関するデータをセンサデータとして取得し、このセンサデータを処理して、ＵＡＶの状態情報を取得できる。センサによって取得された状態情報は、ＵＡＶの空間的配置に関する情報（例えば、経度、緯度、高度の少なくとも１つ等、場所もしくは位置情報、または、ロール、ピッチ、ヨーの少なくとも１つ等、向きもしくは姿勢情報）を含み得る。状態情報は、ＵＡＶの動作に関する情報（例えば、並進速度、並進加速度、角速度、角加速度等）も含み得る。センサは、例えば、６以下の自由度（例えば、位置と並進のいずれか、または、その両方の３自由度、向きと回転のいずれか、または、その両方の３自由度）に関して、ＵＡＶの空間的配置と動作のいずれか、または、その両方を判定できる。状態情報は、グローバル座標系に対して、または、ローカル座標系に対して（例えば、ＵＡＶまたは他の実体に対して）提供され得る。例えば、センサは、ＵＡＶとＵＡＶを制御しているユーザーとの距離、または、ＵＡＶとＵＡＶの飛行の開始点との距離を測定できる。
また、センサによって取得されたデータを処理し、様々なタイプの環境情報を提供してもよい。例えば、センサデータは、屋内環境、屋外環境、低高度環境、または、高高度環境等の環境タイプを示し得る。センサデータは、天候（例えば、晴天、雨、雪）、可視性条件、風速、時刻等を含む、現在の環境条件に関する情報であり得る。また、センサによって収集された環境情報は、障害物等、環境内の物体に関する情報を含み得る。障害物情報は、環境内の１つ以上の障害物の数、密度、形状、場所、の少なくとも１つに関する情報を含み得る。
ある実施形態において、環境情報は、周囲環境の複雑性に関する情報を含んでよい。本明細書において、「環境複雑性」は、障害物が環境に占める程度を示し得る。環境複雑性は、量的または質的尺度を示し得る。また、環境複雑性は、障害物の数、障害物が空間に占める体積もしくはパーセンテージ、ＵＡＶに一定の近接性を有する空間に障害物が占める体積もしくはパーセンテージ、障害物によって妨げられていない空間の体積もしくはパーセンテージ、ＵＡＶに一定の近接性を有する空間で障害物が妨げていない空間の体積もしくはパーセンテージ、障害物のＵＡＶに対する近接性、障害物の密度（例えば、空間単位当たりの障害物の数）、障害物のタイプ（例えば、不動、または、可動）、障害物の空間的配置（例えば、位置、向き）、障害物の動作（例えば、速度、加速度）等の少なくとも１つに基づいて決定される。例えば、比較的高い障害物密度を有する環境（例えば、屋内環境、都市環境）は、高い環境複雑性を有することになり、比較的低い障害物密度を有する環境（例えば、高高度環境）は、低い環境複雑性を有することになる。また、空間の大きなパーセンテージを障害物が占める環境は、複雑性が高く、大きなパーセンテージの妨げられていない空間を有する環境は、複雑性が低い。
ある実施形態においては、センサデータの処理によって取得されるナビゲーション情報を用いて、移動、障害物回避、環境マッピング等のＵＡＶ操縦の様々な側面を制御する信号を生成する。信号は、様々なＵＡＶ部品、例えば、推進ユニットに出力されて、環境内でＵＡＶ操縦を行うことができる。また、このような操縦は、ＵＡＶの制御にユーザー入力がほとんどまたは全く必要ないように、自律的または半自律的に行われ得る。
環境内でのＵＡＶ操縦を最適化するために、ＵＡＶを制御する基本情報となるナビゲーション情報の正確度を最適化することが有益となり得る。ナビゲーション情報の正確度は、ナビゲーション情報生成に用いられるセンサデータの正確度、信頼性、及び、品質に依存し得る。例えば、装置の故障、最善とは言えないセンサデータ品質、センサ視野の限界等が原因で、１つのセンサでは、ＵＡＶの運転に満足なセンサデータを常に提供できない場合がある。従って、取得したセンサデータを操縦に適した満足のいくものとするために、操縦目的でＵＡＶに複数のセンサを備えることが有益となり得る。例えば、センサに冗長性を与え、処理に利用できるデータの量を増やし、かつ、任意の１つのセンサの故障または不正確さを補償することは、有益となり得る。
図３には、複数のセンサ３０８、３１０、３１２を接続したＵＡＶ３００が、本発明の実施形態に従って示されている。ＵＡＶ３００は、機体３０２を備え得る。推進ユニット３０４、３０６は、機体３０２に接続できる。ＵＡＶ３００は、センサ３０８、３１０、３１２等、機体３０２に接続された１つ以上のセンサを備え得る。各センサは、異なる視野３１４、３１６、３１８を有し得る。図３において、センサ３０８、３１０は、機体３０２の側面に接続され、センサ３１２は、支持機構３２０（例えば、ジンバル）によって機体３０２に接続されている。センサは、機体の側面に接続されるか、または支持機構によって機体に接続される。しかし、本発明に関わるセンサは、ＵＡＶの機体の上、下、側面（単数または複数）、または、内部等、ＵＡＶの任意の適切な部分に配置できる。一部のセンサは、ＵＡＶの空間的配置、ＵＡＶの動作の少なくとも１つが、センサの空間的配置、センサの動作の少なくとも１つと一致するように、ＵＡＶに機械的に接続できる。センサは、センサが取り付けられているＵＡＶの部分に対してセンサが移動しないように、固定継手を用いてＵＡＶに接続できる。あるいは、センサを、ＵＡＶに対して移動（例えば、ＵＡＶに対する並進移動または回転移動）可能に、ＵＡＶに接続してもよい。接続は、永続的な接続であってもよいし、一時的（例えば、取り外し可能）な接続であってもよい。適切な接続方法は、接着剤、ボンディング、溶接、締結部材（例えば、ねじ、釘、ピン等）の少なくとも１つを含み得る。また、センサを、ＵＡＶの一部と一体的に形成してもよい。さらに、センサは、ＵＡＶの一部（例えば、処理ユニット、制御システム、データ記憶装置）に電気的に接続可能である。従って、センサが収集したデータを、本明細書に記載した実施形態等、ＵＡＶの様々な機能（例えば、ナビゲーション、制御、推進、ユーザーまたは他の装置との通信等）に使用できる。センサは、ＵＡＶの一部（例えば、処理ユニット、制御システム、データ記憶装置）に動作可能に接続され得る。
図３には、３つのセンサを備えたＵＡＶが示されている。しかし、本発明に関わる実施形態においては、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上のセンサ等、任意の適切な数のセンサを使用可能である。ある実施形態において、ＵＡＶは、少なくとも１つ、少なくとも２つ、少なくとも３つ、少なくとも４つ、少なくとも５つ、少なくとも６つ、少なくとも７つ、または、少なくとも８つのセンサを備える。センサは、それぞれ、異なる方向を指してよい。センサは、互いに対して、及び、ＵＡＶに対して、所望の位置及び向きをとり得る。また、センサは、互いに近くに配置されてもよい。あるいは、一部のセンサは、互いに離れて配置されてもよい。センサは、機体の両側、機体の隣り合う側、機体の同じ側、機体の同じ部分、または、機体の異なる部分に配置され得る。例えば、各センサは、ＵＡＶの異なる側または表面（例えば、前面、後面、左面、右面、上面（上側）、底面（下側）の少なくとも１つ）に取り付けられ得る。また、ある実施形態において、一部またはすべてのセンサは、ＵＡＶに取り付けられた１つ以上の支持機構に取り付けられる。また、複数のセンサは、ＵＡＶの３つ以上の異なる側または表面（例えば、機体の前側、後側、左側、右側、上側、下側）に設置できる。
センサは、各センサの視野が異なるように異なる位置、及び、向きに置かれ得る。センサの視野は、センサによって検出可能な（例えば、目に見える）環境の程度でよい。異なる視野を有するセンサは、周囲環境の異なる部分を表し得る。一部のセンサまたは全てのセンサの視野は、重なり合ってよい。あるいは、センサの視野は、重なり合わなくてもよい。２つのセンサ間の視野は重なってよいが、異なってもよい（互いに、部分的に重なりあう）。視野は、画角に関連してよく、画角は、センサによって撮像される所与のシーンの角度範囲によって測定され得る。センサの画角は、約３６０°、３００°、２７０°、２４０°、１８０°、１２０°、９０°、６０°、４５°、３０°、２０°、１０°、５°、または、１°の角度、または、それ未満であり得る。各センサの画角は異なってよい。あるいは、一部のセンサまたは全てのセンサの画角は同じでよい。
ある実施形態において、光学部品を備えたセンサ（例えば、カメラ等の視覚センサ）の方向性は、光軸の方向性によって特徴付けられ得る。複数のセンサは、センサの各光軸が異なるように、異なる位置及び向きに置かれてよい。センサの「主軸」とも呼ばれる光軸は、センサにおいて、その線に沿ってある程度の回転対称性を有する線であり得る。また、センサの光軸は、センサの光学部品（例えば、レンズ、フォトセンサ）の中心を通る。ある実施形態において、センサは、センサの各光軸が、互いに対して、約１０°、２０°、３０°、４０°、５０°、６０°、７０°、８０°、９０°、１００°、１１０°、１２０°、１３０°、１４０°、１５０°、１６０°、１７０°、または、１８０°の角度となるように、配置され得る。また、センサは、等しい間隔で離されてよい（例えば、２つの装置は１８０°離れ、３つの装置は１２０°離れ、４つの装置は９０°離れる等）。また、センサは、互いに対して直角に向けられてよい。あるいは、センサの少なくとも１つは、ＵＡＶの動作方向に沿って向けられてもよい。光軸は、画角を測定する起点となる軸であり得る。画角は、光軸に沿って、垂直方向、水平方向、または、斜めに測定され得る。
図４には、異なる視野４１５、４２０を有する近くに配置された２つのセンサ４０５、４１０が、本発明の実施形態に従って示されている。ある実施形態において、センサ４０５、４１０はカメラである。センサ４０５は、視野４１５でセンサデータを取得し、センサ４１０は、視野４２０でセンサデータを取得する。図４に示す実施形態において、視野４１５、４２０は、異なっており、重ならない。ある実施形態において、水平方向に測定されたセンサ４０５、４１０の画角４３５、４４０は、約６０°である。センサ４０５は、センサ４１０の光軸４３０に対して９０°の角度である光軸４２５を有し得る。また、他の実施形態において、視野４１５、４２０、画角４３５、４４０、及び、光軸４２５、４３０、の少なくとも１つは必要に応じて変更できる。
ＵＡＶ（または、他の可動物体）が運搬するセンサは、全て同じタイプでよい。あるいは、センサの少なくとも一部は異なるタイプでもよい。ある実施形態において、センサは、それぞれ、異なる位置、異なる向き、または、異なる位置で異なる向きから見た同じシーンのセンサデータを取得する。センサは、同じ時刻、または、ほぼ同じ時刻のシーンのセンサデータを取得できる。あるいは、一部のセンサは、他のセンサとは異なる時刻にセンサデータを取得できる。
本明細書で説明したように、センサデータの収集に複数のセンサを使用すると、ナビゲーション情報の正確度を向上させ得る場合がある。しかし、一定の状況において、複数のセンサからのセンサデータを処理することは、理想より多くの処理能力、処理時間、コンピューティングリソース、の少なくとも１つを必要とする場合がある。例えば、小型ＵＡＶ（例えば、１０ｋｇ未満の重量）及び他の小さい可動物体では、ナビゲーションするのに十分なスピードで、複数のセンサデータセットを処理し得る十分なプロセッサ、メモリ、他のタイプのコンピューティングリソースの少なくとも１つを運搬できない可能性がある。
従って、ある実施形態においては、センサデータの選択的処理を行い、処理能力及びコンピューティングリソースを節約し、処理時間を低減する。このような実施形態においては、ＵＡＶが運搬するセンサのサブセットのみを使用して、ナビゲーション情報を生成するためのセンサデータを提供する。この場合、センサのサブセットを１つ以上の所定の基準に基づいて選択することにより、結果として得られるナビゲーション情報の正確度を最適にし、また、全体としてのＵＡＶの性能を向上させる（例えば、消費電力、プロセッサ負荷、計算の複雑さを低減する）。この方法によれば、ナビゲーション情報の正確度及び信頼性を向上させながら、センサデータ処理のスピードと効率を向上させることができる。
図５には、環境内で航空機を操縦する方法５００が、本発明の実施形態に従って示されている。方法５００は、複数のセンサ（例えば、撮像装置、超音波センサ、ライダセンサ、レーダセンサ、または、それらの組み合わせ）を運搬するＵＡＶ等の輸送機の制御に適用できる。また、センサを輸送機に配置し、各センサが異なる視野から各センサデータを取得するようにできる。視野の少なくとも幾つかは、互いに重なってよい。ある実施形態において、視野の少なくとも幾つかは、異なってよい。他の実施形態において、視野の少なくとも幾つかは、同じでよい。方法５００のステップの一部または全ては、複数のセンサに動作可能に接続された１つ以上のプロセッサによって実行され得る。また、方法５００は、ユーザー入力を必要とせずに実行した場合、ナビゲーション情報を生成するためのセンサデータを自律的に選択して処理できる。
ステップ５１０において、航空機によって運搬される複数のセンサのサブセットが、１つ以上の所定の基準に基づいて選択される。サブセットは、少なくとも１つ、２つ、３つ、４つ、５つ、または、６つ以上のセンサ等、任意の数のセンサを含み得る。ある実施形態において、サブセットは、操縦のために航空機によって運搬される全てのセンサより少なくてよい。またある実施形態においては、サブセットは、１つのセンサのみを含む。サブセットとして選択されるセンサの数は、特定の要因に基づいて異なってよい。例えば、サブセットのセンサの数は、環境複雑性等の周囲環境の特性によって異なり得る。比較的複雑な環境内（例えば、障害物密度が高い）で航空機が運転している時は、選択するセンサの数を多くしてよく、複雑でない環境内（例えば、障害物密度が小さい）で航空機が運転している時は、選択するセンサの数を少なくしてよい。非常に複雑な環境内を操縦する時に多くの数のセンサを選択することは、センサデータに冗長性を加えると共に正確度を与え、事故（例えば、障害物との衝突）の危険を低減するために、有益となり得る。また、航空機が非常に複雑な環境内を運転している時は、少なくとも２つ、３つ、４つ、５つ、または、６つ以上のセンサが選択される。
他の実施形態においては、サブセットの一部として選択されるセンサの数は、輸送機の動作方向、航空機の速度のいずれか、または両方等、輸送機の状態によって異なってよい。ある実施形態においては、動作方向が（例えば、輸送機の基準フレームの直交座標軸に対して）一次元の場合、１つのセンサが選択され、動作方向が二次元の場合、２つのセンサが選択され、動作方向が三次元の場合、３つのセンサが選択される。例えば、センサが動作方向に位置合わせされている場合、１つのセンサを選択してよい。また、センサが動作方向に対して斜めになっているが、同一の動作面にある場合は２つのセンサを選択してよい。また、センサが動作方向に対して斜めになっており、動作面の外側にある時、３つのセンサを選択してよい。センサの動作方向に対する位置合わせは、本明細書で上述したセンサの視野、画角、光軸の少なくとも１つに従って決定できる。
様々なタイプの所定の基準を用いて、センサを選択できる。例えば、基準は、センサが輸送機の動作方向にほぼ沿って向けられているか否か、センサの視野が動作方向に重なっているか否か等、センサの向き、センサの視野の少なくとも１つに関連してよい。あるいは、基準は、品質が所定の閾値を超えるか否か、センサが最も高いセンサデータ品質を有するか否か等、センサによって生成されたセンサデータの品質（例えば、信号対ノイズ比、処理に対する適切性、正確度、ロバスト性、信頼性）に関連してよい。また、ある実施形態においては、各センサからのセンサデータを分析して、品質を決定し、最も高い品質のデータを生成するセンサのみを選択する。さらに別の実施例においては、基準は、例えば、消費電力が所定の閾値か否か、センサの消費電力が最も少ないか否か等、各センサの消費電力に関連してよい。また、他の実施形態においては、低い消費電力を示すセンサが、高い消費電力を示すセンサの前に選択されることが好ましい。また、１つ以上の所定の基準は、様々な方法で提供され得る。これは、例えば、運転前にＵＡＶにプリセットまたはプログラムされる、運転中にＵＡＶに送信される、運転前または運転中にユーザー入力に基づいて決定される、または、それらの組み合わせ等の方法である。また、ある実施形態において、ステップ５１０は、各センサを評価して、そのセンサが１つ以上の所定の基準を満たすか否かを判断すること、そのセンサが基準を満たす場合、そのセンサを選択すること、を含む。
ステップ５２０において、選択したセンサ（単数または複数）からのセンサデータを処理して、環境内で輸送機を操縦するためのナビゲーション情報を生成する。本明細書で上述したように、センサデータを処理して、輸送機の状態情報、環境の環境情報の少なくとも１つを処理できる。ある実施形態において、ナビゲーション情報は、選択したセンサ（単数または複数）からのセンサデータのみを用いて、残りのセンサからのセンサデータを処理しないように、特定される。この選択的処理方法によって、本明細書に上述したように、ナビゲーション情報を特定する処理効率及びスピードが向上し得る。
ステップ５３０において、輸送機を制御する信号が、ステップ５２０で生成されたナビゲーション情報に基づいて出力される。環境内で輸送機のナビゲーションを制御する信号を生成する。ある実施形態において、信号は、輸送機の推進ユニットの制御信号を含み、輸送機の空間的配置と、輸送機の移動の少なくとも１つを制御する。例えば、１つ以上の障害物の場所に関する環境情報を用いて、輸送機を移動させる制御信号を生成し、障害物を回避できる。別の実施例において、輸送機の現在速度に関する状態情報は、輸送機が所望の速度を確実に達成、維持できるように、推進ユニットの動作を調整するフィードバックとして使用できる。
ある実施形態において、本発明に関わる方法は、本明細書で「撮像装置」とも称する視覚センサによって取得された画像データの選択的処理に適用できる。撮像装置は、電磁放射（例えば、可視光、赤外線、紫外線の少なくとも１つ）を検出し、検出した電磁放射に基づいて画像データを生成する。例えば、撮像装置は、光の波長に応じて電気信号を生成する電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサを備え得る。結果として得られる電気信号を処理して画像データを生成できる。撮像装置によって生成された画像データは、１つ以上の画像を含み得る。画像は、静止画像（例えば、写真）、動画（例えば、ビデオ）または、それらの適切な組み合わせでよい。画像データは、多色（例えば、ＲＧＢ、ＣＭＹＫ、ＨＳＶ）であってもよく、単色（例えば、グレースケール、白黒、セピア色）であってもよい。本明細書に記載の一部の実施形態は、撮像装置の文脈で記載しているが、理解されるように、本開示は、任意の適切なタイプのセンサに適用でき、逆もまた同様である。
ある実施形態において、撮像装置はカメラでよい。カメラは、動画データ（例えば、ビデオ）を撮影するムービーカメラまたはビデオカメラでよい。カメラは、静止画像（例えば、写真）を撮影する静止カメラでよい。本明細書において、特定の実施形態は、カメラの文脈で記載されているが、理解されるように、本発明は、任意の適切な撮像装置に適用できる。また、カメラに関する本明細書の記載はいずれも、任意の適切な撮像装置にも適用できる。また、カメラに関する本明細書の記載はいずれも他のタイプの撮像装置にも適用できる。カメラを用いて、３Ｄシーン（例えば、環境、１つ以上の物体等）の２Ｄ画像を生成できる。カメラが生成した画像は、３Ｄシーンの２Ｄ画像面への投影を表現できる。従って、２Ｄ画像の各点は、シーンの３Ｄ空間座標に対応する。
本明細書に記載の撮像装置によって取得された画像は、ＵＡＶの運転に関する様々な用途に使用できる。ある実施形態において、画像を用いて、環境内での（例えば、自律的、半自律的、または、手動で）ＵＡＶの操縦を容易にする。例えば、画像を処理して、ＵＡＶの状態情報（例えば、位置、向き、速度、加速度の１つ以上の情報）を特定できる。あるいは、画像を処理して、環境情報（例えば、複雑性、障害物の場所）を特定できる。状態情報に関する本明細書の記載はいずれも環境情報等の他のタイプのナビゲーション情報にも適用でき、逆もまた同様である。状態情報は、１つの撮像装置によって取得された画像を用いて特定できる。あるいは、状態情報は、複数の撮像装置から取得した画像を用いて特定できる。
ある実施形態において、本明細書に記載する撮像装置は、状態情報を特定するために処理される複数の画像を撮影する。撮像装置によって撮影された複数の画像は、本明細書では、画像列と称することがある。撮像装置によって撮影された個々の画像は、本明細書では、「画像フレーム」と称することがある。画像列は、１つ以上の画像フレームを含み得る。画像列は、特定の撮影レートで撮影できる。ある実施形態において、画像フレームは、約２４ｐ、２５ｐ、３０ｐ、４８ｐ、５０ｐ、６０ｐ、７２ｐ、９０ｐ、１００ｐ、１２０ｐ、３００ｐ、５０ｉ、または、６０ｉ等の標準的なビデオフレームレートで撮影し得る。ある実施形態において、画像フレームは、０．０００１秒、０．０００２秒、０．０００５秒、０．００１秒、０．００２秒、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、または、１０秒毎に約１回以下のレートで撮影され得る。また、撮影レートは、ユーザー入力、状態情報、または、外部条件（例えば、雨、雪、風、環境のわかりにくい表面テクスチャー）に応じて変化してよい。
画像列は、ある時間間隔にわたって撮影され得る。ある実施形態において、画像列、すなわち、複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含み得る。ユーザーは、時間間隔を希望に応じて設定できる。時間間隔は一定でよい。あるいは、時間間隔は、例えば、プロセッサによって自動的に決定され得る。時間間隔は、ＵＡＶまたはその部品（例えば、撮像装置）の操作の過程で、一定のままでもよく、変化してもよい。ある実施形態において、時間間隔は、約０．００５秒、０．００２秒、０．０１秒、０．０２秒、０．０５秒、０．１、秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒以下でよい。ある実施形態において、時間間隔は、約０．０２秒から約０．１秒の範囲内でよい。また、時間間隔は、ユーザー入力、状態情報、または、外部条件に応じて変化し得る。撮像装置は、任意の持続時間の間、上述した画像列を撮影し得る。また、持続時間は、ＵＡＶが運転可能な時間、ＵＡＶが移動している時間、ユーザーによって設定された時間、プロセッサによって自動的に決定された時間、プリセットされた時間、ユーザー入力が行われた時間、不安定な状態があった時間（例えば、乱気流、ドリフト）、または、状態情報に応じて決定され得る。
ある実施形態において、撮像装置が撮影した画像列を処理して、各撮像装置からの複数の画像の各画像に存在する１つ以上の特徴点を検出し得る。特徴点は、画像の残りの部分から一意に区別可能な画像の部分（例えば、エッジ、コーナー、注目点、ブロブ、リッジ等）と、画像の他の特徴点のいずれか、または両方でよい。また、特徴点は、撮像された物体の変換（例えば、並進、回転、拡大縮小）と、画像の特性（例えば、明るさ、露光量）の変化と、のいずれか、または両方に対して比較的に不変であってよい。特徴点は、情報内容（例えば、著しい２Ｄテクスチャー）に富む画像の部分で検出されてよい。特徴点は、摂動時（例えば、画像の照度や明るさを変更する時）に安定している画像の部分で検出されてよい。本明細書に記載の特徴検出は、画像データから１つ以上の特徴点を抽出し、特徴点の総数、すなわち、「特徴点数」を計算し得る様々なアルゴリズムを用いて実現できる。アルゴリズムは、エッジ検出アルゴリズム、コーナー検出アルゴリズム、ブロブ検出アルゴリズム、または、リッジ検出アルゴリズムでよい。ある実施形態において、コーナー検出アルゴリズムは、「ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ）」でよい。また、ある実施形態において、特徴検出器は、特徴点を抽出し、ＦＡＳＴを用いて特徴点数を計算し得る。また、特徴検出器は、キャニーエッジ検出器、Ｓｏｂｅｌオペレータ、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓ／Ｐｌｅｓｓｙ／Ｓｈｉ‐Ｔｏｍａｓｉコーナー検出アルゴリズム、ＳＵＳＡＮコーナー検出器、Ｌｅｖｅｌ ｃｕｒｖｅ ｃｕｒｖａｔｕｒｅ法、ラプラシアンガウシアン、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ）、ヘッセ行列式（Ｄｅｔｅｒｍｉｎａｎｔ ｏｆ Ｈｅｓｓｉａｎ）、ＭＳＥＲ（Ｍａｘｉｍａｌｌｙ Ｓｔａｂｌｅ Ｅｘｔｒｅｍａｌ Ｒｅｇｉｏｎｓ）、ＰＣＢＲ（Ｐｒｉｎｃｉｐａｌ Ｃｕｒｖａｔｕｒｅ‐Ｂａｓｅｄ Ｒｅｇｉｏｎｓ）、もしくは、グレーレベルのブロブ、ＯＲＢ（Ｏｒｉｅｎｔｅｄ Ｆａｓｔ ａｎｄ Ｒｏｔａｔｉｏｎ ＢＲＩＥＦ）、ＦＲＥＡＫ（Ｆａｓｔ Ｒｅｔｉｎａ Ｋｅｙｐｏｉｎｔ）、または、それらの適切な組み合わせでよい。
状態情報は、１つ以上のプロセッサを用いて、抽出された特徴に従って評価できる。ある実施形態において、プロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け規格品（ＡＳＳＰ）、または、接続プログラム可能論理回路（ＣＰＬＤ）を含み得る。また、プロセッサは、ＵＡＶによって運搬される組み込みプロセッサでよい。あるいは、プロセッサは、ＵＡＶと離れていてよい（例えば、ＵＡＶと通信する地上局にあってよい）。また、プロセッサは、物体を追跡、マッピングし、画像フレームにわたって相対的変化を特定するために、画像フレーム列全体の抽出された特徴点を取得し、その特徴点を比較できる。また、プロセッサは、特徴点に基づいて画像フレームにわたる相対的変化を分析することによって、位置（例えば、経度、緯度、高度）、姿勢、向き（例えば、ロール、ピッチ、ヨー）、速度（例えば、並進速度、角速度）、及び、加速度（例えば、並進加速度、角加速度）等のＵＡＶの状態情報を、特定できる。
図６には、複数の撮像装置６０２からの画像を用いてＵＡＶの状態情報を処理するシステム６００が、本発明の実施形態に従って示されている。システム６００は、複数の撮像装置６０２、第１のプロセッサ６０４、及び、第２のプロセッサ６０６を備え得る。各撮像装置６０２を用いて、画像列を撮影できる。撮像装置６０２によって撮影された画像列は、第１のプロセッサ６０４（例えば、ＦＰＧＡ）に送信でき、第１のプロセッサ６０４は、各画像の特徴点を検出するために、例えば、上記したアルゴリズムを用いて、画像列を処理する。ある実施形態において、プロセッサ６０４は、本明細書でさらに詳しく説明するように、画像列の各画像から複数の特徴点を特定し、特徴点数を計算し、特徴点数を用いて画質を評価または判定する。画像列のそれぞれの特徴点は、第２のプロセッサ６０６（例えば、組み込みプロセッサ）に送信できる。プロセッサ６０６は、画像列を処理して、ＵＡＶの状態情報をさらに評価できる。また、プロセッサ６０６は、上述したように、プロセッサ６０４が生成した画像列の特徴点を用いて、状態情報を特定できる。状態情報は、ＵＡＶの飛行制御モジュールに出力されてよく、また、ＵＡＶを移動させる制御信号を出力する根拠として用いられ得る。例えば、制御信号は、ＵＡＶに搭載された１つ以上の推進ユニットに出力され得る。システム６００は、特徴点を検出し、状態情報を評価する２つの異なるプロセッサ６０４、６０６を備える、ものとして示されているが、任意の適切な数及び組み合わせのプロセッサを用いてよい。例えば、１つのプロセッサを用いて、特徴点検出及び状態情報特定を行ってよい。ある実施形態において、少なくとも一部のプロセッサは、ＵＡＶによって運搬されてよい。また、少なくとも一部のプロセッサは、ＵＡＶと離れていてもよい。（例えば、ＵＡＶと通信する地上局にあってよい。）特徴点を検出し、状態情報を評価する１つ以上のプロセッサがあってよい。特徴点及び状態情報は、異なるプロセッサ、または、同一のプロセッサによって決定できる。
画像から決定される状態情報の正確度及びロバスト性は、画像の画質に依存し得る。ある実施形態において、画質は、（例えば、ＵＡＶ状態情報を評価するための）画像処理に関する画像フレーム（単数または複数）の適切性を指す。処理に適さない低品質の画像は、不正確なデータを提供する可能性があり、処理に適した高品質の画像は、正確なデータを提供し得る。画質は、画像の顕著性に関連、または、依存し得る。本明細書において、画像の顕著性は、画像が、例えば、背景と、周りの画像ピクセルのいずれか、または両方から容易に区別可能または「目立つ」特徴をどの程度有するかを指して使用され得る。本明細書における画質に関する記載はいずれも、画像の顕著性にも適用してよく、逆も同様である。ある実施形態において、画質は、画像の露光レベルとコントラストのいずれか、または両方によって決定できる。また、画質は、画像勾配法を用いて決定してもよい。画像勾配法においては、画像の各ピクセルの勾配を計算でき、その結果を用いて、画像テクスチャーが十分に豊かであるか否かを判定できる。テクスチャーがより豊かな画像は、より大きい勾配を有し得る。より大きい勾配は、より高い品質の画像を意味し得る。ある実施形態において、上述したように、画質は、特徴検出によって評価される。例えば、画質は、画像で検出された特徴点の数に関連し得る。また、画像の特徴点の数は、画質を判定するために評価、識別される。また、各画像の特徴点数は、画像の顕著性を示し得る。特徴点の数が多い画像は、状態情報の評価に使用するのに適した高品質の画像を意味し得る。特徴点の数が少ない画像は、状態情報の評価に使用するのに適さない低品質の画像を意味し得る。例えば、高品質の画像は、少なくとも約１００、１５０、２００、２５０、５００、１０００、または、それより多い特徴点を有し得る。逆に、低品質の画像は、約１００、７５、６０、５０、２５、または、それより少ない特徴点を有し得る。
ある実施形態において、１つの撮像装置によって撮影された一部または全ての画像フレームは、例えば、最適とは言えない撮像条件が原因で、比較的低い画質となり得る。撮像装置は、ある状況において、満足な画像データを提供できないことがある。照明が明るい、もしくは、高コントラストである時、または、雨、霧、もしくは、スモッグ等の悪い環境条件等の場合である。画像が、反復的な環境（例えば、壁、水）、低コントラストの環境（例えば、雪、夜間）、露光過多、露光不足、わかりにくい表面テクスチャー、の少なくとも１つを表す場合、画質が低くなり得る。さらに、撮像装置が撮影した最初の画像列の品質が良い場合でも、その後に撮像装置が撮影した画像は、環境条件の変化が原因でその品質は低下し得る。低画質によって、特徴点の数が減り、その結果、状態情報の処理が不正確になったり、または、状態情報の処理ができなくなったりする場合がある。
ある実施形態において、低画質は、画像の露光過多が原因である。画像の最も明るい部分の詳細が失われている、画像の重要な部分が「白くなっている」のいずれか、または、両方の場合、画像は、露光過多とみなされる。プロセッサは、露光過多の画像の白くなっていない部分からのみ特徴点を検出でき、その結果、識別できる特徴点の数が少なくなり、画像ノイズと区別することが難しくなり得る。
また、画像が、表面テクスチャーが低いまたはわかりにくいシーン（例えば、開口部のない壁）を表す場合、低画質となる。表面テクスチャーは、より、表面粗さ、及び、波立ち、として定義される表面の性質であり得る。表面テクスチャーがわかりにくい画像は、画像コントラストが比較的低くなり得る。表面テクスチャーがわかりにくい画像は、特徴点数が少なくなり、画像ノイズと区別することが難しくなり得る。
この問題を軽減するために、プロセッサは、複数の撮像装置によって撮影された複数の画像列を用いて、状態情報を特定し得る。特徴点が、多くの異なる視野から抽出されている場合、撮像装置の少なくとも１つが、状態情報の特定に適した高品質の画像列を生成するチャンスが増加し得る。しかし、ＵＡＶの状態情報を評価するために複数の撮像装置からの複数の画像フレーム列を用いることは、コンピューティングリソースの使用と処理時間のいずれか、または両方を増加させる可能性がある。従って、ある実施形態においては、複数の撮像装置のサブセットのみを用いて状態情報を特定する。様々な方法を用いて、どの撮像装置（単数または複数）を使用するべきかを選択できる。例えば、撮像装置によって生成された画像列の品質に基づいて、（例えば、プロセッサを利用して）撮像装置を選択してよい。画質は、上述したように、各画像列の画像に存在する特徴点の数に基づいて決定できる。
ある実施形態において、各画像列の画質の評価は、並行して（例えば、同時に）行われる。その場合、複数の撮像装置から撮影された画像を処理する時においても、システムの処理遅延は必ずしも増加しない。また、ある実施形態において、各画像列からの状態情報の特定は、順次（例えば、連続的）に行われる。そうすると、複数の撮像装置からの情報を処理して状態情報を特定する場合、システムの処理遅延が増加し得る。従って、全ての撮像装置からの画像列を処理して画質を判定する一方、状態情報の特定には、使用する撮像装置のサブセットのみを選択することが有益となり得る。ある実施形態においては、１つの撮像装置のみを選択する。あるいは、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上の撮像装置を選択できる。
状態情報を特定する撮像装置の選択は、１つ以上の基準に基づいてよい。基準は、（例えば、ユーザーによりＵＡＶの運転前にプリセットされた）所定の基準でよい。あるいは、基準は、ＵＡＶの運転中、例えば、自動的に、または、ユーザー入力に基づいて、決定できる。また、基準は、ＵＡＶの運転中、例えば、運転条件の変化に応じて修正できるように動的でよい。ある実施形態において、基準は、画像列と、画像列の個々の画像のいずれか、または両方の、画質及び画像の顕著性の少なくとも１つに関連し得る。画質または画像の顕著性は、上述したように、画像列の特徴点数に関連し得る。また、状態情報特定のために評価する画像列を有する撮像装置を選択する基準を決定するという目的においては、「特徴点の数」は、「画質」と置き換え可能である。例えば、基準は、画像列全体、または、画像列の各画像が画質の最低閾値を満たす（例えば、最小特徴点数を満たす）か否かでよい。例えば、画質閾値として用いられる最小特徴点数は、約１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、２００、５００、または、それを超える特徴点でよい。基準は、最も高い平均画質（例えば、画像フレームあたり最も多い特徴点数）を有する画像列を生成する撮像装置を選択することであり得る。基準は、画像列内で最高の最高画質（例えば、最大の最大特徴点数）を有する撮像装置を選択することであり得る。基準は、画像列内で最高の最低画質（例えば、最大の最小特徴点数）を有する撮像装置を選択することであり得る。このように、基準は、選択すべき撮像装置の数に応じて変わり得ることが理解される。例えば、２つの撮像装置を選択する場合、基準は、画像列内で１番目に高い及び２番目に高い最高画質（例えば、１番目に多い及び２番目に多い特徴点数）を有する２つの撮像装置を選択することであり得る。
図６に示した実施形態においては、システム６００の１つ以上のプロセッサは、撮影された画像フレームの画質を評価できる。例えば、各画像列の画質を評価するために、プロセッサ６０４を用いて、各撮像装置６０２の画像列を処理できる。プロセッサ６０４は、画質を判定するために、プロセッサ６０４に送られた各画像フレームを処理できる。例えば、ある実施形態において、プロセッサ６０４は、画像列の各画像から複数の特徴点を決定し、特徴点数を計算し、特徴点数を用いて画質を判定する。各画像列の特徴点数は、プロセッサ６０６に送信でき、プロセッサ６０６は、状態情報評価のための撮像装置（単数または複数）を選択する根拠として特徴点数を使用できる。選択した撮像装置（単数または複数）によって取得された画像列は、次に、プロセッサ６０６によって処理されて、状態情報を生成できる。
図７には、処理された情報に基づいて状態情報を評価し、航空機を制御する方法１０００のステップを示すフローチャートが、本発明の実施形態に従って示されている。方法１０００のステップは、本明細書に提示した全ての方法と同様、本明細書に記載したシステム及び装置の任意の実施形態を用いて行い得る。例えば、方法１０００は、ＵＡＶによって運搬されるナビゲーションシステムによって実行されてよい。ある実施形態において、方法１０００のステップ１０１０〜１０５０は、１つ以上のプロセッサによって実行されてよく、そのプロセッサの少なくとも一部は、ＵＡＶによって運搬されてよい。さらに、ステップの少なくとも一部は、ユーザー入力を必要とせずに自動的に実行されてよい。あるいは、ステップの少なくとも一部は、ユーザー入力を伴ってよい。方法１０００のステップの一部または全ては、必要に応じて繰り返されてよい。例えば、ステップ１０１０〜１０５０は、所望の割合で繰り返されてよい。割合は、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒毎に約１回以下でよい。ある実施形態において、割合は、０．０２秒毎に約１回から０．１秒毎に約１回でよい。
ステップ１０１０において、複数の画像列は、時間間隔にわたって複数の撮像装置によって撮影され得る。時間間隔は、約０.００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒以下でよい。ある実施形態において、時間間隔は、約０．０２秒〜約０．１秒の範囲内でよい。また、他の実施形態において、時間間隔は、約０.００５秒〜約１０秒の範囲内でよい。時間間隔中に撮影された画像列は、約１つの画像、２つの画像、５つの画像、１０の画像、２０の画像、５０の画像、１００の画像、２００の画像、５００の画像、または、１０００の画像から構成され得る。また、上述したように、撮像装置は、ＵＡＶに配置され、複数の画像のそれぞれを異なる視野から撮影し得る。
ステップ１０２０において、プロセッサを利用して、各撮像装置からの複数の画像の画質を評価できる。画質は、上述したように、特徴点数に関連し得る。画質の決定は、並行して（例えば、全ての画像列を同時に）処理できる。従って、よい画質を得るために、複数の撮像装置から撮影された画像が処理された場合でも、システムの処理遅延は必ずしも増加しない。
ステップ１０３０において、複数の撮像装置によって撮影された画像列の少なくとも１つを、ステップ１０２０の画質の評価に基づいて選択できる。撮像装置の選択は、１つ以上の基準に基づいてよい。基準は、上述したように、画像列の画質または画像の顕著性に関連し得る。例えば、基準は、画像列全体、または、画像列の各画像が画質の最低閾値を満たしているか否かであり得る。基準は、最も高い平均画質の画像列を有した撮像装置を選択することであり得る。基準は、画像列内で最も高い最高画質を有する撮像装置を選択することであり得る。基準は、画像列内で最も高い最低画質を有する撮像装置を選択することであり得る。このように、基準は、選択すべき撮像装置の数に応じて変わり得ることが理解される。例えば、２つの撮像装置を選択する場合、基準は、画像列内で１番目に高い及び２番目に高い最高画質を有する２つの撮像装置を選択することであり得る。ある実施形態においては、状態情報特定のために評価する画像列を有する撮像装置を選択する基準を決定するという目的において、「特徴点の数」は、「画質」と置き換え可能である。
ステップ１０４０において、ステップ１０３０で選択された撮像装置（単数または複数）からの複数の画像をプロセッサで処理し、ＵＡＶの状態情報を評価できる。プロセッサからの状態情報の評価または特定は、順次（例えば、連続的に、一度に１つの画像列）、行われ得る。従って、複数の撮像装置からの情報を処理する場合、システムの処理遅延は増加し得る。しかし、状態情報を特定する際に処理すべき撮像装置のサブセットのみから画像列を選択するという基準を有することによって、処理時間及びコンピューティングリソースを節約できる。ある実施形態において、画質は、並行処理されるので、複数の撮像装置が撮影した全ての画像の画質が評価される。一方、状態情報は、順次処理されるので、撮像装置のサブセットのみからのデータを用いて評価される。さらに、状態情報の特定は、画質の特定よりも、計算に集中したものとなり得る。画質の特定は、計算的に安価な低レベルの画像処理作業であり得るからである。このように、図７は、本発明に関わる、計算的に効率が良く、かつ時間的に効率のよい状態情報を特定する方法を示している。
ステップ１０５０において、状態情報は、ＵＡＶを環境内で操縦させる信号を出力する根拠として使用し得る。信号は、ＵＡＶを移動させるＵＡＶの推進システム（例えば、回転翼）の制御信号を含み得る。信号は、リモート端末または他のユーザー装置に入力され、その後、ＵＡＶに送信されるユーザー命令に基づいて生成される。あるいは、信号は、ＵＡＶ（例えば、自動機上コントローラ）によって自律的に生成される。場合によっては、信号は、ユーザー入力の助けを得て半自律的に、及び、自動で、生成される。ある実施形態において、状態情報は、制御信号を生成する飛行制御アルゴリズムへの入力として用いられる。
図８には、特徴点数の計算に基づいて、状態情報を評価する方法１１００のステップを示すフローチャートが、本発明の実施形態に従って示されている。方法１１００は、方法１０００の特殊バージョンと理解してよく、各撮像装置によって撮影された複数の画像の画質を、その画像の各画像の特徴点数を計算して評価できる。
方法１１００のステップ１１１０〜１１５０は、１つ以上のプロセッサによって実行でき、そのプロセッサの少なくとも一部は、ＵＡＶによって運搬されてよい。ある実施形態において、方法１１００は、ＵＡＶのナビゲーションシステムによって行われる。さらに、ステップの少なくとも一部は、ユーザー入力を必要とせずに自動で行われ得る。あるいは、ステップの少なくとも一部は、ユーザー入力を伴ってよい。方法１１００のステップの一部または全ては、必要に応じて繰り返されてよい。例えば、ステップ１１１０〜１１５０は、所望の割合で繰り返されてよい。割合は、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒毎に約１回以下でよい。ある実施形態において、割合は、０．０２秒毎に約１回から０．１秒毎に約１回でよい。
ステップ１１１０において、複数の画像列は、時間間隔にわたって複数の撮像装置の各撮像装置によって撮影されてよい。時間間隔は、約０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒以下でよい。ある実施形態において、時間間隔は、約０．０２秒〜約０．１秒の範囲内でよい。また、時間間隔は、約０．００５秒〜約１０秒の範囲内でよい。時間間隔中に撮影された画像列は、約１つの画像、２つの画像、５つの画像、１０の画像、２０の画像、５０の画像、１００の画像、２００の画像、５００の画像、または、１０００の画像から構成され得る。上述したように、撮像装置は、ＵＡＶに配置され、複数の画像のそれぞれを異なる視野から撮影し得る。
ステップ１１２０において、各撮像装置からの複数の画像の各画像の特徴点数を、例えば、プロセッサを利用して計算する。ある実施形態において、特徴点数は、ＦＡＳＴ等の特徴検出アルゴリズムを用いて、各画像の特徴点数を計算することによって評価し得る。特徴点数の計算は、並行処理できる。従って、複数の特徴点数を得るために、撮像装置から撮影された複数の画像を処理する場合でも、システムの処理遅延は、必ずしも増加しない。
ステップ１１３０において、ステップ１１２０の評価に基づいて、複数の撮像装置の少なくとも１つを選択できる。撮像装置の選択は、１つ以上の基準に基づいてよい。基準は画像列の特徴点数に関連し得る。例えば、基準は、画像列全体、または、画像列の各画像が特徴点数の最低閾値を満たすか否かであり得る。基準は、最も多い平均特徴点数の画像列を有した撮像装置を選択することであり得る。基準は、画像列内で最も多い最大特徴点数を有する撮像装置を選択することであり得る。基準は、画像列内で最も多い最小特徴点数を有する撮像装置を選択することであり得る。このように基準は、選択する撮像装置の数に応じて変わり得ることが理解される。例えば、２つの撮像装置を選択する場合、基準は、画像列内で１番目と２番目に多い最大特徴点数を有する２つの撮像装置を選択することであり得る。
ステップ１１４０において、ステップ１１３０で選択された撮像装置（単数または複数）からの複数の画像をプロセッサで処理し、ＵＡＶの状態情報を評価できる。プロセッサからの状態情報の特定は、順次、行い得る。従って、複数の撮像装置からの情報を処理する場合、システムの処理遅延が増加し得る。しかし、状態情報特定の際に処理する画像のサブセットを選択するという基準を有することによって、処理時間及びコンピューティングリソースを節約できる。
また、状態情報は、環境内でＵＡＶを操縦させる信号を出力する根拠として使用し得る。信号は、ＵＡＶを移動させるＵＡＶの推進システム（例えば、回転翼）の制御信号を含み得る。信号は、リモート端末または他のユーザー装置に入力され、その後、ＵＡＶに送信されるユーザー命令に基づいて生成される。あるいは、信号は、ＵＡＶ（例えば、適切な飛行制御アルゴリズムを実施する自動機内コントローラ）によって自律的に生成される。場合によっては、信号は、ユーザー入力の助けを借りて半自律的に、及び、自動で、生成される。
ある実施形態において、１つ以上の撮像装置を、状態情報の評価に使用する「デフォルト」撮像装置として指定する。このような撮像装置を本明細書では、「一次撮像装置」と称することがある。デフォルトによって選択されない撮像装置は、本明細書では「二次撮像装置」と称することがある。一次撮像装置すなわちデフォルト撮像装置は、画質決定のために常にその画像列が使用される。そして、その画質が満足のいくものであると見なされた場合、その一次撮像装置による画像列がＵＡＶの状態情報として使用され得る。二次撮像装置すなわち非デフォルト撮像装置は、一次撮像装置が撮影した画像列の画質が不十分であると見なされた場合のみ、その画像列の画質が評価される撮像装置であり得る。一次撮像装置によって撮影された画像列が不十分な画質である場合のみ、二次撮像装置によって撮影された画像列を用いて、ＵＡＶの状態情報を評価してよい。ＵＡＶは、任意の適切な数の一次及び二次撮像装置を有してよい。例えば、ＵＡＶは、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上の一次撮像装置を有してよい。ＵＡＶは、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、または、９つ以上の二次撮像装置を有してよい。ＵＡＶは、二次撮像装置より多くの一次撮像装置を有してよく、逆もまた同様である。また、一次撮像装置の数は、二次撮像装置の数と同じでもよい。
ある実施形態において、一次撮像装置は、ＵＡＶの動作方向にほぼ沿って向けられた撮像装置であり得る。一次撮像装置は、一次撮像装置の視野が動作方向に重なる時、動作方向にほぼ沿って向けられていると考えてよい。また、一次撮像装置は、視野または光軸が動作方向に位置合わせされている場合、ＵＡＶの動作方向にほぼ沿って向けられていると考えてよい。ある実施形態において、一次撮像装置は、撮像装置の視野または光軸が、動作方向の約１０°、２０°、３０°、４０°、５０°、６０°、７０°、８０°、９０°、１００°、１１０°、１２０°、１３０°、１４０°、１５０°、１６０°、１７０°、または、１８０°またはその範囲内にある時、ＵＡＶの動作方向にほぼ沿って向けられていると考えてよい。一次撮像装置は、ＵＡＶの動作方向が変化するにつれて変化してよい。ＵＡＶの動作方向が変わると、一次撮像装置は、もはやＵＡＶの動作方向に向いていない場合があり得る。
図９には、一次撮像装置１２０２及び二次撮像装置１２０４、１２０６、１２０８を備えた移動中のＵＡＶ１２００を示す上面図が、本発明の実施形態に従って示されている。ＵＡＶ１２００は、撮像装置１２０２、１２０４、１２０６、１２０８を運搬する機体１２１０を備える。撮像装置１２０２、１２０４、１２０６、１２０８は、それぞれ、ＵＡＶ１２００の異なる側に接続され、対応する視野１２１２、１２１４、１２１６、１２１８を有する。ＵＡＶ１２００は、１つ以上の推進ユニット（図示せず）によって推進されて（矢印１２２０によって示された）移動方向に沿って移動できる。ＵＡＶの移動方向は、任意の方向でよい。ＵＡＶは、水平方向（例えば、前、後ろ、左、右）、垂直方向（例えば、上、下）、または、任意の組み合わせで移動し得る。図９の実施形態において、撮像装置１２０２は、視野１２１２が移動方向に沿って向けられているので、一次撮像装置として指定され、二次撮像装置１２０４、１２０６、１２０８の視野１２１４、１２１６、１２１８は、移動方向に沿って向けられていない。また、その後、移動方向が変化した場合、一次及び二次撮像装置の指定は変化してよく、新しい移動方向に沿って向けられた撮像装置が新しい一次撮像装置に指定される。
他の実施形態において、一次撮像装置の選択は、ＵＡＶの動作方向とは無関係に行われる。例えば、一次及び二次撮像装置は、他の基準（例えば、ユーザー嗜好、特徴点数、画質、消費電力等）に基づいて選択されてよい。従って、一次撮像装置は、ＵＡＶの移動方向にほぼ沿って向いていなくてよい。
一次撮像装置の画質が一定の基準を満たす場合、または、一定の閾値を超える場合、一次撮像装置によって撮影された画像列を処理して、ＵＡＶの状態情報を評価してよい。基準は、画像列全体が画質の最低閾値を満たしているか否か、画像列の各画像が画質の最低閾値を満たしているか否か、または、画像列の画像のサブセットが画質の最低閾値を満たしているか否かでよい。また、一次撮像装置によって撮影された画像をＵＡＶの状態情報の処理に用いるか否かの基準を決定する目的において、「特徴点の数」は、「画質」と置き換え可能である。例えば、画質の最低閾値は、約１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１５０、２００、５００以上の特徴点等の、特徴点数でよい。一次撮像装置の画質が一定の基準を満たさない、一定の閾値を超えない、のいずれか、または、両方の場合、二次撮像装置の画質を判定し得る。１つ以上の基準に基づいて状態情報を処理するために、二次撮像装置の少なくとも１つを選択してよい。
一次撮像装置が満足な品質の画像列を撮影しなかった場合、状態情報を処理するために、１つ以上の基準に基づいて撮像装置を選択してよい。基準は、画像列の全体、または、画像列の各画像が画質の最低閾値を満たしているか否かでよい。基準は、最も高い平均画質の画像列を有した撮像装置でよい。基準は、画像列内で最も高い最高画質を有する撮像装置でよい。基準は、画像列内で最も高い最低画質を有する撮像装置でよい。このように、基準は、選択する撮像装置の数に応じて変わり得ることが理解される。例えば、２つの撮像装置を選択する場合、基準は、画像列内で１番目及び２番目に高い最高画質を有する２つの撮像装置でよい。また、状態情報特定のために評価する画像列を有する撮像装置を選択する基準を決定する目的において、「特徴点の数」は、「画質」と置き換え可能である。また、状態情報の処理に使用された画像列を有する二次撮像装置を、新しい一次撮像装置として指定できる。そして、満足な画質を有していなかった以前の一次撮像装置を、二次撮像装置として指定してもよい。また、ＵＡＶの動作方向は、一次及び二次撮像装置に関連付けられなくてもよい。
図１０には、一次及び二次撮像装置に基づいた状態情報を評価する方法１３００のステップを示すフローチャートが、本発明の実施形態に従って示されている。図１０のステップ１３１０〜１３５０は、１つ以上のプロセッサによって実行されてよく、そのプロセッサの一部は、ＵＡＶによって運搬されてよい。ある実施形態において、方法１３００は、ＵＡＶのナビゲーションシステムによって行われる。さらに、ステップは、ユーザー入力を必要とせずに自動的に行われ得る。図１０のステップ１３１０〜１３５０は、所望の割合で繰り返されてよい。割合は、０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒以下毎に約１回であってよい。ある実施形態において、割合は、０．０２秒毎に約１回から０．１秒毎に約１回でよい。
ステップ１３１０において、複数の画像が、ある時間間隔にわたって、複数の撮像装置の各撮像装置によって撮影され得る。時間間隔は、約０．００５秒、０．０１秒、０．０２秒、０．０５秒、０．１秒、０．２秒、０．５秒、１秒、２秒、５秒、１０秒、２０秒、５０秒、１００秒、２００秒、５００秒、１０００秒、または、３６００秒以下でよい。ある実施形態において、時間間隔は、約０．０２秒〜約０．１秒の範囲内でよい。時間間隔中に撮影された画像列は、約１つの画像、２つの画像、５つの画像、１０の画像、２０の画像、５０の画像、１００の画像、２００の画像、５００の画像、または、１０００の画像から構成され得る。上述したように、撮像装置は、複数の画像のそれぞれを異なる視野から撮影するように、ＵＡＶに配置され得る。複数の撮像装置は、１つ以上の一次撮像装置（例えば、１つの一次撮像装置）と、１つ以上の二次撮像装置を含み得る。
ステップ１３２０において、上述のように、一次撮像装置からの複数の画像の画質を、（例えば、プロセッサを利用して）評価し、画質が所定の閾値を満たすか否かを判定できる。ある実施形態において、画質は、画像内の特徴点の総数に基づいて判定され得る。画像列の画質が所定の閾値を満たす場合、一次撮像装置によって撮影された画像を用いて、状態情報を評価または特定してよい。あるいは、他のタイプの基準を用いて、一次撮像装置からの画像の画質を評価できる。基準は、画像列の全体または画像列の各画像が画質の最低閾値を満たしているか否かでよい。ある実施形態においては、一次撮像装置によって撮影された画像がＵＡＶの状態情報の処理に用いられるか否かの基準を決定する目的において、「特徴点の数」は、「画質」と置き換え可能である。
ステップ１３２５において、画質がステップ１３２０で評価されて、所定の閾値を満たす（または、基準を満たす）場合、一次撮像装置によって撮影された複数の画像をプロセッサで処理し、ＵＡＶの状態情報を評価できる。
ステップ１３３０において、ステップ１３２０で画質が所定の閾値を満たさなかった（または、基準を満足しなかった）場合、１つ以上の二次撮像装置からの複数の画像の画質をプロセッサで処理し、ＵＡＶの状態情報を評価してよい。ある実施形態において、画質は、上述したように、画像内の特徴点の総数によって評価、判定されてよい。
ステップ１３４０において、ステップ１３３０の評価に基づいて、１つ以上の二次撮像装置のうちの少なくとも１つを選択できる。撮像装置の選択は、１つ以上の基準に基づいてよい。基準は、画像列の全体または画像列の各画像が画質の最低閾値を満たしているか否かでよい。基準は、最高の平均画質の画像列を有した撮像装置でよい。基準は、画像列内で最も高い最高画質を有する撮像装置でよい。基準は、画像列内で最も高い最低画質を有する撮像装置でよい。このように基準は、選択する撮像装置の数に応じて変わり得ることが理解される。例えば、２つの撮像装置を選択する場合、基準は、画像列内で１番目と２番目に高い最高画質を有する２つの撮像装置でよい。ある実施形態において、状態情報の特定のために評価する画像列を有する撮像装置を選択するための基準を決定する目的において、「特徴点の数」は、「画質」と置き換え可能である。
ある実施形態において、二次撮像装置（単数または複数）によって撮影された画像列が、一次撮像装置（単数または複数）より画質が低い場合（例えば、所定の閾値を超えた画像列を撮影した撮像装置がなかった場合）、一次撮像装置は、所定の基準または閾値を超えていない場合でも、ＵＡＶの状態情報の評価のために選択され得る。
ステップ１３５０において、ステップ１３４０で選択された二次撮像装置（単数または複数）からの複数の画像をプロセッサで処理して、ＵＡＶの状態情報を評価してよい。状態情報は、上述したように、例えば、選択した撮像装置によって撮影された画像列に基づいて特定してよい。ある実施形態において、二次撮像装置が一次撮像装置より低い画質の画像列を撮影した場合、一次撮像装置が撮影した複数の画像をプロセッサで処理して、ＵＡＶの状態情報を評価してよい。ある実施形態において、状態情報評価の結果は、使用された画像列の視野によって異なり得る。従って、（ナビゲーションに使用可能な）状態情報の評価は、選択した撮像装置（単数または複数）の視野のいかなる変化も考慮し得る。
ある実施形態において、ＵＡＶの状態情報の評価に用いられた画像列（単数または複数）を有する撮像装置（単数または複数）は、「一次撮像装置（単数または複数）」になってよく、あるいは「一次撮像装置（単数または複数）」のままでよい。一次撮像装置は、画質判定のために常にその画像列が使用される。そして、その画質が満足のいくものであると見なされた場合、その一次撮像装置による画像列がＵＡＶの状態情報として使用され得る。ＵＡＶの状態情報の評価に用いられなかった画像列（単数または複数）を有する撮像装置（単数または複数）は、「二次撮像装置（単数または複数）」になってよく、あるいは、「二次撮像装置（単数または複数）」のままでよい。二次撮像装置の画像列の画質は、一次撮像装置が撮影した画像列の画質が不十分であると見なされた場合のみ、評価される。
また、ステップ１３５０で評価された状態情報は、ある環境内でＵＡＶを操縦させる信号を出力する根拠として使用できる。信号は、ＵＡＶを移動させるＵＡＶの推進システム（例えば、回転翼）の制御信号を含み得る。信号は、リモート端末または他のユーザー装置に入力され、その後、ＵＡＶに送信されるユーザー命令に基づいて生成される。あるいは、信号は、ＵＡＶ（例えば、自動機上コントローラ）によって自律的に生成される。信号は、ユーザー入力の助けを得て半自律的に、及び、自動で生成される場合もある。
図１１には、３つの二次撮像装置によって取得された３つの画像列の特徴点数の例が、本発明の実施形態に従って示されている。画像列１４０５は、二次撮像装置♯１によって撮影された１０の画像フレームの特徴点数を示す。画像列１４１０は、二次撮像装置♯２によって取得された１０の画像フレームの特徴点数を示す。画像列１４１５は、二次撮像装置♯３によって撮影された１０の画像フレームの特徴点数を示す。撮像装置♯１、♯２、♯３は、上述したように、異なる視野、異なる光軸のいずれか、または両方を用いて画像を撮影できる。図１１の実施形態において、「一次撮像装置」によって取得された各画像フレームの特徴点の数は、時間間隔ｔ中、閾値Ｔ１未満である（図示せず）。閾値Ｔ１は、約１００の特徴点でよい。従って、必ずしも一次撮像装置によって撮影された画像を使用して、ＵＡＶの状態情報を評価しなくもよい。そして、一次撮像装置に対して、または互いに異なる視野を有する二次撮像装置によって撮影された画像を使用して、その画質を評価してもよい。
状態情報評価により適した画像列があるか否かを判定するために、時間ｔ（例えば、２秒）中に各二次撮像装置によって撮影された１０の画像フレームのそれぞれから抽出された特徴点の数を数えてよい。図１１において、二次撮像装置♯１によって撮影された１０のフレームのうちの特徴点の最小数は、（フレーム２に示された）５１で、二次撮像装置♯２によって撮影された１０のフレームのうちの特徴点の最小数は、（フレーム６に示された）６２で、二次撮像装置♯３によって撮影された１０のフレームの特徴点の最小数は（フレーム１によって示された）４９である。これらの最小数のうちで最大の値を有する画像フレームを撮影した二次撮像装置を選択してよい（例えば、二次撮像装置♯２）。選択した二次撮像装置は、一次撮像装置になる、状態情報特定に使用するために選択される、のいずれか、または、両方であってよい。ある実施形態において、選択した二次撮像装置によって撮影された１０のフレームの特徴点の最小数が、第２の閾値Ｔ２より大きい場合、選択された二次撮像装置は、一次撮像装置になる、状態情報特定に使用するために選択される、のいずれか、または両方であってよい。閾値Ｔ２は、約１２０の特徴点であり得る。また、ＵＡＶの状態情報は、新しい一次撮像装置によって撮影された画像列を用いて処理できる。
あるいは、二次撮像装置によって撮影された１０の画像フレームの特徴点の数のうちで最大値を比較して、撮像装置を選択できる。図１１において、これは、二次撮像装置♯１の（フレーム４に示される）７２、二次撮像装置♯２の（フレーム４に示される）８２、及び、二次撮像装置♯３の（フレーム１０に示される）７７である。これらの最大数のうちで最大値を有する画像フレームを撮影した二次撮像装置（例えば、二次撮像装置♯２）を選択してよい。選択された二次撮像装置は、一次撮像装置になる、状態情報評価に使用するために選択される、のいずれか、または両方であってよい。ある実施形態において、選択した二次撮像装置によって撮影された１０のフレームの特徴点の最大数が第２の閾値Ｔ２より大きい場合、選択された二次撮像装置は、一次撮像装置になる、状態情報特定に使用するために選択される、のいずれか、または両方であってよい。また、ＵＡＶの状態情報は、新しい一次撮像装置によって撮影された画像列を用いて処理できる。
あるいは、二次撮像装置によって撮影された１０の画像フレームの特徴点の平均値または合計値を比較して、撮像装置を選択できる。図１１において、これは、二次撮像装置♯１の６１．１（合計値６１１）、二次撮像装置♯２の７１．３（合計値７１３）、及び、二次撮像装置♯３の６４．１（合計値６４１）である。特徴点の最大の平均値または合計値を有する二次撮像装置（例えば、二次撮像装置♯２）を選択してよい。選択された二次撮像装置は、一次撮像装置になる、状態情報特定に使用するために選択される、のいずれか、または、両方であってよい。ある実施形態において、選択した二次撮像装置によって撮影された１０のフレームの特徴点の平均数または総数が第２の閾値Ｔ２より大きい場合、選択された二次撮像装置は、一次撮像装置になる、状態情報評価に使用するために選択される、のいずれか、または両方であってよい。また、ＵＡＶの状態情報は、新しい一次撮像装置によって撮影された画像列を用いて処理できる。
一次撮像装置が、状態情報の特定に使用するのに適した画像列を撮影しない時、高い画質の値を有する画像列を撮影した二次撮像装置を選んで、ＵＡＶの状態情報を評価してよい。ある実施形態において、上述した他の基準を、ＵＡＶの状態情報の評価に最も適した撮像装置を選択する基準として選択してよい。本明細書に記載し図１１に示した方法は、他の方法と組み合わせて使用する（例えば、方法１０００のステップ１０３０〜１０５０の一部として実行する）ことができる。例えば、状態情報は、航空機を移動させる航空機に搭載された１つ以上の推進ユニットに制御信号を出力する基準として評価、使用されてよい。
本発明に関わるシステム、装置、及び方法は、幅広い可動物体に適用できる。上述したように、航空機に関する説明を、いかなる可動物体に適用し、いかなる可動物体に使用すること可能である。本発明における可動物体は、空気中で（例えば、固定翼機、回転翼航空機、または固定翼も回転翼も有さない航空機）、水中で（例えば、船舶または潜水艦）、地上で（例えば、車、トラック、バス、バン、オートバイ、自転車等の自動車、ステッキ、釣竿等の可動構造またはフレーム、または列車）、地下で（例えば、地下鉄）、宇宙で（例えば、宇宙飛行機、衛星、または宇宙探査機）等の任意の適切な環境の中で、またはこれらの環境の任意の組合せの中で移動できる。可動物体は、本明細書の他の箇所に説明される輸送機等の輸送手段であり得る。また、可動物体は、人間もしくは動物等の生体を使用して運ぶことができ、生体から発進することもできる。その場合、適切な動物は、鳥類、イヌ科の動物、ネコ科の動物、ウマ科の動物、ウシ科の動物、羊、豚、イルカ、齧歯動物、または昆虫を含み得る。
可動物質は６自由度（例えば、並進で３自由度と回転で３自由度）に関する環境内で自由に移動可能であり得る。一方、可動物体の移動は、所定の経路、軌道、または位置等によって、１つ以上の自由度に関して制約されることがある。移動は、エンジンまたはモータ等の任意の適切な作動機構によって実現できる。可動物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはその任意の適切な組合せ等の任意の適切なエネルギー源によって電力を供給され得る。可動物体は、本明細書の他の箇所に説明されるように、推進システムを使用する自走式であり得る。また、推進システムは、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはその任意の適切な組合せで実行してよい。また、可動物体は生物によって運ばれ得る。
場合によっては、可動物体は輸送機であり得る。適切な輸送機は、水上輸送機、航空機、宇宙船、または、地上車を含み得る。例えば、航空機は固定翼機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、回転翼機）、固定翼と回転翼の両方を有する航空機、またはどちらも有さない航空機（例えば、小型飛行船、熱気球）であり得る。航空機は、空気を通した自走式等、自走式であり得る。自走式車両は、１つ以上のエンジン、モータ、車輪、車軸、磁石、回転翼、プロペラ、羽根、ノズル、またはその任意の適切な組合せを含んだ推進システム等の推進システムを利用できる。また、推進システムは、可動物体が表面から離陸する、表面に着陸する、その現在位置または向きの少なくとも一方を維持する（例えば、ホバーリングする）、向きまたは位置の少なくとも一方を変更可能に使用できる。
可動物体は、ユーザーによって遠隔で制御可能、あるいは可動物体中のまたは可動物体上の乗員によって局所的に制御可能である。ある実施形態において、可動物体はＵＡＶ等の無人可動物体である。ＵＡＶ等の無人可動物体には可動物体に搭乗する乗員がいないことがある。可動物体は、人間によってまたは自律制御システム（例えば、コンピュータ制御システム）、またはその任意の適切な組合せによって制御できる。可動物体は、人工知能で構成されたロボット等の自律ロボットまたは半自律ロボットであることがある。
可動物体は任意の適切なサイズまたは寸法の少なくとも一方を有し得る。ある実施形態において、可動物体は、可動物体内部にまたは可動物体上に人間の乗員を備えるためのサイズまたは寸法の少なくとも一方を有し得る。また、可動物体は、可動物体内部にまたは可動物体上に人間の乗員を備えることができるサイズまたは寸法の少なくとも一方より、小さいサイズまたは寸法の少なくとも一方であってよい。可動物体は、人間によって持ち上げられるまたは運ばれるのに適したサイズまたは寸法の少なくとも一方であり得る。また、可動物体は、人間によって持ち上げられるか運ばれるのに適したサイズまたは寸法の少なくとも一方よりも大きいことがある。ある実施例においては、可動物体は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ以下の最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。可動物体の最大寸法は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ以上であり得る。例えば、可動物体の対向する回転翼の軸間距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ以下であってよい。あるいは、対向する回転翼の軸間の距離は、約２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ以上であってよい。
ある実施形態において、可動物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、または、５ｃｍ×５ｃｍ×３ｃｍ未満の体積を有し得る。可動物体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、または、１０ｍ３以下であり得る。逆に、可動物体の全体積は、約１ｃｍ３、２ｃｍ３、５ｃｍ３、１０ｃｍ３、２０ｃｍ３、３０ｃｍ３、４０ｃｍ３、５０ｃｍ３、６０ｃｍ３、７０ｃｍ３、８０ｃｍ３、９０ｃｍ３、１００ｃｍ３、１５０ｃｍ３、２００ｃｍ３、３００ｃｍ３、５００ｃｍ３、７５０ｃｍ３、１０００ｃｍ３、５０００ｃｍ３、１０，０００ｃｍ３、１００，０００ｃｍ３、１ｍ３、または、１０ｍ３以上でもあり得る。
ある実施形態において、可動物体は、３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、または５ｃｍ２以下の専有面積（あるいは可動物体によって包囲される側面方向断面積）を有し得る。逆に、専有面積は約３２，０００ｃｍ２、２０，０００ｃｍ２、１０，０００ｃｍ２、１，０００ｃｍ２、５００ｃｍ２、１００ｃｍ２、５０ｃｍ２、１０ｃｍ２、または５ｃｍ２以上であり得る。
ある実施形態において、可動物体の重量は１０００ｋｇ程度であり得る。可動物体の重量は、約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇ以下であり得る。逆に、可動物体の重量は約１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇ以上であり得る。
ある実施形態において、可動物体は可動物体によって運ばれる積載物に比して小さいことがある。積載物は、以下にさらに詳細に説明するように、搭載物または支持機構の少なくとも一方を含んでよい。ある実施例においては、可動物体重量と積載物重量の割合は、約１:１を超えてよい、未満であってよい、または等しくてよい。また、他の実施例においては、可動物体重量と積載物重量の割合は約１:１を超えてよい、未満であってよい、または等しくてよい。また、支持機構重量と積載物重量の割合は、約１:１を超えてよい、未満であってよい、または等しくてよい。所望される場合には、可動物体重量と積載物重量の割合は、１：２、１：３、１：４、１：５、１：１０以下またはさらに小さいことがある。逆に、可動物体重量と積載物重量の割合は、２：１、３：１、４：１、５：１、１０：１以上またはさらに大きいことがある。
ある実施形態において、可動物体の消費エネルギーが低いことがある。例えば、可動物体は約５Ｗ／時、４Ｗ／時、３Ｗ／時、２Ｗ／時、１Ｗ／時未満、または以下のエネルギーを使用し得る。また、他の実施例では、可動物体の支持機構の消費エネルギーが低いことがある。例えば、支持機構は約５Ｗ／時、４Ｗ／時、３Ｗ／時、２Ｗ／時、１Ｗ／時未満、または以下のエネルギーを使用し得る。また、可動物体の搭載物の消費エネルギーは、約５Ｗ／時、４Ｗ／時、３Ｗ／時、２Ｗ／時、１Ｗ／時未満、または以下等の低いエネルギーであり得る。
図１２には、ＵＡＶ１５００が、本発明の実施形態に従って示されている。ＵＡＶは、本明細書に説明されるように、可動物体の例であり得る。ＵＡＶ１５００は４つの回転翼１５０２、１５０４、１５０６、及び１５０８を有する推進システムを含み得る。任意の数の回転翼が使用され得る（例えば、１つ、２つ、３つ、４つ、５つ、６つ以上）。無人機の回転翼、回転翼アッセンブリ、及び他の推進システムは、無人機がホバーリングするあるいは位置を維持する、向きを変更する、または場所を変更することの少なくとも一つのことができるようにし得る。対向する回転翼の軸間の距離は任意の適切な長さ１５１０であり得る。例えば、長さ１５１０は、２ｍ以下、または５ｍ以下であり得る。ある実施形態において、長さ１５１０は４０ｃｍから１ｍ、１０ｃｍから２ｍ、または５ｃｍから５ｍの範囲内にあり得る。本明細書におけるいかなるＵＡＶの説明も、異なるタイプの可動物体等の可動物体に適用してよく、逆の場合も同じである。ＵＡＶは、本明細書に説明される補助装置付き離陸システムまたは方法を使用してよい。
ある実施形態において、可動物体は積載物を運ぶように構成できる。積載物は、乗客、貨物、設備、計器等の内の１つ以上を含み得る。積載物は筐体内部に備え付けられることがある。筐体は可動物体の筐体とは別個であることもあれば、可動物体の筐体の一部分であることもある。逆に、積載物は筐体と共に備えつけられることがあり、その場合可動物体は筐体を有さない。また、積載物の一部分または積載物全体は筐体なしで提供できる。積載物は、可動物体に対してしっかりと固定できる。また、積載物は、可動物体に対して可動（例えば、可動物体に対して並進可能または回転可能）であり得る。
ある実施形態において、積載物は、搭載物を含む。搭載物は、いかなる操作も機能も行わないように構成できる。あるいは、搭載物は、機能的搭載物としても知られる操作または機能を行う搭載物であり得る。例えば、搭載物は、１つ以上の目標物体を調査するための１つ以上のセンサを含み得る。撮像装置（例えば、カメラ）、音声取得装置（例えば、パラボラマイク）、赤外線撮像装置、または、紫外線撮像装置等、任意の適切なセンサを搭載物に組み込んでよい。センサは、静的検出データ（例えば、写真）または動的検出データ（例えば、ビデオ）を出力できる。ある実施形態において、センサは、搭載物の目標物体に検出データを提供する。あるいは、搭載物は、１つ以上の目標物体に信号を提供する１つ以上のエミッタを含み得る。照明光源または音源等の任意の適切なエミッタを使用してよい。ある実施形態において、搭載物は、可動物体から離れたモジュールと通信する等のために、１つ以上の送受信機を含む。また、搭載物は、環境または目標物体と相互作用できる。例えば、搭載物は、ロボットアーム等、目標物体を操作可能なツール、機器、または、機構を含み得る。
また、積載物は、支持機構を含み得る。支持機構は、搭載物のために備えられ得る。搭載物は、支持機構を介して、直接的に（例えば、可動物体に直接的に接触して）または、間接的に（例えば、可動物体に接触せずに)可動物体に接続され得る。逆に、搭載物は、支持機構を使用せずに、可動物体に取り付けることも可能である。搭載物は、支持機構と一体的に形成できる。あるいは、搭載物は、支持機構から解放可能に接続できる。ある実施形態において、搭載物は、１つ以上の搭載物要素を含み得る。搭載物要素の少なくとも１つは、上述のように、可動物体と支持機構の少なくとも１つに対して可動であり得る。
支持機構は、可動物体と一体的に形成できる。あるいは、支持機構は、可動物体から解放可能に接続できる。支持機構は、可動物体に直接的にまたは間接的に接続し得る。支持機構は、搭載物を支持し得る（例えば、搭載物の重量の少なくとも一部を支える)。支持機構は、搭載物の移動の安定と方向付けのいずれか、または両方を行うことができる適切な取付け構造（例えば、ジンバルプラットフォーム）を含み得る。ある実施形態において、支持機構は、可動物体に対する搭載物の状態（例えば、位置と向きの少なくとも１つ）を制御できる。例えば、支持機構は、（例えば、１、２、または、３の並進度、及び、１、２、または、３の回転度のいずれかあるいは両方に関して)可動物体に対して移動できる。この場合、搭載物は、可動物体の移動に関わらず、適切な基準フレームに対して位置と向きの少なくとも１つを維持する。基準フレームは、固定基準フレーム（例えば、周囲環境）であり得る。あるいは、基準フレームは、移動基準フレーム（例えば、可動物体、搭載物の目標物体）であり得る。
ある実施形態において、支持機構と可動物体の少なくとも１つに対して搭載物を移動可能にできる。移動は、（例えば、１つ、２つ、または、３つの軸に沿った）３以下の自由度に関する並進、（例えば、１つ、２つ、または、３つの軸に沿った）３以下の自由度に関する回転、または、それらの任意の適切な組み合わせであり得る。
ある実施形態においては、支持機構は、支持機構フレームアッセンブリ及び支持機構作動アッセンブリを備え得る。支持機構フレームアッセンブリは、搭載物を構造的に支持できる。支持機構フレームアッセンブリは、個々の支持機構フレーム部品を備え得る。支持機構フレーム部品の幾つかは、互いに対して可動であり得る。支持機構作動アッセンブリは、個々の支持機構フレーム部品の移動を作動させる１つ以上のアクチュエータ（例えば、モータ）を備え得る。アクチュエータは、複数の支持機構フレーム部品を同時に移動させ得る、または、一度に１つの支持機構フレーム部品を移動させ得る。支持機構フレーム部品の移動によって、対応する搭載物を移動できる。例えば、支持機構作動アッセンブリは、１つ以上の回転軸（例えば、ロール軸、ピッチ軸、または、ヨー軸）を中心にした１つ以上の支持機構フレーム部品を回転させ得る。１つ以上の支持機構フレーム部品の回転によって、搭載物を可動物体に対して１つ以上の回転軸を中心に回転させ得る。あるいは、支持機構作動アッセンブリは、１つ以上の並進軸に沿って１つ以上の支持機構フレーム部品を並進させ得る。それによって、可動物体に対して１つ以上の対応する軸に沿って搭載物を並進させ得る。
ある実施形態において、端末は、可動物体、支持機構、及び、搭載物の固定基準フレーム（例えば、周囲環境）に対する移動と、互いに対する移動のいずれか、または両方を制御できる。端末は、可動物体、支持機構、搭載物の少なくとも１つから離れた場所にあるリモートコントロール装置であり得る。端末は、支持プラットフォームに置いてもよく、取り付けてもよい。あるいは、端末は、ハンドヘルドまたはウェアラブルな装置でよい。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロフォン、または、それらの適切な組み合わせであり得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、または、ディスプレイ等のユーザーインタフェースを備え得る。手動入力命令、音声制御、ジェスチャ制御、または、（例えば、端末の移動、場所、または、傾きを介した）位置制御等、任意の適切なユーザー入力を用いて、端末と相互作用できる。
端末を用いて、可動物体、支持機構、搭載物の１つ以上の任意の適切な状態を制御できる。例えば、端末を用いて、固定基準と互い、の少なくとも１つに対して、可動物体、支持機構、搭載物の１つ以上の、位置と向きのいずれかまたは両方を制御し得る。ある実施形態において、端末を用いて、支持機構の作動アッセンブリ、搭載物のセンサ、または、搭載物のエミッタ等、可動物体、支持機構、搭載物の１つ以上の個々の要素を制御できる。端末は、可動物体、支持機構、または、搭載物の少なくとも１つと通信できる無線通信装置を含み得る。
端末は、可動物体、支持機構、搭載物、の１つ以上の情報を表示するための適切な表示ユニットを備え得る。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、または、それらの任意の適切な組み合わせに関して、可動物体、支持機構、搭載物、の１つ以上の情報を表示できる。ある実施形態において、端末は、機能的な搭載物によって提供されるデータ等（例えば、カメラまたは他の撮像装置によって記録される画像）、搭載物によって提供される情報を表示できる。
また、同じ端末で、可動物体、支持機構、搭載物、の少なくとも１つ、または、可動物体、支持機構、搭載物、の１つ以上の状態の制御と、可動物体、支持機構、搭載物、の少なくとも１つからの情報の受信と表示の少なくとも１つと、の両方を行ってもよい。例えば、端末は、搭載物によって捕捉された画像データ、または、搭載物の位置に関する情報を表示しながら、環境に対する搭載物の位置決めを制御してよい。あるいは、異なる端末を異なる機能に対して用いてよい。例えば、第１の端末が、可動物体、支持機構、搭載物、の１つ以上の移動または状態を制御する。一方、第２の端末が、可動物体、支持機構、搭載物、の少なくとも１つ情報を受信、表示のいずれか、または両方を行う。例えば、第１の端末を用いて、環境に対する搭載物の位置決めを制御してよい。一方、第２の端末は、搭載物によって捕捉された画像データを表示する。可動物体と、可動物体の制御とデータの受信の両方を行う統合端末との間、または、可動物体と、可動物体の制御とデータの受信の両方を行う複数の端末との間で、様々な通信モードを利用し得る。例えば、少なくとも２つの異なる通信モードを、可動物体の制御と可動物体からのデータ受信の両方を行う端末と、可動物体との間に形成してよい。
図１３には、支持機構１６０２及び搭載物１６０４を備える可動物体１６００が、本発明の実施形態に従って示されている。可動物体１６００は、航空機として示されているが、この図は、制限を意図するものではなく、本明細書に記載した任意の適切なタイプの可動物体を用いてよい。航空機システムの文脈で本明細書に記載した実施形態はいずれも、任意の適切な可動物体（例えば、ＵＡＶ）に適用可能なことを当業者は理解されよう。また、支持機構１６０２を使用せず、可動物体１６００上に搭載物１６０４を設けてもよい。可動物体１６００は、推進機構１６０６、検出システム１６０８、及び、通信システム１６１０を備え得る。
推進機構１６０６は、上述したように、回転翼、プロペラ、羽根、エンジン、モータ、車輪、車軸、磁石、または、ノズルの少なくとも１つを備え得る。例えば、推進機構１６０６は、上述したように、回転翼アッセンブリまた他の回転推進ユニットでよい。可動物体は、少なくとも１つ、２つ以上、３つ以上、または、４つ以上の推進機構を有し得る。１つ以上の推進機構は、全て、同じタイプでもよいが、それぞれ異なるタイプの推進機構でもよい。推進機構１６０６は、上述したように、支持要素（例えば、駆動軸）等の任意の適切な手段を用いて可動物体１６００に取り付け可能である。推進機構１６０６は、可動物体１６００の、上部、底部、前部、後部、側部、または、それらの適切な組み合わせ等、任意の適切な部分に取り付け可能である。
ある実施形態において、推進機構１６０６は、可動物体１６００が、その水平方向に動作せずに（例えば、滑走路を進むことなく）、表面から垂直に離陸、または、表面に垂直に着陸することを可能にする。また、推進機構１６０６は、可動物体１６００が空中の特定の位置と向きの少なくとも１つでホバーリングし得る。推進機構１６００の少なくとも１つを、他の推進機構と独立して制御し得るが、それぞれ同時に制御することも可能である。例えば、可動物体１６００は、揚力と推力の少なくとも１つを可動物体に与える複数の水平方向に向いた回転翼を有し得る。複数の水平方向に向いた回転翼を作動させて、垂直方向の離着陸能力、及び、ホバーリング能力を可動物体１６００に与え得る。また、水平方向に向いた回転翼の少なくとも１つは、時計回りに、あるいは、反時計回りに回転し得る。例えば、時計回りの回転翼の数を、反時計回りの回転翼の数と等しくてよい。水平方向に向いた各回転翼の回転速度はそれぞれ独立して変更すると、各回転翼が提供する揚力と推力の少なくとも１つを制御できる。それによって、（例えば、３以下の並進度と３以下の回転度に関して）可動物体１６００の空間的配置、速度、加速度、の少なくとも１つを調整する。
検出システム１６０８は、（例えば、３以下の並進度と３以下の回転度に関して）可動物体１６００の空間的配置、速度、加速度の少なくとも１つを検出し得る１つ以上のセンサを備え得る。１つ以上のセンサは、全地球測位システム（ＧＰＳ）センサ、モーションセンサ、慣性センサ、近接センサ、または、画像センサを含み得る。検出システム１６０８が提供する検出データを用いて、（例えば、以下に記載のように、適切な処理ユニットと制御モジュールの少なくとも１つを用いて）可動物体１６００の空間的配置、速度、向き、の少なくとも１つを制御できる。あるいは、検出システム１６０８を用いて、天候条件、潜在的障害物への近接性、地理的特徴のある場所、人工的構造物の場所等、可動物体の周囲環境に関するデータを提供できる。
通信システム１６１０は、無線信号１６１６を介して通信システム１６１４を有する端末１６１２と通信を可能にする。通信システム１６１０、１６１４は、無線通信に適した任意の数の送信機、受信機、送受信機の少なくとも１つを備え得る。通信は、データを一方向にのみ送信可能な片方向通信でよい。例えば、片方向通信は、可動物体１６００がデータを端末１６１２に送信することのみを実行してよく、逆もまた同様である。また、通信システム１６１０の１つ以上の送信機から通信システム１６１２の１つ以上の受信機にデータを送信してよく、逆もまた同様である。あるいは、通信は、データが可動物体１６００と端末１６１２との間で両方向に送信できる双方向通信でもよい。双方向通信は、通信システム１６１０の１つ以上の送信機から通信システム１６１４の１つ以上の受信機にデータを送信してよく、逆もまた同様である。
ある実施形態において、端末１６１２は、可動物体１６００、支持機構１６０２、及び、搭載物１６０４の少なくとも１つに制御データを提供する。そして、端末１６１２は、可動物体１６００、支持機構１６０２、及び、搭載物１６０４の少なくとも１つから情報（例えば、可動物体、支持機構、または、搭載物の位置と動作の情報の少なくとも１つ、搭載物カメラによって撮影された画像データ等、搭載物によって検出されたデータ）を受信できる。また、端末からの制御データは、可動物体、支持機構、搭載物、の１つ以上の相対的な位置、移動、作動、または、制御に関する命令を含んでよい。例えば、制御データによって、（例えば、推進機構１６０６の制御を介して)可動物体の場所と向きの１つ以上の修正を行い得る。また、（例えば、支持機構１６０２の制御を介して)可動物体に対して搭載物を移動させてもよい。また、端末からの制御データによって、カメラまたは他の撮像装置の操作の制御等、搭載物を制御し得る（例えば、静止画または動画を撮る、ズームインまたはズームアウトする、電源のオンまたはオフ、画像モードを切り替える、画像の解像度を変更する、フォーカスを変更する、被写界深度を変更する、露光時間を変更する、視野角または視野を変更する）。また、可動物体、支持機構、搭載物、の少なくとも１つからの通信は、（例えば、検出システム１６０８または搭載物１６０４の）１つ以上のセンサからの情報を含んでよい。通信は、１つ以上の異なるタイプのセンサ（例えば、ＧＰＳセンサ、モーションセンサ、慣性センサ、近接センサ、または、画像センサ）からの検出した情報を含み得る。このような情報は、可動物体、支持機構、搭載物、の１つ以上の位置（例えば、場所または向き）、移動、または、加速度に関連し得る。搭載物からのこのような情報は、搭載物によって取得されたデータ、または搭載物の検出された状態を含み得る。端末１６１２から送信された制御データによって、可動物体１６００、支持機構１６０２、または、搭載物１６０４の１つ以上の状態を制御できる。また、支持機構１６０２及び搭載物１６０４は、それぞれ、端末１６１２と通信する通信モジュールも備え得る。端末は、可動物体１６００、支持機構１６０２、及び、搭載物１６０４のそれぞれと独立して通信し、それらを制御できる。
また、可動物体１６００は、端末１６１２に加えて、または、端末１６１２の代わりに、別のリモート装置と通信することもできる。端末１６１２も、また、別のリモート装置、及び、可動物体１６００と通信できる。例えば、可動物体１６００と端末１６１２にいずれか、または両方は、別の可動物体、別の可動物体の支持機構または搭載物と通信可能である。必要に応じて、リモート装置は、第２の端末または他のコンピュータ装置（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または、他のモバイル装置）であり得る。リモート装置は、可動物体１６００にデータを送信、可動物体１６００からデータを受信、端末１６１２にデータを送信、及び、端末１６１２からデータを受信、の少なくとも１つを行い得る。また、リモート装置は、インターネットまたは他の電気通信ネットワークに接続できる。よって、可動物体１６００と端末１６１２の少なくとも１つから受信したデータをウェブサイトまたはサーバにアップロードできる。
図１４には、本発明を適用した、可動物体を制御するシステム１７００の概略ブロック図が示されている。システム１７００は、本明細書に開示のシステム、装置、及び、方法の任意の適切な実施形態と組み合わせて用い得る。システム１７００は、検出モジュール１７０２、処理ユニット１７０４、非一時的コンピュータ可読媒体１７０６、制御モジュール１７０８、及び、通信モジュール１７１０を備え得る。
検出モジュール１７０２は、異なる方法で可動物体に関する情報を収集する異なるタイプのセンサを利用できる。異なるタイプのセンサは、異なるタイプの信号、または、異なるソースからの信号を検出し得る。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接センサ（例えば、ライダー）、または、視覚及び画像センサ（例えば、カメラ）を含み得る。検出モジュール１７０２は、複数のプロセッサを有する処理ユニット１７０４に動作可能に接続できる。ある実施形態において、検出モジュールは、適切な外部装置またはシステムに検出データを直接送信する送信モジュール１７１２（例えば、Ｗｉ―Ｆｉ画像送信モジュール）に動作可能に接続できる。例えば、送信モジュール１７１２を用いて、検出モジュール１７０２のカメラによって撮影された画像をリモート端末に送信できる。
処理ユニット１７０４は、プログラム可能プロセッサ（例えば、中央処理ユニット（ＣＰＵ））等、１つ以上のプロセッサを有し得る。処理ユニット１７０４は、非一時的コンピュータ可読媒体１７０６に動作可能に接続できる。非一時的コンピュータ可読媒体１７０６は、１つ以上のステップを行うために処理ユニット１７０４によって実行可能なロジック、コード、プログラム命令、の少なくとも１つを記憶できる。非一時的コンピュータ可読媒体は、１つ以上のメモリユニット（例えば、ＳＤカードもしくはランダムアクセスメモリ（ＲＡＭ）等の取り外し可能媒体または外部記憶装置）を含み得る。また、検出モジュール１７０２からのデータは、非一時的コンピュータ可読媒体１７０６のメモリユニットに、直接、伝達し記憶できる。非一時的コンピュータ可読媒体１７０６のメモリユニットは、処理ユニット１７０４によって実行可能なロジック、コード、プログラム命令、の少なくとも１つを記憶でき、本明細書に記載の方法の任意の適切な実施形態を実行できる。例えば、処理ユニット１７０４は、検出モジュールが生成した検出データを、処理ユニット１７０４の１つ以上のプロセッサが分析するように命令できる。メモリユニットは、処理ユニット１７０４が処理すべき検出モジュールからの検出データを記憶できる。また、非一時的コンピュータ可読媒体１７０６のメモリユニットを用いて、処理ユニット１７０４が生成する処理結果を記憶することもできる。
ある実施形態において、処理ユニット１７０４は、可動物体の状態を制御する制御モジュール１７０８に動作可能に接続できる。例えば、制御モジュール１７０８は、６自由度に関して、可動物体の空間的配置、速度、加速度、の少なくとも１つを調整するように可動物体の推進機構を制御し得る。また、制御モジュール１７０８は、支持機構、搭載物、または、検出モジュールの状態の少なくとも１つを制御することも可能である。
処理ユニット１７０４は、通信モジュール１７１０に動作可能に接続できる。通信モジュール１７１０は、１つ以上の外部装置（例えば、端末、ディスプレイ装置、または、他のリモートコントローラ）にデータを送信、その外部装置からデータを受信、のいずれか、または両方を行う。有線通信または無線通信等、任意の適切な通信手段を用い得る。例えば、通信モジュール１７１０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイント・ツー・ポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等の少なくとも１つを利用できる。また、タワー、衛星、または、移動局等の中継局を用い得る。無線通信は、近接性に依存することも、無関係であることもあり得る。また、通信のために見通し線が必要な場合も、必要でない場合もある。通信モジュール１７１０は、検出モジュール１７０２からの検出データ、処理ユニット１７０４が生成した処理結果、所定の制御データ、端末もしくはリモートコントローラからのユーザー命令等の少なくとも１つを送信、受信、のいずれかあるいは両方を行い得る。
システム１７００の部品は、任意の適切な構成で配置できる。例えば、システム１７００の部品の少なくとも１つは、可動物体、支持機構、搭載物、端末、検出システム、または、上述した少なくとも１つと通信する追加の外部装置に置いてよい。また、図１４には、１つの処理ユニット１７０４と１つの非一時的コンピュータ可読媒体１７０６が示されているが、これは本発明の実施形態の制限を意図していない。当業者は、システム１７００が、複数の処理ユニットと非一時的コンピュータ可読媒体の少なくとも１つを備えてよいことを理解するであろう。ある実施形態において、複数の処理ユニットと非一時的コンピュータ可読媒体の少なくとも１つは、可動物体、支持機構、搭載物、端末、検出モジュール、上記した少なくとも１つと通信する追加の外部装置、または、それらの適切な組み合わせ等、異なる場所に配置できる。よって、システム１７００によって行われる処理とメモリ機能のいずれか、または両方の任意の適切な態様は、上記した場所の少なくとも１つで実行され得る。
本明細書における記載、「ＡとＢのいずれか、または、その両方」または「ＡまたはＢの少なくも一方」は、一つ以上のＡまたは一つ以上のＢ、Ａ及びＢ等のそれらの組み合わせを含む。
本発明の好ましい実施形態を、本明細書に図示し説明したが、このような実施形態は、例示のみを目的としていることは当業者には明らかであろう。本発明を逸脱することなく、多くの変形形態、変更、代替形態を当業者は着想するであろう。本発明を実施するにあたり、本明細書に記載した発明の実施形態の様々な代替形態を採用し得ることを理解されたい。以下の特許請求の範囲は本発明の範囲を定め、それにより特許請求の範囲の方法及び構造、並びにそれらの均等物を網羅することを目的とする。
［項目１］
複数の画像を撮影する複数の撮像装置を備える輸送機と、
上記複数の撮像装置に動作可能に接続され、個々にまたは集合的にステップ（ａ）〜（ｃ）を実行する１つ以上のプロセッサと、を備え、
ステップ（ａ）〜（ｃ）は、
（ａ）各撮像装置からの上記複数の画像の各画像の特徴点数を計算すること、
（ｂ）上記特徴点数に基づいて、上記複数の撮像装置の少なくとも１つを選択すること、
（ｃ）上記選択した撮像装置からの上記複数の画像を用いて上記輸送機の状態情報を評価すること、である、
ナビゲーションシステム。
［項目２］
上記輸送機は、無人航空機である、
項目１に記載のナビゲーションシステム。
［項目３］
上記輸送機は、上記輸送機を移動させる１つ以上の推進ユニットを備える、
項目１に記載のナビゲーションシステム。
［項目４］
上記１つ以上の推進ユニットは、上記輸送機に揚力を与える１つ以上の回転翼を備える、
項目３に記載のナビゲーションシステム。
［項目５］
上記複数の撮像装置は、上記輸送機に配置され、
上記複数の撮像装置の各撮像装置は、異なる視野から上記複数の画像を撮影する、
項目１に記載のナビゲーションシステム。
［項目６］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目１に記載のナビゲーションシステム。
［項目７］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目１に記載のナビゲーションシステム。
［項目８］
上記異なる方向は、直交する方向である、
項目７に記載のナビゲーションシステム。
［項目９］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目７に記載のナビゲーションシステム。
［項目１０］
上記異なる方向の少なくとも１つは、上記輸送機の動作方向にほぼ沿っている、
項目７に記載のナビゲーションシステム。
［項目１１］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側、または、下側の場所のうちの３つ以上に配置される、
項目１に記載のナビゲーションシステム。
［項目１２］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目１に記載のナビゲーションシステム。
［項目１３］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目１２に記載のナビゲーションシステム。
［項目１４］
各画像の上記特徴点数は、上記画像の顕著性を示す、
項目１に記載のナビゲーションシステム。
［項目１５］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目１に記載のナビゲーションシステム。
［項目１６］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目１５に記載のナビゲーションシステム。
［項目１７］
ステップ（ｂ）は、上記特徴点数が所定の閾値を超えるか否かを評価することを含む、項目１に記載のナビゲーションシステム。
［項目１８］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目１に記載のナビゲーションシステム。
［項目１９］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含む、
項目１８に記載のナビゲーションシステム。
［項目２０］
上記１つ以上のプロセッサは、ステップ（ｄ）をさらに実行し、
ステップ（ｄ）は、
（ｄ）上記状態情報に基づいて、上記航空機を移動させる制御信号を出力すること、である、
項目１に記載のナビゲーションシステム。
［項目２１］
ステップ（ａ）〜（ｃ）は、上記輸送機の運転中、繰り返される、
項目１に記載のナビゲーションシステム。
［項目２２］
ステップ（ａ）〜（ｃ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目２１に記載のナビゲーションシステム。
［項目２３］
複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する方法において、
ステップ（ａ）〜（ｄ）を含み、
ステップ（ａ）〜（ｄ）は、
（ａ）上記複数の撮像装置の各撮像装置を用いて複数の画像を撮影するステップ、
（ｂ）プロセッサを利用して、各撮像装置からの上記複数の画像の各画像の特徴点数を計算するステップ、
（ｃ）上記プロセッサを利用して、上記特徴点数に基づいて、上記複数の撮像装置の少なくとも１つを選択するステップ、
（ｄ）上記プロセッサを利用して、上記選択した撮像装置（単数または複数）からの上記複数の画像を用いて、上記輸送機の状態情報を評価するステップ、である、
方法。
［項目２４］
上記輸送機は、無人航空機である、
項目２３に記載の方法。
［項目２５］
上記輸送機は、上記輸送機を移動させる１つ以上の推進ユニットを備える、
項目２３に記載の方法。
［項目２６］
上記１つ以上の推進ユニットは、上記航空機に揚力を与える１つ以上の回転翼を備える、
項目２５に記載の方法。
［項目２７］
上記複数の撮像装置は、上記航空機に配置され、
上記複数の画像のそれぞれは、異なる視野から撮影される、
項目２３に記載の方法。
［項目２８］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目２３に記載の方法。
［項目２９］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目２３に記載の方法。
［項目３０］
上記異なる方向は、直交する方向である、
項目２９に記載の方法。
［項目３１］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目２９に記載の方法。
［項目３２］
上記異なる方向の少なくとも１つは、上記輸送機の動作方向にほぼ沿っている、
項目２９に記載の方法。
［項目３３］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される、
項目２３に記載の方法。
［項目３４］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目２３に記載の方法。
［項目３５］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目３４に記載の方法。
［項目３６］
各画像の上記特徴点数は、上記画像の顕著性を示す、
項目２３に記載の方法。
［項目３７］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目２３に記載の方法。
［項目３８］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目３７に記載の方法。
［項目３９］
ステップ（ｃ）は、上記特徴点数が所定の閾値を超えるか否かを評価するステップ
を含む、
項目２３に記載の方法。
［項目４０］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目２３に記載の方法。
［項目４１］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含む、
項目４０に記載の方法。
［項目４２］
ステップ（ｅ）をさらに含み、
ステップ（ｅ）は、
（ｅ）上記状態情報に基づいて、上記輸送機を移動させる制御信号を出力するステップ、である、
項目２３に記載の方法。
［項目４３］
ステップ（ａ）〜（ｄ）は、上記輸送機の運転中、繰り返される、
項目２３に記載の方法。
［項目４４］
ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目４３に記載の方法。
［項目４５］
輸送機であって、上記輸送機を移動させる１つ以上の推進ユニットと、複数の画像を撮影する複数の撮像装置と、を備える輸送機と、
上記複数の撮像装置に動作可能に接続され、個々にまたは集合的にステップ（ａ）〜（ｃ）を実行する１つ以上のプロセッサと、を備え、
ステップ（ａ）〜（ｃ）は、
（ａ）各撮像装置からの上記複数の画像の画質を評価すること、
（ｂ）ステップ（ａ）の上記評価に基づいて上記複数の撮像装置の少なくとも１つを選択すること、
（ｃ）上記選択した撮像装置からの上記複数の画像を用いて上記輸送機の状態情報を評価すること、である、
ナビゲーションシステム。
［項目４６］
上記１つ以上のプロセッサは、ステップ（ｄ）をさらに実行し、
ステップ（ｄ）は、
（ｄ）上記状態情報に基づいて、上記輸送機を移動させる上記１つ以上の推進ユニットに制御信号を出力すること、である、
項目４５に記載のナビゲーションシステム。
［項目４７］
上記輸送機は、無人航空機である、
項目４５に記載のナビゲーションシステム。
［項目４８］
上記１つ以上の推進ユニットは、上記輸送機に揚力を与える１つ以上の回転翼を備える、
項目４５に記載のナビゲーションシステム。
［項目４９］
上記複数の撮像装置は、上記輸送機に配置され、
上記複数の撮像装置の各撮像装置は、異なる視野から上記複数の画像を撮影する、
項目４５に記載のナビゲーションシステム。
［項目５０］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目４５に記載のナビゲーションシステム。
［項目５１］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目４５に記載のナビゲーションシステム。
［項目５２］
上記異なる方向は、直交する方向である、
項目５１に記載のナビゲーションシステム。
［項目５３］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目５１に記載のナビゲーションシステム。
［項目５４］
上記異なる方向の少なくとも１つは、上記輸送機の動作方向にほぼ沿った、
項目５１に記載のナビゲーションシステム。
［項目５５］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される、
項目４５に記載のナビゲーションシステム。
［項目５６］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目４５に記載のナビゲーションシステム。
［項目５７］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目５６に記載のナビゲーションシステム。
［項目５８］
上記画質は、上記複数の画像の各画像の特徴点数に基づいている、
項目４５に記載のナビゲーションシステム。
［項目５９］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目５８に記載のナビゲーションシステム。
［項目６０］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目５９に記載のナビゲーションシステム。
［項目６１］
上記画質は、上記複数の画像の各画像の顕著性に基づいている、
項目４５に記載のナビゲーションシステム。
［項目６２］
上記画質は、上記複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づいている、
項目４５に記載のナビゲーションシステム。
［項目６３］
上記画質は、上記輸送機の上記状態情報の評価に使用するための上記複数の画像の適切性に基づいている、
項目４５に記載のナビゲーションシステム。
［項目６４］
ステップ（ａ）は、上記複数の画像の上記画質が所定の閾値を超えるか否かを評価することを含む、
項目４５に記載のナビゲーションシステム。
［項目６５］
ステップ（ａ）は、上記複数の画像の中のどの画像が最も高画質であるかを識別することを含む、
項目４５に記載のナビゲーションシステム。
［項目６６］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目４５に記載のナビゲーションシステム。
［項目６７］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含む、
項目６６に記載のナビゲーションシステム。
［項目６８］
ステップ（ａ）〜（ｃ）は、上記輸送機の運転中に繰り返される、
項目４５に記載のナビゲーションシステム。
［項目６９］
ステップ（ａ）〜（ｃ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目６８に記載のナビゲーションシステム。
［項目７０］
複数の撮像装置が取り付けられた輸送機を制御する方法において、
ステップ（ａ）〜（ｄ）を含み、
ステップ（ａ）〜（ｄ）は、
（ａ）上記複数の撮像装置の各撮像装置を用いて、複数の画像を撮影するステップ、
（ｂ）プロセッサを利用して、各撮像装置からの上記複数の画像の画質を評価するステップ、
（ｃ）上記プロセッサを利用して、ステップ（ｂ）の上記評価に基づいて、上記複数の撮像装置の少なくとも１つを選択するステップ、
（ｄ）上記プロセッサを利用して、上記選択した撮像装置（単数または複数）からの上記複数の画像を用いて上記輸送機の状態情報を評価するステップ、である、
方法。
［項目７１］
ステップ（ｅ）をさらに含み、
ステップ（ｅ）は、
（ｅ）上記プロセッサを利用して、上記状態情報に基づいて、上記輸送機に搭載された上記輸送機を移動させる１つ以上の推進ユニットに制御信号を出力するステップ、である、
項目７０に記載の方法。
［項目７２］
上記輸送機は、無人航空機である、
項目７０に記載の方法。
［項目７３］
上記１つ以上の推進ユニットは、上記輸送機に揚力を与える１つ以上の回転翼を備える、
項目７０に記載の方法。
［項目７４］
上記複数の撮像装置は、上記輸送機に配置され、
上記複数の画像は、異なる視野から撮影される、
項目７０に記載の方法。
［項目７５］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目７０に記載の方法。
［項目７６］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目７０に記載の方法。
［項目７７］
上記異なる方向は、直交する方向である、
項目７６に記載の方法。
［項目７８］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目７６に記載の方法。
［項目７９］
上記異なる方向の少なくとも１つは、上記輸送機の動作方向にほぼ沿った、
項目７６に記載の方法。
［項目８０］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側または下側のうち３つ以上の場所に置かれる、
項目７０に記載の方法。
［項目８１］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目７０に記載の方法。
［項目８２］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目８１に記載の方法。
［項目８３］
上記画質は、上記複数の画像の各画像の特徴点数に基づいている、
項目７０に記載の方法。
［項目８４］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目８３に記載の方法。
［項目８５］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目８４に記載の方法。
［項目８６］
上記画質は、上記複数の画像の各画像の顕著性に基づいている、
項目７０に記載の方法。
［項目８７］
上記画質は、上記複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づいている、
項目７０に記載の方法。
［項目８８］
上記画質は、上記輸送機の上記状態情報の評価に使用する上記複数の画像の適切性に基づいている、
項目７０に記載の方法。
［項目８９］
ステップ（ｂ）は、上記複数の画像の上記画質が所定の閾値を超えるか否かを評価するステップを含む、
項目７０に記載の方法。
［項目９０］
ステップ（ｂ）は、上記複数の画像の中のどの画像が最も高画質であるかを識別するステップを含む、
項目７０に記載の方法。
［項目９１］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目７０に記載の方法。
［項目９２］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、ヨーの向きの少なくとも１つを含む、
項目９１に記載の方法。
［項目９３］
ステップ（ａ）〜（ｄ）は、上記輸送機の運転中に繰り返される、
項目７０に記載の方法。
［項目９４］
ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目９３に記載の方法。
［項目９５］
複数の画像を撮影する複数の撮像装置を備える輸送機と、
１つ以上のプロセッサと、を備え、
上記複数の撮像装置は、一次撮像装置と、１つ以上の二次撮像装置を備え、
上記１つ以上のプロセッサは、上記複数の撮像装置に動作可能に接続され、個々にまたは集合的にステップ（ａ）〜（ｄ）を実行し、
ステップ（ａ）〜（ｄ）は、
（ａ）上記一次撮像装置からの上記複数の画像の画質を評価して、画質が所定の閾値を満たすか否かを決定すること、
（ｂ）ステップ（ａ）の上記画質が上記所定の閾値を満たさない場合、上記１つ以上の二次撮像装置からの上記複数の画像の画質を評価すること、
（ｃ）ステップ（ｂ）の上記評価に基づいて、上記１つ以上の二次撮像装置の少なくとも１つを選択すること、
（ｄ）上記選択した二次撮像装置（単数または複数）からの上記複数の画像を用いて、上記輸送機の状態情報を評価すること、である、
ナビゲーションシステム。
［項目９６］
上記輸送機は、無人航空機である、
項目９５に記載のナビゲーションシステム。
［項目９７］
上記１つ以上の推進ユニットは、上記輸送機に揚力を与える１つ以上の回転翼を備える、
項目９５に記載のナビゲーションシステム。
［項目９８］
上記複数の撮像装置は、上記航空機に配置され、
上記複数の撮像装置の各撮像装置は、異なる視野から上記複数の画像を撮影する、
項目９５に記載のナビゲーションシステム。
［項目９９］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目９５に記載のナビゲーションシステム。
［項目１００］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目９５に記載のナビゲーションシステム。
［項目１０１］
上記異なる方向は、直交する方向である、
項目１００に記載のナビゲーションシステム。
［項目１０２］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目１００に記載のナビゲーションシステム。
［項目１０３］
上記一次撮像装置は、上記輸送機の動作方向にほぼ沿って向けられる、
項目１００に記載のナビゲーションシステム。
［項目１０４］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される、
項目９５に記載のナビゲーションシステム。
［項目１０５］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目９５に記載のナビゲーションシステム。
［項目１０６］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目１０５に記載のナビゲーションシステム。
［項目１０７］
ステップ（ａ）及び（ｂ）の上記画質は、それぞれ、上記複数の画像の各画像の特徴点数に基づいている、
項目９５に記載のナビゲーションシステム。
［項目１０８］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目１０７に記載のナビゲーションシステム。
［項目１０９］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目１０８に記載のナビゲーションシステム。
［項目１１０］
ステップ（ａ）及び（ｂ）の上記画質は、それぞれ、上記複数の画像の各画像の顕著性に基づいている、
項目９５に記載のナビゲーションシステム。
［項目１１１］
ステップ（ａ）及び（ｂ）の上記画質は、それぞれ、上記複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づいている、
項目９５に記載のナビゲーションシステム。
［項目１１２］
ステップ（ａ）及び（ｂ）の上記画質は、それぞれ、上記輸送機の上記状態情報の評価に使用する上記複数の画像の適切性に基づいている、
項目９５に記載のナビゲーションシステム。
［項目１１３］
ステップ（ｂ）は、上記複数の画像の上記画質が第２の所定の閾値を超えるか否かを評価することを含む、
項目９５に記載のナビゲーションシステム。
［項目１１４］
ステップ（ｂ）は、上記複数の画像の中のどの画像が最も高画質であるかを識別することを含む、
項目９５に記載のナビゲーションシステム。
［項目１１５］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目９５に記載のナビゲーションシステム。
［項目１１６］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、ヨーの向きの少なくとも１つを含む、
項目１１５に記載のナビゲーションシステム。
［項目１１７］
ステップ（ａ）〜（ｄ）は、上記輸送機の運転中に繰り返される、
項目９５に記載のナビゲーションシステム。
［項目１１８］
ステップ（ａ）〜（ｄ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目１１７に記載のナビゲーションシステム。
［項目１１９］
複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する方法において、
ステップ（ａ）〜（ｅ）を含み、
ステップ（ａ）〜（ｅ）は、
（ａ）複数の撮像装置であって、一次撮像装置と、１つ以上の二次撮像装置とを備える複数の撮像装置の各撮像装置を用いて、複数の画像を撮影するステップ、
（ｂ）プロセッサを利用して、上記一次撮像装置からの上記複数の画像の画質を評価して、画質が所定の閾値を満たすか否かを判定するステップ、
（ｃ）ステップ（ｂ）の上記画質が上記所定の閾値を満たさない場合、上記プロセッサを利用して、１つ以上の二次撮像装置からの上記複数の画像の画質を評価するステップ、
（ｄ）上記プロセッサを利用して、ステップ（ｃ）の上記評価に基づいて、上記１つ以上の二次撮像装置の少なくとも１つを選択するステップ、
（ｅ）上記プロセッサを利用して、上記選択した二次撮像装置（単数または複数）からの上記複数の画像を用いて上記輸送機の状態情報を評価するステップ、である、
方法。
［項目１２０］
上記輸送機は、無人航空機である、
項目１１９に記載の方法。
［項目１２１］
上記１つ以上の推進ユニットは、上記航空機に揚力を与える１つ以上の回転翼を備える、
項目１１９に記載の方法。
［項目１２２］
上記複数の撮像装置は、上記輸送機に配置され、
上記複数の画像は、異なる視野から撮影される、
項目１１９に記載の方法。
［項目１２３］
上記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
項目１１９に記載の方法。
［項目１２４］
上記複数の撮像装置は、それぞれ、上記輸送機に対して異なる方向に向けられる、
項目１１９に記載の方法。
［項目１２５］
上記異なる方向は、直交する方向である、
項目１２４に記載の方法。
［項目１２６］
上記異なる方向は、少なくとも４つの異なる方向を含む、
項目１２４に記載の方法。
［項目１２７］
上記一次撮像装置は、上記輸送機の動作方向にほぼ沿って向けられる、
項目１２４に記載の方法。
［項目１２８］
上記複数の撮像装置は、上記輸送機の前側、後ろ側、左側、右側、上側、または、下側のうち３つ以上の場所に置かれる、
項目１１９に記載の方法。
［項目１２９］
上記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
項目１１９に記載の方法。
［項目１３０］
上記所定の時間間隔は、約０．０２秒から約０．１秒の範囲内である、
項目１２９に記載の方法。
［項目１３１］
ステップ（ｂ）及び（ｃ）の上記画質は、それぞれ、上記複数の画像の各画像の特徴点数に基づいている、
項目１１９に記載の方法。
［項目１３２］
各画像の上記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
項目１３１に記載の方法。
［項目１３３］
上記コーナー検出アルゴリズムは、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔｅｄ Ｔｅｓｔ）アルゴリズムである、
項目１３２に記載の方法。
［項目１３４］
ステップ（ｂ）及び（ｃ）の上記画質は、それぞれ、上記複数の画像の各画像の顕著性に基づいている、
項目１１９に記載の方法。
［項目１３５］
ステップ（ｂ）及び（ｃ）の上記画質は、それぞれ、上記複数の画像の各画像の露光レベルまたはコントラストレベルの少なくとも１つに基づいている、
項目１１９に記載の方法。
［項目１３６］
ステップ（ｂ）及び（ｃ）の上記画質は、それぞれ、上記輸送機の上記状態情報の評価に使用する上記複数の画像の適切性に基づいている、
項目１１９に記載の方法。
［項目１３７］
ステップ（ｃ）は、上記複数の画像の上記画質が第２の所定の閾値を超えるか否かを評価するステップを含む、
項目１１９に記載の方法。
［項目１３８］
ステップ（ｃ）は、上記複数の画像の中のどの画像が最も高画質であるかを識別するステップを含む、
項目１１９に記載の方法。
［項目１３９］
上記状態情報は、上記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
項目１１９に記載の方法。
［項目１４０］
上記姿勢は、上記輸送機のロールの向き、ピッチの向き、ヨーの向きの少なくとも１つを含む、
項目１３９に記載の方法。
［項目１４１］
ステップ（ａ）〜（ｅ）は、上記輸送機の運転中に繰り返される、
項目１１９に記載の方法。
［項目１４２］
ステップ（ａ）〜（ｅ）は、０．０２秒毎に約１回から０．１秒毎に約１回、繰り返される、
項目１４０に記載の方法。
［項目１４３］
環境内で輸送機を操縦するシステムにおいて、
複数のセンサを備える輸送機と、
上記複数のセンサに動作可能に接続され、個々にまたは集合的にステップ（ａ）〜（ｃ）を実行する１つ以上のプロセッサと、を備え、
ステップ（ａ）〜（ｃ）は、
（ａ）上記環境内で上記輸送機を操縦するのに使用する上記複数のセンサのサブセットを、１つ以上の所定の基準に基づいて選択すること、
（ｂ）上記選択したセンサからのセンサデータを処理して上記環境内で上記輸送機を操縦するナビゲーション情報を生成すること、
（ｃ）上記ナビゲーション情報に基づいて、上記輸送機を制御する信号を出力すること、である、
システム。
［項目１４４］
上記複数のセンサの上記サブセットを選択することは、
各センサを評価して、そのセンサが上記１つ以上の所定の基準を満たすか否かを決定すること、
上記センサが上記１つ以上の所定の基準を満たす場合、そのセンサを選択すること、を含む、
項目１４３に記載のシステム。
［項目１４５］
上記１つ以上の所定の基準は、上記センサが上記輸送機の動作方向にほぼ沿って向けられているか否かを含む、
項目１４４に記載のシステム。
［項目１４６］
上記１つ以上の所定の基準は、上記センサによって取得された上記センサデータの品質が所定の閾値を超えるか否かを含む、
項目１４４に記載のシステム。
［項目１４７］
上記１つ以上の所定の基準は、上記センサが上記複数のセンサのうちの最も高いセンサデータ品質を有するか否かを含む、
項目１４４に記載のシステム。
［項目１４８］
上記１つ以上の所定の基準は、上記センサの消費電力が所定の閾値未満であるか否かを含む、
項目１４４に記載のシステム。
［項目１４９］
上記１つ以上の所定の基準は、上記センサが上記複数のセンサのうちで最も消費電力が少ないか否かを含む、
項目１４４に記載のシステム。
［項目１５０］
上記サブセットのセンサの数は、上記輸送機の動作方向によって異なる、
項目１４３に記載のシステム。
［項目１５１］
上記サブセットのセンサの数は、上記環境の環境複雑性によって異なる、
項目１４３に記載のシステム。
［項目１５２］
複数のセンサを有する輸送機を環境内で操縦する方法において、
ステップ（ａ）〜（ｃ）を含み、
ステップ（ａ）〜（ｃ）は、
（ａ）上記輸送機に配置されて異なる視野からのセンサデータを取得する上記複数のセンサのサブセットを、プロセッサを利用して１つ以上の所定の基準に基づいて選択するステップ、
（ｂ）上記選択したセンサからの上記センサデータを、上記プロセッサを利用して処理し、上記環境内で上記輸送機を操縦するナビゲーション情報を生成するステップ、
（ｃ）上記ナビゲーション情報に基づいて、上記プロセッサを利用して上記輸送機を制御する信号を出力するステップ、である、
方法。
［項目１５３］
上記複数のセンサの上記サブセットを選択するステップは、
上記センサを評価して、上記センサが上記１つ以上の所定の基準を満たすか否かを判定するステップ、
上記センサが上記１つ以上の所定の基準を満たす場合、そのセンサを選択するステップ、を含む、
項目１５２に記載の方法。
［項目１５４］
上記１つ以上の所定の基準は、上記センサが上記輸送機の動作方向にほぼ沿って向けられているか否かを含む、
項目１５３に記載の方法。
［項目１５５］
上記１つ以上の所定の基準は、上記センサによって取得された上記センサデータの品質が所定の閾値を超えるか否かを含む、
項目１５３に記載の方法。
［項目１５６］
上記１つ以上の所定の基準は、上記センサが上記複数のセンサのうちの最高のセンサデータ品質を有するか否かを含む、
項目１５３に記載の方法。
［項目１５７］
上記１つ以上の所定の基準は、上記センサの消費電力が所定の閾値未満であるか否かを含む、
項目１５３に記載の方法。
［項目１５８］
上記１つ以上の所定の基準は、上記センサが上記複数のセンサのうちで最も消費電力が少ないか否かを含む、
項目１５３に記載の方法。
［項目１５９］
上記サブセットのセンサの数は、上記輸送機の動作方向によって異なる、
項目１５２に記載の方法。
［項目１６０］
上記サブセットのセンサの数は、上記環境の環境複雑性によって異なる、
項目１５２に記載の方法。

Claims (32)

  1. 画像を撮影する複数の撮像装置を備える輸送機と、
    前記複数の撮像装置に接続され、ステップ（ａ）〜（ｃ）を実行する１つ以上のプロセッサと、を備え、
    ステップ（ａ）〜（ｃ）は、
    （ａ）各撮像装置からの各画像の特徴点数を計算すること、
    （ｂ）前記特徴点数が所定の閾値を超えるか否かを評価することにより、前記複数の撮像装置のうち少なくとも１つを選択すること、
    （ｃ）前記選択した少なくとも１つの撮像装置からの画像を用いて前記輸送機の状態情報を評価すること、であり、
    前記状態情報は、前記輸送機の位置、姿勢、速度、または、加速度のうち少なくとも１つを含む、
    ナビゲーションシステム。
  2. 前記輸送機は、無人航空機である、
    請求項１に記載のナビゲーションシステム。
  3. 前記輸送機は、前記輸送機を移動させる１つ以上の推進ユニットを備える、
    請求項１または２に記載のナビゲーションシステム。
  4. 前記複数の撮像装置は、異なる視野から複数の画像を撮影する、
    請求項１から３の何れか１つに記載のナビゲーションシステム。
  5. 前記複数の撮像装置は、少なくとも３つの撮像装置または少なくとも４つの撮像装置を含む、
    請求項１から４の何れか１つに記載のナビゲーションシステム。
  6. 前記複数の撮像装置は、それぞれ、前記輸送機に対して異なる方向に向けられる、
    請求項１から５の何れか１つに記載のナビゲーションシステム。
  7. 前記異なる方向は、直交する方向である、
    請求項６に記載のナビゲーションシステム。
  8. 前記異なる方向は、少なくとも４つの異なる方向を含む、
    請求項６に記載のナビゲーションシステム。
  9. 前記異なる方向の少なくとも１つは、前記輸送機の動作方向にほぼ沿っている、
    請求項６に記載のナビゲーションシステム。
  10. 前記複数の撮像装置は、前記輸送機の前側、後ろ側、左側、右側、上側、または、下側の場所のうちの３つ以上に配置される、
    請求項１から９の何れか１つに記載のナビゲーションシステム。
  11. 前記各画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
    請求項１から１０の何れか１つに記載のナビゲーションシステム。
  12. 各画像の前記特徴点数は、前記各画像の顕著性を示す、
    請求項１から１１の何れか１つに記載のナビゲーションシステム。
  13. 各画像の前記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
    請求項１から１２の何れか１つに記載のナビゲーションシステム。
  14. 前記姿勢は、前記輸送機のロールの向き、ピッチの向き、または、ヨーの向きのうち少なくとも１つを含む、
    ことを特徴とする、請求項１から１３の何れか１つに記載のナビゲーションシステム。
  15. 前記１つ以上のプロセッサは、ステップ（ｄ）をさらに実行し、
    ステップ（ｄ）は、
    （ｄ）前記状態情報に基づいて、前記輸送機を移動させる制御信号を出力すること、である、
    請求項１から１４の何れか１つに記載のナビゲーションシステム。
  16. ステップ（ａ）〜（ｃ）は、前記輸送機の運転中、繰り返される、
    請求項１から１５の何れか１つに記載のナビゲーションシステム。
  17. 複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する方法であって、
    ステップ（ａ）〜（ｄ）を含み、
    ステップ（ａ）〜（ｄ）は、
    （ａ）前記複数の撮像装置を用いて複数の画像を撮影するステップ、
    （ｂ）プロセッサを利用して、前記複数の画像の各画像の特徴点数を計算するステップ、
    （ｃ）前記プロセッサを利用して、前記特徴点数が所定の閾値を超えるか否かを評価することにより、前記複数の撮像装置のうち少なくとも１つを選択するステップ、
    （ｄ）前記プロセッサを利用して、前記選択した少なくとも１つの撮像装置からの前記複数の画像を用いて、前記輸送機の状態情報を評価するステップ、であり、
    前記状態情報は、前記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
    方法。
  18. 前記輸送機は、無人航空機である、
    請求項１７に記載の方法。
  19. 前記輸送機は、前記輸送機を移動させる１つ以上の推進ユニットを備える、
    請求項１７に記載の方法。
  20. 前記複数の画像のそれぞれは、異なる視野から撮影される、
    請求項１７から１９の何れか１つに記載の方法。
  21. 前記複数の撮像装置は、それぞれ、前記輸送機に対して異なる方向に向けられる、
    請求項１７から２０の何れか１つに記載の方法。
  22. 前記異なる方向は、直交する方向である、
    請求項２１に記載の方法。
  23. 前記異なる方向は、少なくとも４つの異なる方向を含む、
    請求項２１に記載の方法。
  24. 前記異なる方向の少なくとも１つは、前記輸送機の動作方向に沿っている、
    請求項２１に記載の方法。
  25. 前記複数の撮像装置は、前記輸送機の前側、後ろ側、左側、右側、上側、または、下側のうちの３つ以上の場所に配置される、
    請求項１７から２４の何れか１つに記載の方法。
  26. 前記複数の画像は、所定の時間間隔にわたって撮影された複数の連続した画像フレームを含む、
    請求項１７から２５の何れか１つに記載の方法。
  27. 各画像の前記特徴点数は、前記各画像の顕著性を示す、
    請求項１７から２６の何れか１つに記載の方法。
  28. 各画像の前記特徴点数は、コーナー検出アルゴリズムを用いて計算される、
    請求項１７から２７の何れか１つに記載の方法。
  29. 前記姿勢は、前記輸送機のロールの向き、ピッチの向き、または、ヨーの向きの少なくとも１つを含む、
    請求項１７から２８の何れか１つに記載の方法。
  30. ステップ（ｅ）をさらに含み、
    ステップ（ｅ）は、
    （ｅ）前記状態情報に基づいて、前記輸送機を移動させる制御信号を出力するステップ、である、
    請求項１７から２９の何れか１つに記載の方法。
  31. ステップ（ａ）〜（ｄ）は、前記輸送機の運転中、繰り返される、
    請求項１７から３０の何れか１つに記載の方法。
  32. 複数の撮像装置が取り付けられた移動中の輸送機の状態情報を評価する装置であって、
    前記複数の撮像装置により撮影された複数の画像の各画像の特徴点数を計算し、
    前記特徴点数が所定の閾値を超えるか否かを評価することにより、前記複数の撮像装置のうち少なくとも１つを選択し、
    前記選択した少なくとも１つの撮像装置からの前記複数の画像を用いて、前記輸送機の状態情報を評価し、
    前記状態情報は、前記輸送機の位置、姿勢、速度、または、加速度の少なくとも１つを含む、
    装置。
JP2016553376A 2014-12-31 2014-12-31 ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置 Expired - Fee Related JP6312178B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/095983 WO2016106715A1 (en) 2014-12-31 2014-12-31 Selective processing of sensor data

Publications (2)

Publication Number Publication Date
JP2017509981A JP2017509981A (ja) 2017-04-06
JP6312178B2 true JP6312178B2 (ja) 2018-04-18

Family

ID=56283987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016553376A Expired - Fee Related JP6312178B2 (ja) 2014-12-31 2014-12-31 ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置

Country Status (7)

Country Link
US (3) US9778661B2 (ja)
EP (2) EP3889728A3 (ja)
JP (1) JP6312178B2 (ja)
CN (2) CN111506109B (ja)
DK (1) DK3123260T3 (ja)
ES (1) ES2874506T3 (ja)
WO (1) WO2016106715A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10618168B2 (en) * 2016-05-13 2020-04-14 General Electric Company Robot system path planning for asset health management
CN104469158A (zh) * 2014-12-15 2015-03-25 安徽华米信息科技有限公司 一种运动拍摄、拍摄控制方法及装置
WO2016106715A1 (en) * 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Selective processing of sensor data
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US10126745B2 (en) 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
US9720413B1 (en) * 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US10083616B2 (en) * 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US10345107B2 (en) * 2016-06-22 2019-07-09 Aptiv Technologies Limited Automated vehicle sensor selection based on map data density and navigation feature density
EP3485462B1 (en) * 2016-07-12 2020-11-25 SZ DJI Technology Co., Ltd. Processing images to obtain environmental information
JP6785412B2 (ja) * 2016-07-22 2020-11-18 パナソニックＩｐマネジメント株式会社 無人航空機システム
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
WO2018134677A1 (en) 2017-01-23 2018-07-26 Hangzhou Zero Technology Co., Ltd Multi-camera system and method of use
US10488912B1 (en) 2017-01-27 2019-11-26 Digimarc Corporation Method and apparatus for analyzing sensor data
JP2018136315A (ja) * 2017-02-22 2018-08-30 株式会社日本環境調査研究所 マルチコプターおよびマルチコプターを利用した大気環境測定方法
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
WO2018167893A1 (ja) * 2017-03-15 2018-09-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
WO2019094567A1 (en) * 2017-11-09 2019-05-16 Redzone Robotics, Inc. Underground infrastruture sensing using unmanned aerial vehicle (uav)
US10717435B2 (en) * 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on classification of detected objects
US11423791B2 (en) * 2018-01-05 2022-08-23 Gopro, Inc. Adaptive object detection
US10860020B2 (en) 2018-01-23 2020-12-08 Toyota Research Institute, Inc. System and method for adaptive perception in a vehicle
US11630455B2 (en) * 2018-01-31 2023-04-18 Walmart Apollo, Llc System and method for autonomous decision making, corrective action, and navigation in a dynamically changing world
JP6575628B1 (ja) * 2018-03-30 2019-09-18 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
CN111052020B (zh) * 2018-04-02 2024-09-13 深圳市大疆创新科技有限公司 导航设备
JP6989849B2 (ja) * 2018-04-19 2022-01-12 株式会社Ｇｅｏソリューションズ 被検査構造体の検査システム
CN108313277B (zh) * 2018-05-11 2024-02-27 苏州中森无人机科技有限公司 一种监测巡检无人机
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
US11561251B2 (en) 2018-08-01 2023-01-24 Florida Power & Light Company Remote autonomous inspection of utility system components utilizing drones and rovers
CN109375647A (zh) * 2018-11-20 2019-02-22 中国航空工业集团公司西安航空计算技术研究所 微型多源感知计算系统
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
US10976380B2 (en) * 2019-01-18 2021-04-13 Rockwell Collins, Inc. System and method for magnetometer monitoring
FR3094079B1 (fr) * 2019-03-21 2021-02-26 Nexter Systems Procede de pointage et d'acquisition de cible pour une plateforme, nacelle et dispositif permettant la mise en oeuvre de ce procede
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
SE543432C2 (en) * 2019-06-27 2021-02-16 Vricon Systems Ab A method and system for navigation of a vehicle
GB2582842B (en) * 2019-08-19 2021-06-09 Drone Evolution Ltd Unmanned aerial vehicle for transporting a payload
DE102019124378A1 (de) * 2019-09-11 2021-03-11 Gottfried Wilhelm Leibniz Universität Hannover Verfahren sowie Vermessungsvorrichtung zur Vermessung eines Bauwerks
DE102019126398A1 (de) * 2019-09-30 2021-04-01 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Stereokamerasystem und mit einem LIDAR-Sensor
CN111177869B (zh) * 2020-01-02 2023-09-01 北京百度网讯科技有限公司 传感器布局方案的确定方法、装置及设备
WO2021153198A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 撮像制御装置および撮像制御方法
CN111539388B (zh) * 2020-06-22 2020-10-09 湖南联智科技股份有限公司 一种高空抛物监测方法
US11938941B2 (en) 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
US11995920B2 (en) 2020-10-23 2024-05-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles
FR3118000A1 (fr) 2020-12-21 2022-06-24 Airbus Helicopters procédé de pilotage d’un aéronef ayant une pluralité de senseurs de navigation dissimilaires et un aéronef
US11964398B2 (en) * 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing
US11810057B2 (en) * 2021-02-05 2023-11-07 Here Global B.V. Method, apparatus, and computer program product for vantage view assistance

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4940925A (en) * 1985-08-30 1990-07-10 Texas Instruments Incorporated Closed-loop navigation system for mobile robots
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPS62169516A (ja) 1986-01-21 1987-07-25 Mitsubishi Electric Corp 優先入力選択回路
JPH05327667A (ja) 1992-04-03 1993-12-10 Nec Corp 多入力信号選択回路
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
GB0101043D0 (en) 2001-01-15 2001-02-28 Univ Aberdeen Input parameter selection process
US6804607B1 (en) * 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
US6577764B2 (en) * 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
JP2003122394A (ja) * 2001-10-16 2003-04-25 Yamatake Corp 識別対象を認識する方法と装置及び該装置を搭載したロボット
GB2383983B (en) * 2002-01-11 2005-08-17 Roger Aylward Route navigation, guidance & control - automated vehicle steering & safety braking
WO2004018158A2 (en) * 2002-08-21 2004-03-04 Neal Solomon Organizing groups of self-configurable mobile robotic agents
US6975923B2 (en) * 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US8224639B2 (en) * 2004-03-29 2012-07-17 Sony Computer Entertainment Inc. Methods and apparatus for achieving thermal management using processing task scheduling
EP1766556A2 (en) * 2004-06-25 2007-03-28 Digitalglobe, Inc. Method and apparatus for determining a location associated with an image
US7876927B2 (en) * 2005-01-04 2011-01-25 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7242791B2 (en) * 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
US7610123B2 (en) * 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US7792607B2 (en) * 2005-01-04 2010-09-07 Deere & Company Vision-aided system and method for guiding a vehicle
US8150574B2 (en) * 2005-01-04 2012-04-03 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7233683B2 (en) * 2005-01-04 2007-06-19 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7299056B2 (en) * 2005-02-23 2007-11-20 Deere & Company Vehicular navigation based on site specific sensor quality data
US8305430B2 (en) * 2005-09-16 2012-11-06 Sri International System and method for multi-camera visual odometry
US8855846B2 (en) * 2005-10-20 2014-10-07 Jason W. Grzywna System and method for onboard vision processing
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US20070233361A1 (en) * 2006-03-30 2007-10-04 Ford Global Technologies, Llc Centralized Image Processing For An Automobile With A Navigation System
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8581981B2 (en) * 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
WO2008085536A2 (en) * 2006-05-23 2008-07-17 Avid, Llc Dual-use modular propulsion surveillance vehicle with detachable unmanned airborne vehicles
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US7817653B2 (en) * 2007-04-19 2010-10-19 Hewlett-Packard Development Company, L.P. Priority selection circuit
US7769543B2 (en) * 2007-04-30 2010-08-03 The Boeing Company Fault detection and reconfiguration of an automated refueling boom
US8757548B2 (en) * 2007-04-30 2014-06-24 The Boeing Company Apparatus for an automated aerial refueling boom using multiple types of sensors
CN101196551A (zh) * 2007-05-10 2008-06-11 北京深浪电子技术有限公司 高压输电线路地线巡检机器人
CN100495274C (zh) * 2007-07-19 2009-06-03 上海港机重工有限公司 大型工程车辆自动驾驶控制方法及系统
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
TWM348676U (en) * 2008-07-22 2009-01-11 Iner Aec Executive Yuan Environmental survey robot
US9188980B2 (en) * 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
US8818567B2 (en) * 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
US8543265B2 (en) * 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP2010191867A (ja) * 2009-02-20 2010-09-02 Panasonic Corp 画像圧縮器、画像圧縮方法および車載画像記録装置
US8340852B2 (en) * 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building
JP2011010109A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像伝送装置
FR2947401B1 (fr) * 2009-06-26 2012-07-13 Thales Sa Systeme de communication multi-antennes
US8569680B2 (en) * 2009-12-21 2013-10-29 University Of Wyoming Hyperacuity from pre-blurred sampling of a multi-aperture visual sensor
JP4803304B2 (ja) * 2010-02-22 2011-10-26 カシオ計算機株式会社 画像処理装置及びプログラム
US20120197461A1 (en) * 2010-04-03 2012-08-02 Geoffrey Louis Barrows Vision Based Hover in Place
FR2961601B1 (fr) * 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
WO2012024730A1 (en) * 2010-08-25 2012-03-01 The University Of Sydney Sensor data processing
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
WO2012044297A1 (en) * 2010-09-30 2012-04-05 Empire Technology Development Llc Automatic flight control for uav based solid modeling
US8712679B1 (en) * 2010-10-29 2014-04-29 Stc.Unm System and methods for obstacle mapping and navigation
CN102480593B (zh) 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
KR101157484B1 (ko) * 2010-12-14 2012-06-20 주식회사 대한항공 무인항공기 자동회수 방법
US20120173185A1 (en) * 2010-12-30 2012-07-05 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP5699670B2 (ja) * 2011-02-18 2015-04-15 日産自動車株式会社 走行経路生成装置、及び走行経路生成方法
US8660338B2 (en) * 2011-03-22 2014-02-25 Honeywell International Inc. Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
CN102339062A (zh) * 2011-07-11 2012-02-01 西北农林科技大学 基于dsp和双目视觉的微型农业机械导航与远程监控系统
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US9137675B2 (en) * 2012-06-13 2015-09-15 All Purpose Networks LLC Operational constraints in LTE TDD systems using RF agile beam forming techniques
CN102819263B (zh) * 2012-07-30 2014-11-05 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知系统
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US20140140575A1 (en) * 2012-11-19 2014-05-22 Mace Wolf Image capture with privacy protection
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
CN103019245A (zh) * 2013-01-07 2013-04-03 西北农林科技大学 一种基于多传感器信息融合的山地农业机器人避障系统
CN103921933A (zh) * 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103135551B (zh) * 2013-02-28 2015-05-06 上海大学 一种精确定位火灾搜救机器人
US9196084B2 (en) * 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
CN203299134U (zh) * 2013-05-06 2013-11-20 中国计量学院 基于四轴飞行器的风力发电机叶片表面裂纹检测装置
CN103324196A (zh) * 2013-06-17 2013-09-25 南京邮电大学 基于模糊逻辑的多机器人路径规划与协调避碰方法
WO2014203334A1 (ja) * 2013-06-18 2014-12-24 トヨタ自動車 株式会社 運転支援装置
DE102013211414A1 (de) * 2013-06-18 2014-12-18 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug und Verfahren zum Betreiben einesfahrerlosen Transportfahrzeugs
CN103490842B (zh) * 2013-09-26 2016-09-28 深圳市大疆创新科技有限公司 数据传输系统及方法
CN103592947B (zh) * 2013-11-19 2015-11-11 华南农业大学 一种农用飞行器安全作业飞行监控装置及其控制算法
CN103630138A (zh) 2013-12-09 2014-03-12 天津工业大学 基于摄像机头标定算法的无人机视觉导航方法
CN103914075B (zh) * 2013-12-13 2017-05-03 深圳市大疆创新科技有限公司 一种无人飞行器的控制方法及装置
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN203950203U (zh) * 2014-06-11 2014-11-19 江苏数字鹰科技发展有限公司 可在夜间判断障碍物距离的无人机
CN104102218B (zh) * 2014-06-30 2017-04-05 西北工业大学 基于视觉伺服的感知与规避方法及系统
US9318014B1 (en) * 2014-11-26 2016-04-19 Elwha Llc Systems and methods for reporting visibility to drones
WO2016106715A1 (en) * 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Selective processing of sensor data

Also Published As

Publication number Publication date
CN111506109A (zh) 2020-08-07
JP2017509981A (ja) 2017-04-06
CN111506109B (zh) 2023-08-25
EP3889728A2 (en) 2021-10-06
US20170364095A1 (en) 2017-12-21
US10802509B2 (en) 2020-10-13
US9778661B2 (en) 2017-10-03
EP3123260A4 (en) 2017-04-05
US20170045895A1 (en) 2017-02-16
DK3123260T3 (da) 2021-06-14
EP3123260A1 (en) 2017-02-01
CN107209514A (zh) 2017-09-26
EP3889728A3 (en) 2021-12-01
CN107209514B (zh) 2020-06-05
ES2874506T3 (es) 2021-11-05
WO2016106715A1 (en) 2016-07-07
EP3123260B1 (en) 2021-04-14
US20210065400A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP6312178B2 (ja) ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置
US10936869B2 (en) Camera configuration on movable objects
US10645300B2 (en) Methods and apparatus for image processing
US11697411B2 (en) Apparatus and methods for obstacle detection
US10599149B2 (en) Salient feature based vehicle positioning
US11914369B2 (en) Multi-sensor environmental mapping
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
JP6181300B2 (ja) 無人航空機の速度を制御するシステム
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180314

R150 Certificate of patent or registration of utility model

Ref document number: 6312178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees