JP7263630B2 - 無人航空機による３次元再構成の実行 - Google Patents

無人航空機による３次元再構成の実行 Download PDF

Info

Publication number
JP7263630B2
JP7263630B2 JP2022548782A JP2022548782A JP7263630B2 JP 7263630 B2 JP7263630 B2 JP 7263630B2 JP 2022548782 A JP2022548782 A JP 2022548782A JP 2022548782 A JP2022548782 A JP 2022548782A JP 7263630 B2 JP7263630 B2 JP 7263630B2
Authority
JP
Japan
Prior art keywords
uav
scan
model
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022548782A
Other languages
English (en)
Other versions
JP2023511779A (ja
Inventor
ピーター ヘンリー，
ジャック ジュ，
ブライアン リッチマン，
ハリソン ジェン，
ハイク マルチロシャン，
マシュー ドナフー，
エイブラハム バクラック，
アダム ブライ，
ライアン デイビッド ケネディ，
ヒメル モンダル，
クエンティン アレン ワウ イェン デレピン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skydio Inc
Original Assignee
Skydio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skydio Inc filed Critical Skydio Inc
Priority to JP2023040965A priority Critical patent/JP7274674B1/ja
Publication of JP2023511779A publication Critical patent/JP2023511779A/ja
Application granted granted Critical
Publication of JP7263630B2 publication Critical patent/JP7263630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D31/00—Power plant control systems; Arrangement of power plant control systems in aircraft
    • B64D31/02—Initiating means
    • B64D31/06—Initiating means actuated automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/37—Charging when not in flight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00—Transport or storage specially adapted for UAVs
    • B64U80/20—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV
    • B64U80/25—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV for recharging batteries; for refuelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

[0001]本開示は、無人航空機を制御する技術分野に関する。
[0002]「ドローン」と称されることがある無人航空機（ＵＡＶ）は、典型的には、ＵＡＶの移動を遠隔に制御するためにコントローラを使用して人間によって手動で操作される。例えば、このようなＵＡＶは、普通なら到達することが困難であるはずの見晴らしの良い地点から画像を取得するために使用され得る。さらに最近では、いくつかの自動飛行および自律制御機能を有するＵＡＶが利用可能になっている。例えば、認識されているユーザまたはビーコン装置を携帯しているユーザがある環境の中を移動する際にそのユーザに追従しながら映像を記録するためのものなど、いくつかの自動画像取得能力がＵＡＶ上に実装されている。
[0003]いくつかの実装形態は、スキャン対象に対応する複数の点を含む３次元（３Ｄ）モデルに基づいて、スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定し得る無人航空機（ＵＡＶ）を含む。例えば、スキャン計画は、スキャン対象の画像を取得するためにＵＡＶが取る複数の姿勢を含んでよい。ＵＡＶは、１つまたは複数の画像センサによって、複数の姿勢のうちの１つまたは複数の姿勢からスキャン対象の１つまたは複数の画像を取得してよい。さらに、ＵＡＶは、１つまたは複数の画像に少なくとも部分的に基づいて３Ｄモデルの更新を決定してよい。加えて、ＵＡＶは、３Ｄモデルの更新に少なくとも部分的に基づいてスキャン計画を更新してよい。
[0004]さらに、いくつかの実装形態では、ＵＡＶは、スキャン対象の画像を取得するための１つまたは複数の画像センサを用いてよく、かつスキャン対象の表面を表す３Ｄモデルの複数の点の３Ｄ空間における各々の場所を決定するための、画像からの距離情報を使用してよい。ＵＡＶは、ＵＡＶに対する現在の基準系の位置と、ＵＡＶに対する実際の基準系の位置の推定との間の差異を決定するために第１の画像と第２の画像とを比較してよい。さらに、少なくともその差異に基づいて、ＵＡＶは、ＵＡＶが飛行している間に、３Ｄモデルにおける少なくとも１つの点の更新済みの場所、または３Ｄモデルにおける新たな点の場所のうちの少なくとも１つを含む３Ｄモデルの更新を決定してよい。
[0005]詳細な説明は添付の図を参照して示される。図において、参照番号の最左の桁は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、同様のまたは同一の項目または特徴を示す。
[0006]図１は、いくつかの実装形態による無人航空機（ＵＡＶ）を使用して自律スキャンを実行することができる例示のシステムを示す図である。 [0007]図２は、いくつかの実装形態によるスキャン対象のスキャンを実行することができるＵＡＶの上側の例示の構成を示す図である。 [0008]図３は、いくつかの実装形態によるスキャン対象のスキャンを実行することができるＵＡＶの底部側の例示の構成を示す図である。 [0009]図４は、いくつかの実装形態による例示のＵＡＶの抜粋したコンポーネントを示す図である。 [0010]図５は、いくつかの実装形態によるＵＡＶの自律離陸、着陸、および充電を可能にするために使用され得るドッキングステーションの一例を示す図である。 [0011]図６は、いくつかの実装形態によるＵＡＶ用のコントローラの一例を示す図である。 [0012]図７は、いくつかの実装形態によるスキャンされるスキャン対象を選択することの一例を示す図である。 [0013]図８は、いくつかの実装形態によるスキャンされるスキャン対象を選択することの一例を示す図である。 [0014]図９は、いくつかの実装形態によるスキャンされるスキャン対象を選択することの一例を示す図である。 [0015]図１０は、いくつかの実装形態によるスキャンされるスキャン対象を選択することの一例を示す図である。 [0016]図１１は、いくつかの実装形態によるスキャン対象を選択することの一例を示す図である。 [0017]図１２は、いくつかの実装形態によるスキャン対象を選択することの一例を示す図である。 [0018]図１３は、いくつかの実装形態による生成され得る低解像度３Ｄモデルの一例を示す図である。 [0019]図１４は、いくつかの実装形態による３Ｄモデル用のスキャン計画を生成することの一例を示す図である。 [0020]図１５は、いくつかの実装形態による３Ｄモデルおよび／またはスキャン計画の反復更新の例示のプロセスを示す図である。 [0021]図１６は、いくつかの実装形態によるＵＡＶの例示の論理構成を示す図である。 [0022]図１７は、いくつかの実装形態による、スキャンに基づいて３Ｄモデルを生成するための例示の論理構成およびプロセスを示す図である。 [0023]図１８は、いくつかの実装形態によるスキャン対象を選択するための例示のプロセスを示すフロー図である。 [0024]図１９は、いくつかの実装形態によるスキャン対象の低解像度３Ｄモデルを生成するための例示のプロセスを示すフロー図である。 [0025]図２０は、いくつかの実装形態によるスキャン対象の低解像度３Ｄモデルを生成するための例示のプロセスを示すフロー図である。 [0026]図２１は、いくつかの実装形態による、低解像度３Ｄモデルの点が姿勢によって覆われているかどうかを決定するための例示のプロセスを示すフロー図である。 [0027]図２２は、いくつかの実装形態による、低解像度３Ｄモデルの更新に基づいてスキャン計画を動的に更新するための例示のプロセスを示すフロー図である。 [0028]図２３は、いくつかの実装形態による、スキャン計画を障害物に動的に適応させるための例示のプロセスを示すフロー図である。
[0029]本明細書におけるいくつかの実装形態は、操作者が指定することが可能である構造、建物、橋、パイプライン、設備、物体、現場、地理的特徴、犯罪現場、事故現場、または任意の他のスキャン対象などの３次元（３Ｄ）スキャン対象をスキャンするようにＵＡＶを構成するための技法および配置を対象とする。例えば、ＵＡＶは、スキャン対象の最初のインジケーションに基づいてスキャン対象を自律的にスキャンするように構成可能であってよい。スキャンは、スキャン対象の高解像度３Ｄマップまたは他の３Ｄモデルを生成することなどのために完全かつ繰り返し可能なやり方で、示されたスキャン対象の、一連の画像を取得することまたは映像を取得することなどを含んでよい。本明細書におけるＵＡＶは、凹所、でこぼこして傾いた表面、開口部、および非対称な幾何学的形状などを含むスキャン対象などの複雑な幾何学的形状を有するスキャン対象を取得することができる。
[0030]本明細書における例は、リアルタイムで飛行中でのスキャン対象の３Ｄ再構成によってスキャン対象の完全な動的な調査および取得を自動化することが可能になることなどによって、従来のシステムに対する利点を提供する。３Ｄ再構成は、最初のラフスキャンから低解像度３Ｄモデルを最初に生成することなどによって、範囲データに基づいてスキャン対象の外観を取得することを含んでよい。場合によっては、低解像度３Ｄモデルは繰り返し微調整されてよく、ＵＡＶがスキャン対象のスキャンを実行している間に（ほぼリアルタイムを含み得る）リアルタイムでの高解像度３Ｄモデルの３Ｄ再構成を可能にするための追加のスキャンが実行されるため、精度は改善され得る。
[0031]さらに、ＵＡＶは、ＵＡＶの手動制御によって実現可能であるよりも一貫性のある、撮像されるスキャン対象の表面の一部に対する所望の距離および向きを維持することによってスキャンされた画像の信頼できるフレーミングを自律的に提供し得る。さらに、本明細書における例は、スキャンデータの機械学習または人による精査を使用してスキャン対象の関連した特徴の堅牢な検出を可能にし得る。さらに、スキャンデータは、ＵＡＶが依然現場にある間に精査されてよく、それによって、追加のスキャンを実行するために現場に戻らなければならない可能性が低減される。さらに、本明細書における例によって、人間の操作者が注意する必要性が低減され、かつ、従来のシステムを使用して可能であるよりも、大型のスキャン対象のより迅速な広範囲にわたるスキャンが実行可能である。
[0032]いくつかの例では、ＵＡＶに搭載された１つまたは複数のプロセッサは、プログラムコードまたは他の実行可能命令によって、本明細書に説明される自律的な動作を実行するように構成されてよい。例えば、１つまたは複数のプロセッサは、意図した飛行経路に沿ってＵＡＶを制御しかつナビゲートしてよいが、スキャン対象の最初の低解像度３Ｄモデルを生成するまたはこれにアクセスすること、低解像度３Ｄモデルに基づいてスキャン対象をスキャンするためのスキャン計画を決定すること、および、障害物を回避することも行いながらスキャン計画を実行するためのスキャンを行うためにＵＡＶを一連の姿勢にナビゲートすることなど、本明細書に説明される他の動作も実行し得る。３Ｄモデルおよび／またはスキャン計画は、スキャン中にＵＡＶによって獲得される情報に基づいてスキャン中にリアルタイムで更新され得る。さらにまたは代替的には、場合によっては、ＵＡＶから遠く離れており、かつＵＡＶと通信しているリモートＵＡＶコントローラまたは他のコンピューティング装置上の１つまたは複数のプロセッサは、上で論じられた動作の１つまたは複数を支援するまたは管理することなどの命令を、ＵＡＶに搭載された１つまたは複数のプロセッサに提供してよい。例えば、最初の３Ｄモデルは、ＵＡＶによって、ＵＡＶから遠く離れたコントローラまたは別のコンピューティング装置から受信されてよい。
[0033]スキャンを開始するために、ユーザは、ユーザインターフェースへの１つまたは複数の入力を、入力情報をＵＡＶに提供することができるＵＡＶコントローラまたは他のコンピューティング装置上に提示させることなどによって、関心のあるスキャン対象またはスキャン対象の一部分を最初に示してよい。１つの例として、ユーザは、スキャン対象の画像を得るためにＵＡＶを手動でナビゲートしてよく、ユーザは、スキャン対象を示すためにユーザインターフェースに提示されるスキャン対象の画像上に多角形または他の２Ｄ形状を作成してよい。代替的には、ユーザは、ユーザインターフェースにおいてスキャン対象の画像の周りに境界ボリュームを指定してよい、３つ以上の基準点（例えば、「柱」）などに基づいて境界エリアを指定してよい、または、ＵＡＶに対してスキャン対象を指定するための、以下にさらに論じられるような複数の他の技法のいずれかを使用してよい。例えば、ユーザは、スキャン対象の形状、所望されるスキャンのタイプ、およびスキャンされることが望ましい対象の部分などに応じて、複数の異なる利用可能な技法の中から最も効果的であると決定されるスキャン対象を指定するための技法を用いてよい。
[0034]スキャン対象の受信したインジケーションに基づいて、ＵＡＶは、グローバル座標系との相関性に基づいてまたはさまざまな他の技法を通してなど、スキャン対象のインジケーションを空間における１つまたは複数の位置と相関させてよい。例えば、ＵＡＶは、例えば、３Ｄ空間におけるスキャン対象表面の場所を決定するために範囲センサなどによって最初のスキャンを実行することによって、スキャン対象の最初の粗スキャンを自律的に実行してよい。１つの例として、範囲センサは、スキャン対象の表面までの距離を決定するために使用可能である立体撮像または単眼撮像用に構成された画像センサのアレイなど、１つまたは複数の搭載画像センサによって提供されてよい。画像センサがステレオ撮像対を含む場合、ＵＡＶは、ＵＡＶからスキャン対象の表面上の１つまたは複数の点までの相対距離を決定するために同じ表面の２つの関連画像の間の視差を決定するために画像センサからの入力を使用してよい。代替的には、１つもしくは複数の単眼視画像センサからの画像が使用されてよい、および／または、ＵＡＶの既知の場所などに対する３Ｄ空間におけるスキャン対象の表面の場所を決定するためのさまざまな他の距離センシングおよび３Ｄ再構成技法が使用されてよい。
[0035]１つの例として、ＵＡＶは、ステレオ対のナビゲーション画像センサおよび／または広域ベースライン多視点ステレオ（ＭＶＳ）画像センサ対からの範囲画像を、複数の点を含む表面メッシュ推定を生成することができる切り捨てられた符号付き距離関数のボリューム（ｖｏｌｕｍｅｔｒｉｃ Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ（ＴＳＤＦ））に融合してよい。最初のＴＳＤＦ生成３Ｄモデルは、典型的には、より低い解像度およびより低い精度のものであり得るが、これは、スキャン対象が、より高い精度に向けた十分に多様な視点および／または十分に近い距離から依然撮像されていないあるいはスキャンされていないからである。例えば、ＵＡＶの飛行が表面に近いほど、ＵＡＶがステレオ対の範囲画像を３Ｄモデルに融合し続ける際にＴＳＤＦにおいて表面の場所および表面の形状の推定の精度が高まる。
[0036]第１の解像度でスキャン対象の低解像度３Ｄモデルを生成するための最初のスキャンがＵＡＶによって実行され得る。最初のスキャン中、ＵＡＶは、スキャン対象の１つまたは複数の表面を自律的に撮像してよく、スキャン対象に近接して飛行し、かつ最初のスキャンを実行している間に低解像度３Ｄモデルの完全性および／または解像度をリアルタイムで動的に改善し得る。例えば、低解像度３Ｄモデルは、３Ｄ空間における複数の点集合を含んでよく、その点の場所は、距離測定に基づいて決定されたスキャン対象の表面に対応する。さらに、ＵＡＶは、低解像度３Ｄモデルに含まれる点集合における点のいくつかまたは全てに対する各々の垂線を決定し得る。１つの例として、それぞれの垂線は、それぞれの点が位置するスキャン対象の表面に対して略垂（直）角でそれぞれの点が位置する表面から外方に延在する仮想線であってよい。例えば、それぞれの対応する垂線は、３Ｄモデルのそれぞれの点から、それぞれの点を取り囲むエリアにおけるスキャン対象の表面に対応する平面に略直角に外方に延在し得る。
[0037]ＵＡＶは、スキャン対象をスキャンするためのスキャン計画を生成しかつ動的に更新するために低解像度３Ｄモデルを使用してよい。例えば、スキャンすることは、所望の解像度または詳細などの画像を取得するためにＵＡＶとスキャン対象との間の所望の距離（例えば、指定される地上分解能）からスキャン対象の一連の画像を取得することを含んでよい。１つの例として、スキャン計画を決定することは、ＵＡＶに搭載された１つまたは複数の画像センサを使用してスキャン対象表面からの指定された距離で、スキャン対象の複数の画像を取得するための最初のスキャンよりも高い解像度のスキャンを実行するために、ＵＡＶが取る一連の姿勢を決定することを含んでよい。１つの例として、低解像度３Ｄモデルに基づいて、ＵＡＶに搭載された１つまたは複数のプロセッサは、低解像度３Ｄモデルの少なくとも一部の生成の後にＵＡＶが飛行している間にスキャン対象用のスキャン計画を決定してよい。スキャン計画を決定することは、どれくらいの画像を取得するか、それぞれの画像を取得するためのスキャン対象からの距離、それぞれの画像を取得する時のスキャン対象に対するＵＡＶの向き（姿勢）（例えば、覆われる点をさらに考慮するための垂線から最も離れた角度）、取得される画像の解像度および品質、取得される画像の重複量、最高ＵＡＶ飛行速度、画像を取得する間の最高側方速度および角速度、露出およびホワイトバランスなどの他のカメラ設定などのさまざまなパラメータを決定することまたは考慮に入れることを含んでよい。
[0038]スキャン計画および低解像度３Ｄモデルに基づいて、ＵＡＶは、スキャン対象をスキャンし、かつ３Ｄモデルおよび／またはスキャン計画を更新するためにリアルタイムの３Ｄ再構成を使用してよい。いくつかの例では、スキャンは、衛星測位情報を必要とすることなく、低解像度３Ｄモデル、またはＵＡＶの外部のソースから提供されるスキャン対象に関する他のデータを必要とすることなく、および、ネットワーク接続を必要とすることなく、実行され得る。ＵＡＶは、スキャン計画のために決定された一連の姿勢に基づいてスキャン対象の画像を取得するように自律的にナビゲートし得る。例えば、スキャン計画に基づいて、画像は、存在し得る障害物との衝突を回避しながら１つの姿勢から次の姿勢へとＵＡＶが飛行する間に途切れなく取得され得る。
[0039]スキャン計画に基づくスキャン対象のスキャン中、ＵＡＶは、新たにスキャンされた画像および／または表面の点までの新たに検出された距離などに少なくとも部分的に基づいて、スキャン対象のより高い解像度バージョンの３Ｄモデルをリアルタイムで生成するために３Ｄ再構成技法を使用してよい。本明細書における例において、「リアルタイム」は、「ほぼリアルタイム」を含んでよく、かつ、例えば、ＵＡＶが１つもしくは複数の画像の取得後に依然飛行している間に、および／またはＵＡＶがスキャンを実行しているもしくは姿勢間を行き来しているなどの間に、処理能力が利用可能になるため、過度の遅延なく言及される処理または他の動作を実行することを指す場合がある。本明細書におけるリアルタイムの処理の実際の時間は、ＵＡＶの搭載プロセッサおよび他のコンポーネントの処理能力に基づいて変化し得る。例えば、本明細書におけるＵＡＶは、３Ｄモデルを更新すること、スキャン計画を更新すること、ならびに、点群モデルおよび／または３Ｄメッシュモデルなどの高解像度３Ｄモデルを構築することなど、複数の異なる処理動作のいずれかをリアルタイムで実行してよい。
[0040]いくつかの例では、スキャンおよび３Ｄ再構成は、最初のスキャン計画に従ってスキャン対象のスキャン中に点または他の情報を３Ｄモデルに追加し、かつ３Ｄモデルに追加された情報に基づいて最初のスキャン計画を動的に更新することなどによって、反復して実行されてよい。上述されるように、ＵＡＶは、ＴＳＤＦなどに基づいて、最初の低解像度３Ｄモデルを生成するために最初の粗スキャンを使用してよい。ＵＡＶは、ＴＳＤＦによって規定された低解像度３Ｄモデルに対応する表面を覆うための最初のスキャン計画を決定し得る。ＵＡＶは、ＵＡＶがスキャン計画をナビゲートする際に追加の範囲画像を融合することによって３Ｄモデルを更新し続けながら最初のスキャン計画のいくつかまたは全てを飛行してよい。したがって、ＵＡＶがスキャン計画をナビゲートする際に３Ｄモデルに関する表面情報の品質は改善され続け、さらなる表面が発見される場合がある。場合によっては、３Ｄモデルの精度、被覆などが反復して改善されるため、スキャン計画では、先に含まれなかった新たな点を覆うこと、または先に識別されなかった障害物を回避することなどが動的に更新され得る。
[0041]高解像度３Ｄモデル、およびスキャン中に取得された画像は、例えば、ＵＡＶがスキャン対象のスキャンを完了した、または少なくともスキャンの一部を完了した後、ネットワーク接続などによって、ＵＡＶから１つまたは複数のコンピューティング装置にエクスポートされてよい。いくつかの例では、取得された画像および／または３Ｄモデル情報は、スキャン対象のスキャンが行われている際に、コントローラまたは別のコンピューティング装置に無線で送られてよい。場合によっては、画像は、スキャン対象のテクスチャ処理された３Ｄモデルの作成を可能にする、例えば、スキャン対象を観測する、スキャン対象の高解像度検査を実行する、または、このような高解像度３Ｄモデルおよび高解像度画像によって実行され得るさまざまな他の観察、コンピュータグラフィック、もしくはコンピュータモデリング動作のいずれかのために、３Ｄモデルの点と相関関係があってよい。
[0042]論述の目的で、画像を取得するおよび／または３Ｄモデルを生成するなど、スキャン対象を自律的にスキャンするようにＵＡＶを構成するためのいくつかの例示の実装形態について説明する。しかしながら、本明細書における実装形態は、提供される特定の例に限定されるものではなく、本明細書の開示に照らすと当業者に明らかになるように、他のタイプのスキャン対象、他のタイプの車両、他のタイプの３Ｄ再構成技法、他のタイプの飛行計画技法、他のタイプのスキャン技法、および他のタイプのモデリング技法などに拡張されてよい。
[0043]図１は、いくつかの実装形態による無人航空機（ＵＡＶ）１０２を使用して自律スキャンを実行することができる例示のシステム１００を示す。この例では、ＵＡＶ１０２を斜角で上から観測している。ＵＡＶ１０２に加えて、システム１００は、コントローラ１０４およびドッキングステーション１０６も含んでよい。コントローラ１０４は、ユーザ１０８によって制御されてよく、かつ、無線通信リンクを介してＵＡＶ１０２と通信するように構成されてよい。いくつかの例として、コントローラ１０４は、Ｗｉ－Ｆｉネットワーク、ＢＬＵＥＴＯＯＴＨ（登録商標）無線リンク、直接ＩＳＭバンド通信、または任意の他の適した無線通信など、さまざまなタイプの無線プロトコルおよび周波数を介して通信してよい。例えば、９００ＭＨｚ、２．４ＧＨｚ、および５．８ＧＨｚは、ＵＡＶによる双方向通信に使用される最も一般的な無線周波数であるが、本明細書における実装形態は、いかなる特定の通信タイプ、周波数、またはプロトコルにも限定されない。
[0044]コントローラ１０４は、無線通信リンクを介してＵＡＶ１０２から（映像または静止画像を含み得る）画像を受信してよい。さらに、ユーザ１０８は、コントローラ１０４に、グラフィカルユーザインターフェース（ＧＵＩ）に提示される１つもしくは複数の仮想制御、および／または（図１では不可視の）コントローラ１０４上に含まれるジョイスティックもしくはボタンなどの１つもしくは複数の物理的制御などを介して、コマンド、例えば、「離陸」、「着陸」、「追従」をＵＡＶ１０２に発行させてよい。したがって、コントローラ１０４は、ユーザ１０８が、コントローラ１０４と関連付けられたディスプレイ上に提示されるＧＵＩを介して可能とされる仮想制御入力に加えて手動制御入力を行うことを可能にしてよい。例示のコントローラ１０４について、図６に関して以下にさらに示しかつ論述する。
[0045]コントローラ１０４は、ユーザ１０８が、この例におけるスキャン対象１１０などのスキャン対象の自律または半自律スキャンを行うことに関連するコマンドを入力できるようにしてよい。いくつかの実装形態では、コントローラ１０４は、ＵＡＶ１０２と通信しかつこれを制御するように構成されるソフトウェアを実行する、モバイル装置、タブレット、またはラップトップを含んでよい。例えば、システム１００は、図１５～図２３に関して以下に論じられるプロセスの１つまたは複数を実行するあるいは実装するために使用されてよい。
[0046]例えば、図２～図４に関して以下にさらに論じられるように、ＵＡＶ１０２は、推進メカニズム、１つもしくは複数の画像センサ、および、ＵＡＶ１０２に搭載される１つもしくは複数の画像センサおよび／または他のセンサからの入力などに基づいて、ＵＡＶ１０２をナビゲートするための推進メカニズムを制御することができる１つまたは複数のプロセッサを含む。いくつかの例では、ユーザ１０８は、スキャン対象１１０がスキャンを実行するスキャン対象であることを選択するあるいはＵＡＶ１０２に示すためにコントローラ１０４を使用してよい。スキャン対象（またはスキャン対象部分）を選択する例について、例えば、図６～図１０に関して以下にさらに論じる。コントローラ１０４は、行われるスキャンのためのスキャン対象１１０の表面からの指定されるスキャン距離（例えば、地上分解能（ＧＳＤ））、および、以下にさらに論じられるような他のスキャンパラメータを示すためにさらに使用されてよい。
[0047]ＵＡＶ１０２に搭載されるプロセッサは、スキャン対象１１０のスキャンを実行するためにスキャン対象１１０の（図１には示されない）低解像度３Ｄモデルを生成する、受信する、あるいはこれにアクセスするための実行可能命令によって構成されてよい。この例において、スキャン対象１１０は、屋根１１６に隣接して装着されるパラボラアンテナ１１４を有する建物１１２を含む。上述されるように、実装形態は任意の特定のタイプのスキャン対象に限定されるものではなく、可能なスキャン対象のいくつかの例は本明細書の他の箇所に列挙されている。ＵＡＶ１０２によって生成されるあるいはアクセスされる低解像度３Ｄモデルは、最初のより低い解像度でのスキャン対象１１０の最初のスキャン中に検出されたスキャン対象１１０の表面に対応する３Ｄ空間における点集合を含んでよい。
[0048]低解像度３Ｄモデルに基づいて、プロセッサは、第２のより高い解像度でのスキャン対象１１０の一連の画像を取得することによってスキャン対象１１０をスキャンするためのスキャン計画を決定しかつ実行してよい。スキャン計画は、１つまたは複数の画像センサを使用して、スキャン対象１１０の一連の画像を取得することを採用するためにＵＡＶ１０２のプロセッサによって決定される一連の姿勢を含んでよい。例えば、スキャン計画のための姿勢は、低解像度３Ｄモデルにおける点集合から選択される選択点および選択点のそれぞれの垂線に基づいて決定されてよい。１つの例として、スキャン計画は、各々の画像に対する中心点として使用するための点を選択し、一方で、指定される地上分解能でおよび所望の解像度で撮られた画像の所望の重複量を提供するために先の中心点に十分近い連続する中心点を選択してよい。それぞれの姿勢について、プロセッサは、ＵＡＶ１０２を、スキャン計画の一連の姿勢をトラバースするための姿勢に対応する姿勢を取るように飛行させる推進メカニズムを制御してよい。
[0049]ＵＡＶ１０２は、スキャン計画におけるそれぞれの姿勢からスキャン対象１１０の１つまたは複数の画像を取得するために１つまたは複数の画像センサを使用してよい。１つの例として、姿勢の位置は、選択点（例えば、それぞれの画像の選択された中心点）のそれぞれの垂線に沿っており、かつスキャン計画のスキャン距離パラメータに対応する選択点からの選択距離にあると決定され得る。しかしながら、本明細書における実装形態は、点の垂線に沿って画像を取得することに限定されるものではなく、むしろ、いくつかの例では、画像取得は、選択点の垂線に対する角度で行われてよい。さらに、必ずしも、点と姿勢との間の１対１の対応があるわけではない。逆に、低解像度３Ｄモデルにおける点は、画像の所望の解像度に対する最適な効率で、および、スキャン対象１１０の表面からの指定のスキャン距離で、スキャン対象の選択エリア全体を覆うための最適な姿勢を決定するための基準点を提供する。
[0050]ＵＡＶ１０２は、スキャン計画に含まれる姿勢の視野（ＦＯＶ）によってスキャン対象１１０の低解像度３Ｄモデルの点を体系的に覆うように構成されてよい。例えば、プロセッサは、低解像度３Ｄモデルの点集合を、覆われている点の部分集合および覆われていない点の部分集合に分割するように構成されてよい。覆われている点は、１つまたは複数の姿勢が既に指定されている低解像度３Ｄモデル上の点であってよく、覆われていない点は、姿勢がまだ指定されていないような点であってよい。
[0051]スキャン計画の展開中、次の姿勢を決定するために、ＵＡＶ１０２のプロセッサは、覆われていない点の部分集合から次の中心点を選択してよく、選択した次の中心点および選択した次の中心点のそれぞれの垂線に基づいて、次の姿勢を決定してよい。例えば、次の中心点を決定することは、スキャン対象１１０の表面からの画像センサの指定された距離、画像センサのＦＯＶが指定された距離で覆うことになる面積、連続した画像間の所望の重複量、および次の中心点と１つまたは複数の隣接する覆われた中心点との間の距離の関数として行われてよい。
[0052]いくつかの実装形態では、プロセッサは、スキャン対象１１０の全てのアクセス可能な表面の完全な被覆を得ること、姿勢に対する規則的で予測可能なパターンを有すること、および、スキャン計画の実行中のＵＡＶ１０２の効率的なナビゲーションを可能にすることなど、さまざまな懸念事項の均衡化に基づいて、全ての点を覆うためのスキャン計画を生成し得る。場合によっては、プロセッサは、スキャン計画に従ってスキャン対象１１０のスキャンを開始する前に前もってスキャン計画全体を決定してよい。他の例では、プロセッサは、スキャン計画の第１の部分を決定してよく、次いで、スキャン計画の第１の部分を実行している間にスキャン計画の残りの部分を決定してよい。さらに、プロセッサは、スキャン計画の実行中に受信された新たなセンサデータに基づいて、スキャン計画の実行中に３Ｄモデルおよびスキャン計画を動的に更新するように構成されてよい。１つの例として、スキャン計画の実行中に障害物に遭遇する場合、プロセッサは、障害物との衝突を回避するなどのために、障害物の場所に基づいてスキャン計画を動的に更新してよい。
[0053]場合によっては、スキャン計画および３Ｄモデルは、飛行中に繰り返し更新されてよい。例えば、上述されるように、ＵＡＶ１０２は、ＴＳＤＦによって規定された低解像度３Ｄモデルに対応する表面上の表面被覆を確実にするように最初のスキャン計画を決定してよい。ＵＡＶ１０２は、ＵＡＶ１０２がスキャン計画をナビゲートする際に決定される追加の範囲距離測定に基づいて３Ｄモデルを更新し続けながら、最初のスキャン計画の少なくとも一部をトラバースしてよい。したがって、３Ｄモデルに関する表面情報の精度は、ＵＡＶ１０２がスキャン計画をナビゲートする際に改善され続ける場合がある。３Ｄモデルの更新に基づいて、スキャン計画では、先に含まれなかった新たな点を覆うこと、または障害物などを回避することなどが動的に更新されてよく、これによって、３Ｄモデルのさらなる更新およびスキャン計画のさらなる更新などがもたらされ得る。
[0054]いくつかの例では、３Ｄモデルは、３Ｄ点群を含んでよく、スキャン中に撮られる画像から決定される範囲は、高解像度３Ｄモデルを提供するために、より多くの点を３Ｄ点群に追加するために使用されてよい。さらに、いくつかの例では、メッシュ３Ｄモデルは、知られている３Ｄモデリング技法を使用する３Ｄ点群などに基づいて生成されてよい。その上、少なくとも低解像度３Ｄモデルは、コントローラ１０４を通して、またはＵＡＶ１０２と通信できる他のコンピューティング装置を通して、ユーザ１０８などのユーザによって観測するために即座に利用可能にされてよい。１つの例として、ユーザ１０８は、スキャン対象１１０の全ての所望の部分がスキャン中に取得されていることを確実にするために、および／または、欠けている画像もしくは他の欠けている情報を有する任意のエリアの再スキャンを指定するために、３Ｄモデルを精査してよい。３Ｄモデルのユーザの精査が、ＵＡＶ１０２が依然空中にある間または着陸後などに、実地において、例えば、現場すぐの所で行われ得るため、この能力によって、その後になって追加のスキャンを実行するためにスキャン対象１１０の現場に戻らなければならない必要性をなくすことができる。
[0055]さらに、いくつかの例では、複数のＵＡＶ１０２は、スキャン対象１１０を同時にスキャンするために使用されてよい。例えば、複数のＵＡＶ１０２は、スキャン対象１１０を部分に分けるために互いに通信してよく、それぞれが、スキャン対象１１０の指定された部分をスキャンしてよい。いくつかの例では、ＵＡＶ１０２のうちの１つは、最初に、スキャン対象１１０全体の低解像度３Ｄモデルを構築してよく、一方他の例では、それぞれのＵＡＶ１０２は、スキャン対象１１０の少なくともこれ自体の指定された部分のこれ自体の低解像度３Ｄモデルを構築してよい。さらに、いくつかの例では、それぞれのＵＡＶ１０２は、スキャン対象１１０のこれ自体の指定された部分に対するこれ自体のスキャン計画を計算しかつ実行してよい、または代替的には、ＵＡＶ１０２のうちの１つは、スキャン計画を決定してよく、かつスキャン計画を他のＵＡＶ１０２に提供してよい。さらに別の代替策として、他の例では、リモートコンピューティング装置（例えば、コントローラ１０４またはモバイル装置）は、低解像度３Ｄモデルを構築してよい、および／またはスキャン計画を決定してよい。
[0056]図２は、いくつかの実装形態によるスキャン対象のスキャンを実行することができるＵＡＶ１０２の上側の例示の構成を示す。ＵＡＶ１０２は、１つまたは複数の推進メカニズム２０２を含んでよい。この例では、４つの推進メカニズム２０２が含まれ、それぞれがプロペラ２０６を回転させるためのモータ２０４を含んでいる。１つの例として、ＵＡＶ１０２は示されるようなクワッドコプタドローンであり得るが、本明細書における実装形態は、ＵＡＶ１０２に対する任意の特定の構成に限定されない。
[0057]さらに、ＵＡＶ１０２は、可視光、赤外光、および／または場合によっては、周囲の画像を取得するための他の波長の電磁放射を検知することが可能であり得るカメラなどの１つまたは複数の画像センサを含んでよい。示される例では、画像センサは、安定した、ぼけが少ない画像取得および物体追跡をサポートするためにジンバル２１０上に装着された高解像度の画像センサ２０８を含む。例えば、画像センサ２０８は、スキャン計画の実行中にスキャン対象の表面の高解像度スキャンに使用されてよい。
[0058]ＵＡＶ１０２は、ＵＡＶ１０２の本体２２０の上側２１８付近で間隔があけられた複数の低解像度画像センサ２１２、２１４、および２１６も含む。１つの例として、画像センサ２１２、２１４、および２１６は、広範なＦＯＶおよび立体コンピュータビジョンをサポートする能力を提供するために各々の魚眼レンズによって覆われてよい。
[0059]ＵＡＶ１０２は、（図２には示されない）１つまたは複数の搭載プロセッサも含む。例えば、ＵＡＶ１０２は、図４に関して以下にさらに論じられるような電子部品およびハードウェア構成を含んでよい。プロセッサは、画像処理、コンピュータビジョン、ナビゲーション、スキャン対象のスキャン、および３Ｄモデル構築などを行うために、画像センサ２０８、２１２、２１４、および２１６から画像を受信してよい。
[0060]図３は、いくつかの実装形態によるスキャン対象のスキャンを実行することができるＵＡＶ１０２の底部側の例示の構成を示す。この観点から、ＵＡＶ１０２の本体２２０の底部側３０８に配置されたさらに３つの画像センサ、すなわち、画像センサ３０２、画像センサ３０４、および画像センサ３０６が可視である。画像センサ３０２、３０４、および３０６はまた、広範な視野を提供するために各々の魚眼レンズによって覆われてよく、かつ立体コンピュータビジョンをサポート可能であってよい。いくつかの例では、低解像度画像センサ２１２、２１４、２１６、３０２、３０４、および３０６は、高解像度のローカリゼーションならびに障害物の検出および回避のための視覚慣性オドメトリ（ＶＩＯ）を可能にしてよい。さらに、画像センサ２０８、２１２、２１４、２１６、３０２、３０４、および３０６のいくつかまたは全ては、スキャン対象の３Ｄモデルの構成を決定するためにＴＳＤＦに提供される範囲データを得るためにスキャン対象をスキャンするために使用されてよい。
[0061]ＵＡＶ１０２は、例えば、図５に関して以下にさらに論じられるように、ドッキングステーション１０６のＵＡＶ支持体上に自律的に着陸するように構成されてよい。ＵＡＶ１０２は、ＵＡＶ１０２の底部側３０８で本体２２０に取り付けられる電池パック３１０における電池も含む。電池パック３１０は、ＵＡＶ１０２がドッキングステーション１０６のＵＡＶ支持体上で支持される時に電池の充電ができるようにするための外部導電接点３１２を含む。例えば、電池パック３１０は、テーパ状になっており、かつドッキングステーション１０６のＵＡＶ支持体内に収まるような形になっていてよい。電池パック３１０の底面３１４はＵＡＶ１０２の最底面である。
[0062]以下に図５に関して説明される技法は、ドッキングステーション１０６のＵＡＶ支持体上にＵＡＶ１０２を着陸させるために使用され得る。例えば、ＵＡＶ１０２がＵＡＶ支持体上に着陸すると、電池パック２４０の底部は、ＵＡＶ支持体に接触し得、かつＵＡＶ支持体のテーパ状側面によって、ＵＡＶ支持体の底部において中心となる場所に機械的に案内され得る。着陸が完了する時、電池パック３１０の外部電気接点３１２はＵＡＶ支持体上の電気接点と接触し得ることで、ＵＡＶ１０２の電池の充電を可能にするための電気接続がなされる。例えば、ドッキングステーション１０６は、ＵＡＶ１０２がＵＡＶ支持体上で支持されている間に電池を充電するように構成される充電器を含んでよい。
[0063]図４は、いくつかの実装形態による例示のＵＡＶ１０２の抜粋したコンポーネントを示す。本明細書における例において、ＵＡＶ１０２は、ドローンと称されることがあり得、人間のパイロットが機内にいなくても制御された飛行が可能である任意のタイプのＵＡＶとして実装されてよい。例えば、ＵＡＶ１０２は、１つまたは複数の実行可能プログラムを実行する１つまたは複数の搭載プロセッサ４０２によって自律的に制御されてよい。さらにまたは代替的には、ＵＡＶ１０２は、例えば、人間のパイロットによって操作される、および／またはコントローラ１０４上でもしくはこれと協働して実行する実行可能プログラムによって制御される遠隔に位置するコントローラ１０４などを通して、リモートコントローラによって制御されてよい。
[0064]示される例では、ＵＡＶ１０２は、１つまたは複数のプロセッサ４０２、および１つまたは複数のコンピュータ可読媒体４０４を含む。例えば、１つまたは複数のプロセッサ４０２は、飛行、ナビゲーション、およびＵＡＶ１０２の他の機能を制御するためのソフトウェアまたは実行可能命令などを実行してよい。それぞれのプロセッサ４０２は、単一の処理ユニットまたはいくつかの処理ユニットであってよく、かつ単一のもしくは複数のコンピューティングユニットまたは複数の処理コアを含んでよい。プロセッサ４０２は、１つもしくは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、グラフィックス処理ユニット、状態機械、論理回路網、および／または動作命令に基づいて信号を操作する任意の装置として実装可能である。例えば、プロセッサ４０２は、本明細書に説明されるアルゴリズムおよび処理を実行するように具体的にプログラミングされたまたは構成された任意の適したタイプの１つまたは複数のハードウェアプロセッサおよび／または論理回路であってよい。プロセッサ４０２は、本明細書に説明される機能を実行するようにプロセッサ４０２をプログラミングすることができる、コンピュータ可読媒体４０４に記憶されたコンピュータ可読命令をフェッチしかつ実行するように構成可能である。
[0065]コンピュータ可読媒体４０４は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはその他のコードおよびデータなどの情報の記憶の任意のタイプの技術において実装される揮発性および不揮発性メモリならびに／または取り外し可能および取り外し不可能な媒体を含んでよい。このようなコンピュータ可読媒体４０４は、限定はされないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくはその他のメモリ技術、光ストレージ、ソリッドステートストレージ、磁気ストレージ、または所望の情報を記憶するために使用でき、かつコンピューティング装置によってアクセス可能である任意の他の媒体を含み得る。構成に応じて、コンピュータ可読媒体４０４は、本明細書に述べられる時、非一時的なコンピュータ可読媒体が、エネルギー、搬送波信号、電磁波、および信号自体などの媒体を除外する限りにおいて、あるタイプのコンピュータ可読記憶媒体であってよい、および／または有形的な非一時的媒体であってよい。
[0066]コンピュータ可読媒体４０４は、プロセッサ４０２によって実行可能である任意の数の機能要素を記憶するために使用されてよい。多くの実装形態では、これらの機能要素は、プロセッサ４０２によって実行可能であり、かつ実行される時、具体的には、ＵＡＶ１０２に帰属するアクションの少なくともいくつかを実行するように１つまたは複数のプロセッサ４０２を構成する命令またはプログラムを含む。コンピュータ可読媒体４０４に記憶された機能要素は、入力を受信し、かつＵＡＶ１０２のナビゲーションおよびその他の機能を制御するための処理を実行し得る車両制御プログラム４０６を含み得る。機能要素は、本明細書に記載されるスキャン対象スキャン機能の少なくとも一部分を実行するために１つまたは複数のプロセッサによって実行され得るスキャンプログラム４０８をさらに含む。さらに、機能要素は、以下にさらに論じられるように、モバイル装置またはコントローラ１０４などのユーザ装置にＵＡＶ１０２によって提供され得るウェブアプリケーション４０９を含んでよい。例えば、ウェブアプリケーションは、ユーザがＵＡＶ１０２の現在の視点の画像を受信し、対象のスキャン中にＵＡＶ１０２のスキャン進行状況を観測し、スキャンされた画像および３Ｄモデルなどを受信することができるようにするためなど、ユーザ装置上のブラウザ上で実行してよい。
[0067]さらに、コンピュータ可読媒体４０４は、本明細書に説明されるナビゲーションおよびスキャン動作を実行するために使用されるデータを記憶し得る。よって、コンピュータ可読媒体４０４は、少なくとも一時的に取得された画像４１０、センサデータ４１２、１つまたは複数の３Ｄモデル４１４、１つまたは複数のスキャン計画４１６、およびナビゲーション／追跡情報４１８を記憶してよい。さらに、ＵＡＶ１０２は、本明細書に説明されるような、多くの他の論理、プログラム、および物理コンポーネントを含んでよいが、これらは論述に関連している例に過ぎない。
[0068]ナビゲーションを支援するために、ＵＡＶ１０２は、ＵＡＶ１０２に搭載される全地球的航法衛星システム（ＧＮＳＳ）受信機４２０を含んでよい。ＧＮＳＳ受信機４２０は、全地球測位衛星（ＧＰＳ）システム、ロシアの全地球的航法衛星システム（ＧＬＯＮＡＳＳ）、中国の北斗衛星導航系統（ＢＤＳ）、欧州連合のガリレオシステム、日本の準天頂衛星システム（ＱＺＳＳ）、および、インド地域航法衛星システム（ＩＲＮＳＳ）などのＧＮＳＳの１つまたは複数の衛星から信号を受信できるようにしてよい。
[0069]ＵＡＶ１０２は、慣性測定装置（ＩＭＵ）４２２をさらに含んでよい。いくつかの例では、ＩＭＵ４２２は、１つまたは複数の加速度計を使用して直線加速を検出し、かつ１つまたは複数のジャイロスコープを使用して回転速度を検出するように構成されてよい。１つの例として、ＩＭＵ４２２は、加速および高度などの出力を提供するためにジャイロスコープおよび加速度計からの入力を処理するための３軸ジャイロスコープ、３軸加速度計、および埋め込みプロセッサを有する自給式であってよい。例えば、ＩＭＵ４２２は、ジャイロスコープおよび加速度の組み合わせなどを使用することによって、ＵＡＶ１０２に関する速度、加速、方位、および重力を測定かつレポートし得る。さらに、ＵＡＶ１０２は、磁気計、気圧計、近接センサ、ライダー、レーダー、超音波、または当技術分野で知られているさまざまな他のタイプのセンサのいずれかなどの他のセンサ４２４を含んでよい。
[0070]さらに、ＵＡＶ１０２は、１つまたは複数の通信インターフェース４２６、１つまたは複数の飛行コントローラ４２８、１つまたは複数の推進装置２０２、画像取得システム４３０、１つまたは複数の画像センサ４３２、１つまたは複数の安定化および追跡装置４３４、画像送信システム４３６、入力／出力（Ｉ／Ｏ）装置４３８、ならびに電力システム４４０を含んでよい。ＵＡＶ１０２に含まれるコンポーネントは、（図示されない）１つもしくは複数の通信バスまたは信号線などによって、少なくとも１つまたは複数のプロセッサ４０２と通信できるようにしてよい。
[0071]ＵＡＶ１０２は、図４の例に示されるよりも多いもしくは少ないコンポーネントを含んでよい、機能ユニットとして２つ以上のコンポーネントを組み合わせてよい、またはコンポーネントの異なる構成もしくは配置を有してよい。図４に示される例示のＵＡＶ１０２のさまざまなコンポーネントのいくつかは、１つまたは複数の信号処理および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェア両方の組み合わせで実装されてよい。
[0072]先に説明したように、推進装置２０２は、モータ２０４およびプロペラ２０６を備えてよい。プロペラ２０６は、固定ピッチであってよく、または代替的には、（例えば、ジンバルメカニズムを使用して変化する）可変ピッチプロペラを含んでよい。代替的には、推進装置２０２は、１つもしくは複数の可変ピッチジェットエンジン、または、力を与える効果を有する任意の他の方式の推進装置および付随のアクチュエータを含んでよい。推進装置２０２は、例えば、それぞれのプロペラの速度を変化させるための飛行コントローラ４２８によって制御されるまたはこれに含まれる電子速度コントローラによって加えられるスラストを変化させるためのコントローラを含んでよい。
[0073]飛行コントローラ４２８は、車両制御プログラム４０６から入力データ（例えば、センサデータ、画像データ、生成された軌道、または他の命令）を受信し、データおよび／または命令を解釈し、ならびにＵＡＶ１０２の推進装置２０２に制御信号を出力するように構成されるハードウェアおよび／またはソフトウェアの組み合わせを含んでよい。代替的にはまたはさらに、飛行コントローラ８２４は、別のコンポーネントまたは装置（例えば、プロセッサ４０２および／またはリモートコンピューティング装置もしくはコントローラ１０４）によって生成された制御コマンドを受信し、それらの制御コマンドを解釈し、およびＵＡＶ１０２の推進装置２０２に対する制御信号を生成するように構成されてよい。いくつかの実装形態では、先に述べたＵＡＶ１０２の車両制御プログラム４０６は、飛行コントローラ４２８、および／またはＵＡＶ１０２の他のコンポーネントの任意の１つもしくは複数を含んでよい。代替的には、飛行コントローラ４２８は、車両制御プログラム４０６と別個のコンポーネントとして存在し得る。
[0074]通信インターフェース４２６は、電磁信号の形態などの通信信号の送信および受信を可能にし得る。電磁通信信号の送信および受信は、銅線ケーブル布線もしくは光ファイバケーブル布線などの物理媒体上で実行されてよい、または例えば、無線周波数（ＲＦ）受信機を介して無線で実行されてよい。いくつかの実装形態では、通信インターフェース４２６は、（図４には示されない）ＲＦ回路網を含んでよい。このような実装形態では、ＲＦ回路網は、電気信号を電磁信号に／電磁信号から変換し、かつ電磁信号を介して通信ネットワークおよび他の通信装置と通信してよい。ＲＦ回路網は、限定はされないが、アンテナシステム、ＲＦ送受信機、１つまたは複数の増幅器、同調器、１つまたは複数の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、およびメモリなどを含む、これらの機能を実行するための知られている回路網を含んでよい。ＲＦ回路網は、（パブリック、プライベート、ローカル、およびワイドエリアを含む）通信ネットワーク上のデータの送信および受信を容易にし得る。例えば、通信は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはインターネットなどのネットワークのネットワーク上のものであってよい。
[0075]通信は、（例えば、イーサネットを介して）有線伝送媒体上でまたは無線で容易にされ得る。無線通信は、携帯電話無線ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ、例えば、Ｗｉ－Ｆｉ）、および／またはメトロポリタンエリアネットワーク（ＭＡＮ）、ならびに他の方式の無線通信上のものであってよい。無線通信では、限定はされないが、汎欧州デジタル移動電話通信方式（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、ＢＬＵＥＴＯＯＴＨ（登録商標）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ８０２．１１ｎおよび／またはＩＥＥＥ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸ、または、任意の他の適した通信プロトコルを含む複数の通信規格、プロトコル、および技術のいずれかを使用し得る。
[0076]通信インターフェース４２６は、１つまたは複数のネットワークなどにわたって、さまざまな他の装置との通信を可能にするための１つまたは複数のインターフェースおよびハードウェアコンポーネントを含んでよい。例えば、通信インターフェース４２６は、本明細書の他の箇所にさらに列挙されるように、インターネット、ケーブルネットワーク、セルラーネットワーク、無線ネットワーク（例えば、Ｗｉ－Ｆｉ）および有線ネットワーク（例えば、光ファイバおよびイーサネット）、ならびにＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離無線通信の１つまたは複数による通信を可能にし得る。例えば、９００ＭＨｚ、２．４ＧＨｚ、および５．８ＧＨｚは、ＵＡＶと通信するために使用される最も一般的な無線周波数であるが、本明細書における実装形態は任意の特定の周波数に限定されるものではない。
[0077]入力／出力（Ｉ／Ｏ）装置４３８は、ＵＡＶ１０２のある特定の機能と対話するあるいはこれらを動作させるために使用されてよい、物理的ボタン（例えば、プッシュボタン、ロッカボタンなど）、ＬＥＤ、ダイアル、ディスプレイ、タッチ画面ディスプレイ、およびスピーカなどを含んでよい。ＵＡＶ１０２はまた、さまざまなコンポーネントに電力供給するための電力システム４４０を含む。電力システム４４０は、電力管理システム、１つまたは複数の電源（例えば、電池、交流など）、充電システム、停電検出回路、電力変換装置または変換器、電源状態表示器（例えば、発光ダイオード（ＬＥＤ））、ならびにコンピュータ化装置における電力の生成、管理、および分散と関連付けられた任意の他のコンポーネントを含み得る。
[0078]ＵＡＶ１０２の画像取得システム４３０は、いくつかの例において図２および図３に関して上で論じた画像センサ２０８、２１２、２１４、２１６、３０２、３０４、および３０６のいくつかまたは全てに対応し得る画像センサ４３２を含んでよい。例えば、画像センサ２０８、２１２、２１４、２１６、３０２、３０４、３０６は、カメラであってよく、かつ、（静止画像および／または映像を含む）画像を取得するための１つまたは複数の光センサを含んでよい。いくつかの実装形態において、ＵＡＶ１０２は、スキャン対象の画像取得専用のいくつかのカメラ４２２と、（例えば、視覚慣性オドメトリを通して）視覚的なナビゲーションのための画像取得専用のその他のカメラとを含み得る。例えば、高解像度画像センサ２０８は、高解像度画像を取得するために使用されてよく、低解像度画像センサ２１２～２１６および３０２～３０６は、ナビゲーションおよび距離推定などのために使用されてよい。
[0079]安定化および追跡装置４３４は、ＵＡＶ１０２の動き、および／またはスキャン対象、スキャン対象上の点、もしくは物体などの追跡に基づいて、ＵＡＶ１０２の本体に対する画像センサ２０８などの画像センサの向きおよび／または位置を調節するための１つまたは複数の装置を含んでよい。このような安定化および追跡装置４３４は、図２に関して上に論じられるジンバル２１０など、機械式ジンバルまたはデジタル／機械混成ジンバルなどを含んでよい。例えば、ＵＡＶ１０２に対するスキャン対象を追跡している間、安定化および追跡装置４３４は、画像センサ２０８などのカメラの向きを調節可能であることで、スキャン対象上の点などの追跡されるスキャン対象が、ＵＡＶ１０２が動いている間の画像センサ２０８の視野（ＦＯＶ）の中心になり続けるようにする。画像送信システム４３６は、取得された映像をリモートコンピューティング装置などにリアルタイムで送信するように構成されてよい。例えば、場合によっては、画像送信システム４３６は、コントローラ１０４などと通信するために使用されたものと、別個の送信プロトコルおよび通信インターフェースを使用して画像を送信してよい。
[0080]いくつかの例では、航空機と同様に、ＵＡＶ１０２は、揚力およびナビゲーションを実現するために１つまたは複数の推進装置２０２と共に固定翼または他の空気力学的表面を利用してよい。代替的には、他の例では、ヘリコプタと同様に、ＵＡＶ１０２は、重力に逆らい、かつ揚力およびナビゲーションを実現するために、１つまたは複数の推進装置２０２を直接使用してよい。（ヘリコプタの場合のような）推進力による揚力は、いくつかの実装形態において利点をもたらし得るが、これは、固定された空気力学的表面を揚力に用いるＵＡＶと比較して、全ての軸線に沿った動きがより制御されるようにすることが可能になるからである。
[0081]図１～図４に示されるＵＡＶ１０２は、例示の目的で提供された一例である。本開示によるＵＡＶ１０２は、示されるよりも多いまたは少ないコンポーネントを含んでよい。例えば、クワッドコプタが示されているが、ＵＡＶ１０２は任意の特定のＵＡＶ構成に限定されるものではなく、本開示の利益を有する当業者には明らかであるように、ヘキサコプタ、オクトコプタ、固定翼航空機、または任意の他のタイプの独立的に操縦可能な航空機を含んでよい。さらに、スキャン対象のスキャンを実行するための自律ＵＡＶ１０２のナビゲーションを制御するための技法が本明細書に説明されているが、説明された技法は、他のタイプの車両（例えば、宇宙機、陸上車、船舶、水中船など）による案内ナビゲーションに同様に適用されてよい。
[0082]図５は、いくつかの実装形態によるＵＡＶ１０２の自律離陸、着陸、および充電を可能にするために使用され得るドッキングステーション１０６の一例を示す。ドッキングステーション１０６は、基準５０４、および電池充電器のための帯電接点５０６を有するＵＡＶ支持体５０２を含む。ドッキングステーション１０６は、扉５１０を有する矩形のボックスの形状のボックス５０８を含む。ドッキングステーション１０６は、ＵＡＶ支持体５０２を支持し、かつＵＡＶ支持体５０２が、ＵＡＶ１０２の離陸および着陸を可能にするためにボックス５０８の外側に、またはＵＡＶ１０２の格納および／もしくは補給サービスのためにボックス５０８の内側に位置付け可能にする格納式アーム５１２をさらに含む。ドッキングステーション１０６は、ボックス５０８の外側上面５１６上に第２の予備基準５１４を含む。基準５０４および予備基準５１４は、（図５には示されない）ＵＡＶ１０２によって検出され、かつＵＡＶ支持体５０２上での正確な着陸を可能にするためにドッキングステーション１０６に対するＵＡＶ１０２の視覚的ローカリゼーションに使用され得る。
[0083]ＵＡＶ支持体５０２は、ＵＡＶ支持体５０２の支持面５１８上にＵＡＶ１０２の底面３１４を受けるように構成される漏斗状のまたはその他の内向きにテーパ状の幾何学的形状を有する。ＵＡＶ支持体５０２のテーパ状側面は、着陸中に電気接点５０６をＵＡＶ１０２上の電気接点３１２と位置合わせするために、ＵＡＶ１０２の底面３１４を支持面５１８上の中心位置に機械的に案内するのに役立ち得る。例えば、電気接点５０６は、ＵＡＶがＵＡＶ支持体５０２上に位置付けられている間にＵＡＶ支持体５０２がＵＡＶ１０２の電池を充電できるようにし得る。とりわけ、ドッキングステーション１０６は、ＵＡＶ１０２がＵＡＶ支持体５０２上にある間にＵＡＶ１０２の電池を充電するように構成される（図５には示されない）充電器を含んでよい。
[0084]ボックス５０８は、（図示されない）第１の構成においてＵＡＶ支持体５０２およびアーム５１２を封入するように、ならびに、第２の構成においてＵＡＶ支持体５０２およびアーム５１２を露出するように構成され得る。ドッキングステーション１０６は、ボックス５０８の扉５１０を開放すること、およびアーム５１２を引き伸ばしてＵＡＶ支持体５０２をボックス５０８の内側からボックス５０８の外側に移動させることを含むステップを実行することによって、第１の構成から第２の構成に自動的に移行するように構成されてよい。
[0085]アーム５１２が引き伸ばされる時、ＵＡＶ支持体５０２はドッキングステーション１０６のボックス５０８から離れて位置付けられ、これによって、着陸中のＵＡＶ１０２のプロペラからのプロペラの後流が低減または防止可能であるため、着陸動作が簡略化される。アーム５１２は、離陸および着陸中のプロペラの後流の問題をさらに軽減するためにプロペラの後流を向け直すための空気力学的カウリングを含んでよい。ドッキングステーション１０６は、ＵＡＶ１０２の自動着陸および充電を可能にし得る。
[0086]例えば、基準５０４は根本的基準であってよく、予備基準５１４は、ＵＡＶ１０２がドッキングステーション１０６に近づくと距離が遠くなることによる視覚ローカリゼーションを容易にするために、ルート基準５０４より大きい場合がある。例えば、予備基準３２２は、ＵＡＶ１０２の画像センサが取得した予備基準５１４の画像に基づいて、ＵＡＶ１０２に対する予備基準５１４の姿勢（すなわち、位置および向き）の検出および決定を可能にする非対称パターンを含んでよい。例えば、ＵＡＶ１０２のプロセッサ（例えば、プロセッサ４０２）は、ＵＡＶ１０２の画像センサを使用して取得された少なくとも１つの画像において予備基準５１４を検出するように構成されてよい。プロセッサ４０２は、少なくとも１つの画像に基づいて予備基準５１４の姿勢を決定してよく、予備基準の姿勢に基づいて、推進メカニズムによって、ＵＡＶ支持体５０２の近辺における第１の場所まで、ＵＡＶ１０２を飛行させてよく、ＵＡＶ１０２はＵＡＶ支持体５０２上に狙いを定めかつそこに着陸する基準５０４を同様に検出し得る。
[0087]ドッキングステーション１０６は、ＵＡＶ１０２の自動着陸および充電を可能にしてよく、これはさらにまた、スキャンするための複数の電池パックを必要とする大型のスキャン対象（例えば、大規模な建設現場、橋、建物など）のユーザが介入しない自動スキャンを可能にし得る。例えば、スキャン計画の実行を開始後、およびスキャン計画の完了前、ＵＡＶ１０２が電池を充電するためにまたは電池を取り替えるためにドッキングステーション１０６に戻る必要がある時、ＵＡＶ１０２は、スキャン計画に従って実行される必要があるスキャン計画の一連の姿勢の次の姿勢を示すスキャン計画状況を記憶可能である。スキャン計画状況を記憶後、ＵＡＶ１０２は、ＵＡＶ１０２をドッキングステーション１０６のＵＡＶ支持体５０２上に着陸させるために飛行させるように推進メカニズムを制御する。着陸後、ＵＡＶ１０２は、電池が少なくとも閾値量まで充電されることが示されるまで待機してよい。
[0088]さらに、いくつかの例では、充電中、ＵＡＶ１０２は、任意の不完全な画像処理タスク、３Ｄモデル更新、および／または飛行中にまだ実行されていない場合があるスキャン計画更新を行ってよい。さらに、充電中、ＵＡＶ１０２は、任意の画像、現在の３Ｄモデル、および／または他のデータの、コントローラ、モバイル装置、もしくはサーバコンピューティング装置への転送を行ってよい。充電閾値に達した後、ＵＡＶ１０２は、ＵＡＶ１０２にＵＡＶ支持体５０２からの離陸を行わせるように推進メカニズムを制御し、かつスキャン計画状況にアクセスしてよく、および、スキャン計画状況に基づいて、ＵＡＶ１０２に次の姿勢を取るために飛行させ、かつスキャン計画の実行を継続させるように推進メカニズムを制御する。さらに、いくつかの例では、ＵＡＶ１０２は、充電前または充電中にスキャン計画の更新を行っていてもよく、その場合ＵＡＶ１０２は、スキャン計画状況として記憶された次の姿勢に進むのではなく、更新されたスキャン計画に従って新たなまたは異なる姿勢を取ってよい。
[0089]いくつかの実装形態では、ＵＡＶ１０２をＵＡＶ支持体５０２上に着陸させるように推進メカニズムを制御することは、ＵＡＶを保持するように構成されるＵＡＶ支持体５０２を含むドッキングステーション１０６の近辺における第１の位置までＵＡＶ１０２を飛行させるようにＵＡＶ１０２の推進メカニズムを制御することであって、ＵＡＶ支持体５０２はＵＡＶ支持体５０２上に基準５０４を含み、ドッキングステーション１０６はドッキングステーション１０６上に第２の基準５１４を含む、推進メカニズムを制御することと、ＵＡＶ１０２の画像センサを使用して取得された１つまたは複数の画像にアクセスすることと、１つまたは複数の画像のうちの少なくとも１つの画像において第２の基準５１４を検出することと、１つまたは複数の画像に基づいて第２の基準５１４の姿勢を決定することと、ＵＡＶ１０２を、ドッキングステーション１０６の近辺における第２の場所まで飛行させるようにＵＡＶ１０２の推進メカニズムを制御することと、ＵＡＶ１０２の画像センサを使用して取得された１つまたは複数の画像にアクセスすることと、１つまたは複数の画像のうちの少なくとも１つにおける基準５０４を検出することと、１つまたは複数の画像に基づいて基準５０４の姿勢を決定することと、基準５０４の姿勢に基づいて、ＵＡＶ１０２をＵＡＶ支持体５０２上に着陸させるように推進メカニズムを制御することと、を含む。
[0090]自動着陸すること、ＵＡＶ１０２がＵＡＶ支持体５０２上にある間にドッキングステーション１０６に含まれる充電器を使用してＵＡＶ１０２の電池を充電すること、次いで、ＵＡＶ１０２が中止した姿勢でスキャン計画を再開することのための上述した技法は、ユーザの介入なく自律的にスキャンされ得るスキャン対象のサイズを大幅に増大させることができる。したがって、本明細書におけるドッキングステーション１０６は、自動着陸、充電、離陸、および、ＵＡＶ１０２による自動ミッション計画および実行を可能にする。いくつかの実装形態は、そのようなシステムの信頼できる動作を可能にし、かつシステムが多種多様なコンシューマアプリケーションおよび商用アプリケーションにアクセスできるようにする関連したアプリケーションプログラミングインターフェース（ＡＰＩ）設計を含んでよい。
[0091]図６は、いくつかの実装形態によるＵＡＶ用のコントローラ１０４の一例を示す。コントローラ１０４は、ＵＡＶ１０２を制御し、かつＵＡＶ１０２から受信されたデータ（例えば、画像）を精査するためのグラフィックユーザインターフェース６０２を提供し得る。コントローラ１０４は、ＵＡＶ１０２のステータスを制御しかつ観測するための仮想制御およびステータスインジケータを提供し得るタッチ画面６０４を含む。例えば、カメラ設定仮想制御６０８は、ユーザが、ＵＡＶ１０２上の少なくとも高解像度画像センサ２０８の解像度および他の設定を制御できるようにしてよい。さらに、電池充電レベルインジケータ６１０は、ＵＡＶ１０２上の電池の現在の状態を示す。信号強度インジケータ６１２は、ＵＡＶ１０２との通信の現在の信号強度を示し得る。設定仮想制御６１４は、ユーザがコントローラ１０４の設定を制御できるようにしてよい。また、マップ仮想制御６１６は、ユーザがマップ上のＵＡＶ１０２の場所を観測することができるようにしてよい。ホーム仮想制御６１８は、ユーザがユーザインターフェース６０２のホーム画面に戻ることができるようにしてよい。記録仮想制御６２０は、ユーザが、画像センサ２０８の視野において現在の光景の記録を手動で開始または停止できるようにしてよい。スキル仮想制御６２２はユーザがスキル設定を制御できるようにしてよい。ケーブルカム仮想制御６２４は、ユーザが、ＵＡＶが移動する２つの地点の間の特定の進路を設定できるようにしてよい。
[0092]さらに、ユーザインターフェースは、タッチ画面６０４上に提示される高解像度画像センサ２０８の現在の視野の画像６２６（例えば、ライブビデオ画像）を含んでよい。この例では、提示された画像が図１に関して上で論じられたスキャン対象１１０を含むと仮定する。複数のさらなる仮想制御６３０は、画像６２６に重ね合わせられてよく、かつ、図７に関して以下にさらに論じられるようなさらなる機能を提供し得る。
[0093]この例では、タッチ画面６０４は、スマートフォン、タブレットコンピューティング装置、または、コントローラ付属品６３４を使用してコントローラ１０４に装着可能である他のコンピューティング装置などのモバイル装置６３２の一部分である。コントローラ１０４は、左ジョイスティック６３８、右ジョイスティック６４０、ホームボタン６４２、発進／着陸ボタン６４４、コントローラ１０４のステータスを示すＬＥＤステータスインジケータ６４６、および、ここでは不可視の他の物理的制御などの複数の物理的制御を含むコントローラ本体６３６をさらに含んでよい。いくつかの例では、Ｗｉ－Ｆｉアンテナは、コントローラ付属品６３４に含まれてよく、それによって、コントローラ１０４は、モバイル装置６３２だけで可能であり得るＵＡＶ１０２とのより長い距離の通信のための通信範囲拡張能力を提供し得る。
[0094]１つの例として、モバイル装置６３２（または、ＵＡＶ１０２から遠く離れた別のコンピューティング装置）は、モバイル装置６３２のプロセッサ上のアプリケーションを実行してよい。１つの例として、アプリケーションは、図４に関して上に論じられるウェブアプリケーション４０９を実行するブラウザを含んでよい。ウェブアプリケーション４０９は、ＵＡＶ１０２によってモバイル装置６３２に供給されあるいは提供され得る。場合によっては、ウェブアプリケーション４０９または別のアプリケーションは、上に論じられるユーザインターフェース６０２を提供してよく、かつ、ＵＡＶ１０２との通信を可能にすること、およびＵＡＶ１０２の遠隔制御を可能にすることなど、モバイル装置６３２に関して本明細書に説明される他の機能性を提供してよい。また、場合によっては、モバイル装置６３２は、アプリケーションによって、ＵＡＶ１０２から受信される画像および場所情報に基づいてスキャン対象の低解像度３Ｄモデルを生成するように、および／または、スキャン対象のためのスキャン計画を生成するように構成されてよい。さらに、場合によっては、アプリケーションは、ＢＬＵＥＴＯＯＴＨ（登録商標）無線などなどを介してコントローラ１０４へのモバイル装置６３２の無線接続を可能にしてよい。
[0095]いくつかの実装形態において、本明細書におけるいくつかの例において、そうでない場合はＵＡＶ１０２によって実行される場合がある処理の一部（例えば、画像処理および制御機能）は、その代わりに、コントローラ１０４のプロセッサ、またはモバイル装置６３２などのＵＡＶ１０２から遠く離れた別のコンピューティング装置上で実行しているアプリケーションによって行われてよい。したがって、場合によっては、低解像度３Ｄモデルおよび／またはスキャン計画の生成は、ＵＡＶ１０２によって実行される代わりにコントローラ１０４またはモバイル装置６３２によって実行されてよい。このような場合、リモートコンピューティング装置１０４または６３２は、ＵＡＶ１０２によって提供される画像コンテンツを使用して双方向通信機能を提供し得る。例えば、図１５～図２３の処理のさまざまなステップは、ＵＡＶ１０２と通信しているリモートコンピューティング装置（例えば、コントローラ１０４またはモバイル装置６３２）のプロセッサを使用して実施されてよい。さらに、いくつかの例では、処理負荷は、処理回数の短縮などを実現するために、ＵＡＶ１０２上のプロセッサ４０２とリモートコンピューティング装置１０４、６３２上のプロセッサとの間で配分されてよい。本明細書における本開示の利益を有する当業者には、多数の他の変形が明らかとなるであろう。
[0096]図７は、いくつかの実装形態によるスキャンされるスキャン対象を選択することの一例７００を示す。この例では、画像６２６は、図１に関して上に論じられるスキャン対象１１０の画像を表示するコントローラ１０４のユーザインターフェース６０２に提示される図６に関して上に論じられる画像６２６に対応し得る。この例では、ユーザが、図１に関して上に論じられる建物１１２をＵＡＶ１０２にスキャンさせることを望んでいると仮定する。したがって、ユーザは、所望のスキャン対象１１０の取得される画像を選択してよく、かつユーザがスキャン対象１１０を指定できるようにするために新たな境界ボリューム７０２をユーザインターフェース６０２に提示させるようにユーザインターフェース６０２を操作してよい。例えば、仮想制御６３０は、スキャンされるスキャン対象１１０を含むボリュームを指定するための境界ボリューム７０２を制御するためにユーザによって使用されてよい「新」７０４、「設定」７０６、「元に戻す」７０８、および「完了」７１０などの仮想制御を含んでよい。例えば、上に論じられるように、ＵＡＶ１０２は、ユーザインターフェース６０２においてユーザによって指定される境界ボリューム７０２内の任意の構造の完全自律スキャンを実行するように構成されてよい。
[0097]この例では、コントローラ１０４のユーザインターフェース６０２は、スキャン対象１１０を選択するために境界ボリューム７０２を使用して３Ｄボリュームを指定するために使用されてよい。例えば、境界ボリューム７０２は、指７１４などでタッチ画面６０４にタッチすることなどによってユーザによって移動可能である複数のハンドル７１２を有する立方形または他の３Ｄ形状であってよい。ハンドル７１２を移動させることによって、ユーザは、ユーザインターフェース６０２における３Ｄボリュームの場所を指定するための境界ボリューム７０２の縁部７１６の場所を操作してよい。
[0098]代替的には、他の例では、ユーザは、立方形の境界ボリュームのサイズおよび形状を規定するための中心点の方へまたはこれから離れて移動させるように立方形の境界ボリュームの側面のいずれかを選択してよい。例えば、ユーザは、立方形の中心の方へまたはこれから離れて拡張するように立方形の１つのまたは対向する対の側面をタップあるいは選択してよい。さらに別の例として、ユーザは、境界ボリュームに対する幅、奥行き、高さ、および回転の規模を指定することなどによって、境界ボリュームの規模を手動で指定してよい。さらに、立方形は、論述の目的で境界ボリュームの形状として示されているが、本明細書における実装形態は任意の特定の形状に限定されない。さらに、境界ボリュームのサイズおよび形状を調節するための多数の他の変形は、本開示の利益を有する当業者には明らかであろう。
[0099]ユーザがスキャン対象１１０の所望の一部を包含するように境界ボリューム７０２を位置付けている時、ユーザは、スキャン対象１１０に対して境界ボリューム７０２の位置を設定するために「設定」仮想制御７０６を選択してよい。さらに、ユーザは、画像取得解像度、ならびに、実行されるスキャンのためのスキャン対象１１０からの指定された距離、および取得される画像の重複量などの他のスキャンパラメータを指定するためにユーザインターフェース６０２をさらに使用してよい。
[00100]いくつかの例では、境界ボリューム７０２上の縁部７１６および／またはハンドル７１２（隅）の場所は、ＵＡＶ１０２によって世界基準系におけるナビゲーションに使用されてもよいグローバル座標系におけるグローバル座標と相関関係があってよい。1つの例として、世界基準系は、局所的に線形化したＧＮＳＳ座標系に対応する場合があり、起点は所与のＧＮＳＳ座標のセット（すなわち、緯度、経度、高度）に対応する。したがって、ＵＡＶ１０２は、境界ボリューム７０２によって示される実世界ボリュームの場所を決定するために、境界ボリューム７０２の場所を実世界の緯度、経度、および高度の座標に相関させることができてよい。さらにまたは代替的には、ＵＡＶ１０２は、ナビゲーションを実行してよく、かつこの空間における場所、ひいては、離陸地点に基づく、さらにＩＭＵおよび磁気計などからの入力に基づく、スキャン対象１１０の表面の場所を決定してよい。
[00101]選択された境界ボリューム７０２に基づいて、ＵＡＶ１０２は、最初に、スキャン対象１１０のラフな低解像度３Ｄモデルを生成するためにスキャン対象１１０の最初の低解像度スキャンを実行してよい。以下にさらに論じられるように、ＵＡＶ１０２は、次いで、低解像度３Ｄモデルに基づくスキャン計画を決定してよく、かつ、指定された画像取得パラメータを使用して境界ボリューム７０２内のスキャン対象１１０の全ての表面を覆うことを試みるようにスキャン計画に対して決定された姿勢に基づいて、スキャン対象１１０をスキャンすることに進んでよい。場合によっては、画像取得を実行するための画像取得パラメータおよび姿勢は、取得されたスキャン対象１１０の高品質３Ｄ再構成を確実にするために適応的に決定されてよい。例えば、ユーザインターフェース６０２は、異なる解像度における異なるタイプのスキャン対象またはスキャン対象の異なる部分、例えば、低解像度／遠距離の木、最高解像度／近距離のコンクリート、中解像度／中距離の鉄骨、最高解像度／近距離のボルトまたはその他の締め具などを取得するためのセマンティックセグメンテーションを指定するためにさらに使用されてよい。いくつかの例では、これらの異なる解像度は、ある特定のタイプのスキャン対象などに対するデフォルトの設定として前もって設定されてよい。例えば、ＵＡＶ１０２に搭載された実行可能な機械学習モデルは、スキャン対象の上述される異なる部分を認識するようにトレーニングされてよく、かつ、特定の認識されている対象部分に対する推奨されるスキャン距離および画像解像度を自動的に提供してよい。
[00102]さらに、いくつかの例では、スキャン中に取得される取得画像は、ＵＡＶ１０２上で実行してよいニューラルネットなどの機械学習モデル、リモートコンピューティング装置（コントローラ１０４またはモバイル装置６３２）、またはクラウドサーバなどの別のコンピューティング装置に提供されてよい。例えば、機械学習モデルは、（例えば、スキャン中に）リアルタイムでスキャン対象１１０における損傷、腐食、またはその他の問題点を検出するように構成されてよく、かつ、ある問題点が検出される時、より高い解像度またはより近い距離などでより綿密な検査を無人航空機に実行させてよい。取得が実行されていると、ユーザインターフェース６０２は、リアルタイムで更新され得るため、ユーザは、所望のエリア上で、かつ、所望の解像度、角度、および選択されたスキャン対象からの距離などの所望のパラメータに従って実行されていると決定することができる。
[00103]図８は、いくつかの実装形態によるスキャン対象を選択する一例８００を示す。この例では、図７と同様に、画像６２６は、スキャン対象１１０の画像を表示するコントローラ１０４のユーザインターフェース６０２に提示される図６に関して上に論じられる画像６２６に対応し得る。この例では、ユーザが図１に関して上に論じられる建物１１２をＵＡＶ１０２にスキャンさせることをユーザが望んでいると仮定する。したがって、ユーザは、所望のスキャン対象１１０の取得される画像を選択してよく、かつ、スキャン対象１１０をＵＡＶ１０２に対して指定するために、スキャン対象またはスキャン対象１１０の一部の周りに多角形または他の２Ｄ形状８０２を描くようにユーザインターフェース６０２を操作してよい。
[00104]この例では、ユーザは、ＵＡＶ１０２にスキャン対象１１０を示すためにユーザインターフェース６０２におけるあるエリアを指定してよい。例えば、ユーザは、スキャン対象１１０の周りに多角形の外周（すなわち、境界線）を描くために少なくとも３つの基準点またはハンドル８０４を使用してよい。ＵＡＶ１０２は、指定された外周内のスキャン対象１１０を調査するように構成されてよく、いくつかの例では、指定された外周に対応する検出されたスキャン対象の周りにプリズムのボリュームを提示してよい。例えば、ユーザは、ＵＡＶがスキャンを開始する前に、表面までの距離および他のスキャンパラメータを調節できるようにしてよい。
[00105]さらに、図８の例において多角形が示されているが、他の例では、スキャン対象の周りにまたはスキャン対象上に外周を作成するための任意の他の技法が使用されてよい。例えば、本明細書における本開示の利益を有する当業者には明らかであるように、ユーザは、画像６０２におけるスキャン対象上にまたはスキャン対象の周りに円形、楕円形、不規則な線などを描いてよい。
[00106]図９は、いくつかの実装形態によるスキャン対象を選択することの一例９００を示す。この例では、ユーザは、図９に示されるように一般的に平面図画像であり得る、スキャン対象１１０の画像を得ることなどのためにスキャン対象１１０上のある位置までＵＡＶ１０２をナビゲートしてよい。別の例として、ユーザは、スキャン対象１１０の指定された座標をＵＡＶ１０２に提供してよく、ＵＡＶ１０２は自身を、スキャン対象１１０の画像を得るために指定された座標までナビゲートしてよい。別の例として、ユーザは、緯度および経度情報と共にユーザインターフェース６０２に提供され得るスキャン対象の衛星画像または他の先に獲得された空中画像を使用してよい。
[00107]この例では、外周９０４を描くための基準点９０２は、概念上は柱に対応し得、これは、ＵＡＶ１０２がまた、床と、柱の高さに対応する天井との間の垂直面をスキャンすることをＵＡＶ１０２に示し得る。例えば、スキャン対象１１０の基部に隣接する地表は、スキャン対象１１０の側視を使用して天井の高さを手動入力することまたは調節することのどちらかによって、ユーザによって調節され得る柱に対するデフォルトの床であってよい。よって、ユーザが地表まで通してスキャンすることを望まない場合、ユーザは床を上方に調節してよい。さらに、スキャンする天井（すなわち、上限）はまた、ユーザによって指定されてよい。したがって、柱はスキャンが行われる範囲内のボリュームを規定するために使用され得るが、スキャン対象の平面図または他の図は、場合によっては、スキャン対象および境界ボリュームを示すのに十分であり得る。さらに、論述の目的でスキャン対象１１０の平面図で使用されている基準点９０２が示されているが、本明細書における実装形態はこれらに限定されるものではなく、柱は、スキャン対象の側面図または底面図で使用され得る。
[00108]さらに、この例および図７の例における技法は、ＵＡＶ１０２が進入を許可されない飛行禁止区域を指定するためにも使用されてよい。例えば、スキャン対象が橋である場合、橋の上面は、ＵＡＶ１０２と橋上の交通対象との起こり得る接触を回避するために飛行禁止区域と指定されてよい。例えば、上で論じられる柱に対する天井は、ＵＡＶ１０２が渡ることを許可されないジオフェンスを確立してよい。同様に、図７の境界ボリュームの１つまたは複数の表面はまた、ジオフェンスとして指定されてよい。したがって、ＵＡＶ１０２にスキャンされる対象を指定することに加えて、ユーザインターフェース６０２はまた、スキャン対象１１０の領域、または、ＵＡＶ１０２が進入可能とされないスキャン対象１１０の周りの領域を指定するために使用されてよい。
[00109]さらに、ユーザインターフェース６０２を使用して基準点９０２を移動させることを使用するための代替策として、ＵＡＶ１０２は、柱の場所または他の基準点の場所を確立するために使用されてよい。例えば、ユーザは、ＵＡＶ１０２を基準点９０２のそれぞれの場所までナビゲートしてよく、ＵＡＶ１０２が柱を確立するための所望の場所にある時、ユーザは、その場所において柱を設定するために設定ボタン７０６を選択してよい。ユーザは、柱が確立されるのが望ましいそれぞれの場所までＵＡＶ１０２をナビゲートしてよく、それによって、スキャン対象を示すための多角形９０４を指定してよい。
[00110]柱９０２の床および天井は、所望の床の高さおよび所望の天井の高さまでＵＡＶ１０２を手動でナビゲートすることによって同様に確立され得る。代替的には、デフォルトの床および天井の場所は、他の例で使用されてよい。さらに、図９について説明される２つの技法の組み合わせも使用されてよい。例えば、ユーザは、柱９０２の場所を確立するために複数の場所までＵＡＶを最初にナビゲートしてよく、ユーザは次いで、１つまたは複数の柱９０２を所望の場所にドラッグすること、または床または天井の高さを手動で入力することなどによって、ユーザインターフェース６０２を使用して、柱９０２の場所、および／または床もしくは天井の場所を調節してよい。多数の他の変形は本明細書における本開示の利益を有する当御者には明らかであろう。
[00111]図１０は、いくつかの実装形態によるスキャン対象を選択することの一例１０００を示す。１つの例として、ユーザは、ユーザインターフェース６０２に提示され得るスキャン対象１１０の画像を得るようにＵＡＶ１０２を手動でナビゲートしてよい。別の例として、ユーザは、スキャン対象１１０の指定された座標をＵＡＶに提供してよく、ＵＡＶ１０２は自身を、スキャン対象１１０の画像を得るために指定された座標までナビゲートしてよい。ユーザは、この例における屋根１１６などのスキャン対象１１０の可視の表面をタップあるいは選択してよい。
[00112]ユーザインターフェース６０２を提示するモバイル装置６３２上で実行しているアプリケーションは、ユーザがタップした表面に対応する多角形または他の２Ｄ形状１００２を提案するように構成されてよい。例えば、モバイル装置６３２上で実行しているアプリケーションは、縁部の認識、または、ユーザがタップした表面（屋根１１６）に対応する多角形などの２Ｄ形状１００２を決定するためのさまざまな他のコンピュータビジョン法のいずれかを使用してよい。これに基づいて、ユーザインターフェースは、選択された表面に重ね合わせられた多角形または他の２Ｄ形状１００２の画像を生成する。必要に応じて、ユーザは、縁部１００４と、ユーザが選択することを望んでいる選択された表面（屋根１１６）の縁部１００６とを位置合わせするためにタッチしかつドラッグするなどによって、２Ｄ形状１００４の縁部１００４を調節し得る。
[00113]いくつかの例では、ユーザは、ユーザがスキャンさせることを望んでいるスキャン対象のそれぞれの表面を選択してよい。代替的には、別の例として、ＵＡＶ１０２は、構造の１つの表面の選択に基づいて、隣接する構造全体をスキャンするように構成されてよい。例えば、構造の１つの表面の選択に基づいて、ＵＡＶは、構造の表面全てを決定するために構造を調査してよい。別の例として、モバイル装置６３２は、一般的なまたは隣接する構造を認識することができる機械学習モデルまたは他の論理を用いてよい。したがって、これらの例では、スキャン対象１１０の一部分を選択することは、スキャン対象１１０全体の選択をもたらし得る。よって、本明細書における実装形態は、スキャンする対象の一部分だけの選択を可能にし、または代替的には、構造の一部分だけの選択に基づいて、構造全体の選択などを自動化し得る。
[00114]場合によっては、ユーザインターフェース６０２を使用するユーザによって行われた選択に基づいて、スキャンするスキャン対象１１０として取得されることが望ましい構造の一部は、１００８で示されるように選択されたスキャン対象１００２を強調表示すること、選択されたスキャン対象１００２を異なる色でペイントすること、または選択されたスキャン対象１００２の輪郭を描くことなどによって、選択されているとしてユーザに対して視覚的に区別させてよい。場合によっては、適応線／エッジ検出アルゴリズムでは、３Ｄ深度データおよび／または２Ｄ外観データを使用してスキャン対象に対するＩＤシグネチャを展開してよい。さらに、拡張現実は、ユーザが、スキャン対象構造（または非スキャン対象構造）の選択の誤りまたは分類の誤りを補正できるようにするためにユーザインターフェース６０２における選択されたスキャン対象構造に属する全てのものを見せるために使用されてよい。
[00115]図１１は、いくつかの実装形態によるスキャン対象を選択することの一例１１００を示す。この例では、ユーザは、ＵＡＶ１０２によるスキャンのためのスキャン対象１１０８を選択するようにスキャン対象１１０８のエリア１１０６をペイントするために構造または他の特徴１１０４の静止画像１１０２を使用してよい。例えば、画像１１０２は、モバイル装置のユーザインターフェース６０２に提示されてよく、ユーザは、１１０６で示されるように、スキャンする構造１１０４の所望のエリアにわたってタッチ画面６０４（または非タッチディスプレイ上のマウス／カーソル）を指７１４でドラッグしてよい。
[00116]いくつかの例では、ユーザは、画像の所望のエリアを埋めるためにスクラブ動作を使用してよい。構造１１０４の外観および／または３Ｄ幾何学的形状はまた、縁部認識などに基づくエリアの自動選択などのためにペイントを拡張するおよび／または支援するために使用され得る。さらに、構造１１０４の異なるエリアは、異なる色または他の視覚的インジケータでペイントあるいは強調表示されてよく、それぞれの異なる色は、他の着色エリアのものとは異なる、これ自体のスキャンパラメータを有し得る。異なるスキャンパラメータの例は、構造表面からの異なる距離、異なる視野角、異なる取得画像の重複、または異なるカメラ解像度設定などを含んでよい。
[00117]さらに、線形構造のスキャンを指定するための別の例として、ユーザは、ユーザインターフェース６０２に提示される画像の一部における（図１１には示されない）円形を描いてよく、かつ、ＵＡＶ１０２の現在の中間域を決定してよい。これによって、ユーザは、ＵＡＶ１０２のスキャン距離（地上分解能）をロックすることができるが、依然、自律制御下、または代替的にはユーザ制御下のどちらかで横方向に飛行する。ＵＡＶ１０２が中心にある限り、平面であろうと線形であろうと、ＵＡＶ１０２は、閾値範囲（例えば、数マイル）内または閾値飛行時間内などで、中心に沿って移動している間に指定された特徴から所望の距離の範囲内にとどまるように構成されてよい。例えば、電力線、パイプ、または他の線形３Ｄ構造の検査は、ＵＡＶ１０２が電池を使い果たす前に戻ることができることを確実にするために、選択されたスキャン対象からＵＡＶ１０２までのスキャン距離、および、線形構造に沿ったＵＡＶ１０２の指定される最高閾値移動範囲を指定することだけで行われてよい。
[00118]図１２は、いくつかの実装形態によるスキャン対象を選択することの一例１２００を示す。この例では、ＵＡＶ１０２は、高い規則性を有するが、サイズ、高さ、色、または他の些細な特徴のある程度の変化を有する特定の構造の自律取得を実行するように事前構成されてよい。このような構造の例には、送電塔、ジェット旅客機、および携帯電話基地局などが含まれ得る。したがって、モバイル装置または他のコンピュータ化装置のユーザインターフェース６０２に提示される構造１２０４の画像１２０２は、実際の構造、同様の構造、または同様の構造の以前のスキャンの３Ｄモデルであってよい。ユーザは、ユーザが取得することを望んでいる画像１２０２における構造１２０４の１つまたは複数の部分をタップあるいは選択してよい。ユーザがさらに、スキャン用のスキャンパラメータを既に指定してよいまたは後に指定してよい。
[00119]選択に基づいて、ユーザには、例えば、強調表示する、輪郭を描く、またはペイントすることなどによって、取得されることになる構造１２０４の部分の視覚インジケーションがユーザインターフェース６０２において提示されてよい。さらに、場合によっては、ユーザは、追加の部分をタップする、またはある特定の部分の選択を取り消すために選択された部分をタップすることなどによって、選択された部分を調節可能であってよい。さらに、構造１２０４の異なるエリアは、異なる色または他の視覚的インジケータでペイントあるいは強調表示されてよく、それぞれの異なる色は、他の着色エリアのものと異なるこれ自体のスキャンパラメータを有してよい。異なるスキャンパラメータの例には、構造表面からの異なる距離、異なる視野角、異なる取得画像の重複、または異なるカメラ解像度設定などでスキャンすることを含んでよい。例えば、構造１２０４の主支持体１２０６は、スキャンパラメータの第１のセットを示すために第１の色で強調表示されてよく、構造１２０４のトラス１２０８は、スキャンパラメータの第２の異なるセットを示すために第２の異なる色で強調表示されてよい。
[00120]いくつかの例では、機械学習モデルなどは、スキャン対象として選択され得るさまざまな構造および構造部分の認識を行うためにユーザインターフェース６０２および／またはＵＡＶ１０２によって使用されてよい。例えば、機械学習モデルは、構造の部分の選択中に複数のユーザによって行われる選択および調節に基づいてトレーニングされ得る。スキャンを行うためにＵＡＶ１０２が飛行している間、ＵＡＶ１０２は、構造１２０４の同じ部分を認識するために、およびユーザによって指定されたやり方でこれらの部分をスキャンするために、機械学習モデルを使用してよい。さらに、ユーザインターフェースと対話するためのいくつかの例示のユーザインターフェースおよび技法は、本明細書においてスキャンするスキャン対象を選択するように説明されているが、本明細書における実装形態は提供される例に限定されるものではなく、本明細書における本開示の利益を有する当業者には明らかであるように、スキャンするスキャン対象を指定するためのさまざまな他の技法が使用されてよい。
[00121]図１３は、いくつかの実装形態による、生成され得る低解像度３Ｄモデル１３００の一例を示す。例えば、図７～図１２に関して上に論じられるように、ユーザは、スキャン対象１１０などのスキャン対象を指定するためのさまざまな技法のいずれかを用いてよい。例えば、境界ボリューム７０２は、図７に関して上に論じられるようにスキャン対象１１０を指定するために使用されていてよい。スキャン対象１１０の選択後、ＵＡＶ１０２は、選択されたスキャン対象１１０の最初の低解像度スキャンを実行してよく、かつスキャン対象１１０の粗いあるいは低解像度の３Ｄモデル１３００を構築してよい。低解像度３Ｄモデルは、モバイル装置６３２のユーザインターフェース６０２に提示されてよい。
[00122]１つの例として、スキャン対象１１０を指定する受信した入力に基づいて、１つまたは複数の最初の姿勢は、低解像度３Ｄモデル１３００を生成するためにスキャン対象１１０の１つまたは複数の表面に関する距離（範囲）情報を取得するように、ＵＡＶ１０２がいくつかの姿勢を取ることができるようにするために、ＵＡＶ１０２、モバイル装置６３２、またはコントローラ１０４などによって生成されてよい。例えば、スキャン対象１１０の境界ボリューム７０２または他のインジケーションに基づいて、ＵＡＶ１０２は、例えば、上で論じられ、かつＵＡＶ１０２からスキャン対象１１０の表面までの距離を検出するために立体コンピュータビジョン用に構成されることなどによって、１つまたは複数の範囲センサとして使用される画像センサ２１２～２１６および３０２～３０６のうちの１つまたは複数によって最初のスキャンを実行することによって、スキャン対象１１０の最初の粗スキャンを自律的に実行してよい。
[00123]取得された画像に基づいて、ＵＡＶ１０２はまたは別のコンピューティング装置（例えば、コントローラ１０４またはモバイル装置６３２）は、例えば、第１の解像度で、スキャン対象１１０の低解像度３Ｄモデル１３００を生成してよい。１つの例として、最初のスキャン中、ＵＡＶ１０２は、スキャン対象１１０の表面の画像を自律的に取得してよく、かつ、最初のスキャンを実行するためにスキャン対象１１０に近接して飛行している間に、リアルタイムで３Ｄ再構成技法を使用して低解像度３Ｄモデルを動的に構築してよい。例えば、低解像度３Ｄモデル１３００は、スキャン対象１１０の表面に対応する３Ｄ空間における複数の点集合１３０２を含んでよい。さらに、低解像度３Ｄモデル１３００は、点集合１３０２における点１３０２のいくつかまたは全てに対してそれぞれの垂線１３０４を含んでよい。１つの例として、それぞれの垂線１３０４は、それぞれの点１３０２が位置するスキャン対象１１０の表面に対する略垂（直）角でそれぞれの点１３０２が位置する表面から外方に延在する仮想線であってよい。例えば、垂線１３０４は、それぞれの表面の点１３０２から、点１３０２を取り囲むエリアにおけるスキャン対象１１０の表面に対応する平面に略直角に外方に延在し得る。
[00124]１つの例として、ＵＡＶ１０２は、多視点ステレオ分析を容易にするために、スキャン対象１１０より上あるいはこの付近の、および間隔があけられた場所で取得されたいくつかの画像に基づいて、スキャン対象１１０の最初の低解像度３Ｄモデル１３００を決定するように構成されてよい。例えば、ＵＡＶ１０２のプロセッサ４０２は、ＵＡＶ１０２にスキャン対象１１０付近の複数の位置（姿勢）を取るために飛行させるように推進メカニズム２０２を制御するように構成されてよい。ＵＡＶ１０２は、１つまたは複数の画像センサ（例えば、低解像度画像センサ２１２～２１６および／または３０２～３０６）を使用して、スキャン対象１１０付近の異なる各々の位置からスキャン対象１１０の複数の画像を取得してよい。１つの例として、複数の画像の各々の位置は、所定の範囲内のスキャン対象１１０の２つ以上の画像の間の視差を実現するために２つ以上の位置の間の間隔を調節することによって選択されてよい。
[00125]ＵＡＶ１０２は、範囲画像をＴＳＤＦに融合することに基づいて、または３Ｄ空間におけるスキャン対象の表面の場所を決定するための他の技法を使用して、スキャン対象１１０の低解像度３Ｄモデル１３００を決定してよい。いくつかの実装形態では、スキャン対象１１０の複数の画像が取得されるスキャン対象１１０より上のあるいはこの付近の複数の位置は、直線に沿って位置し得る。いくつかの実装形態において、スキャン対象の複数の画像が取得されるスキャン対象１１０の付近の複数の位置は、スキャン対象１１０の周囲の円形に位置する。さらに、ＵＡＶ１０２の３Ｄモデル構築機能は、ある領域固有のヒューリスティックを含んでよい。例えば、スキャン対象１１０が橋である場合、ＵＡＶ１０２は、（例えば、交通対象との衝突を回避するために）橋の上を飛行しないように構成されてよい。
[00126]低解像度３Ｄモデル１３００がＵＡＶ１０２以外のコンピューティング装置によって構築されるが、ＵＡＶ１０２がスキャン計画を決定するように構成される場合、ＵＡＶ１０２は上で論じられる１つまたは複数の通信インターフェースを介して低解像度３Ｄモデル１３００を受信してよい。代替的には、いくつかの例において、低解像度３Ｄモデル１３００およびスキャン計画は両方共、コントローラ１０４またはモバイル装置６３２などのＵＡＶ１０２以外のコンピューティング装置によって決定され得る。
[00127]いくつかの例では、低解像度３Ｄモデル１３００は、スキャン対象１１０の表面上の３Ｄ空間において点集合１３０２を各々の垂線１３０４と共に符号化してよい。いくつかの実装形態において、点集合はまばらであってよい。例えば、スキャン対象は、１つまたは複数の物体を含んでいる空間の面積またはボリュームであってよい。例えば、スキャン対象は、犯罪現場、車、トラック、橋、建設現場、または任意の他の物体であってよい。場合によっては、低解像度３Ｄモデルは、ボクセル占有マップまたは符号付き距離マップを含んでよい。例えば、低解像度３Ｄモデルは、１つまたは複数の距離センサ（例えば、立体コンピュータビジョン、レーダーセンサ、ライダーセンダなどのために構成された画像センサのアレイ）が収集したセンサデータに基づいて生成されてよい。
[00128]いくつかの実装形態において、低解像度３ＤモデルにアクセスしているＵＡＶ１０２は、スキャン対象からの安全な距離で動作している間に、距離センサ（例えば、画像センサ）を使用して比較的低解像度のスキャンを実行することによって最近生成した低解像度３Ｄモデルそのものを有してよい。いくつかの例において、スキャン対象は、スキャン撮像に使用される一貫した距離よりも長い距離から低解像度３Ｄモデルを生成するためにスキャンされてよい。低解像度３Ｄモデルにはさまざまなやり方でアクセスしてよい。例えば、低解像度３Ｄモデルには、センサインターフェースを介して距離センサから、またはＵＡＶ１０２に搭載されたメモリから直接読み取ることによってアクセスしてよい。さらに、以下に論じられるように、低解像度３Ｄモデルは、高解像度３Ｄモデルを提供するためにスキャン計画の実行中に反復して微調整されてよい。
[00129]図１４は、いくつかの実装形態によるスキャン計画を生成することの一例１４００を示す。低解像度３Ｄモデルを生成または受信した後に、ＵＡＶ１０２（または他のコンピューティング装置）は、低解像度３Ｄモデルが生成されたスキャン対象１１０をスキャンするための最初のスキャン計画を生成してよい。低解像度３Ｄモデル１３００がＵＡＶ１０２以外のコンピューティング装置によって構築されるが、ＵＡＶ１０２がスキャン計画を決定するように構成される場合、ＵＡＶ１０２は、上に論じられる１つまたは複数の通信インターフェース４２６を介して低解像度３Ｄモデル１３００を受信してよい。
[00130]代替的には、いくつかの例において、低解像度３Ｄモデル１３００およびスキャン計画は両方共、コントローラ１０４またはモバイル装置６３２などのＵＡＶ１０２以外のコンピューティング装置によって決定されてよい。さらに別の例として、スキャン計画を決定するＵＡＶ１０２ではなく、スキャンするためのさまざまな異なるタイプのパターンは、ユーザによって、または芝刈り機パターンもしくは螺旋パターンなどのデフォルトによって指定されてよい。いくつかの例では、ユーザインターフェース６０２は、２Ｄもしくは３Ｄ拡張現実視点または固定視点（ｆｒｏｚｅｎ ｖｉｅｗ）などで、ＵＡＶ１０２が指定された表面のスキャンを始める前に、ユーザインターフェースにおいてパターンのマッピングをユーザに提示してよい。場合によっては、ユーザは、スキャン対象１１０の表面から指定された距離でＵＡＶ１０２が指定されたスキャン対象１１０の画像の取得を自律的に実行し始める前に、スキャン計画を観測しかつ承認してよい。他の例において、ＵＡＶ１０２は、スキャン対象１００２を指定すること以外に、ユーザからの追加の入力なく完全に自律的に進んでよい。
[00131]上述されるように、スキャン計画は、高解像度画像センサ２０８などを使用して、スキャン対象１１０の一連の画像を取得するためのＵＡＶ１０２が取る一連の姿勢１４０２を含んでよい。例えば、スキャン計画の姿勢１４０２は、低解像度３Ｄモデル１３００における点集合１３０２からの１つまたは複数の選択された点１３０２、および選択された点１３０２のそれぞれの垂線１３０４に基づいて決定されてよい。スキャン計画を実行している間、それぞれの姿勢１４０２について、プロセッサ４０２は、スキャン計画の一連の姿勢１４０２の指定された姿勢１４０２に対応する向きを取るためにＵＡＶ１０２を飛行させるように推進メカニズム２０２を制御してよい。
[00132]ＵＡＶ１０２は、スキャン計画におけるそれぞれの姿勢１４０２からスキャン対象１１０の１つまたは複数の画像を取得するために１つまたは複数の画像センサ２０８、２１２～２１６および３０２～３０６を使用してよい。１つの例として、姿勢の位置は、選択された点１３０２のそれぞれの垂線１３０４に沿っており、かつスキャン計画のスキャン距離パラメータに対応する選択された点からの指定された距離にあると決定され得る。しかしながら、本明細書における実装形態は、垂線１３０４に沿って画像を取得することに限定されるものではなく、いくつかの例では、画像取得は、選択された点１３０２の垂線１３０４に対する角度で実行されてよい。さらに、必ずしも、点と姿勢との間の１対１の対応があるわけではない。それとは反対に、低解像度３Ｄモデルにおける点は、画像の所望の解像度、画像間の所望の重複量、および、スキャン対象１１０の表面からの所望のスキャン距離に対する最適な効率で、スキャン対象１１０の選択エリア全体を覆うための最適な姿勢を決定するための基準点を提供する。
[00133]ＵＡＶ１０２は、スキャン計画に含まれる姿勢１４０２の視野（ＦＯＶ）で、スキャン対象１１０の低解像度３Ｄモデル１３００の点を体系的に覆うように構成されてよい。例えば、ＵＡＶ１０２のプロセッサ４０２は、低解像度３Ｄモデル１３００の点集合１３０２を、覆われている点の部分集合および覆われていない点の部分集合に分割するように構成されてよい。覆われている点は、１つまたは複数の姿勢１４０２が既に指定されている低解像度３Ｄモデル１３００上の点１３０２であってよく、覆われていない点は、姿勢１４０２がまだ指定されていないような点１３０２であってよい。
[00134]スキャン計画は、画像センサの１つまたは複数を使用してスキャン対象の画像を取得するためにＵＡＶ１０２が取る一連の姿勢を含んでよい。スキャン計画の姿勢は、低解像度３Ｄモデルの点集合１３０２から選択された点、および選択された点１３０２のそれぞれの垂線１３０４に基づいて決定される。いくつかの実装形態では、姿勢の位置は、スキャン計画のスキャン距離パラメータ（例えば、地上分解能（ＧＳＤ））に対応する選択された点からの距離で選択された点のそれぞれの垂線に沿っていると決定され得る。例えば、姿勢１４０２は、スキャン対象１１０の低解像度３Ｄモデル１３００の全ての点１３０２が（例えば、許容可能な距離および角度における視野内に示される）スキャン計画の少なくとも１つの姿勢１４０２の視野によって覆われるまで、スキャン計画に反復して追加されてよい。いくつかの実装形態では、低解像度３Ｄモデルからの覆われていない点は、姿勢１４０２の位置および向きを決定する新たな姿勢１４０２の視野に対する中心点としての役割を果たすようにランダムに選択されてよい。いくつかの実装形態では、低解像度３Ｄモデル１３００からの覆われていない点は、スキャン計画によって取得される画像に対する重複パラメータなど、１つまたは複数の制約を受ける新たな姿勢によって覆われることになる、覆われていない点の数を最大にするように選択され得る。
[00135]スキャン計画の展開中、次の姿勢１４０２を繰り返し決定するために、ＵＡＶ１０２のプロセッサは、覆われていない点の部分集合から姿勢１４０２に対する次の中心点を選択してよく、かつ選択された次の中心点、および選択された次の中心点のそれぞれの垂線１３０４に基づいて、新たな姿勢１４０２を決定してよい。例えば、次の中心点を決定することは、スキャン対象１１０の表面から画像センサまでの指定された距離、画像センサのＦＯＶが指定された距離で覆うことになる面積、連続した画像間の所望の重複量、および次の中心点と１つまたは複数の隣接する覆われた中心点との間の距離の関数として行われてよい。
[00136]プロセッサ４０２は、新たな姿勢１４０２がスキャン計画に追加されると、覆われている点集合と覆われていない点集合との分割を更新するように構成されてよい。いくつかの実装形態では、プロセッサ４０２は、評価中の点１３０２からの姿勢１４０２までの距離をチェックし、かつ評価中の点１３０２の垂線１３０４と姿勢１４０２の選択された中心点の垂線１３０２との間の角度をチェックするように構成されてよい。さらに、プロセッサ４０２は、光線試験を使用して姿勢１４０２から評価中の点のオクルージョンをチェックしてよく、かつ距離、角度、および／または光線試験に基づいて、姿勢１４０２によって覆われているかまたは覆われていないかで評価中の点を識別してよい。
[00137]プロセッサ４０２は、さまざまなトラバース法のいずれかを使用して、ＵＡＶ１０２によってトラバースされる姿勢１４０２の順序を決定するように構成されてよい。例えば、姿勢１４０２をトラバースする順序は、巡回セールスマンアルゴリズムを使用して決定されてよい。１つの例として、用いられる巡回セールスマンアルゴリズムはクリストフィードのアルゴリズムであってよいが、本明細書における実装形態は、任意の特定のアルゴリズムまたはトラバース法に限定されない。
[00138]いくつかの実装形態では、プロセッサ４０２は、スキャン対象１１０の全てのアクセス可能な表面の完全な被覆を得ること、姿勢１４０２に対する規則的で予測可能なパターンを有すること、および、トラバース時間を最短化することなどのためにスキャン計画の実行中のＵＡＶ１０２の効率的なナビゲーションを可能にすることなど、さまざまな懸念事項の均衡化に基づいて、全ての点１３０２を覆うためのスキャン計画を生成し得る。場合によっては、プロセッサ４０２は、スキャン計画に従ってスキャン対象１１０のスキャンを開始する前に前もってスキャン計画全体を決定してよい。他の例では、プロセッサ４０２は、スキャン計画の第１の部分を決定してよく、次いで、スキャン計画の第１の部分を実行している間にスキャン計画の残りの部分を決定してよい。
[00139]さらに、プロセッサ４０２は、スキャン計画の実行中に受信した新たなセンサデータに基づいて、スキャン計画の実行中に３Ｄモデルおよびスキャン計画を反復してかつ動的に更新するように構成されてよい。１つの例として、スキャン計画の実行中に障害物に遭遇する場合、プロセッサ４０２は、障害物との衝突を回避するなどのために、障害物の場所に基づいてスキャン計画を更新してよい。よって、プロセッサ４０２は、進行中に遭遇した障害物にスキャン計画を動的に適応させるように構成されてよい。例えば、プロセッサ４０２は、スキャン計画にアクセスし、障害物に対してスキャン計画の次の姿勢をチェックし、および、障害物の検出に応答して、次の姿勢の視野の中心におけるスキャン対象の表面の垂線に沿った位置に位置するバックアップ姿勢を決定してよい。プロセッサ４０２は、障害物に対するバックアップ姿勢をチェックしてよく、かつバックアップ姿勢の障害物がないことに応答して、ＵＡＶ１０２がバックアップ姿勢を取るために飛行させるように推進メカニズムを制御してよい。バックアップ姿勢において、ＵＡＶ１０２は、１つまたは複数の画像センサ（例えば、画像センサ２０８）を使用して、バックアップ姿勢からのスキャン対象の１つまたは複数の画像を取得してよい。
[00140]さらに、スキャン対象１１０のスキャンが実行されると、追加の距離情報が決定され、かつ３Ｄモデルを微調整するために使用されてよい。例えば、ＵＡＶ１０２は、新たにスキャンされた画像および／または新たに検出された表面の点までの距離などに少なくとも部分的に基づいて、スキャン対象１１０の高解像度バージョンの３Ｄモデルをリアルタイムで生成するために３Ｄ再構成技法を使用してよい。例えば、ＵＡＶは、高解像度３Ｄ点群モデルを構築してよい、および／または点群モデルなどに基づいて３Ｄメッシュモデルを生成してよい。
[00141]いくつかの例において、スキャンおよび３Ｄ再構成は、最初のスキャン計画に従ってスキャン対象のスキャン中に点または他の情報を３Ｄモデル１３００に追加し、かつ３Ｄモデルに追加された情報に基づいて最初のスキャン計画を動的に更新することなどによって、繰り返し実行されてよい。上述されるように、ＵＡＶ１０２は、ＴＳＤＦなどに基づいて、最初の低解像度３Ｄモデル１３００を生成するために最初の粗スキャンを使用してよい。ＵＡＶ１０２は、ＴＳＤＦによって規定された低解像度３Ｄモデルに対応する表面における表面被覆を確実にするための最初のスキャン計画を決定し得る。ＵＡＶ１０２は、ＵＡＶ１０２がスキャン計画をナビゲートする際に追加の範囲画像を融合することによって３Ｄモデル１３００を更新し続けながら最初のスキャン計画のいくつかまたは全てを飛行してよい。したがって、ＵＡＶがスキャン計画をナビゲートする際に３Ｄモデルに関する表面情報の品質は改善され得る。さらに、３Ｄモデルの精度、被覆などが繰り返し改善されるため、スキャン計画では、先に含まれなかった新たな点を覆うこと、または障害物を回避することなどのために動的に更新されてよい。
[00142]ＵＡＶ１０２はまた、１つまたは複数の画像センサ（例えば、画像センサ２０８）のカメラパラメータを、スキャン計画の実行中に遭遇した状態に動的に適応させるように構成されてよい。例えば、プロセッサ４０２は、現在の照明状態に関するデータに基づいて（例えば、画像センサの自動露出モジュールによって返される自動露出パラメータに基づいて）露出時間、ホワイトバランスパラメータ、および／またはセンサゲイン（例えば、ＩＳＯ値）を更新するように構成されてよい。さらに、いくつかの例では、スキャンの結果は、損傷エリア、腐食エリア、およびメンテナンスが必要なエリアなどの関心領域を認識するための機械学習モデルなどによって、リアルタイムで調べられてよい。場合によっては、機械学習モデルは、ＵＡＶ１０２に搭載されて実行されてよく、かつ、画像センサの解像度を増大させること、および／または認識されている関心領域の画像を取得する時に指定されたスキャン距離を短縮することをスキャンプログラム４０８で行わせ得る出力を提供し得る。
[00143]スキャン計画の実行中、ＵＡＶ１０２の推進メカニズムは、スキャン計画の一連の姿勢のうちの１つに対応する姿勢１４０２を取るためにＵＡＶ１０２を飛行させるように制御されてよい。ＵＡＶ１０２は、１つまたは複数の画像センサを使用して、それぞれの姿勢１４０２からのスキャン対象の１つまたは複数の画像を取得してよい。例えば、画像は、新たに追加された点を含めて、スキャン対象の３Ｄモデルの点集合の全てを覆う画像が取得されるまで、スキャン計画の姿勢１４０２のそれぞれに対して取得され得る。いくつかの実装形態では、プロセッサ４０２は、スキャン対象１１０の１つまたは複数の表面の合成画像を得るために、取得された画像をまとめ合わせるように構成されてよい。
[00144]スキャン中、ＵＡＶ１０２は、スキャン対象１１０の画像を撮る間計算された経路を飛行してよい。障害物を回避することに加えて、ＵＡＶ１０２は、障害物の回避または画像の位置合わせの改善のような事態に対して経路を動的に更新してよい。例えば、ＵＡＶ１０２は、進行中に遭遇した障害物を考慮するようにスキャン計画を動的に適応させてよい。例えば、図２３のプロセス２３００は、スキャン計画の実行中に遭遇する障害物にスキャン計画を動的に適応させるために実装されてよく、図１５～図１７および図２２のプロセスは、スキャン計画および３Ｄモデルを反復してかつ動的に更新するために実装されてよい。
[00145]ＵＡＶ１０２がスキャンを完了している、または（例えば、電池の残量不足または車両の故障により）スキャンを中断しなければならない時、ＵＡＶ１０２は、自動的にその離陸地点に戻りかつ着陸し得る。ＵＡＶ１０２がスキャン計画の完了前に着陸しなければならない限りにおいて、ＵＡＶ１０２はスキャン計画に対する進捗状況を保存し得ることで、ＵＡＶ１０２を着陸させる状態がどんなものであっても解決された後にＵＡＶ１０２が離陸したところで、ＵＡＶ１０２または異なるＵＡＶがスキャンし始めることができるようにする。例えば、スキャン計画を開始した後および完了する前に、ＵＡＶ１０２は、スキャン計画の一連の姿勢の次の姿勢を示すスキャン計画状況を記憶してよい。スキャン計画状況を記憶した後、ＵＡＶ１０２は、ＵＡＶ１０２を着陸させるために飛行させるように推進メカニズムを制御してよい。着陸後、ＵＡＶ１０２は、ＵＡＶ１０２を再び離陸させるために飛行させるように推進メカニズムを制御してよい。ＵＡＶ１０２は、スキャン計画状況にアクセスしてよく、かつスキャン計画状況に基づいて、ＵＡＶ１０２が、次の姿勢を取るために飛行させ、かつスキャン計画を実行し続けるように推進メカニズムを制御してよい。
[00146]スキャン計画は、ＵＡＶ１０２の少なくとも一連の姿勢を含んでよく、かつより多くの情報を含み得る。姿勢は、さまざまな座標系（例えば、グローバル座標系、もしくはＵＡＶ１０２のためのドッキングステーション１０６もしくは他の離陸場所に対する座標系、または、スキャンされているスキャン対象に対する座標系において符号化され得る。スキャン計画状況は、視覚慣性オドメトリ（ＶＩＯ）システムと組み合わせて、充電後にスキャン計画における次の姿勢を取るために使用されてよい。例えば、ＵＡＶ１０２は、ドッキングステーション１０６上に自動的に着陸してよく、この電池を自動的に充電後、保存された状況情報に基づいて次の姿勢でスキャンを再開するためにドッキングステーション１０６から離陸してよい。
[00147]スキャン計画の実行が完了する時、収集されたデータ（例えば、スキャン対象の表面の高解像度画像および関連するメタデータ）は、観測またはオフライン分析のために別のコンピューティング装置（例えば、コントローラ１０４、モバイル装置６３２、またはクラウドサーバ）に送信され得る。高解像度３Ｄモデルはまた、まだ送られていない場合、ユーザのコンピューティング装置に送信され得る。いくつかの実装形態では、スキャン計画の実行の進捗または有効性を要約しているステータスレポートが提示されてよい。さらにまたは代替的に、モバイル装置６３２上のユーザインターフェースは、ＵＡＶ１０２から３Ｄモデルを獲得することなどによって、スキャン対象の３Ｄモデルを提示してよい。連続する姿勢がトラバースされるため、モバイル装置６３２は、画像が取得されている３Ｄモデルの部分を、ペイント、強調表示、あるいは視覚的に区別し得る。したがって、ユーザは、欠けているエリアを検出するなどのために、スキャン対象をスキャンする際のＵＡＶ１０２の進捗を観測することができる。さらに、ＵＡＶ１０２から受信したデータは、スキャン対象のまとめ合わせられた合成画像、取得された写真、ならびに、カメラの姿勢および飛行概要データ（例えば、取得された写真、完了した飛行の割合、飛行時間など）を含むメタデータを含み得る。
[00148]スキャン計画の実行中または実行後、プロセッサ４０２は、スキャン対象１１０の高解像度３Ｄモデルを生成してよい。いくつかの例では、高解像度３Ｄモデルは３Ｄ点群を含んでよく、スキャン中に撮られた画像は、３Ｄ点群上の点と相関関係があってよい。さらに、いくつかの例において、メッシュモデルは、知られている３Ｄモデリング技法を使用して３Ｄ点群に基づいて生成されてよい。さらに、３Ｄモデルは、コントローラ１０４、モバイル装置６３２を使用することによって、またはＵＡＶ１０２と通信できる他のコンピューティング装置を通してなど、ユーザ１０８が観測するために即時に利用可能にされ得る。１つの例として、ユーザは、スキャン対象１１０の全ての所望の部分がスキャン中に取得されることを確実にするために、および／または欠けている画像もしくは他の欠けている情報を有する任意のエリア、もしくは、より高い解像度もしくはより近い距離などでの再スキャンを保証することに十分な関心があると考えられる関心のあるエリアを再スキャンすることを指定するために、高解像度３Ｄモデルおよび関連する被覆を観測することができる。
[00149]図１５～図２３は、いくつかの実装形態による例示のプロセスを示すフロー図を含む。プロセスは、一連の動作を表す論理フロー図におけるブロックの集合として示され、その一部または全ては、ハードウェア、ソフトウェア、またはこれらの組み合わせで実施されてよい。ソフトウェアの文脈では、ブロックは、１つまたは複数のプロセッサによって実行される時、列挙された動作を実行するようにプロセッサをプログラムする、１つまたは複数のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表し得る。一般に、コンピュータ実行可能命令は、特定の機能を実行する、または特定のデータ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。ブロックが記載されている順序は、限定として解釈されるべきではない。任意の数の記載されたブロックは、プロセスまたは代替プロセスを実装するために任意の順序でおよび／または並列に組み合わせ可能であり、ブロックの全てが実行される必要はない。論述の目的で、プロセスは、本明細書における例に説明された環境、システム、および装置に関して説明されているが、プロセスは、多種多様な他の環境、システム、および装置で実装されてよい。
[00150]図１５は、いくつかの実装形態による３Ｄモデルおよび／またはスキャン計画の反復更新の例示のプロセス１５００を示す。いくつかの例では、プロセス１５００は、ＵＡＶ１０２の１つまたは複数のプロセッサ４０２上でスキャンプログラム４０８を実行することによって少なくとも部分的にＵＡＶ１０２によって実行されてよい。
[00151]例えば、上述されるように、いくつかの例において、その３Ｄモデルおよびスキャン計画は、スキャン対象のスキャン中に反復して微調整あるいは更新され得る。最初のスキャン計画に従ってスキャンが実行されると、新たな点または他の情報を３Ｄモデルに追加するために３Ｄ再構成が使用されてよい。３Ｄモデルの更新に基づいて、最初のスキャン計画は、新たな姿勢を追加することまたは既存の姿勢を修正することなどによって、動的に更新されてよい。上述されるように、ＵＡＶ１０２は、ＴＳＤＦなどに基づいて、最初の低解像度３Ｄモデルを生成するために最初の粗スキャンを使用してよい。ＵＡＶは、ＴＳＤＦによって規定された低解像度３Ｄモデルに対応する表面における表面被覆を確実にするための最初のスキャン計画を決定し得る。ＵＡＶ１０２は、ＵＡＶ１０２がスキャン計画をナビゲートする際に追加の範囲画像を融合することによって３Ｄモデルを更新し続けながら最初のスキャン計画のいくつかまたは全てを利用して飛行してよい。したがって、ＵＡＶがスキャン計画をナビゲートする際に３Ｄモデルに関する表面情報の品質は改善され続ける場合がある。場合によっては、３Ｄモデルの精度、被覆などが反復して改善されるため、スキャン計画では、先にスキャン計画に含まれなかった新たな点を覆うこと、および／または最初のスキャン計画の実行中に遭遇する障害物を回避することなどが動的に更新されてもよい。
[00152]１５０２において、ＵＡＶ１０２はスキャン対象のインジケーションを受信してよい。例えば、ＵＡＶ１０２は、図６～図１２などに関して上に論じられるさまざまな技法のいずれかによってスキャン対象のインジケーションを受信してよい。
[00153]１５０４において、ＵＡＶ１０２は、示されたスキャン対象のスキャンパラメータを受信してよい。いくつかの例では、スキャンパラメータのいくつかは、特定のタイプのスキャンおよび／または構造もしくは光景などに対するデフォルトのパラメータとして前もって設定されてよい。例えば、橋に対して実行されるスキャンは、パラメータの第１のデフォルトのセットを有してよく、事故現場に対して実行されるスキャンは、パラメータの第２の異なるデフォルトのセットを有してよい。ユーザは、さまざまな事態に順応するようにパラメータを手動で調節してよい。スキャンパラメータの例には、本明細書の他の箇所にも論じられるように、対象表面からのスキャン距離（地上分解能）、取得された画像の重複、解像度、ズーム量、および露出時間などの取り込まれた画像のカメラ設定が含まれ得る。
[00154]１５０６において、スキャン対象のインジケーションを受信することに応答して、ＵＡＶ１０２は、指定されたスキャン対象の最初のラフスキャンに基づいて低解像度３Ｄモデルを生成してよい。例えば、受信されるインジケーションのタイプに応じて、ＵＡＶは、搭載画像センサを使用して１つまたは複数の範囲画像を取得するためにスキャン対象に近接してナビゲートしてよい。例えば、ＵＡＶは、ステレオ対のナビゲーション画像センサおよび／または広域ベースライン多視点ステレオ（ＭＶＳ）画像センサ対からの範囲画像を、複数の点およびその点のそれぞれに対する各々の垂線を含む表面メッシュ推定を生成するために使用されるＴＳＤＦボリュームに融合してよい。最初のＴＳＤＦ生成３Ｄモデルは、典型的には、低解像度３Ｄモデルであり得、かつより低い精度を有し得るが、これは、スキャン対象が、より高い精度の、ひいてはより高い解像度の３Ｄモデルを生成するための十分に多様な視点からまたは十分に近い距離でまだ撮像されていないあるいはスキャンされていないからである。例えば、ＵＡＶ１０２が取得する対象表面の画像が多いほど、およびＵＡＶ１０２の飛行が表面に近いほど、ＵＡＶ１０２がステレオ対の範囲画像を３Ｄモデルに融合し続ける際にＴＳＤＦにおいて表面の場所および形状の推定の精度が高まる。
[00155]１５０８において、ＵＡＶ１０２は、低解像度３Ｄモデルに基づいて最初のスキャン計画を生成してよい。１つの例として、上述されるように、スキャン計画の決定は、第１の姿勢の中心点としての低解像度３Ｄモデルの第１の点で開始することと、低解像度３Ｄモデルにおける全ての点が少なくとも１つの姿勢の視野によって覆われるまでその点から外方に連続して進行することとを含み得る。
[00156]１５１０において、ＵＡＶ１０２は、スキャン計画における姿勢のトラバース中にスキャン計画において指定された姿勢で画像を取得してよい。いくつかの例では、ＵＡＶ１０２は、例えば、画像が取得される際に、取得された画像、ならびに／または取得された姿勢および３Ｄモデル上の取得された点の姿勢情報のうちの少なくとも一部を、モバイル装置６３２またはコントローラ１０４に提供してよい。
[00157]１５１２において、ＵＡＶ１０２は、スキャン計画の実行中に取得された画像に基づいて３Ｄモデルを更新してよい。例えば、ＵＡＶ１０２がスキャン対象表面の高解像度画像を取得するために画像センサ２０８を使用している間に、ＵＡＶ１０２はまた、ＵＡＶ１０２の既知の場所からスキャン対象の表面までの距離の追加の距離測定値を収集するために追加の画像センサ２１２、２１４、２１６、３０２、３０４、および３０６を用いてよい。ＵＡＶ１０２は、３Ｄモデルに対する追加の点のそれぞれの垂線を生成するために、画像センサ２１２、２１４、２１６、３０２、３０４、および３０６からの追加の範囲画像をＴＳＤＦボリュームに融合することなどの３Ｄ再構成技法を用いてよい。したがって、ＵＡＶ１０２がスキャン計画を実行する際に、３Ｄモデルは、低解像度３Ｄモデルから高解像度３Ｄモデルに変換され得る。
[00158]１５１４において、３Ｄモデルの更新に基づいて、ＵＡＶ１０２は、スキャン対象に対するスキャン計画を更新してよい。例えば、新たな覆われていない点が３Ｄモデルに追加される場合、ＵＡＶ１０２は、３Ｄモデルにおける追加の覆われていない点を覆うための追加の姿勢を決定するためにスキャン計画を動的に更新してよい。さらに、ＵＡＶが１つまたは複数の姿勢における１つまたは複数の点の取得を妨げる障害物に遭遇する場合、ＵＡＶはこれらの点を取得するための代替姿勢を決定してよい。スキャン計画の更新後、プロセスは１５１０に戻って、スキャン計画に基づいて画像を取得し続けてよい。したがって、１５１５に示されるように、ＵＡＶ１０２は、３Ｄモデルがスキャン中に継続的に更新される反復ループを実行してよく、スキャン計画は、スキャン計画にまだ含まれていないモデルの任意の追加の部分を覆うために動的に更新されてよい。この反復プロセスは、場合によっては、１５０６で生成される最初の低解像度３Ｄモデルより実質的に精確であり得る高解像度３Ｄモデルの生成を可能にする。いくつかの例では、スキャン計画がもはや更新されず、スキャン計画の実行が完了する時、プロセスは１５１６に進んでよい。他の例では、１５１６またはこの一部は、例えば、取得された画像、更新された３Ｄモデル情報、および／またはスキャン情報が利用可能になると、反復ループ１５１５の実行中に実行されてよい。
[00159]１５１６において、ＵＡＶ１０２は、ＵＡＶ１０２に搭載されたメモリにおいて、スキャン中に取得された高解像度３Ｄモデルおよび画像を記憶してよい、ならびに／または、高解像度３Ｄモデル、取得された画像、および／もしくはＵＡＶ１０２からの姿勢場所情報（例えば、それぞれの姿勢に関するＧＮＳＳ場所情報または他の場所情報）などのスキャン情報を、コントローラ１０４、モバイル装置６３２、および／もしくはネットワーク上に位置するサーバなどの１つもしくは複数のコンピューティング装置にエクスポートしてよい。ＵＡＶ１０２は、スキャンを実行している間に、または代替的には、ＵＡＶ１０２がスキャン対象のスキャンを完了した後、この情報の少なくとも一部をエクスポートしてよい。
[00160]いくつかの例では、３Ｄモデル情報、取得された画像、ならびに／またはスキャン進捗およびスキャン姿勢情報は、スキャン対象のスキャンが行われている際に、コントローラ１０４、モバイル装置６３２、または別のコンピューティング装置に無線で送られてよい。他の例では、画像は、ＵＡＶ１０２に搭載された取り外し可能なメモリカードに記憶され、かつ飛行が完了した後に除去されてよい。さらに、スキャン中にスキャン進捗およびスキャン姿勢場所情報を受信することによって、ユーザは、取得される点に対応するエリアを強調表示、ペイント、あるいは視覚的に区別することなどによって、画像が取得された３Ｄモデル上の点を更新するモバイル装置上に提示されるユーザインターフェースを使用してスキャンの被覆を追跡することができてよい。場合によっては、画像は、スキャン対象を観測すること、スキャン対象の高解像度検査、または、このような高解像度３Ｄモデルおよび高解像度画像で実行されてよいさまざまな他の観察、コンピュータグラフィック、もしくはコンピュータモデリング動作のうちのいずれかを実行することなど、スキャン対象のテクスチャ処理された３Ｄモデルの作成を可能にするように高解像度３Ｄモデル上の点と相関関係があってよい。例えば、追加のモデル構築およびレンダリングは、高解像度３Ｄモデル、スキャンされた画像、ならびに、ＵＡＶ１０２から受信した他のスキャンデータおよびメタデータを使用して、１つまたは複数の他のコンピューティング装置上で実行されてよい。
[00161]図１６は、いくつかの実装形態によるＵＡＶ１０２の例示の論理構成１６００を示す。上述されるように、いくつかの例では、スキャンプログラム４０８および車両制御プログラム４０６は、スキャン対象をスキャンするようにＵＡＶ１０２を制御するために、任意の数のシステムおよびセンサなどからの入力を受信するためにＵＡＶ１０２の１つまたは複数のプロセッサ４０２によって実行されてよい。例えば、スキャンプログラム４０８および車両制御プログラム４０６は、メモリまたは他のコンピュータ可読媒体４０４に記憶され、かつ１つまたは複数のプロセッサ４０２によって実行可能な命令として実装されてよい。代替的には、いくつかの例では、スキャンプログラム４０８の少なくとも一部は、コントローラ１０４またはモバイル装置６３２などの異なるコンピューティング装置上で実行されてよい。
[00162]図１６に示されるように、車両制御プログラム４０６は、動作計画プログラム１６０６、追跡および／またはナビゲーションプログラム１６０７、ならびに自律プログラム１６０８を含んでよいが、他の例において、より多くのまたはより少ないプログラムおよびモジュールが車両制御プログラム４０６に含まれてよい。動作計画プログラム１６０６は、物理的環境の中でＵＡＶ１０２を自律的に操縦するようにＵＡＶ１０２を構成するために実行されてよい。さらに、追跡および／またはナビゲーションプログラム１６０７は、ＵＡＶの目的地を決定すること、および／またはＵＡＶ１０２に対して決定されるさまざまな他の目標を実行することなどのために、飛行中にＵＡＶ１０２の１つまたは複数の目標を決定してよい。さらに、自律プログラムは、物体までのおよび画像センサの位置に対する距離などを決定することなど、自律飛行を可能にするための処理を実行してよい。いくつかの例では、追跡／ナビゲーションプログラム１６０７は、画像処理機能、物体検出および追跡アルゴリズム、ならびに同一性認識アルゴリズムなど(図示せず)を含んでよい。さらに、いくつかの実装形態において、動作計画プログラム１６０６、追跡／ナビゲーションプログラム１６０７、および／または自律プログラム１６０８のうちの１つまたは複数は、車両制御プログラム４０６に組み合わせられるのではなく、別個のプログラムであってよい。
[00163]いくつかの実装形態において、動作計画プログラム１６０６は、物理的環境の３Ｄ空間の中で計画軌道を生成するために実行されてよい。例えば、ＵＡＶ１０２の計画動作は、画像センサ２０８、２１２～２１６、および３０２～３０６を含み得る画像取得システム４３０から受信される画像に少なくとも部分的に基づいてよい。さらに、いくつかの実装形態において、動作計画プログラム１６０２は、自律プログラム１６０８、ならびに、ＩＭＵ４２２、ＧＮＳＳ受信機４２０、および／または、気圧計、近接センサ、磁気計、レーダー、およびライダーなどの他のセンサ４２４などの他のセンサおよび装置から受信された情報に頼る場合がある。
[00164]さらに、いくつかの例において、車両制御プログラム４０６は、１つまたは複数の通信インターフェース４２６を通して、リモートコンピューティング装置またはコントローラ１６１２、例えば、コントローラ１０４、モバイル装置６３２、または他のコンピューティング装置などの外部ソースから１つまたは複数の制御入力１６１０を受信し得る。例えば、制御入力１６１０は、１つまたは複数の指定されたナビゲーション目標を示し得る。例えば、制御入力１６１０は、車両制御プログラム４０６と関連付けられたＡＰＩを介した呼び出しを含んでよい。例えば、ＡＰＩ呼び出しは、１つまたは複数のナビゲーション目標を動作計画プロセスの一部として設定するためにリモートコンピューティング装置またはコントローラ１６１２上で実行するアプリケーションによってなされてよい。ナビゲーション目標は、例えば、他の物体との衝突を回避すること、特定の物体に追従するように操縦すること、特定の場所まで操縦すること、および、特定のエリアをトラバースすることなどを含んでよい。いくつかの実装形態において、生成された計画軌道は、ＵＡＶ１０２が物理的環境を自律的にナビゲートする際に、通信インターフェース４２６を介して受信された新たな入力（例えば、新たなセンサデータおよび／または新たな制御入力１６１０に基づいて連続してまたは継続的に（すなわち、規則的または不規則的な間隔で）更新されてよい。
[00165]いくつかの実装形態において、車両制御プログラム４０６は、動作計画プログラム１６０６によって生成される計画軌道に沿ってＵＡＶ１０２を操縦させるように構成される制御コマンドを生成してよい。例えば、制御コマンドは、例えば、図２および図３に関して上に論じられた１つまたは複数の推進装置２０２を制御するために１つまたは複数の飛行コントローラ４２８に提供され得る。
[00166]別個に、または動作計画プログラム１６０６と併せて動作する追跡／ナビゲーションプログラム１６０７は、例えば、受信した画像または他の受信したセンサ情報に基づいて、および／またはリモートコンピューティング装置もしくはコントローラ１６１２からの１つもしくは複数の制御入力１６１０に基づいて、および／または１つもしくは複数の指定されたナビゲーション目標、とりわけ、動作計画に基づいて、物理的環境におけるナビゲーションなどのためのナビゲーション機能を決定するように構成されてよい。
[00167]追跡／ナビゲーションプログラム１６０７は、例えば、物理的環境における物体、構造、および陸標の測定された、推定された、および／もしくは予測された位置、向き、および／もしくは軌道に基づいてＵＡＶ１０２を操縦するために、動作計画プログラム１６０６および自律プログラム１６０８と通信してよい。例えば、追跡／ナビゲーションプログラム１６０７は、動作計画プログラム１６０６にナビゲーション目標を実現するための適した飛行経路を決定させるためにナビゲーション目標を動作計画プログラム１６０６に通信してよい。さらに、追跡／ナビゲーションプログラム１６０７は、上に論じられるタッチ画面６０４などの関連したディスプレイ上での提示のために、リアルタイム映像などの画像１６１４をリモートコンピューティング装置またはコントローラ１６１２に継続的に送ってよい。
[00168]さらに、自律プログラム１６０８は、自律飛行を可能にするために、ならびに、範囲情報、視覚慣性オドメトリ（ＶＩＯ）情報、および／または、ジンバル位置決め情報１６１５などの情報をスキャンプログラム４０８に提供するために、動作計画プログラム１６０６および追跡／ナビゲーションプログラム１６０７を実行して、呼び出して、あるいはこれと対話してよい。例えば、動作計画プログラム１６０６は、ナビゲーション画像センサ、例えば、画像センサ２１２、２１４、２１６、３０２、３０４、３０６など、画像取得システムから画像を受信してよく、かつ、スキャン対象上のさまざまな点への距離を決定するための範囲決定に関するステレオ画像分析を使用してよい。したがって、この範囲情報、ならびに動作計画プログラム１６０６および／または追跡／ナビゲーションプログラム１６０７によって決定された他の情報は、スキャンプログラム４０８にこれらの画像処理ステップを繰り返させるではなく、自律プログラム１６０８によってスキャンプログラム４０８に提供されてよい。例えば、情報１６１５は、上に論じられるように３Ｄモデルを生成または更新するために使用されてよい。
[00169]スキャンプログラム４０８は、車両制御プログラム４０６によって、スキャン対象の画像を取得するためにＵＡＶ１０２を所望の場所にナビゲートさせるように、車両制御プログラム４０６に姿勢１６１６を送ってよい。例えば、姿勢１６１６は、スキャン計画を生成するために使用するための低解像度３Ｄモデルを生成するように、スキャン計画を実行するための、および／またはスキャン対象の最初のラフスキャンを実行するための姿勢であってよい。例えば、姿勢１６１６は、車両制御プログラム４０６によって受信され、かつ動作計画プログラム１６０６、追跡／ナビゲーションプログラム１６０７、または自律プログラム１６０８のうちの少なくとも１つに提供されてよく、これによって、ＵＡＶ１０２を個々の姿勢にどのようにナビゲートするかが決定され得る。
[00170]スキャンプログラム４０８は、リモートコンピューティング装置またはコントローラ１６１２から１つまたは複数のスキャン対象入力１６１８を最初に受信してよい。例えば、スキャン対象入力１６１８は、図７～図１２に関して上に論じられる技法のいずれかを含み得る、またはさまざまな他の技法のいずれかによって、スキャンされるスキャン対象を示してよい。例えば、別の例として、スキャン対象入力１６１８は、ＵＡＶ１０２の近辺におけるスキャン対象の先に構成された低解像度３Ｄモデルを含んでよい。スキャン対象入力１６１８は、スキャンが実行される対象表面からの指定された距離、画像重複量、解像度、ズーム、および露出などのスキャンカメラ設定などのさまざまなスキャンパラメータをさらに含んでよい。
[00171]スキャン対象入力１６１８を受信することに基づいて、スキャンプログラム４０８は、複数の動作１６２０～１６３６を実行するためにプロセッサ４０２によって実行されてよい。例えば、場合によっては、図１６のプロセスは、上に論じられる図１５のプロセス、および以下に論じられる図１７のプロセスの一部または全てを含んでよく、かつ、図１５および図１７のプロセスの実行中にＵＡＶ１０２のコンポーネント間の対話の１つの例を提供する。
[00172]１６２０において、プロセッサ４０２は、スキャン対象のスキャンを開始するために上に論じられるスキャン対象入力１６１８などのスキャン対象情報およびスキャンパラメータを受信してよい。
[00173]１６２２において、プロセッサ４０２は、受信したスキャン対象入力１６１８に基づいて、最初のスキャンの姿勢１６１６を車両制御プログラム４０６に送ってよい。例えば、スキャンプログラム４０８は、スキャン対象の最初の低解像度スキャンを実行するために複数の姿勢１６１６を車両制御プログラム４０６に送ってよい。１つの例として、スキャン対象入力１６１８が境界ボリュームを含む場合、最初のスキャンの姿勢１６１６は境界ボリューム情報に基づいてよい。例えば、姿勢１６１６は、対角線上に対向し、かつ、境界ボリュームの３Ｄボリュームの範囲内の任意のスキャン対象表面を取得しかつ認識するために、境界ボリュームの中心の方へ画像センサの視野を向ける、境界ボリュームの上部の隅または縁部のうちの少なくとも２つへのナビゲーションを含んでよい。代替的には、単一の多角形または他の２Ｄ形状がスキャン対象を指定するために使用されるなどの場合、ＵＡＶは、全般的に、多角形によって示されるエリアを包含する少なくとも１つの画像を得るために多角形上の視点にナビゲートしてよい。いくつかの例において、示されたスキャン対象のラフスキャンを実行するためにわずか１つまたは２つの姿勢１６１６が用いられ得るが、他の例では、スキャン対象の低解像度３Ｄモデルを生成するためにスキャン対象に関する十分な情報を取得するためにより多い姿勢１６１６が用いられてよい。
[00174]１６２４において、プロセッサ４０２は、スキャン対象の最初のスキャンからの画像を受信してよい。例えば、画像は画像取得システム４３０から受信され得る。いくつかの例では、画像は、２つ以上の異なる画像センサによるものであってよく、かつスキャン対象上の同じ点の少なくとも一対の関連した画像の間の視差を決定することなどに基づいて、ＵＡＶ１０２からスキャン対象の表面までの距離（範囲）のより容易な決定を可能にするために同時に撮られてよい。代替的には、他の例において、上に論じられるように、繰り返しの処理を回避するために、範囲情報およびＵＡＶ位置情報は、自律プログラム１６０８から受信されてよく、かつ以下に論じられるように、３Ｄモデルを生成または更新するためにスキャンプログラム４０８によって使用されてよい。
[00175]１６２６において、プロセッサ４０２は、最初のスキャンの間に受信された画像から決定される範囲情報に基づいて低解像度３Ｄモデルを生成してよい。例えば、取得された画像から決定されたスキャン対象の表面までの決定された距離に基づいて、プロセッサ４０２は、取得された画像から決定される範囲に基づいて決定された３Ｄ空間における複数の点を含み得るスキャン対象のラフなあるいは低解像度の３Ｄモデルを生成し得る。さらに、プロセッサ１０２は、低解像度３Ｄモデルにおける点のいくつかまたは全てのそれぞれの垂線を決定し得る。１つの例として、図１７に関して以下にさらに論じられるように、低解像度３Ｄモデル（および後続の３Ｄモデルの更新）は、切り捨て符号付き距離関数（ＴＳＤＦ）を使用して、または、当業者にはよく知られている他の適した技法によって、生成されてよい。いくつかの例において、低解像度３Ｄモデル１６２７は、ユーザが低解像度３Ｄモデルを観測することができるようにユーザインターフェースに提示するためにリモートコンピューティング装置またはコントローラ１６１２に送られてよい。
[00176]１６２８において、プロセッサ４０２は、低解像度３Ｄモデルに基づいてスキャン計画を決定してよい。１つの例として、上述されるように、スキャン計画の決定は、低解像度３Ｄモデルにおける全ての点がスキャン計画における少なくとも１つの姿勢の視野によって覆われるまで、第１の姿勢の中心点として低解像度３Ｄモデルの第１の点で開始することと、その点から外方に反復して進むこととを含んでよい。
[00177]１６３０において、プロセッサ４０２は、スキャン計画の姿勢１６１６を車両制御プログラム４０６に送ってよい。例えば、スキャン計画の姿勢１６１６を受信することに応答して、車両制御プログラム４０６は、ＵＡＶ１０２に、スキャン対象の画像を取得するためにスキャン計画における姿勢１６１６をトラバースさせてよい。車両制御プログラム４０６（またはスキャンプログラム４０８）は、巡回セールスマンアルゴリズム、芝刈り機パターン、螺旋パターン、または任意の他の適したアルゴリズムなどを使用することによって、スキャン計画における姿勢の効率的なトラバースを決定するための複数の技法のいずれかを使用してよい。いくつかの実装形態において、追跡／ナビゲーションプログラム１６０７は、１つまたは複数の安定化／追跡装置８１２（例えば、ジンバル２１０）に、スキャン計画の現在の姿勢に対するＵＡＶ１０２の動きおよび向きなどに基づいて、ＵＡＶ１０２の本体に対する画像センサ２０８の向きおよび／または位置を調節させる制御コマンドを生成するようにさらに構成されてよい。例えば、スキャン対象をスキャンしている間、ジンバル２１０は、スキャンされるスキャン対象の表面に対するＵＡＶ１０２の現在の本体の向きを考慮に入れながら、画像センサ２０８が、スキャン計画に従ってそれぞれの姿勢でスキャン対象上の点の画像を取得できるように継続的に調節されてよい。
[00178]１６３２において、プロセッサ４０２は、スキャン計画における姿勢のトラバース中に取得される画像を受信してよい。例えば、画像取得システム４３０は、取得された画像の少なくともいくつかをスキャンプログラム４０８および／または自律プログラム１６０８に提供してよい。さらに、いくつかの例において、スキャンプログラム４０８は、画像１６３３が画像取得システム４３０から受信される際に、少なくともいくつかの画像１６３３をリモートコンピューティング装置またはコントローラ１６１２に提供してよい。いくつかの例において、画像１６３３は、スキャン計画の実行中にまたはスキャン計画の実行後に、画像取得システム４３０からリモートコンピューティング装置またはコントローラ１６１２に直接提供されてよい。
[00179]１６３４において、プロセッサ４０２は、スキャン計画の少なくとも一部を実行中に受信された取得された画像に基づいて、高解像度３Ｄモデルを生成するために３Ｄモデルを更新してよい。１つの例として、低解像度３Ｄモデルと同様に、更新された高解像度３Ｄモデルは、スキャン計画の実行中に取得され、かつスキャン対象の表面を表す点の実際の場所に対して精度がより高い、画像センサ２１２、２１４、２１６、３０２、３０４、３０６の複数のものからの画像のＴＳＤＦ融合などに基づいて決定された３Ｄ点群または３Ｄメッシュを含んでよい。場合によっては、更新された３Ｄモデルを決定するための範囲または他の距離情報の少なくとも一部は、動作計画プログラム１６０６によって生成される範囲および場所情報などに基づいて、自律プログラム１６０８から受信され得る。更新された高解像度３Ｄモデルは、最初のスキャンから決定された低解像度３Ｄモデルと比較すると解像度がより高い。さらに、いくつかの例において、更新された高解像度３Ｄモデル１６３５は、スキャン計画の実行中または実行後に、リモートコンピューティング装置またはコントローラ１６１２に送られてよい。例えば、３Ｄモデルは、ＵＡＶ１０２が飛行中でありかつスキャン計画をトラバースしている際にリアルタイムで更新されてよい。
[00180]１６３６において、プロセッサ４０２は、３Ｄモデルの１つもしくは複数の更新、および／またはスキャン計画の実行中に障害物に遭遇することなどに基づいて、スキャン計画を更新するかどうかを決定してよい。そのような場合、プロセスは１３２８に戻って、更新されたスキャン計画を決定する。例えば、更新された３Ｄモデルにおいて新たなあるいは覆われていない点がある場合、スキャン計画はそれらの点を覆いかつスキャンするために更新されてよい。スキャン計画を新たな点に適応させるための例示のプロセスについて、図２２に関して以下にさらに論じる。さらに、スキャン計画からの１つまたは複数の姿勢を取得することを妨げる障害物に遭遇する場合、スキャン計画は、障害物により覆われていないままである点に対する１つまたは複数の姿勢を決定するために更新されてよい。障害物に適応させるための例示のプロセスについて、図２３に関して以下にさらに論じる。
[00181]図１７は、いくつかの実装形態による、３Ｄモデルを生成するための例示の論理構成およびプロセス１７００、ならびに更新されたスキャン計画を示す。この例では、スキャンプログラム４０８は、３Ｄモデル生成および更新プログラム１７０２、動的スキャン計画プログラム１７０４、および、高解像度３Ｄモデル生成プログラム１７０６を含んでよい。例えば、３Ｄモデル生成および更新プログラム１７０２は、ＵＡＶ１０２が、画像センサ２０８、２１２，２１４、２１６、３０２、３０４、および３０６（図１７に図示せず）によって取得されたスキャン対象の画像１７０８に基づいて３Ｄモデルを生成かつ更新するために飛行している間に、ＵＡＶ１０２に搭載された３Ｄ再構成をリアルタイムで実行してよい。
[00182]さらに、動的スキャン計画プログラム１７０４は、３Ｄモデル生成および更新プログラム１７０２から受信した３Ｄモデル情報１７１０に基づいて、スキャン計画を生成または更新してよい。例えば、３Ｄモデル情報１７１０は、最初に、最初のスキャン計画を生成するための低解像度３Ｄモデル情報を含んでよく、後に、更新された３Ｄモデル情報に基づいて更新されたスキャン計画を生成するための更新された３Ｄモデル情報を含んでよい。さらに、高解像度３Ｄモデル生成プログラム１７０６は、１７１２において示されるように、例えば、高解像度３Ｄモデルを出力するためのフォトグレードレベルで、ＵＡＶ１０２に搭載された追加の３Ｄ再構成を行うために実行されてよい。場合によっては、図１７に関して論じられるプロセスは、図１５および図１６に関して上に論じられるプロセスの一部分として実行されてよい。
[00183]１つの例として、自律プログラム１６０８は、ＵＡＶ１０２用の自律ナビゲーションを可能にするために使用され、かつ本明細書における３Ｄモデルを生成または更新するために３Ｄ再構成中にも使用されてよい、堅牢な高速ローカリゼーションおよび深度／距離範囲推定を提供し得る。よって、１７１４において示されるように、自律プログラム１６０８は、ローカリゼーション情報、範囲情報、視覚慣性オドメトリ（ＶＩＯ）情報、および／またはジンバル推定情報をスキャンプログラム４０８に提供してよい。３Ｄモデル生成および更新プログラム１７０２は、基本的にドリフトのないローカリゼーションによってスキャン対象の計量的に一貫性のある幾何学的形状の３Ｄモデルを構築するために３Ｄ再構成を実行する際に使用するために自律プログラム１６０８から受信したローカリゼーションおよび範囲情報を用いてよい。３Ｄモデル生成および更新プログラム１７０２によって生成された３Ｄモデルは、高解像度３Ｄモデル生成プログラム１７０６によって精度および詳細の改善のためにさらに微調整されてよい。いくつかの例において、高解像度３Ｄモデル生成プログラム１７０６は、スキャン計画の少なくとも一部の完了後に実行されてよいが、他の例では、高解像度３Ｄモデル生成プログラム１７０６は、スキャン計画の少なくとも一部を完了後にＵＡＶ１０２がスキャン対象をスキャンしているあるいは依然飛行している間にリアルタイムで実行されてもよく、このタイミングは、ＵＡＶ１０２の搭載処理機能に部分的に依存し得る。さらに、他の例では、ＵＡＶ１０２は、着陸後に高解像度３Ｄモデル生成プログラム１７０６の少なくとも一部を実行してよい。さらに別の代替策として、最後に、高解像度３Ｄモデル生成プログラム１７０６の動作の少なくとも一部は、ＵＡＶ１０２と通信するおよび／またはＵＡＶ１０２からデータを受信することができる（図１７には全て示されていない）コントローラ１０４、モバイル装置６３２、または、別のリモートコンピューティング装置などのリモートコンピューティング装置上で実行されてよい。
[00184]受信したＶＩＯ情報は、車両運動の飛行中推定、画像センサ情報、およびＩＭＵバイアスを含み得る。例えば、いくつかの例は、２つの画像フレーム間の点を追跡するために使用されてよい特徴追跡を含んでよい。場合によっては、ＶＩＯ情報は、ＩＭＵベース位置情報および／またはＧＮＳＳベース位置情報と相関関係があってよい。いくつかの例において、自律プログラム１６０８は、動作計画プログラム１６０６、および／または追跡／ナビゲーションプログラム１６０７を含んでよいが、そうでない場合、自律プログラムは、動作計画プログラム１６０６および／または追跡／ナビゲーションプログラム１６０７からデータを受信してよい。
[00185]さらに、ジンバル推定情報は、ジンバル画像センサ（例えば、図２および図３に関して論じられた例示のＵＡＶ１０２における画像センサ２０８）の回転または他の位置を示してよい。例えば、ジンバル画像センサ２０８の回転は、画像センサ２０８からの画像の画素を、他の画像センサ２１２、２１４、２１６、３０２、３０４、および３０６の１つまたは複数からの画像の画素と相関させることによって、ＵＡＶ本体に対して推定され得る。さらに、ピッチおよびロールに関する初期推定は、ＩＭＵ重力ベクトルに基づいて決定され得る。さらに、ヨーは、ＩＭＵに含まれ得る、またはＩＭＵと別個であり得るジャイロスコープからの入力に基づいて決定され得る。
[00186]いくつかの例において、自律プログラム１６０８は、ＵＡＶ１０２からスキャン対象の表面までの範囲を決定してよい。例えば、自律プログラム１６０８は、ＵＡＶ１０２の既知の場所に対する３Ｄ空間におけるそれらの点の場所を決定するために、ＵＡＶ１０２からスキャン対象の表面上の１つまたは複数の点までの範囲（距離）を予測するように、選択された画像センサ２１２、２１４、２１６、３０２、３０４、および３０６から得られた画像を使用するために、画像センサ２１２、２１４、２１６、３０２、３０４、および３０６のステレオ対を動的に選択してよい。場合によっては、自律プログラム１６０８は、いくつかの例において特徴照合を含み得る、ＵＡＶ１０２の場所に対するスキャン対象の表面の点の範囲を決定するためのオプティカルフロー技法を用いてよい。例えば、ドリフトを回避するためのＵＡＶ１０２の精確なローカリゼーションは、３Ｄ空間における３Ｄモデルの表面の識別された点の決定された場所に関して一貫性のある精確な３Ｄモデルを実現するのに役立ち得る。
[00187]さらに、自律プログラム１６０８は、スキャン計画における姿勢間の移動などのために、ＵＡＶ１０２用に最適化された動作計画を決定するために、図１６に関して上に論じられる動作計画プログラム１６０６を呼び出してあるいはこれと対話してよい。例えば、動作計画プログラム１６０６は、センサから受信した情報、およびスキャン計画の姿勢に基づいて決定される姿勢の目的地に基づいて、車両力学、障害物回避、およびＵＡＶ１０２のための飛行軌道を生じさせるための平滑性を均衡化する、ＵＡＶ１０２のための飛行経路を決定するためのイベントドリブン予測制御を実行してよい。
[00188]１つの例として、スキャンプログラム４０８は、１７１６において示されるように、スキャン対象インジケーションおよびスキャンパラメータを受信することを含み得るスキャン対象情報を受信してよい。受信したスキャン対象情報に基づいて、動的スキャン計画プログラム１７０４は、示されるスキャン対象の最初のラフスキャンを行うための１つまたは複数の最初の姿勢を決定するために、上述される技法を使用してよい。動的スキャン計画プログラム１７０４は、ＵＡＶ１０２から、スキャン対象の表面上の点までの範囲を決定するために、少なくとも部分的に、ＵＡＶ１０２に、画像を取得するための１つまたは複数の姿勢の場所にナビゲートさせるように、姿勢情報１７２０としての１つまたは複数の姿勢を自律プログラム１６０８に提供し得る。決定されたローカリゼーション情報および範囲決定は、１７１４において示されるように、３Ｄモデル生成および更新プログラム１７０２に提供されてよい。
[00189]３Ｄモデル生成および更新プログラム１７０２は、１７１４において自律プログラム１６０８から受信した範囲決定（例えば、「深度マップ」ともいう）を、ＴＳＤＦに基づいて陰関数曲面を表すボリュームグリッドに集約するようにプロセッサ４０２を構成するために実行され得る。１つの例として、ステレオ対画像（または、そうでない場合、連続したモノ画像）からの深度マップは、ＴＳＤＦボリュームを使用して３Ｄモデルに融合されてよい。例えば、深度マップの融合は、３Ｄ空間における既知の場所を有する３Ｄ点群を決定するために、範囲測定値のそれぞれのセットについて計算された個々のＴＳＤＦの加重平均を使用して行われ得る。上に論じられるように、例えば、図１５および図１６に関して、３Ｄモデルは、スキャン計画が実行されると反復して更新されてよく、スキャン計画は、３Ｄモデルが更新されると反復して更新されてよい。ＴＳＤＦ融合を実行する追加の詳細は、当技術分野では知られており、本明細書において詳細に説明されない。１７１８において示されるように、３Ｄモデル生成および更新プログラム１７０２は、低解像度３Ｄモデルおよび後の更新をリモートコンピューティング装置１７１８に出力してよい。例えば、コントローラおよび／またはモバイル装置６３２は、ディスプレイ上のユーザインターフェースにおいて３Ｄモデルの画像を提示し得る。
[00190]３Ｄモデル生成および更新プログラム１７０２は、第１の画像における照合画素が第２の画像に相対的であるものとする場所を決定するために一対のステレオ画像において取得された照合特徴の間の差異または類似性を決定するためにさらに実行され得る。この決定に基づいて、３Ｄモデル生成および更新プログラム１７０２は、３Ｄモデルにおいて含めるように、および、３Ｄモデルをより全体的に一定になるように、画像における特徴の深度推定を改善するために、２つの画像における照合画素または対応する特徴が互いに相対的なかつ３Ｄモデルに相対的な場所の場所推定を調節してよい。画像を比較することに基づいて３Ｄモデル上の点に関する場所情報を調節することによって、３Ｄモデル生成および更新プログラム１７０２は、リアルタイムのドリフトのないローカリゼーションを可能にする。
[00191]３Ｄモデル生成および更新プログラム１７０２は、精度の改善を実現するようにスキャン対象構造の数式からアセンブリを生成するために、３Ｄモデル上の複数の特徴の場所を連続して最適化するように複数の照合画像をまとめて比較することに基づいて、スキャン対象に対して決定される点の３Ｄ座標を数学的に最適化するためにさらに実行されてよい。よって、複数の画像における特徴に対応する３Ｄモデルにおける点の場所は、３Ｄモデルの全体的な一貫性を改善するために複数の画像間の差異に基づいて互いに対して調節されてよい。したがって、３Ｄモデル生成および更新プログラム１７０２は、起こり得るドリフトまたは他の矛盾を調節するために３Ｄモデルの点の場所を微調整するようにＴＳＤＦと比較および最適化結果とを組み合わせる、ドリフトのない姿勢および一貫したグローバルマップを計算してよい。
[00192]飛行中、３Ｄモデル生成および更新プログラム１７０２は、スキャン対象のＴＳＤＦ３Ｄモデルを構成してよい。ＴＳＤＦのエクステントおよび解像度は、３Ｄモデル生成および更新プログラム１７０２の実行開始時に固定されてよく、ＵＡＶ１０２がスキャン対象の追加のスキャンを実行する際に、ＴＳＤＦは、その時に最も最適化された姿勢などを使用することによって、自律プログラム１６０８から受信した範囲データを使用して更新されてよい。
[00193]３Ｄモデル生成および更新プログラム１７０２は、上に論じられる、リアルタイムの３Ｄ再構成および姿勢調節分析に基づくスキャン計画に従って、ＵＡＶによって使用される姿勢を微調整するためにさらなる反復を実行してよい。例えば、３Ｄモデル生成および更新プログラム１７０２は、自律プログラム１６０８によって処理される新たに取得された画像に基づいて追加のＴＳＤＦ融合を実行するための姿勢の微調整を決定してよい。
[00194]動的スキャン計画プログラム１７０４は、取得解像度、距離、角度、重複などの指定されたパラメータに対して、３Ｄモデルに対応する指定されたスキャン対象の表面の画像を取得するための複数の姿勢を含むスキャン計画を作成または更新するために、３Ｄモデル生成および更新プログラム１７０２によって作成された３Ｄモデルを使用するようにプロセッサ４０２を構成するために実行されてよい。動的スキャン計画プログラム１７０４は、３Ｄモデル生成および更新プログラム１７０２から３Ｄモデル情報１７１０として更新された３Ｄモデル（または少なくとも３Ｄモデル更新情報）を受信してよく、かつスキャン対象の広範囲にわたるスキャン中に３Ｄモデルの精度の改善あるいは更新が行われる際にスキャン計画を反復して微調整してよい。
[00195]反復して更新されたスキャン計画に基づいて、ＵＡＶ１０２は、典型的な人間パイロットの信頼性に勝るスキャン対象の被覆を実現し得る。スキャン計画（例えば、少なくとも、スキャン計画または更新されたスキャン計画に関する姿勢情報１７２０）は、現在のスキャン計画に対応する姿勢情報１７２０に基づいて指定された姿勢を取るようにＵＡＶ１０２の動作計画および制御を可能にするために、自律プログラム１６０８および／または車両制御プログラム４０６の他のプログラムに提供され得る。
[00196]いくつかの例では、画像比較から決定された差異に基づいて、ナビゲーション座標フレーム（例えば、ＶＩＯが中にあるフレーム）と、真のナビゲーションフレームの現在の最良の推定との間の差異を表す姿勢変換が生成され得る。この技法は、ＶＩＯ測定におけるドリフトを考慮する場合があり、かつ姿勢変換に基づいてＵＡＶ１０２がＶＩＯ姿勢を補正できるようにする。したがって、これらの技法を使用することによって、３Ｄモデル生成および更新プログラム１７０２は、ＵＡＶローカリゼーションで生じ得るドリフトの影響を最小化することができ、それによって、３Ｄ空間における３Ｄモデルの点の場所の精度が高まる。さらに、３Ｄモデル生成および更新プログラム１７０２は新たな画像が受信されると３Ｄモデルを継続的に更新し、スキャン計画はまた、３Ｄモデルの更新に従って更新されるため、ＵＡＶ１０２は、スキャン対象の片側のみが、受信したスキャン対象インジケーション情報において示されている場合があっても、スキャン対象全体（例えば、全ての露出した側面）を自律的にスキャンしてよい。
[00197]さらに、同じＵＡＶの複数の飛行間の、または同じスキャン対象の異なる部分をスキャンする２つの異なるＵＡＶの飛行間のリローカリゼーションについて、スキャンプログラム４０８は、画像対の間の相対姿勢推定に関する特徴を照合し得る。例えば、スキャンプログラム４０８は、ＵＡＶ１０２がスキャン対象および３Ｄモデルに対するこの現在の場所を決定できるようにするために２つ以上の別個の画像上の特徴を照合してよい。１つの例として、ＵＡＶ１０２がこの電池を充電するために図５に関して上に論じられるドッキングステーション１０６に戻ると仮定する。充電を完了すると、ＵＡＶ１０２（または別のＵＡＶ１０２）は、離陸し、かつＵＡＶ１０２が中止した姿勢に戻ろうと試みることができる。ＵＡＶ１０２は、スキャン計画を再開する前に撮られた１つまたは複数の現在の画像を、ＵＡＶ１０２がドッキングステーションに戻るためにスキャン計画を休止する以前の姿勢で撮られた１つまたは複数の以前の画像と比較してよい。現在の画像を以前の画像と比較することに基づいて、ＵＡＶ１０２は、スキャン計画を再開するために初期位置合わせを決定するための画像対の間の相対姿勢推定を決定してよい。
[00198]さらに、スキャンプログラム４０８は、姿勢情報および取得された画像１７２２を高解像度３Ｄモデル生成プログラム１７０６に提供してよい。高解像度３Ｄモデル生成プログラム１７０６は、３Ｄモデル生成および更新プログラム１７０２と同様に、しかしながら、受信した画像全てを、またはよりインテリジェントにおよび精度を最大限にするために画像間の高解像度の対応関係を使用して同時確率を考慮する多数の受信した画像を処理するバッチ式に、カメラ姿勢およびまばらな点を最適化するようにプロセッサ４０２を構成するために実行されてよい。
[00199]高解像度３Ｄモデル生成プログラム１７０６は、例えば、高解像度画像センサ２０８によって取得されたおよびより詳細な３Ｄ再構成を実行する、高解像度画像からの深度画像を計算するために実行されてよい。いくつかの例では、高解像度３Ｄモデル生成プログラム１７０６は飛行中に実行されてよく、これによって、表面および計画取得経路をマッピングする能力が与えられる。例えば、高解像度３Ｄモデル生成プログラム１７０６は、入力として２つの画像を受信してよく、対応関係、およびこれらの対応関係の信頼度を計算してよい。それぞれの対応関係は、元の画像までたどることができ、これらの対応関係は、範囲値を三角測量するために３Ｄに投影されてよい。それぞれのパスのために、高解像度３Ｄモデル生成プログラム１７０６は、対応関係を元の画像までたどり、かつ画像における特徴までの範囲を得るために三角測量してよい。
[00200]高解像度３Ｄモデル生成プログラム１７０６は、最後に最適化された姿勢、較正、および高解像度範囲画像を採用してよく、かつこれらを点群またはＴＳＤＦに融合してよい。例えば、高解像度３Ｄモデル生成プログラム１７０６は、三角測量を行ってよい、または高解像度範囲画像から高解像度メッシュ３Ｄモデルを構成するためにマーチングキューブ法を使用してよい。ＴＳＤＦがこのプロセスに用いられる時、ＴＳＤＦは、上に論じられた３Ｄモデル生成および更新プログラム１７０２によって用いられたものとは異なる高解像度関数であり得る。したがって、高解像度３Ｄモデル生成プログラム１７０６は、スキャン対象の表面幾何構造を表す複数の多角形を含む高解像度メッシュ３Ｄモデルを生成してよい。代替的には、他の例において、点群３Ｄモデルが生成され得る。
[00201]高解像度３Ｄモデル生成プログラム１７０６は、スキャンされた画像をＵＶテクスチャなどのテクスチャとして、高解像度３Ｄモデル生成プログラム１７０６によって生成された３Ｄメッシュモデルに適用する視点を選択するためにさらに実行されてよい。代替的には、点群モデルが生成される場合、スキャンされた画像は点群をテクスチャ処理するために使用されてよい。例えば、ＵＶマッピングは、各々のＵ座標およびＶ座標などに基づいて、取得された画像を３Ｄモデル上のこれらの正しい場所と照合するためのテクスチャマッピングのために、取得された高解像度画像を高解像度３Ｄモデルの表面上に投影して、スキャン対象の精確な高解像度のテクスチャ処理された３Ｄモデルを提供するために使用され得る。
[00202]スキャン対象のメッシュ３Ｄモデルが生成された場合、高解像度３Ｄモデル生成プログラム１７０６は、メッシュから多角形を選択し、選択された多角形に適用するためのテクスチャを決定するために選択された多角形の場所に適合する１つまたは複数の取得された画像を決定するために実行されてよく、かつ、決定されたテクスチャを選択された多角形の面に適用してよい。これらのステップは、メッシュ３Ｄモデルにおけるそれぞれの多角形に対して繰り返されてよい。高解像度３Ｄモデル生成プログラム１７０６はまた、メッシュ３Ｄモデルをより一貫性あるものにするために、複数の多角形の間の画像コンテンツおよび／またはテクスチャならびに視点を整列させるためにメッシュ頂点に対する微調整段階を実行してよい。高解像度３Ｄモデル生成プログラム１７０６は、１７１２において示されるように、いくつかの例において完全にテクスチャ処理され、かつさまざまな角度からスキャン対象を観測すること、損傷、欠陥、摩耗、腐食などに関するスキャン対象の詳細な検査を実行することなどのさまざまな応用に使用可能であり得る高解像度３Ｄモデルを出力してよい。
[00203]図１８は、いくつかの実装形態によるスキャン対象を指定するための例示のプロセス１８００を示すフロー図である。いくつかの例では、プロセス１８００の少なくとも一部は、例えば、図６～図１２に関して上に論じられるように、コントローラ１０４および／またはモバイル装置６３２などのリモートコンピューティング装置によって実行されてよい。
[00204]１８０２において、リモートコンピューティング装置は、ＵＡＶ１０２によって取得された意図したスキャン対象の画像を含むユーザインターフェースを提示してよい。１つの例として、ユーザは、所望のスキャン対象を、ＵＡＶ１０２の少なくとも１つの画像センサによって観測することができる場所および向きにＵＡＶ１０２を手動でナビゲートしてよい。したがって、スキャン対象の画像は、ユーザインターフェース６０２において提示されてよく、ユーザインターフェース６０２は、図６～図１０に関して上に論じられる技法のいずれかを使用してスキャン対象の選択を可能にし得る。
[00205]１８０４において、リモートコンピューティング装置は、ユーザインターフェース６０２を介して、ユーザインターフェース６０２に提示される画像に含まれるスキャン対象を選択するために１つまたは複数のユーザ入力を受信し得る。１つの例として、ユーザは、所望のスキャン対象の周りの３Ｄボリュームを指定するために境界ボリュームを操作してよい。別の例として、ユーザは、スキャン対象の一部をタップしてよく、かつスキャン対象の形状または縁部などを認識することに基づいて、スキャン対象を選択するための認識を行うためにリモートコンピューティング装置上で実行しているアプリケーションに頼る場合がある。さらに別の例として、ユーザは、ユーザインターフェースにおいてスキャン対象を選択するためのペイント機能を使用してよい。さらに別の例として、ユーザは、画像におけるスキャン対象の１つまたは複数の部分を選択してよく、リモートコンピューティング装置は、送電塔、ジェット旅客機、または携帯電話基地局など、高い規則性を有する特有の構造であるとしてスキャン対象の認識を行ってよく、かつこの認識に基づいてスキャン対象の残りの部分を選択してよい。
[00206]１８０６において、リモートコンピューティング装置は、ユーザインターフェース６０２の画像において選択されたスキャン対象のインジケーション、およびＵＡＶ１０２が示されたスキャン対象のスキャンを実行するというインジケーションをＵＡＶ１０２に送ってよい。
[00207]１８０８において、リモートコンピューティング装置は、ＵＡＶ１０２からスキャン対象の低解像度３Ｄモデルを受信してよく、かつリモートコンピューティング装置のディスプレイ上のユーザインターフェースにおいて低解像度３Ｄモデルを提示してよい。例えば、ユーザは、ユーザがスキャンさせることを望んでいるスキャン対象の部分をＵＡＶ１０２がスキャンしていることを確実にするために、スキャン対象の低解像度３Ｄモデルを精査可能にしてよい。
[00208]１８１０において、リモートコンピューティング装置は、ＵＡＶからのスキャン計画、および／またはＵＡＶ１０２が示されたスキャン対象のスキャンを開始したというインジケーションを受信してよい。例えば、ＵＡＶ１０２は、スキャン対象の低解像度３Ｄモデルを生成することなどのために、スキャン対象の最初のスキャンを取得するための１つまたは複数の姿勢に自律的にナビゲートしてよい。ユーザは、スキャン対象の最初のスキャン中にＵＡＶ１００上の画像センサの１つまたは複数から映像を受信することに基づいて、ＵＡＶの視点を観測することが可能であってよい。
[00209]１８１２において、リモートコンピューティング装置は、対象のスキャン中に取得された姿勢の姿勢情報をＵＡＶ１０２から受信してよい。
[00210]１８１４において、受信した姿勢情報に基づいて、ＵＡＶ１０２によって既に取得されている姿勢に対応する３Ｄモデルの一部を、ユーザインターフェースに提示された３Ｄモデルの他の部分と視覚的に区別し得る。例えば、スキャン対象の所望のエリアの全てがＵＡＶ１０２によってスキャンされることを確実にするためにスキャンが実行される際に、ユーザはＵＡＶ１０２によって実行されるスキャンを監視することができてよい。取得されたエリアには、強調表示、異なる色でのペイント、輪郭を描くこと、あるいは、まだ取得されていないエリアとの視覚的な区別が行われてよい。
[00211]１８１６において、リモートコンピューティング装置は、更新された３Ｄモデルおよび／または更新されたスキャン計画を受信してよい。先に述べたように、場合によっては、ＵＡＶは、スキャン中に得られた追加の情報に基づいて３Ｄモデルを更新してよく、さらに、３Ｄモデルの更新に基づいてスキャン計画を更新してよい。いくつかの例において、リモートコンピューティング装置は、ユーザインターフェースにおいて更新された３Ｄモデルをおよびスキャン計画を提示してよい。
[00212]図１９は、いくつかの実装形態によるスキャン対象の低解像度３Ｄモデルを生成するための例示のプロセス１９００を示すフロー図である。いくつかの例において、プロセス１９００の少なくとも一部は、スキャンプログラム４０８および車両制御プログラム４０６を実行することなどによって、ＵＡＶ１０２によって実行されてよい。代替的には、いくつかの例において、プロセス１９００の少なくとも一部は、コントローラ１０４および／またはモバイル装置６３２などのＵＡＶ１０２から遠く離れたコンピューティング装置によって実行されてよい。
[00213]１９０２において、ＵＡＶ１０２は、スキャン対象のインジケーションを受信してよい。例えば、上に論じられるように、ＵＡＶ１０２は、コントローラ１０４および／もしくはモバイル装置６３２などのリモートコンピューティング装置、または、ＵＡＶ１０２と通信することができる任意の他のコンピューティング装置からスキャン対象のインジケーションを受信してよい。
[00214]１９０４において、ＵＡＶ１０２は、示されたスキャン対象に対応する表面の画像を取得するための１つまたは複数の姿勢を決定してよい。例えば、図７などに関して論じられるように、境界ボリュームがスキャン対象を指定するために使用される場合、ＵＡＶ１０２は、境界ボリュームを、境界ボリューム内の任意の表面の画像を取得するための現実世界の場所に相関させることに基づいて、示されたスキャン対象の画像を取得するための１つまたは複数の場所および視界を決定してよい。
[00215]１９０６において、ＵＡＶ１０２は、それぞれの姿勢で複数の画像を取得するための決定された１つまたは複数の姿勢へと飛行するようにＵＡＶの推進メカニズムを制御してよい。例えば、ＵＡＶは、スキャン対象の表面上の点までの距離を決定するために画像センサが立体視レンジファインダとして使用可能であるように、２つ以上の画像センサと同時に画像を取得してよい。
[00216]１９０８において、ＵＡＶ１０２は、関連した画像における点間の視差を決定することに基づいて、ＵＡＶから画像において取得された表面までの距離を決定してよい。例えば、ＵＡＶ１０２は、スキャン対象の表面上のそれぞれの点のそれぞれの距離を決定するために複数の画像の多視点ステレオ分析を用いてよい。
[00217]１９１０において、ＵＡＶ１０２は、画像において取得された表面上の点までの決定された距離に基づいて、スキャン対象サービスの低解像度３Ｄモデルを生成してよい。例えば、低解像度３Ｄモデルは、３Ｄ空間における場所が、ＵＡＶ１０２上の複数の画像センサを使用して取得された点の２つ以上の画像の間の視差またはその他の差異を決定することなどの画像分析に基づいて決定されてよい複数の点を含んでよい。１つの例として、低解像度３Ｄモデルは、切り捨て符号付き距離関数などの応用に部分的に基づいて、決定されてよい。
[00218]１９１２において、ＵＡＶ１０２は、スキャン対象の低解像度３Ｄモデルの点の少なくともいくつかに対する垂線を決定してよい。１つの例として、垂線は、各々の点が位置するスキャナ対象の表面に全般的に垂直である低解像度３Ｄモデルの点から外方に延在する仮想線であってよい。
[00219]１９１４において、ＵＡＶ１０２は、低解像度３Ｄモデルをリモートコンピューティング装置に送ってよい。例えば、低解像度３Ｄモデルは、コントローラ１０４、モバイル装置６３２、または、ＵＡＶ１０２と通信し得るＵＡＶ１０２から遠く離れた他のコンピューティング装置に送られてよい。
[00220]図２０は、いくつかの実装形態によるスキャン対象の低解像度３Ｄモデルを生成するための例示のプロセス２０００を示すフロー図である。いくつかの例において、プロセス２０００の少なくとも一部は、スキャンプログラム４０８および車両制御プログラム４０６を実行することなどによって、ＵＡＶ１０２によって実行されてよい。代替的には、いくつかの例において、プロセス２０００の少なくとも一部は、コントローラ１０４および／またはモバイル装置６３２などのＵＡＶ１０２から遠く離れたコンピューティング装置によって実行されてよい。
[00221]２００２において、ＵＡＶ１０２はスキャン対象のためのスキャン計画を決定するために低解像度３Ｄモデルにアクセスしてよい。１つの例として、ＵＡＶ１０２は、図１９に関して上に論じられるように、低解像度３Ｄモデルを決定していてよい。他の例では、ＵＡＶ１０２は、リモートコンピューティング装置などなどから低解像度３Ｄモデルを受信してよい。
[00222]２００４において、ＵＡＶ１０２は、低解像度３Ｄモデルの点集合を、覆われている点の部分集合および覆われていない点の部分集合に分割してよい。最初に、低解像度３Ｄモデルの点全てが覆われていない場合がある。
[00223]２００６において、ＵＡＶ１０２は、新たな姿勢を決定するために覆われていない点の部分集合から次の中心点を選択してよい。例えば、ＵＡＶ１０２は、先に決定された姿勢に対する先に選択された中心点からの中心点までの距離に基づいて、さらに、中心点および周辺エリアの画像を取得するために使用されることになる画像センサの視野によって覆われることが予測されるエリア、画像が取得される時に点が位置するスキャン対象の表面からＵＡＶ１０２までの予想される距離、および、スキャン対象の取得された連続画像間の所望の重複量に基づいて、連続姿勢を決定するために覆われていない点集合から次の点を選択してよい。例えば、中心点は、それぞれの姿勢に対して取得された画像の視野の略中心にあることが予想され得る。
[00224]２００８において、ＵＡＶ１０２は、選択された中心点、および選択された中心点に対するそれぞれの垂線に基づいて新たな姿勢を決定してよい。
[00225]２０１０において、ＵＡＶ１０２は、新たな姿勢の視野によって覆われることになる、覆われていない点集合の点を決定してよい。
[00226]２０１２において、ＵＡＶ１０２は、新たな姿勢の被覆に基づいて、覆われている点集合および覆われていない点集合を更新してよい。
[00227]２０１４において、ＵＡＶ１０２は、低解像度３Ｄモデルにおいて覆われていない点のいずれかが残っているかどうかを決定してよい。そうである場合、プロセスは２００６に戻って次の中心点を選択する。そうでない場合、プロセスは２０１６に進む。
[00228]２０１６において、覆われていない点が残っていない時、ＵＡＶ１０２は、スキャン計画の姿勢をトラバースする順序を決定してよい。例えば、芝刈り機トラバース経路を使用すること、巡回セールスマンアルゴリズムを適用すること、または螺旋トラバース経路を適用することなど、スキャン計画の姿勢をトラバースするためのさまざまな異なる方策が使用されてよい。
[00229]図２１は、いくつかの実装形態による、低解像度３Ｄモデルの点が姿勢によって覆われているかどうかを決定するための例示のプロセス２１００を示すフロー図である。いくつかの例において、プロセス２１００の少なくとも一部は、スキャンプログラム４０８を実行することなどによって、ＵＡＶ１０２によって実行されてよい。代替的には、いくつかの例において、プロセス２１００の少なくとも一部は、コントローラ１０４および／またはモバイル装置６３２などのＵＡＶ１０２から遠く離れたコンピューティング装置によって実行されてよい。いくつかの例において、プロセス２１００は、図２０のプロセス２０００のブロック２０１０に対応し得る。
[00230]２１０２において、ＵＡＶ１０２は、姿勢の中心点から評価中の点までの距離を決定してよい。
[00231]２１０４において、ＵＡＶ１０２は、画像が取得されることになる予想される距離で姿勢に使用されることになる画像センサの視野のサイズを決定してよい。
[00232]２１０６において、ＵＡＶ１０２は、姿勢に使用されることになる予想される距離で画像センサの視野の決定されたサイズ内に評価中の点はあるかどうかを決定してよい。そうである場合、プロセスは２１０８に進む。そうでない場合、プロセスは２１１４に進む。
[00233]２１０８において、ＵＡＶ１０２は、評価中の点の垂線と姿勢に対する中心点の垂線との間の角度が閾値角度を上回るかどうかを決定してよい。例えば、２つの垂線間の角度が４５度、６０度、または何らかの他の閾値量を上回る場合、評価中の点が画像センサの視野の範囲内にあっても、評価中の点が適当に覆われていない場合がある。角度が閾値を上回る場合、プロセスは２１１４に進む。そうでない場合、プロセスは２１１０に進む。
[00234]２１１０において、ＵＡＶ１０２は、評価中の点が姿勢に対する画像センサの予想される場所に対して遮蔽されているかどうかを決定してよい。１つの例として、遮蔽についてのチェックは、光線試験などを使用して行われてよい。評価中の点が遮蔽されている場合、点は覆われておらず、プロセスは２１１４に進む。評価中の点が遮蔽されていない場合、プロセスは２１１２に進む。
[00235]２１１２において、ＵＡＶ１０２は、ブロック２１０２～２１１０の結果に基づいて、点が覆われていると決定し得る。
[00236]２１１４において、ＵＡＶ１０２は、ブロック２１０２～２１１０の結果に基づいて、点は覆われていないと決定し得る。
[00237]図２２は、いくつかの実装形態による、低解像度３Ｄモデルの更新に基づいてスキャン計画を動的に更新するための例示のプロセス２２００を示すフロー図である。いくつかの例において、プロセス２２００の少なくとも一部は、スキャンプログラム４０８を実行することなどによって、ＵＡＶ１０２によって実行されてよい。代替的には、いくつかの例において、プロセス２２００の少なくとも一部は、コントローラ１０４および／またはモバイル装置６３２などのＵＡＶ１０２から遠く離れたコンピューティング装置によって実行されてよい。
[00238]２２０２において、スキャン計画の実行中に、ＵＡＶ１０２は、スキャン対象の低解像度３Ｄモデルの更新を示す画像またはセンサデータを受信してよい。
[00239]２２０４において、ＵＡＶ１０２は、受信したデータに基づいて低解像度３Ｄモデルを更新してよい。
[00240]２２０６において、ＵＡＶ１０２は、既存のスキャン計画に対して既に実行されている姿勢、および、既に確立されているが既存のスキャン計画に対してまだ実行されていない姿勢のＦＯＶに基づいて、更新された低解像度３Ｄモデルの点集合を、覆われている点の部分集合および覆われていない点の部分集合に分割してよい。
[00241]２２０８において、ＵＡＶ１０２は、既存のスキャン計画に対して覆われていない点があるかどうかを決定してよい。そうである場合、プロセスは２２１２に進む。そうでない場合、プロセスは２２１０に進む。
[00242]２２１０において、ＵＡＶ１０２は、既存のスキャン計画の実行を進めてよい。
[00243]２２１２において、ＵＡＶ１０２は、覆われていない点の部分集合を覆うための１つまたは複数の新たな姿勢を決定することに基づいて、更新されるスキャン計画を決定してよい。
[00244]２２１４において、ＵＡＶ１０２は、先のスキャン計画の代わりに、更新されたスキャン計画を実行してよい。
[00245]図２３は、いくつかの実装形態による、スキャン計画を障害物に動的に適応させるための例示のプロセス２３００を示すフロー図である。いくつかの例では、プロセス２３００の少なくとも一部は、スキャンプログラム４０８および車両制御プログラム４０６を実行することなどによって、ＵＡＶ１０２によって実行されてよい。代替的には、いくつかの例において、プロセス２３００の少なくとも一部は、コントローラ１０４および／またはモバイル装置６３２などのＵＡＶ１０２から遠く離れたコンピューティング装置によって実行されてよい。
[00246]２３０２において、スキャン計画の実行中に、ＵＡＶ１０２は、障害物に対するスキャン計画の選択された次の姿勢をチェックしてよい。
[00247]２３０４において、障害物が検出される場合、プロセスは２３１０に進む。そうでない場合、プロセスは２３０６に進む。
[00248]２３０６において、ＵＡＶ１０２を選択された姿勢にナビゲートしてよい。
[00249]２３０８において、ＵＡＶ１０２は選択された姿勢で画像取得を実行してよい。場合によっては、画像取得は、姿勢に対する目標点の垂線に沿って直角に実行されてよい。他の例では、上述されるように、画像取得は直角の画像取得に限定されない。
[00250]２３１０において、選択された姿勢に対する障害物が検出された時、ＵＡＶ１０２は、選択された姿勢を置き換えるためのバックアップ姿勢を決定してよい。
[00251]２３１２において、ＵＡＶ１０２は、障害物に対してバックアップ姿勢をチェックしてよい。
[00252]２３１４において、障害物が検出される場合、プロセスは２３２０に進む。そうでない場合、プロセスは２３１６に進む。
[00253]２３１６において、ＵＡＶ１０２をバックアップ姿勢にナビゲートしてよい。
[00254]２３１８において、ＵＡＶ１０２はバックアップ姿勢で画像取得を実行してよい。例えば、ＵＡＶ１０２は、距離パラメータ（ＧＳＤ）において指定されるよりも所望の表面に対して遠いまたは近いなど、目標点の垂線に沿って直角に画像を取得しようと試みる場合がある。さらに、他の例において、バックアップ姿勢は直角でなくてよい。
[00255]２３２０において、ＵＡＶ１０２は、別のバックアップ姿勢があるかどうかを決定してよい。そうである場合、プロセスは２３１０に進む。そうでない場合、プロセスは２３２２に進む。
[00256]２３２２において、ＵＡＶ１０２は、障害物によって認められるような選択された姿勢に対する斜め画像取得を実行してよい。例えば、スキャンパラメータは、通常画像取得に対する直角から最大限離れた角度を含んでいてよい。しかしながら、障害物がある場合、パラメータは無視される場合があり、遮られた表面の取得は、目標点を取得することができるバックアップ姿勢がない場合、最大角度パラメータを超える斜角で実行されてよい。
[00257]プロセスは、スキャン計画における次の姿勢に対する障害物があるかどうかを決定するために２３０２に戻ってよい。例えば、選択された姿勢に対応するスキャンが、元の姿勢もしくはバックアップ姿勢から、または別の位置（例えば、現在の位置）から斜めに実行されると、ＵＡＶ１０２は、処理のために次の姿勢でスキャン計画を続行してよい。
[00258]本明細書に説明される例示のプロセスは、論述の目的で提供されるプロセスの単なる例である。本明細書の開示に照らすと多数の他の変形が当業者には明らかとなろう。さらに、本明細書の開示は、プロセスを実行するための適したフレームワーク、アーキテクチャ、および環境のいくつかの例を示しているが、本明細書における実装形態は、示されかつ論じられる特定の例に限定されない。さらに、本開示は、記載されかつ図面に示されるようなさまざまな例示の実装形態を提供する。しかしながら、本開示は、本明細書に説明されかつ示される実装形態に限定されず、当業者に知られているように、または当業者に知られることになるように、他の実装形態に拡張可能である。
[00259]本明細書において説明されるさまざまな命令、プロセス、および技法は、コンピュータ可読媒体に記憶され、かつ本明細書におけるプロセッサによって実行されるコンピュータプログラムおよびアプリケーションなどのコンピュータ実行可能命令の一般的な文脈において考慮され得る。一般に、プログラムおよびアプリケーションという用語は、区別なく使用されてよく、特定のタスクを実行するまたは特定のデータ型を実装するための命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行可能コードなどを含み得る。これらのプログラムおよびアプリケーションなどは、ネイティブコードとして実行されてよい、または仮想マシンもしくは他のジャストインタイムコンパイル実行環境などにダウンロードされかつ実行されてよい。典型的には、プログラムおよびアプリケーションの機能性は、さまざまな実装形態において望ましいように組み合わせまたは分散されてよい。これらのプログラム、アプリケーション、および技法の実装形態は、コンピュータ記憶媒体に記憶されてよい、または何らかの形態の通信媒体にわたって送信されてよい。
[00260]主題について、構造的特徴および／または方法論的動作に特有の文言で記載しているが、添付の特許請求の範囲に規定された主題が必ずしも記載された特定の特徴または動作に限定されないことは理解されたい。むしろ、特定の特徴および動作は、特許請求の範囲を実装する例示的な形態として開示されている。

Claims (20)

  1. 無人航空機（ＵＡＶ）であって、
    １つまたは複数の画像センサと、
    推進メカニズムと、
    実行可能命令によって、動作を実行するように構成される１つまたは複数のプロセッサとを備え、前記動作は、
    前記１つまたは複数の画像センサによって、前記ＵＡＶが飛行している間にスキャン対象の複数の画像を取得すること、
    ３次元（３Ｄ）モデルの複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、
    前記ＵＡＶに対する現在の基準系の位置であって前記３Ｄ空間における前記ＵＡＶの位置と、前記ＵＡＶに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第１の画像と前記複数の画像の第２の画像とを比較すること、および、
    少なくとも前記差異に基づいて、前記ＵＡＶが飛行している間に、
    前記３Ｄモデルにおける少なくとも１つの点の更新済みの場所、または
    前記３Ｄモデルにおける新たな点の場所
    のうちの少なくとも１つを含む前記３Ｄモデルの更新を決定すること
    を含み、前記複数の点は前記スキャン対象の表面を表す、
    無人航空機（ＵＡＶ）。
  2. 少なくとも前記差異に基づいて前記３Ｄモデルの更新を決定する前記動作は、
    追加の取得された画像に基づいて追加の距離情報を受信することと、
    前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて前記３Ｄモデルにおける前記新たな点の前記場所を決定することと、
    を含む、請求項１に記載のＵＡＶ。
  3. 前記動作は、
    前記３Ｄモデルの前記更新に少なくとも部分的に基づいて、前記ＵＡＶが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、
    前記ＵＡＶに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも１つまで飛行させるように前記ＵＡＶの推進メカニズムを制御することと、
    をさらに含み、前記スキャン計画は前記スキャン対象の画像を取得するために前記ＵＡＶが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記３Ｄモデルのそれぞれの点に基づいて決定される、
    請求項１に記載のＵＡＶ。
  4. 前記３Ｄモデルの前記複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも２つの画像を使用して、切り捨て符号付き距離関数（ＴＳＤＦ）の融合を実行することをさらに含む、請求項１に記載のＵＡＶ。
  5. 前記差異を決定するために前記複数の画像の前記第１の画像と前記複数の画像の前記第２の画像とを比較する前記動作は、
    前記第１の画像と前記第２の画像との間の１つまたは複数の対応関係を決定するために前記第１の画像と前記第２の画像とを比較することと、
    前記１つまたは複数の対応関係に少なくとも部分的に基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶに対する現在の基準系の位置と、前記ＵＡＶに対する実際の基準系の位置の推定との間の前記差異を決定することと、
    をさらに含む、請求項１に記載のＵＡＶ。
  6. 前記動作は、
    前記第１の画像および前記第２の画像を含む前記複数の画像の複数の画像対をまとめることと、
    前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記３Ｄモデルの複数の点の相対的な場所を更新することと、
    をさらに含む、請求項１に記載のＵＡＶ。
  7. 前記動作は、
    複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも部分的に基づいて決定することと、
    前記決定された対応関係に少なくとも部分的に基づいて、前記３Ｄモデルより解像度が高い高解像３Ｄモデルを生成することと、
    をさらに含む、請求項１に記載のＵＡＶ。
  8. 無人航空機（ＵＡＶ）の１つまたは複数のプロセッサが、前記ＵＡＶが飛行している間にスキャン対象の複数の画像を１つまたは複数の画像センサによって取得することと、
    前記１つまたは複数のプロセッサが、３次元（３Ｄ）モデルの複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することと、
    前記１つまたは複数のプロセッサによって、前記ＵＡＶに対する現在の基準系の位置であって前記３Ｄ空間における前記ＵＡＶの位置と、前記ＵＡＶに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第１の画像と前記複数の画像の第２の画像とを比較することと、
    少なくとも前記差異に基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶが飛行している間に、
    前記３Ｄモデルにおける少なくとも１つの点の更新済みの場所、または
    前記３Ｄモデルにおける新たな点の場所
    のうちの少なくとも１つを含む前記３Ｄモデルの更新を決定することと、
    を含み、前記複数の点は前記スキャン対象の表面を表す、
    方法。
  9. 少なくとも前記差異に基づいて前記３Ｄモデルの更新を決定することは、
    追加の取得された画像に基づいて追加の距離情報を受信することと、
    前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記３Ｄモデルにおける前記新たな点の前記場所を決定することと、
    を含む、請求項８に記載の方法。
  10. 前記３Ｄモデルの前記更新に少なくとも部分的に基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、
    前記ＵＡＶに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも１つまで飛行させるように、前記１つまたは複数のプロセッサによって、前記ＵＡＶの推進メカニズムを制御することと、
    をさらに含み、前記スキャン計画は前記スキャン対象の画像を取得するために前記ＵＡＶが取る複数の姿勢を含み、前記スキャン計画の対応する姿勢は前記３Ｄモデルのそれぞれの点に基づいて決定される、
    請求項８に記載の方法。
  11. 前記３Ｄモデルの前記複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することは、前記スキャン対象の前記複数の画像の少なくとも２つの画像を使用して、切り捨て符号付き距離関数（ＴＳＤＦ）の融合を実行することをさらに含む、請求項８に記載の方法。
  12. 前記差異を決定するために前記複数の画像の前記第１の画像と前記複数の画像の前記第２の画像とを比較することは、
    前記第１の画像と前記第２の画像との間の１つまたは複数の対応関係を決定するために前記第１の画像と前記第２の画像とを比較することと、
    前記１つまたは複数の対応関係に少なくとも部分的に基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶに対する現在の基準系の位置と、前記ＵＡＶに対する実際の基準系の位置の推定との間の前記差異を決定することと、
    をさらに含む、請求項８に記載の方法。
  13. 前記第１の画像および前記第２の画像を含む前記複数の画像の複数の画像対をまとめることと、
    前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記３Ｄモデルの複数の点の相対的な場所を更新することと、
    をさらに含む、請求項８に記載の方法。
  14. 複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
    前記決定された対応関係に少なくとも部分的に基づいて、前記３Ｄモデルより解像度が高い高解像３Ｄモデルを生成することと、
    をさらに含む、請求項８に記載の方法。
  15. 無人航空機（ＵＡＶ）であって、
    １つまたは複数の画像センサと、
    推進メカニズムと、
    実行可能命令によって、動作を実行するように構成される１つまたは複数のプロセッサとを備え、前記動作は、
    前記１つまたは複数の画像センサによって、前記ＵＡＶが飛行している間にスキャン対象の複数の画像を取得すること、
    ３次元（３Ｄ）モデルの複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、
    前記複数の画像の第１の画像と前記複数の画像の第２の画像との間の１つまたは複数の対応関係を決定するために前記第１の画像と前記第２の画像とを比較すること、
    前記１つまたは複数の対応関係に少なくとも部分的に基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶに対する現在の基準系の位置であって前記３Ｄ空間における前記ＵＡＶの位置と、前記ＵＡＶに対する実際の基準系の位置の推定との間の差異を決定すること、および、
    前記差異または前記１つもしくは複数の対応関係のうちの少なくとも１つに基づいて、前記１つまたは複数のプロセッサによって、前記ＵＡＶが飛行している間に、
    前記３Ｄモデルにおける少なくとも１つの点の更新済みの場所、または
    前記３Ｄモデルにおける新たな点の場所
    のうちの少なくとも１つを含む前記３Ｄモデルの更新を決定すること
    を含み、前記複数の点は前記スキャン対象の表面を表す、
    無人航空機（ＵＡＶ）。
  16. 少なくとも前記差異に基づいて前記３Ｄモデルの更新を決定する前記動作は、
    追加の取得された画像に基づいて追加の距離情報を受信することと、
    前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記３Ｄモデルにおける前記新たな点の前記場所を決定することと、
    を含む、請求項１５に記載のＵＡＶ。
  17. 前記動作は、
    前記３Ｄモデルの前記更新に少なくとも部分的に基づいて、前記ＵＡＶが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、
    前記ＵＡＶに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも１つまで飛行させるように前記ＵＡＶの推進メカニズムを制御することと、
    をさらに含み、前記スキャン計画は前記スキャン対象の画像を取得するために前記ＵＡＶが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記３Ｄモデルのそれぞれの点に基づいて決定される、
    請求項１５に記載のＵＡＶ。
  18. 前記３Ｄモデルの前記複数の点の３Ｄ空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも２つの画像を使用して、切り捨て符号付き距離関数（ＴＳＤＦ）の融合を実行することをさらに含む、請求項１５に記載のＵＡＶ。
  19. 前記動作は、
    前記第１の画像および前記第２の画像を含む前記複数の画像の複数の画像対をまとめることと、
    前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記３Ｄモデルの複数の点の相対的な場所を更新することと、
    をさらに含む、請求項１５に記載のＵＡＶ。
  20. 前記動作は、
    複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記ＵＡＶに対する前記現在の基準系の位置と、前記ＵＡＶに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
    前記決定された対応関係に少なくとも部分的に基づいて、前記３Ｄモデルより解像度が高い高解像３Ｄモデルを生成することと、
    をさらに含む、請求項１５に記載のＵＡＶ。
JP2022548782A 2020-02-13 2021-02-12 無人航空機による３次元再構成の実行 Active JP7263630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023040965A JP7274674B1 (ja) 2020-02-13 2023-03-15 無人航空機による３次元再構成の実行

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062976231P 2020-02-13 2020-02-13
US62/976,231 2020-02-13
US202063050860P 2020-07-12 2020-07-12
US63/050,860 2020-07-12
PCT/US2021/017795 WO2021221758A2 (en) 2020-02-13 2021-02-12 Performing 3d reconstruction via an unmanned aerial vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023040965A Division JP7274674B1 (ja) 2020-02-13 2023-03-15 無人航空機による３次元再構成の実行

Publications (2)

Publication Number Publication Date
JP2023511779A JP2023511779A (ja) 2023-03-22
JP7263630B2 true JP7263630B2 (ja) 2023-04-24

Family

ID=77366132

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022548782A Active JP7263630B2 (ja) 2020-02-13 2021-02-12 無人航空機による３次元再構成の実行
JP2023040965A Active JP7274674B1 (ja) 2020-02-13 2023-03-15 無人航空機による３次元再構成の実行

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023040965A Active JP7274674B1 (ja) 2020-02-13 2023-03-15 無人航空機による３次元再構成の実行

Country Status (4)

Country Link
US (6) US11703864B2 (ja)
EP (1) EP4093671A4 (ja)
JP (2) JP7263630B2 (ja)
WO (1) WO2021221758A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110873565B (zh) * 2019-11-21 2021-06-04 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
US11703864B2 (en) * 2020-02-13 2023-07-18 Skydio, Inc. Scanning structures via unmanned aerial vehicles
CN117858834A (zh) * 2021-06-11 2024-04-09 网络无人机公司 用于基于3d模型的无人机飞行规划和控制的系统和方法
DE102021123124A1 (de) * 2021-09-07 2023-03-09 Spleenlab GmbH Verfahren zum Steuern eines unbemannten Fluggeräts für einen Inspektionsflug zum Inspizieren eines Objekts und unbemanntes Inspektionsfluggerät
CN113917852B (zh) * 2021-09-30 2024-04-26 北京星网宇达科技股份有限公司 一种靶机的模拟控制方法、装置、设备及存储介质
US11727658B2 (en) * 2021-10-01 2023-08-15 Varjo Technologies Oy Using camera feed to improve quality of reconstructed images
US11618331B1 (en) * 2021-10-31 2023-04-04 Beta Air, Llc Proximity detection systems and methods for facilitating charging of electric aircraft
WO2023086078A1 (en) * 2021-11-10 2023-05-19 Skydio, Inc. Contour scanning with an unmanned aerial vehicle
DE102022203653B4 (de) 2022-04-12 2024-02-08 Emqopter GmbH Abstandssensorsysteme zur effizienten und automatischen umgebungserkennung für autonome schwebeflugfähige fluggeräte
WO2023224991A1 (en) * 2022-05-17 2023-11-23 Yevgeniy Kozlenko Dock assembly for unmanned aerial vehicles
CN114973684B (zh) * 2022-07-25 2022-10-14 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及系统
CN116654308B (zh) * 2023-07-31 2023-09-29 国电投山西能源服务有限公司 一种电力设施维修机器人
CN117115359B (zh) * 2023-10-17 2024-02-02 国网江西省电力有限公司信息通信分公司 一种基于深度图融合的多视图电网三维空间数据重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138162A (ja) 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法
JP2018512687A (ja) 2015-03-03 2018-05-17 プレナヴ インコーポレイテッド 環境の走査及び無人航空機の追跡
US20180178667A1 (en) 2016-12-28 2018-06-28 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3d vision capable unmanned aerial vehicles (uav)
JP2019086419A (ja) 2017-11-08 2019-06-06 川崎重工業株式会社 環境取得システム
US20190188906A1 (en) 2017-12-18 2019-06-20 Parthiv Krishna Search And Rescue Unmanned Aerial System

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering
CN103941748B (zh) * 2014-04-29 2016-05-25 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
WO2016168722A1 (en) * 2015-04-16 2016-10-20 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
JP6543520B2 (ja) * 2015-07-02 2019-07-10 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US10416667B2 (en) * 2016-02-03 2019-09-17 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes
CN109562844B (zh) * 2016-08-06 2022-03-01 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
US11164149B1 (en) * 2016-08-31 2021-11-02 Corvus Robotics, Inc. Method and system for warehouse inventory management using drones
US10121117B1 (en) 2016-09-08 2018-11-06 Amazon Technologies, Inc. Drone location signature filters
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR20190013176A (ko) 2017-07-31 2019-02-11 한국전자통신연구원 드론을 이용한 구조물의 변화 탐지 방법 및 장치
EP3707497B1 (en) * 2017-11-09 2022-09-28 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US20220094856A1 (en) * 2017-11-30 2022-03-24 Ideaforge Technology Pvt. Ltd. System And Method For Acquiring Images From An Aerial Vehicle For 2D/3D Digital Model Generation
US10607406B2 (en) 2018-01-25 2020-03-31 General Electric Company Automated and adaptive three-dimensional robotic site surveying
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
WO2019222798A1 (en) 2018-05-22 2019-11-28 Acid Ip Pty Ltd Drone flight programming method and system
US11106911B1 (en) * 2018-06-13 2021-08-31 Pointivo, Inc. Image acquisition planning systems and methods used to generate information for structures of interest
US10970924B2 (en) * 2018-06-17 2021-04-06 Foresight Ai Inc. Reconstruction of a scene from a moving camera
US10741087B1 (en) * 2018-08-13 2020-08-11 Alarm.Com Incorporated Drone digital locker builder
AU2020232985A1 (en) * 2019-03-05 2021-10-28 Metaoptima Technology Inc. Unmanned mobile robot and software for clinical examination and treatment
US11568636B2 (en) * 2019-05-02 2023-01-31 Advanced Geosciences, Inc. Reflective cable locating system
US11455894B2 (en) * 2019-10-28 2022-09-27 Skydio, Inc. Structure scan using unmanned aerial vehicle
US11703864B2 (en) * 2020-02-13 2023-07-18 Skydio, Inc. Scanning structures via unmanned aerial vehicles
US11741618B2 (en) * 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512687A (ja) 2015-03-03 2018-05-17 プレナヴ インコーポレイテッド 環境の走査及び無人航空機の追跡
JP2017138162A (ja) 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法
US20180178667A1 (en) 2016-12-28 2018-06-28 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3d vision capable unmanned aerial vehicles (uav)
JP2019086419A (ja) 2017-11-08 2019-06-06 川崎重工業株式会社 環境取得システム
US20190188906A1 (en) 2017-12-18 2019-06-20 Parthiv Krishna Search And Rescue Unmanned Aerial System

Also Published As

Publication number Publication date
US11703864B2 (en) 2023-07-18
US20230324911A1 (en) 2023-10-12
WO2021221758A2 (en) 2021-11-04
EP4093671A4 (en) 2023-12-27
US11573544B2 (en) 2023-02-07
JP2023511779A (ja) 2023-03-22
US20210263488A1 (en) 2021-08-26
JP2023072064A (ja) 2023-05-23
US20210263515A1 (en) 2021-08-26
US11829142B2 (en) 2023-11-28
JP7274674B1 (ja) 2023-05-16
US11829141B2 (en) 2023-11-28
EP4093671A2 (en) 2022-11-30
US20230244234A1 (en) 2023-08-03
US11940795B2 (en) 2024-03-26
US20230359205A1 (en) 2023-11-09
US20230244233A1 (en) 2023-08-03
WO2021221758A3 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP7274674B1 (ja) 無人航空機による３次元再構成の実行
US20210064024A1 (en) Scanning environments and tracking unmanned aerial vehicles
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
US20220234733A1 (en) Aerial Vehicle Smart Landing
US11032527B2 (en) Unmanned aerial vehicle surface projection
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
CN112789672A (zh) 控制和导航系统、姿态优化、映射和定位技术
WO2024109837A1 (zh) 基于异构无人系统相互观测的同时定位与地图构建方法
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
US20220390940A1 (en) Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
US20230064401A1 (en) System for 3d surveying by a ugv and a uav with automatic provision of referencing of ugv lidar data and uav lidar data
KR102467855B1 (ko) 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템
US20200307788A1 (en) Systems and methods for automatic water surface and sky detection
US20230142394A1 (en) Contour scanning with an unmanned aerial vehicle
WO2023086078A1 (en) Contour scanning with an unmanned aerial vehicle
CN116740297A (zh) 基于无人机的自主室内设施检测和场景重建探索开发系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220914

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230412

R150 Certificate of patent or registration of utility model

Ref document number: 7263630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150