JP7175652B2 - 航空機用レーザスペックルのシステム及び方法 - Google Patents

航空機用レーザスペックルのシステム及び方法 Download PDF

Info

Publication number
JP7175652B2
JP7175652B2 JP2018127205A JP2018127205A JP7175652B2 JP 7175652 B2 JP7175652 B2 JP 7175652B2 JP 2018127205 A JP2018127205 A JP 2018127205A JP 2018127205 A JP2018127205 A JP 2018127205A JP 7175652 B2 JP7175652 B2 JP 7175652B2
Authority
JP
Japan
Prior art keywords
speckle pattern
laser
aircraft
processor
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018127205A
Other languages
English (en)
Other versions
JP2019035736A (ja
Inventor
ジェウ チョイ,
ジェームズ パドゥアーノ,
Original Assignee
オーロラ フライト サイエンシズ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーロラ フライト サイエンシズ コーポレーション filed Critical オーロラ フライト サイエンシズ コーポレーション
Publication of JP2019035736A publication Critical patent/JP2019035736A/ja
Application granted granted Critical
Publication of JP7175652B2 publication Critical patent/JP7175652B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • G01S1/7038Signal details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、概して点群をレジストレーションするため、及び航空ビークルの位置を同定するための、具体的には、レーザスペックル技法を用いて、点群をレジストレーションし、航空ビークルの位置を同定するための、システム及び方法に関する。
無人航空機(UAV)の技術は、諜報、調査、偵察、及びペイロードの搬送を含むミッションプロファイルにとって、役に立つツールであることが立証されてきた。低高度市街地偵察(urban reconnaissance)といった文脈においては、超小型航空機(MAV)または無人航空システム(UAS)といったUAVは、大小双方の障害物に遭遇し得る。衝突を緩和するため、UAVは、特定の位置に位置同定されてよい。近年では、UAVは、構造物(例えばビルや橋梁など)の健全性(integrity)をモニタリングするために用いられてきた。理解できるように、構造物をスキャンするためには、航空機の位置を同定することと、スキャン処理中にUAVのスキャナ/カメラによって生成された複数の点群をレジストレーションする(即ち、つなぎ合わせる)ための技法、との両方が要求される。UASを、地上の単一の地点に対して位置同定する、または他の方法で限定する既存の方法は、写真測量または視覚による走行距離計の測定といった、不確かな視覚データのデータ源に依存している。視覚的な方法を用いることでもたらされる不確かさは、データ源からの距離に関連して増殖し、誤差は、ピクセルで測定される。その結果、航空ビークルの位置を同定するシステム及び方法の必要性が存在している。
レーザスペックル技法を用いて、点群をレジストレーションし航空ビークルの位置を同定するための、システム及び方法が開示される。
第1の態様によると、複数の点群をレジストレーションするためのシステムは、第1のレーザスペックルパターンを表面上に投影するスペックル生成器と、表面をスキャンするための少なくとも1つの3次元(3D)スキャナであって、表面の複数の点群を生成し且つ第1のレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナと、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群をレジストレーションして表面の3Dモデルを生成するために、少なくとも1つの3Dスキャナに通信可能に連結されたプロセッサとを備える。
ある態様では、スペックル生成器は、レーザビームを生成するレーザ源と、レーザビームを複数の次数の複数のレーザビームに回折させる光学要素であって、複数のレーザビームが第1のレーザスペックルパターンを画定する、光学要素とを備える。
ある態様では、第1のレーザスペックルパターンは、疑似乱数のレーザスペックルパターンである。
ある態様では、光学要素は、複数の平行で密集したスリットを有する、回折格子を含む。
ある態様では、光学要素は、複数の溝付き回折パターンを有する、多焦点回折レンズを含む。
ある態様では、少なくとも1つの3次元(3D)スキャナは、航空機に連結されている。
ある態様では、航空機はさらに、ディフューザー及び、プロセッサと通信可能に連結された下向きのカメラを備える。下向きのカメラは、ディフューザーの第1の表面を画像化するように構成されている。
ある態様では、スペックル生成器は、ディフューザーの第2の表面上に、第2のレーザスペックルパターンを投影するように構成されている。
ある態様では、第1の表面と第2の表面は平行な平面同士の中に存在しており、ディフューザーは、不透明の材料を用いて製造されている。
ある実施形態では、下向きのカメラは、第1の表面を画像化して第2のレーザスペックルパターンをキャプチャするように構成されている。
ある態様では、プロセッサは、少なくとも部分的に、既知の座標系における第2のレーザスペックルパターンの位置に基づいて、航空機の横位置を決定するように構成されている。
ある態様では、第2のレーザスペックルパターンは、複数の点を含んでおり、プロセッサは、(1)前記複数の点のうちの少なくとも1つの直径を測定することによって、第2のレーザスペックルパターンの点のサイズを決定するか、または(2)前記複数の点のうちの少なくとも2つの間の距離を測定することによって、点の距離を決定するように、構成されている。
ある態様では、プロセッサは、少なくとも部分的に、点のサイズまたは点の距離に基づいて、航空機の縦位置を決定するように構成されている。
ある態様では、プロセッサは、第1のレーザスペックルパターンから複数のランダムな最近隣点を選択することによって、スペックルパターンを特定するように構成されている。
ある態様では、複数のランダムな最近隣点は、6~14のランダムな最近隣点を含む。
ある態様では、プロセッサは、スペックルパターンを複数の既知のスペックルパターンと比較して、複数の既知のスペックルパターンから最もマッチするスペックルパターンを特定するように構成されている。
ある態様では、スペックル生成器の物理的な位置が既知になっており、プロセッサは、最もマッチするスペックルパターンに少なくとも部分的に基づいて、スペックル生成器に対する航空機の位置を同定するように構成されている。
ある態様では、プロセッサは航空機上に位置している。
ある態様では、プロセッサは、航空機から遠隔に位置しており、1つ以上の無線送受信機を介して航空機と通信可能に連結されている。
ある態様では、プロセッサは、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群に関する概略の(rough)レジストレーションを実施するように構成されている。
ある態様では、プロセッサは、2つの点群間の差異を最小化するための1つ以上のアルゴリズムを用いて、複数の点群に関する精細な(fine)レジストレーションを実施するように構成されている。
ある態様では、1つ以上のアルゴリズムは、逐次近傍点(ICP)アルゴリズムを含む。
ある態様では、システムは、複数の既知のスペックルパターンを記憶するためにプロセッサと通信可能な、メモリ装置をさらに含む。
第2の態様によると、構造物の表面であって、その上にスペックル生成器によって投影された第1のレーザスペックルパターンを有する表面を画像化するための航空機は、機体と、プロペラに動作可能に連結された複数のモータと、表面をスキャンするための少なくとも1つの3次元(3D)スキャナであって、表面に向けて複数の点群を生成し且つ第1のレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナと、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群をレジストレーションして表面の完成した3Dモデルを生成するために、少なくとも1つの3Dスキャナに通信可能に連結されたプロセッサとを備える。
ある態様では、第1のレーザスペックルパターンは、疑似乱数のレーザスペックルパターンである。
ある態様では、航空機はさらに、ディフューザー及び、プロセッサと通信可能に連結された下向きのカメラを備える。下向きのカメラは、ディフューザーの第1の表面を画像化するように構成されている。
ある態様では、下向きのカメラは、第1の表面を画像化して、ディフューザーの第2の表面上に投影された第2のレーザスペックルパターンをキャプチャするように構成されている。
ある態様では、第1の表面と第2の表面は平行な平面同士の中に存在しており、ディフューザーは、不透明の材料を用いて製造されている。
ある態様では、プロセッサは、少なくとも部分的に、既知の座標系における第2のレーザスペックルパターンの位置に基づいて、航空機の横位置を決定するように構成されている。
ある態様では、第2のレーザスペックルパターンは、複数の点を含んでおり、プロセッサは、(1)前記複数の点のうちの少なくとも1つの直径を測定することによって、第2のレーザスペックルパターンの点のサイズを決定するか、または(2)前記複数の点のうちの少なくとも2つの間の距離を測定することによって、点の距離を決定するように、構成されている。
ある態様では、プロセッサは、少なくとも部分的に、点のサイズまたは点の距離に基づいて、航空機の縦位置を決定するように構成されている。
ある態様では、プロセッサは、第1のレーザスペックルパターンから複数のランダムな最近隣点を選択することによって、スペックルパターンを特定するように構成されている。
ある態様では、複数のランダムな最近隣点は、6~14のランダムな最近隣点を含む。
ある態様では、プロセッサは、スペックルパターンを複数の既知のスペックルパターンと比較して、複数の既知のスペックルパターンから最もマッチするスペックルパターンを特定するように構成されている。
ある態様では、スペックル生成器の物理的な位置が既知になっており、プロセッサは、最もマッチするスペックルパターンに少なくとも部分的に基づいて、スペックル生成器に対する航空機の位置を同定することが可能である。
ある態様では、プロセッサは、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群に関する概略の(rough)レジストレーションを実施するように構成されている。
ある態様では、プロセッサは、2つの点群間の差異を最小化するための1つ以上のアルゴリズムを用いて、複数の点群に関する精細な(fine)レジストレーションを実施するように構成されている。
ある態様では、1つ以上のアルゴリズムは、逐次近傍点(ICP)アルゴリズムを含む。
ある態様では、航空機は、機体から径方向に延びる複数のローターブームであって、前記複数のモータのそれぞれが、前記複数のローターブームのうちの1つの遠位端に位置しており、且つ電子速度コントローラ(ESC)に電気的に連結されている、複数のローターブームを備える。
第3の態様によると、レーザスペックルパターンを有する表面のスキャン時に航空機によってキャプチャされた複数の点群をレジストレーションする方法は、表面の第1の領域を可視化するために、構造化された光を3Dスキャナから投影することと、プロセッサを介して、第1の領域に関連付けられた第1の局所点群を生成することと、3Dスキャナからの構造化された光をオフにすることと、3Dスキャナを介して、レーザスペックルパターンの少なくとも一部を可視化することと、表面の第2の領域を可視化するために、構造化された光を3Dスキャナから投影することと、プロセッサを介して、第2の領域に関連付けられた第2の局所点群を生成することと、3Dスキャナからの構造化された光をオフにすることと、少なくとも部分的にレーザスペックルパターンに基づいて、第1の局所点群と第2の局所点群とのレジストレーションを実施することとを含む。
ある態様では、方法は、第1の局所点群と第2の局所点群の間の差異を最小限に抑えるための1つ以上のアルゴリズムを使用して、第1の局所点群と第2の局所点群とのレジストレーションを実施するステップをさらに含む。
ある態様では、1つ以上のアルゴリズムは、逐次近傍点(ICP)アルゴリズムを含む。
ある態様では、方法は、表面の第3の領域を可視化するために、構造化された光を3Dスキャナから投影するステップと、プロセッサを介して、第3の領域に関連付けられた第3の局所点群を生成するステップと、3Dスキャナからの構造化された光をオフにするステップと、少なくとも部分的にレーザスペックルパターンに基づいて、第3の局所点群と第2の局所点群とのレジストレーションを実施するステップと、をさらに含む。
第3の態様によると、着陸ゾーン内で航空機用の接地ゾーンを特定するためのシステムは、表面上にレーザスペックルパターンを投影するために着陸ゾーンに配置されたスペックル生成器であって、レーザビームを生成するレーザ源及び、レーザビームを、レーザスペックルパターンを画定する複数の次数の複数のレーザビームに回折させる光学要素を含む、スペックル生成器と、航空機に連結される少なくとも1つの光学的キャプチャ装置であって、表面上に投影されたレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの光学的キャプチャ装置と、少なくとも部分的にレーザスペックルパターンの少なくとも一部に基づいて、着陸ゾーン内の接地ゾーンに対する航空機の位置を同定するために、少なくとも1つの光学的キャプチャ装置に通信可能に連結されたプロセッサとを備える。
ある態様では、レーザスペックルパターンは、疑似乱数のレーザスペックルパターンである。
ある態様では、航空機は、第1の平面内に存在する第1の表面と、第1の平面にほぼ平行な第2の平面内に存在する第2の表面を有する不透明なディフューザーであって、不透明なディフューザーの第2の表面が、上に投影されたレーザスペックルパターンを有する表面である、不透明なディフューザーを備える。
ある態様では、少なくとも1つの光学的キャプチャ装置は、第2の表面上に投影されたレーザスペックルパターンをキャプチャするために、不透明なディフューザーの第1の表面を画像化するように構成された、下向きのカメラである。
ある態様では、スペックル生成器は高設されており、表面に向けて下向きにレーザスペックルパターンを投影するように構成されている。
ある態様では、表面は、地面または接地ゾーンである。
ある態様では、光学要素は、回折格子または多焦点回折レンズを含む。
ある態様では、少なくとも1つの光学的キャプチャ装置は、下向きのカメラである。
ある態様では、プロセッサは、少なくとも部分的に、レーザスペックルパターンの少なくとも一部に基づいて、航空機を接地ゾーンに着陸させる命令を生成するように、構成されている。
ある態様では、プロセッサは、少なくとも部分的に、既知の座標系におけるレーザスペックルパターンの位置に基づいて、航空機の横位置を決定するように構成されている。
ある態様では、レーザスペックルパターンは、複数の点を含んでおり、プロセッサは、(1)前記複数の点のうちの少なくとも1つの直径を測定することによって、第2のレーザスペックルパターンの点のサイズを決定するか、または(2)前記複数の点のうちの少なくとも2つの間の距離を測定することによって、点の距離を決定するように、構成されている。
ある態様では、プロセッサは、少なくとも部分的に、点のサイズまたは点の距離に基づいて、航空機の縦位置を決定するように構成されている。
ある態様では、少なくとも1つの光学的キャプチャ装置は、カメラ及び3次元(3D)スキャナを含む。
本発明の一実施形態は、複数の点群をレジストレーションするためのシステムを含み、システムは、第1のレーザスペックルパターンを表面上に投影するスペックル生成器と、表面をスキャンするための少なくとも1つの3次元(3D)スキャナであって、表面の複数の点群を生成し且つ第1のレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナと、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群をレジストレーションして表面の3Dモデルを生成するために、少なくとも1つの3Dスキャナに通信可能に連結されたプロセッサとを備える。スペックル生成器は、レーザビームを生成するレーザ源と、レーザビームを複数の次数の複数のレーザビームに回折させる光学要素であって、複数のレーザビームが第1のレーザスペックルパターンを画定する、光学要素とを備える。これによって、作用が強化される。3次元(3D)スキャナは、ディフューザー及び、プロセッサと通信可能に連結された下向きのカメラであって、ディフューザーの第1の表面を画像化するように構成された下向きのカメラを有する、航空機に連結されていてよい。スペックル生成器は、ディフューザーの第2の表面上に、第2のレーザスペックルパターンを投影するように構成されていてよい。プロセッサは、第1のレーザスペックルパターンから、複数のランダムな最近隣点を選択することによって、スペックルパターンを特定するように構成されていてよい。プロセッサは、スペックルパターンを複数の既知のスペックルパターンと比較して、複数の既知のスペックルパターンから最もマッチするスペックルパターンを特定するように構成されていてよい。スペックル生成器の物理的な位置は、既知になっていてよく、プロセッサは、最もマッチするスペックルパターンに少なくとも部分的に基づいて、スペックル生成器に対する航空機の位置を同定するように構成されている。プロセッサは、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群に関する概略のレジストレーションを実施するように構成されていてよい。プロセッサは、2つの点群間の差異を最小化するための1つ以上のアルゴリズムを用いて、複数の点群に関する精細なレジストレーションを実施するように構成されていてよい。
本発明の別の実施形態は、構造物の表面であって、その上にスペックル生成器によって投影された第1のレーザスペックルパターンを有する表面を画像化するための航空機を含み、航空機は、機体と、プロペラに動作可能に連結された複数のモータと、表面をスキャンするための少なくとも1つの3次元(3D)スキャナであって、表面に向けて複数の点群を生成し且つ第1のレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナと、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群をレジストレーションして表面の完成した3Dモデルを生成するために、少なくとも1つの3Dスキャナに通信可能に連結されたプロセッサとを含む。プロセッサは、第1のレーザスペックルパターンから、複数のランダムな最近隣点を選択することによって、スペックルパターンを特定するように構成されていてよい。プロセッサは、スペックルパターンを複数の既知のスペックルパターンと比較して、複数の既知のスペックルパターンから最もマッチするスペックルパターンを特定するように構成されていてよい。プロセッサは、少なくとも部分的に第1のレーザスペックルパターンに基づいて、複数の点群に関する概略のレジストレーションを実施するように構成されていてよい。
本発明の別の実施形態は、着陸ゾーン内で航空機用の接地ゾーンを特定するためのシステムを含み、システムは、表面上にレーザスペックルパターンを投影するために着陸ゾーンに配置されているスペックル生成器であって、レーザビームを生成するレーザ源及び、レーザビームを、レーザスペックルパターンを画定する複数の次数の複数のレーザビームに回折させる光学要素を含む、スペックル生成器と、航空機に連結される少なくとも1つの光学的キャプチャ装置であって、表面上に投影されたレーザスペックルパターンの少なくとも一部を画像化するように構成された少なくとも1つの光学的キャプチャ装置と、少なくとも部分的にレーザスペックルパターンの少なくとも一部に基づいて、着陸ゾーン内の接地ゾーンに対する航空機の位置を同定するために、少なくとも1つの光学的キャプチャ装置に通信可能に連結されたプロセッサとを備える。航空機は、第1の平面内に存在する第1の表面と、第1の平面にほぼ平行な第2の平面内に存在する第2の表面を有する不透明なディフューザーであって、不透明なディフューザーの第2の表面が、上に投影されたレーザスペックルパターンを有する表面である、不透明なディフューザーを備えていてよい。光学的キャプチャ装置は、第2の表面上に投影されたレーザスペックルパターンをキャプチャするために、不透明なディフューザーの第1の表面を画像化するように構成された、下向きのカメラであってよい。プロセッサは、少なくとも部分的に、レーザスペックルパターンの少なくとも一部に基づいて、航空機を接地ゾーンに着陸させる命令を生成するように、構成されていてよい。プロセッサは、少なくとも部分的に、既知の座標系におけるレーザスペックルパターンの位置に基づいて、航空機の横位置を決定するように構成されていてよい。レーザスペックルパターンは、複数の点を含んでいてよく、プロセッサは、(1)前記複数の点のうちの少なくとも1つの直径を測定することによって、第2のレーザスペックルパターンの点のサイズを決定するか、または(2)前記複数の点のうちの少なくとも2つの間の距離を測定することによって、点の距離を決定するように、構成されている。プロセッサは、少なくとも部分的に、点のサイズまたは点の距離に基づいて、航空機の縦位置を決定するように構成されていてよい。
本書に記載の装置、システム、及び方法に関する、上記の及びその他の目的、特徴、及び利点は、添付の図面に示すように、これらの装置、システム、及び方法に関する具体的な実施形態の以下の記載から明らかになるであろう。添付の図面では、類似の番号は類似の構造物を表している。図面は必ずしも正しい縮尺で描かれておらず、むしろ本書に記載の装置、システム、及び方法の原理を説明することに重点が置かれている。
例示の多回転翼式の垂直離着陸(VTOL)用UAVを示す。 例示の多回転翼式の垂直離着陸(VTOL)用UAVを示す。 例示のレーザスペックルシステムを示す。 例示のスペックル生成器を示す。 図4a~図4cは、例示のレーザスペックル処理技法を示す。 図5a~図5dは、航空機の横位置を位置同定するための、例示のレーザスペックル処理技法を示す。 図6a~図6cは、種々の距離における、疑似乱数のレーザスペックルパターンを示す。 表面の種々の領域をスキャンしている航空機の図を示す。 表面の種々の領域をスキャンしている航空機の図を示す。 表面の種々の領域をスキャンしている航空機の図を示す。 図8a~図8dは、航空機が表面の種々の領域をスキャンする際の、例示のスキャン飛行パターンを示す。 例示の航空機用スキャンプロセスのフロー図を示す。
以下で、本発明の好適な実施形態について、添付の図面を参照しながら説明する。図面中の構成要素は必ずしも正しい縮尺で描かれておらず、むしろ本実施形態の原理を明確に示すことに重点が置かれている。例えば、明確にするためと記載上の便宜のために、要素のサイズは誇張されていてよい。さらに、同一または同様の部品を指すのに、可能な場合には、図面全体を通して同じ参照番号が使われている。既知の機能や構造は、不必要な詳細によって本発明を不明確にし得るため、以下の記載では詳細には説明しない。本明細書中のいかなる文言も、特許請求されていない任意の要素が各実施形態を実施するために必須であると、解釈すべきではない。
本書に示されている値の範囲は、本書で別様に記載されていない限り、限定することを意図したものではなく、むしろその範囲に該当する任意の全ての値を個別に表すものであり、そうした範囲内の個々の値はそれぞれ、個別に本書に示されているかのように、本明細書に組み込まれている。「およそ」「約」などの用語は、数値に付随している場合、意図した目的のためには十分に有効な範囲だと当業者に認識されるであろう偏差を表すものとして、解釈されるべきである。値及び/または数値の範囲は、本書では例示のためのみに設けられており、記載の実施形態の範囲の限界を設定するものではない。本書で使われているあらゆる実施例、及び例示を表す文言(「例えば」「といった」など)は、単に実施例をより良く説明することを意図したものであり、実施形態の範囲を限定するものではない。明細書中のいかなる文言も、特許請求されていない任意の要素が各実施形態を実施するために必須であると、解釈すべきではない。
以下の記載中、「第1の」「第2の」「頂部」「底部」「側部」「前」「後」などの用語は、利便性のための文言と理解されており、限定するための用語であると解釈すべきではない。本書に提示されている様々なデータ値(例えば、電圧、秒など)は、1つ以上の他の所定のデータ値で代替されてよく、したがって、限定的であるとみなすべきではなくて、むしろ例示的である。この開示には、以下の用語及び定義が該当するものとする。
「及び/または」という用語は、「及び/または」でつながれているリスト中の項目のうちの任意の1つ以上を意味する。例えば、「x及び/またはy」は、3つの要素からなる集合{(x),(y),(x,y)}のうちの、任意の要素を意味する。言い換えれば、「x及び/またはy」は、「x及びyのうちの片方または両方」を意味する。別の例として、「x,y及び/またはz」は、7つの要素からなる集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}のうちの、任意の要素を意味する。言い換えれば、「x,y及び/またはz」は、「x,y及びzのうちの1つまたはそれ以上」を意味する。
「回路」(circuits及びcircuitry)という用語は、物理的な電子構成要素(例えばハードウェア)、並びにハードウェアの設定を行い、ハードウェアによって実行され、及び/または他の態様でハードウェアに関連していてよい、任意のソフトウェア及び/またはファームウェア(コード)を表す。本書では、例えば具体的なプロセッサ及びメモリが、第1のセットをなすコードの1つ以上の行を実施するときに第1の「回路」を備えており、第2のセットをなすコードの1つ以上の行を実施するときに第2の「回路」を備えていてよい。本書では、回路は、機能を実行するために必要なハードウェアと(必要な場合には)コードを備えているときにはいつでもその機能を実行するために「動作可能」なのであって、それは、その機能の実行が(例えばユーザが設定可能な設定や工場出荷時の設定(factory trim)などによって)無効化されているか、または有効化されていないことには無関係である。
本書で使用する場合、「通信する」及び「通信している」という用語は、発信元から送信先までデータを伝達すること、並びにデータを、送信先まで伝達するために、通信用の媒体、システム、チャンネル、ネットワーク、装置、回線、ケーブル、ファイバー、回路、及び/またはリンクに送達することとの両方を含む。本書で使用する場合、「通信」という用語は、そのように伝達または送達されたデータを意味する。本書で使用する場合、「通信装置(communications)」という用語は、通信用の媒体、システム、チャンネル、ネットワーク、装置、回線、ケーブル、ファイバー、回路、及び/またはリンクのうちの、1つ以上を含む。
本書で使用する場合、「連結された」「~に連結された」及び「~と連結された」という用語は、それぞれ、以下のうちの任意の1つ以上からなる、2つ以上の装置、機器、ファイル、回路、要素、機能、動作、処理、プログラム、媒体、構成要素、ネットワーク、システム、サブシステム、及び/または手段の間(betweenまたはamong)の関係を意味する。(i)直接の、または1つ以上の他の装置、機器、ファイル、回路、要素、機能、動作、処理、プログラム、媒体、構成要素、ネットワーク、システム、サブシステム、もしくは手段を介した、接続。(ii)直接の、または1つ以上の他の装置、機器、ファイル、回路、要素、機能、動作、処理、プログラム、媒体、構成要素、ネットワーク、システム、サブシステム、もしくは手段を介した、通信関係。及び/または(iii)任意の1つ以上の装置、機器、ファイル、回路、要素、機能、動作、処理、プログラム、媒体、構成要素、ネットワーク、システム、サブシステム、もしくは手段の動作が、全体的にまたは部分的に、これらのうちの任意の1つ以上の動作に依存している、機能的な関係。
本書で使用する場合、「データ」という用語は、恒久的かまたは一時的かに関わらず、視覚可能か、聴覚可能か、電気的に増幅していない(acoustic)か、電気的か、磁気的か、電磁的か、または別様に示されているかに関わらず、しるし、信号、マーク、シンボル、ドメイン、シンボルセット、表示、及び情報を表す任意の他の単数または複数の物理的形態を意味する。「データ」という用語は、対応する情報を種々の物理的形態で表したあらゆる表現を含めて、1つの物理的な形態で所定の情報を表すのに使用される。
本書で使用する場合、「データベース」という用語は、関連するデータの体系化された集合体を意味しており、データまたはその体系化された集合体が表示されている態様は、問わない。例えば、関連するデータの体系化された集合体は、表、マップ、グリッド、パケット、データグラム、フレーム、ファイル、電子メール、メッセージ、文書、レポート、リスト、または任意の他の形態のうちの1つ以上という形態であってよい。
「例示的」という用語は、「例(example、instance、またはillustration)の役割を果たしている」ことを意味する。本書に記載の実施形態は限定的ではなく、むしろ例示のために過ぎない。記載されている実施形態が、他の実施形態と比べて必ずしも好適または有利であると解釈されるべきではないことは、理解すべきである。さらに、「本発明の実施形態」「実施形態」または「発明」という用語は、本発明の全ての実施形態が、検討されている特徴、利点、または動作形態を含むことを必要としてはいない。
「メモリ装置」という用語は、プロセッサが使用するための情報を記憶するコンピュータハードウェアまたは回路を意味する。メモリ装置は、任意の適切なタイプのコンピュータメモリ、または任意の他のタイプの電子記憶媒体であることができ、それは例えば、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、キャッシュメモリ、コンパクトディスク読み出し専用メモリ(CDROM)、電気光学メモリ、磁気光学メモリ、プログラム可能読み出し専用メモリ(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、コンピュータ可読媒体などである。
本書で使用する場合、「ネットワーク」という用語は、インターネットを含む、全ての種類のネットワーク及びインターネットワークの両方を含み、いかなる具体的なネットワークまたはインターネットワークにも限定されない。
「プロセッサ」という用語は、処理を行う装置、機器、プログラム、回路、構成要素、システム、及びサブシステムを意味しており、ハードウェアに実装されているか、有体物の形をとったソフトウェアであるか、もしくはその両方か、またはプログラム可能であるかどうかは、問わない。「プロセッサ」という用語は、限定しないが、1つ以上の計算装置、有線接続された回路、信号変調用の装置及びシステム、制御システム用の装置及びマシン、中央処理装置、プログラム可能な装置及びシステム、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、SoC(システムオンチップ)、別個の要素及び/または回路を備えたシステム、状態機械、仮想計算機、データプロセッサ、処理設備、並びに上記のうちの任意のものの組み合わせを含む。プロセッサは、例えば、任意のタイプの汎用マイクロプロセッサもしくは汎用マイクロコントローラ、デジタル信号処理(DSP)プロセッサ、または特定用途向け集積回路(ASIC)であってよい。プロセッサは、メモリ装置に連結されているか、またはメモリ装置に組み入れられていてよい。
「航空ビークル」及び「航空機」という用語は、限定しないが、固定翼機、無人航空機、可変翼機、及び垂直離着陸(VTOL)航空機を含む、飛行可能なマシンを指す。
本書で開示されているのは、レーザスペックルを生成するためのレーザ源を有するレーザスペックルシステムである。このレーザスペックルは、1つ以上の3次元(3D)スキャナが(例えば表面上の欠陥を検出するために)表面をスキャンする際に2つ以上の点群をレジストレーションするため、及び3Dスキャナが装着されている航空機の位置を同定するために、航空機が基準マーカーとして使用してよい。単一の地上のソース(例えばスペックル生成器)を元にして航空機の位置を同定すること、並びに航空機によって測定した壁の点群をレジストレーションするのには、良好なグラウンドトゥルース(即ち経験的証拠)が必要になる。したがって、説明されるように、レーザスペックルの一部を、航空機に装着された1つ以上の光学的キャプチャ装置(例えば3Dスキャナ、カメラなど)で画像化することができる。レーザスペックルシステムは、少なくとも部分的にレーザスペックルのパターン、点のサイズ、及び/またはレーザスペックルの点の距離に基づいて、航空機(または航空機に通信可能に連結された別のシステム)が、3Dスキャナによって生成された複数の点群をレジストレーションして、較正されたレーザ源に対する航空機の位置を決定することを可能にする。
こうして、レーザスペックルによって、航空機が基準マーカーを持たない表面(例えば、無特徴表面(featureless surface))をスキャンすることが可能になる。具体的には、較正されたレーザ源は、既知の、不変の中央位置から、無特徴表面(または航空機によってスキャンされる別の表面)に向けてレーザスペックルを生成・投影し、無特徴表面上に疑似乱数のレーザスペックルパターン(例えば点の配列または配置)を表示するように構成されていてよい。疑似乱数のレーザスペックルパターンによって、スキャン処理中に、航空機の3Dスキャナが2つ以上の点群をレジストレーションするのが可能になる。疑似乱数のレーザスペックルパターンは、航空機に連結されたディフューザー上に表示されてもよく、ディフューザーは、(例えば3D空間中で横及び縦方向に)航空機の位置を同定するのに使用されてよい。開示されているレーザスペックルシステムは、特に多回転翼UAVを含む、様々な航空機の構成に関連して使用されてよい。
多回転翼垂直離着陸UAVレーザスペックルシステムと共に使用するのに適切な航空機100は、多回転翼垂直離着陸UAVとして構成されていることが可能であり、その実施例が図1aに示されている。示されるように、航空機100は、概して機体102(例えば胴体)、機体102から径方向に延びる複数のローターブーム104(例えば長手方向ブーム)、着陸装置110、及び複数の推進器108を備える。各図面を通して多回転翼垂直離着陸UAVが示されているが、本開示の教示は、固定翼航空機を含む他の航空機、及び、無特徴表面をスキャンするように構成され得る非航空機のシステム(例えば地上ビークル)にも同様に該当し得る。
機体102は、複数のローターブーム104の遠位端が機体102から径方向に延びているようにして、複数のローターブーム104のそれぞれの近位端と連結されていてよい。機体102及び複数のローターブーム104は、単一のユニットとして製造されていてよいか、または互いに連結される別個の部品として製造されていてよい。複数のローターブーム104のそれぞれの遠位端は、推進器108と連結されていてよい。推進器108のそれぞれは、プロペラ108bとして示されており、プロペラ108bは、プロペラ108bを駆動/回転するための電気モータ108aに連結されている。前記複数の推進器108のそれぞれは、ローターブーム104の遠位端に配置されており、推力を(機体102に対して)下方に向けるようにして配向されている。電気モータ108aは、電子速度コントローラ(ESC)106を介して制御される電気モータであってよい。このため、例えば、ローターブーム104の遠位端の、電気モータ108aの近傍に、ESC106もまた設けられていてよい。航空機100は8個の推進器108を有する(即ち8回転翼航空機)として示されているが、当業者は、所望の機能を実現するために、及び例えば推力の要件次第で、さらなる推進器108またはより少数の推進器108が用いられてよいことを理解するであろう。
電気モータ108aは、各ローターブーム104の遠位端に示されているが、代わりに、複数(または単数)の電気モータ108aが機体102に配置され、電気モータ108aと1つ以上のプロペラ108bとの間のギアボックス及び/またはドライブシャフトを介して1つ以上のプロペラ108bを駆動(回転)するように構成されていてもよい。さらに、各ローターブーム104は単一の推進器108のみを有するものとして示されているが、各ローターブーム104の遠位端に、複数の推進器108が設けられていてもよい。例えば、各ローターブーム104の遠位端にクロスメンバーが配置され、推進器108を互いに離間させるように(例えば、ローターブーム104の長さに対して垂直に)配列されるか、または他の態様でプロペラ108b間の干渉を防止するように(例えば、互い違いの構成/一部が重なった構成で)配列されていてよい。航空機100の構成要素は、金属、複合材料、またはこれらの組み合わせから製造されていてよい。
示されるように、航空機100は、1つ以上の3Dスキャナ112及び1つ以上のカメラ114を装備しており、これらのそれぞれは、1つ以上のジンバル装置を介して、(例えば下面において)機体102に回転可能且つ枢動可能に連結されていてよい。3Dスキャナ112は、例えば、2つの成分、即ちRGB(赤/緑/青)とD(深度)の成分を有するRGB-Dカメラであってよい。航空機100に、地面と平行でない表面(例えば地面にほぼ垂直な表面)をスキャンして3D画像を生成するための視野を与えるように、1つ以上の3Dスキャナ112は、機体102の外周に沿って配置されていてよい。例えば、航空機100は、3Dスキャナ112を使用して、欠陥を特定するために壁または他の構造物の表面をスキャン及び/またはマッピングするように構成されていてよい。1つ以上のカメラ114は、例えば、広視野カメラまたは魚眼レンズカメラといった、比較的大きなFOVをカバーする広角レンズを装備したカメラであってよい。1つ以上のカメラ114は、3Dスキャナ112とは異なり、スキャンする関心表面に対して、または関心表面に向けて、配置されていてよい。ある実施形態では、1つ以上のカメラ114は、航空機100に装着されたディフューザー208の表面といった、地面にほぼ平行な表面を画像化するため、(航空機100に対して)下方を向いていてよい。実施の際、航空機100は、1つ以上のカメラ114及び、ディフューザー208上に投影されたレーザスペックルを使用して、航空機100のあらゆるオフセットを検出するように構成されていてよい。
図1bは、航空機100用の例示の航空機制御システムのブロック図である。航空機制御システムは、航空機100の様々な航空機構成要素及び機能を制御するように構成されている。示されるように、航空機100は、少なくとも1つのメモリ装置118に通信可能に連結された1つ以上のプロセッサ116、1つ以上の3Dスキャナ112、1つ以上のカメラ114、フライトコントローラ120、無線送受信機122、及びナビゲーションシステム124を含む。
1つ以上のプロセッサ116は、少なくとも部分的に、メモリ装置118(例えばハードドライブ、フラッシュメモリなど)に記憶された命令(例えばソフトウェア)、及び1つ以上のデータベースに基づいて、1つ以上の動作を実行するように構成されていてよい。航空機制御システムは、航空機100と遠隔装置130(例えば、スマートフォン、タブレット、及びラップトップコンピュータといった携帯用電子機器)または他のコントローラ(例えば基地局)との間でデータを通信する無線送受信機122といった、他の所望の設備をさらに含んでいてよい。例えば、航空機100は、ネットワーク128を通じて遠隔装置130とデータ(処理済みデータ、未処理データなど)を通信してよい。
プロセッサ116は、オペレータ、自動操縦、ナビゲーションシステム124、または他の高レベルシステムからの、無線送受信機122を介したコマンドに応じて、様々なアクチュエータ(例えば、任意の操縦翼面の動作を制御するためのアクチュエータ)及び/または(例えばESC106を介して)電気モータ108aの動作を制御するため、フライトコントローラ120に動作可能に連結されていてよい。実施の際、フライトコントローラ120は、航空機100のロール、ピッチ、またはヨーを制御するため、飛行の様々な段階(例えば離陸、巡航、着陸)の最中の、各電気モータ108aから各ローターブーム104への推力を、ESC106を介して動的に(即ちリアルタイムまたはほぼリアルタイムで)及び独立して、調整してよい。言い換えれば、フライトコントローラ120は、電気モータ108aのそれぞれが所望の上昇推力を生成するように、所与のローターブーム104上の電気モータ108aのそれぞれを、独立して制御することができる。例えば、ローターブレード付きのローター(例えばプロペラ)が使用されているときには、フライトコントローラ120は、ローターのRPMを変化させてよく、及び/または、所望であれば、ローターブレードのピッチを変化させてよい。具体的には、電気モータ108aは、電源(例えばバッテリパックまたはバッテリバンク)から各電気モータに供給される電力を、ESC106を介して調整することによって制御されてよい。
プロセッサ116は、慣性航法装置(INS)124b及び/または慣性計測装置(IMU)124cと通信可能に連結された全地球測位システム(GPS)124aを含み得る、ナビゲーションシステム124に動作可能に連結されていてよい。GPS124aによって、INSの解をリセットするのに使うことができるか、またはカルマンフィルタといった数学的アルゴリズムを使ってINSの解とブレンドすることができる、完全に偏流(drift)のない、位置の値が与えられる。
プロセッサ116は、1つ以上の3Dスキャナ112及び/または1つ以上のカメラ114に動作可能に連結されていてよい。1つ以上のプロセッサ116は、航空機100が(例えば表面上の欠陥を検出するために)無特徴表面をスキャンしている間に、1つ以上の3Dスキャナ112から受信した2つ以上の点群をレジストレーションすることによって、無特徴表面の完成した3Dモデルを生成するように構成されていてよい。1つ以上のプロセッサ116は、少なくとも部分的に、1つ以上の3Dスキャナ112及び/または1つ以上のカメラ114から受信したデータに基づいて、3Dスキャナが装着されている航空機の位置を同定するように、さらに構成されていてよい。同様に、データを収集するため、及び/またはエリアをモニタリングするために、航空機100は、諜報、調査、及び偵察(ISR)用のペイロード126をさらに備えていてよい。ペイロード126は、例えば1つ以上のカメラ、オーディオ装置、及びISRの機能性を促進しISRのデータ(例えば写真、ビデオ、オーディオ、センサ測定値など)を提供するための他のセンサを含む。ISR用ペイロード126は、ISR用ペイロード126とプロセッサ116の間のISRデータの通信を促進するため、プロセッサ116に動作可能に連結されている。ISR用ペイロード126は、より容易にISR用ペイロード126を下向きに配向して下方の及び/または地上の物体をモニタリグするのを可能にするため、例えばジンバル装置を介して、機体102(または、例えばローターブーム104といった他の構造構成要素)の下面に、回転可能且つ枢動可能に連結されていてよい。
完成した3Dモデル、ISRデータ、及び/または他の情報は、動的にまたは定期的に、航空機100から遠隔装置130まで、無線送受信機122を介してネットワーク経由で通信されてよい。完成した3Dモデル、ISRデータ、及び/または他の情報は、後でアクセスまたは処理するために、メモリ装置118内に記憶されてもよい。ある態様では、様々な機載のセンサ(例えば3Dスキャナ112、カメラ114、ISR用ペイロード126など)からの未処理データは、航空機100から遠隔処理用の生データとして無線送受信機122を介して通信されてよい。例えば、航空機100は、1つ以上の3Dスキャナ112によって、任意の基準マーカーデータ(例えばレーザスペックルパターンに関するデータ)に沿ってキャプチャされた2つ以上の点群を、無線送受信機122を介して、遠隔デバイス130に動的に通信してよく、それによって、遠隔装置130が、2つ以上の点群をレジストレーションすることによって、無特徴表面の完成した3Dモデルを生成するように構成されてよい。遠隔データ処理の利点は、航空機100の機上で必要になる処理用のリソースが削減され、それによって航空機100の重量とコストが削減され得ることである。
レーザスペックルシステム200図2を参照すると、例示のレーザスペックルシステム200は、上方にレーザスペックルを投影して1つ以上の疑似乱数のレーザスペックルパターンを無特徴表面206上、及び/または航空機100の下部に装着されたディフューザー208上に表示するための、スペックル生成器202を有するものとして示されている。無特頂表面206は、例えば、ビルの壁、橋梁の表面、または航空機100によって点検される別の構造物であってよい。スペックル生成器202は、空間204の底部にある既知の位置に配置され、上向きに(例えば垂直にまたは角度を付けて)、航空機100に向かって、レーザスペックルを一連のレーザビームとして投影するように構成されていてよい。このレーザスペックルは、特に、航空機100の飛行経路を規定する境界を設定するために、3Dスキャナ112及び/またはカメラ114によって使用されてよい。
点群のレジストレーション3D画像化における点群とは、無特徴表面206といった物体の外面を表す、(X座標、Y座標、及びZ座標によって規定される)3次元座標系内の一群のデータ点である。点群は、無特徴表面206を航空機100が横断する際に、3Dスキャナ112によって作成されてよい。実施の際、3Dスキャナ112は、特徴部が存在しない表面206上2~3メートルの範囲を、およそ1秒当たり10,000,000個の点で測定してよく、続いて、1秒当たり(10,000,000個の点の)1つの点群として、点群データファイル内に出力してよい。点群データファイルは、3Dコンピュータ支援設計(CAD)モデルの作成、測定検査、品質検査などを含む、多くの目的のために使用され得る。点群は、直接レンダリングして検査することができるが、点群を、一般的に表面再構成と呼ばれるプロセスを通じて、ポリゴンメッシュモデルもしくはトライアングルメッシュモデル、非一様有理Bスプライン(NURBS)表面モデル、またはCADモデルといった1つ以上の3Dモデルに変換することが、しばしば有用である。
無特徴表面206を観察するのに複数の3Dスキャナ112が使用されているとき、または単一の3Dスキャナ112が無特徴表面206をマルチビューで観察しているとき(例えば航空機100が無特徴表面206を横切っているとき)には、完成した3Dモデルを生成するために、各3Dスキャナ112からの様々な点群を位置合わせしなければならない。様々な点群を位置合わせして完成した3Dモデルにするプロセスは、レジストレーションとして知られている。レジストレーションプロセスの目的は、個別に取得した複数のビューの、グローバル座標フレームワークにおける相対的な配置と配向を決定し、それによってビュー間(または点群間)で重なり合っているエリアが、位置合わせされ得ることである。
別々のビュー/領域から取得された点群データファイルの全てのセットに関して、例えば基準マーカーを使用して点群データセットが位置合わせされ、単一の点群モデルにされてよい。単一の点群モデルを生成することによって、後続の処理ステップ(例えばセグメント化、物体の再構成など)が促進される。複数の点群をレジストレーションするための基準マーカーとして、表面の物理的な特徴と物理的なエッジを使用してよいが、その一方で、3Dスキャナ112が無特徴表面206をスキャンする間に2つの点群をレジストレーションするのは、困難であり得る。なぜならば、無特徴表面206には、基準点のトラッキング用の基準マーカーとして使用し得る目印が、概して欠如しているからである。既存の方法は、基準点として使用し得る物理的な基準マーカー(例えばタグ、反射マーカーなど)を無特徴表面206に追加することによって、単純にこの困難を迂回している。しかし、理解されるように、表面206に物理的な基準マーカーを追加することで、検査にかかる労力とコストが増加する。
物理的な基準マーカーの必要性を取り除くため、スペックル生成器202を使用して、既知の不変の中央位置から、無特徴表面206上に疑似乱数のレーザスペックルパターン308を生成してよい。疑似乱数のレーザスペックルパターン308は、3Dスキャナ112が3Dスキャナ112からの複数の点群をレジストレーションするのを可能にする、基準マーカーの役割を果たす。1つ以上の3Dスキャナ112は、スペックル生成器202と共に、航空機100によって測定された壁の点群をレジストレーションするために、画像化プロセッサ(例えばプロセッサ116または遠隔プロセッサ)によって使用されてよい。言い換えれば、レーザスペックルシステム200は、一切の物理的人工物の設置を必要とすることなく、レーザスペックルの形態で、無特徴表面206上に基準マーカーを生成するのである。
較正されたスペックル生成器202は、疑似乱数のレーザスペックルパターン308を、航空機100の下方に連結されたディフューザー208上にも生成してよい。1つ以上のカメラ114は、スペックル生成器202及びディフューザー208と共に、X軸、Y軸、及びZ軸に沿って航空機100の位置を同定するために使用されてよい。例えば、航空機100は、ディフューザー208上に投影されたレーザスペックルパターンを使用して、カメラ114を介してスペックル生成器に対するあらゆる水平方向のオフセットを検出することも可能である。レーザが単純にディフューザー208を通過してしまうのを防ぐため、ディフューザー208は、例えばスペックル生成器202からの光を吸収する不透明の材料を用いて製造されていてよく、それによって、カメラ114に面しているディフューザー208の表面に、疑似乱数のレーザスペックルパターン308が表示される。例えば、プロセッサ116に通信可能に連結された下向きのカメラ114は、ディフューザー208の第1の表面を画像化するように構成されていてよいが、その一方で、スペックル生成器202は、ディフューザーの第2の表面上にレーザスペックルパターンを投影するように構成されていてよい。下向きのカメラ114は、第2のレーザスペックルパターンをキャプチャするため、第1の表面を画像化するように構成されている。なぜならば、ディフューザー208が疑似乱数のレーザスペックルパターン308を吸収し、拡散するからである。ディフューザー208は、ガラス、プラスチックなどを含む、完全に不透明であるかまたは少なくとも1つの面を不透明な膜でコーティングされた、複数の材料のうちの1つから製造されていてよい。例えば、ディフューザー208は、すりガラス製ディフューザー、テフロン(登録商標)製ディフューザー、ホログラフィックディフューザー、オパールガラス製ディフューザー、灰色ガラス製ディフューザーなどであってよい。
無特徴表面206上に投影された疑似乱数のレーザスペックルパターンの一部は、航空機100に装着された3Dスキャナ112によって画像化されてよい。実施の際、航空機100は、無特徴表面206の近傍の空間204内を飛行してよく、1つ以上の3Dスキャナ112を用いて、欠陥に関して無特徴表面206をマッピングするように構成されていてよい。レーザスペックルシステム200は、少なくとも部分的にレーザスペックルパターンに基づいて、3Dスキャナ112によって生成された複数の点群をレジストレーションすることが可能である。例えば、無特徴表面206の表面の3D点群を作成するために、3Dスキャナ112のD成分が使用されてよい一方、3Dスキャナ112のRGB成分を使用して無特徴表面206上のレーザスペックルパターンを検出するために、RGB成分が使用されてよい。次に、RGB成分は、3Dスキャナ112からの点群をレジストレーションするために使用され得る。既知である較正されたスペックル生成器202の位置に対する、航空機100の位置は、無特徴表面206上及び/またはディフューザー208上に投影された疑似乱数のレーザスペックルパターンを用いて決定されてよい。例えば、カメラ(カメラ114であれ、3Dスキャナ112のRGB成分であれ)を用いてレーザスペックルパターンを特定することによって、航空機100の水平方向のオフセットも検出され補正され得る。
スペックル生成器202図3に、例示のスペックル生成器の一例を示す。示されるように、スペックル生成器202は、概してレーザ源302、光学要素304及び、疑似乱数のレーザスペックルパターン308を生成するための1つ以上のさらなる集束レンズ318を備える。レーザ源302には、例えばソリッドステート、ガス、エキシマ-、ダイ、または半導体を含む、複数のレーザ媒質のうちの1つが用いられていてよい。ソリッドステートレーザは、例えば、固体マトリクス内に分布しているレージング材料(例えば、ルビーまたはネオジム-YAG(イットリウム・アルミニウム・ガーネット)レーザ)を有する。ネオジム-YAGレーザは、1.064マイクロメートルの赤外光を発する。時としてダイオードレーザとも呼ばれる半導体レーザは、ソリッドステートレーザではないが、概して小さく、使用する電力は低く、より大きいアレイへと組み立てられ得る。
光学要素304は、スペックル生成器202によって投影されたレーザビームを方向づけ合焦させる、回折要素310及び1つ以上のレンズ306を含んでいてよい。回折要素310は、例えば、回折格子、多焦点回折レンズ、プリズム、分散素子、または、レーザ源302からの入射ビーム312を複数の次数のレーザビーム316へと分割するもしくは分岐させる、他の光学要素であってよい。回折格子には、例えば、多数の平行で密集したスリット(典型的には、ミリメートルあたりのライン数で測定した場合に80~3000ライン/mm)が用いられている。単一の波長である入射ビーム312(例えばヘリウム-ネオンレーザからの632.8nmの赤色光)が回折格子に当たると、入射ビーム312は、伝播軸314の両側に回折され、複数の次数のビーム316となる。しかし、異なる波長は、回折関係に従って、異なる角度で回折される。別の例では、回折要素310は、レーザ源302からの入射ビーム312が伝播軸314に沿ったいくつかの位置で同時に合焦することを可能にする、多焦点回折レンズであってよい。具体的には、入射ビーム312は多焦点回折レンズ内で溝付きの回折パターンによって回折され、伝播軸314に沿った複数の次数316になる。複数の次数のビーム316を合焦させるため、及び/または調整するため、1つ以上のさらなる合焦レンズ318が、さらに用いられていてよい。
スペックル生成器202は、関心の箇所(例えば、着陸ゾーン、検査地点など)に置かれていてよく、それによって、点402による疑似乱数のレーザスペックルパターン308が、航空機100の予期された位置に向けて、または別の標的に向けて、投影される。例えば、構造物の健全性のスキャニング、マッピング、及び/またはモニタリングに際して航空機を補助するため、スペックル生成器202は検査地点(例えば構造物)に配置されていてよい。この例では、スペックル生成器202は、疑似乱数のレーザスペックルパタ-ン308を、スキャニング、マッピング、及び/またはモニタリングする構造物上に、上向きに投影する。
ある態様では、これらのスペックル生成器202は、民間用であれ軍事用であれ、有人または無人の着陸ゾーンへのカーゴ(荷物)の送達を促進するため、着陸ゾーンに配置されていてよい。一実施例では、スペックル生成器202は、疑似乱数のレーザスペックルパターン308を、航空機100の下方に連結されたディフューザー208上に生成してよい。1つ以上のカメラ114は、スペックル生成器202及びディフューザー208と共に、X軸、Y軸、及びZ軸に沿って、スペックル生成器202に対する航空機100の位置を同定するために使用されてよい。別の実施例では、航空機100は、エリアに接近し、そのエリアでスペックル生成器202の周囲の着陸ゾーンをスキャンし、少なくとも部分的に、スペックル生成器202によって生成された疑似乱数のレーザスペックルパターン308に基づいて、(例えば接近中に)着陸ゾーン内の接地ゾーンを特定し、疑似乱数のレーザスペックルパターン308をトラッキングしながら(または少なくとも部分的に疑似乱数のレーザスペックルパターン308に基づいて)、接地ゾーンに自律的に着陸する。ディフューザー208が利用不可能である/望ましくない、及び/または、スペックル生成器202が地面/着陸面(例えばパッド、空港、フィールド、庭、屋根など)に隣接して用いられているときには、スペックル生成器202は、地面/着陸面から離れて(例えば、ポスト、三脚、タワー、または他の高設構造物を用いて)配置されていてよく、疑似乱数のレーザスペックルパターン308を下向きに、地面/着陸面に向けて投影するように構成されていてよい。地面/着陸面は、接地ゾーンを特定するため、航空機100の光学的キャプチャ装置によってスキャンニング/トラッキングされてよい。ある態様では、スペックル生成器202は、Paduanoらが共有している米国特許第9,557,542号(2017年1月31日公開)で開示されている、自律式カーゴ送達システムと併用されてよい。
スペックルパターンという用語は、高度にコヒーレントな(例えばレーザからの)光線が複雑な構造を持つ表面で拡散反射されたときに観察され得る、粒度の細かいパターンを指す。レーザスペックルを生成するのに使われるパターンがあらかじめ規定されているので、スペックルパターン308は、前もって固定され既知になっている。製造上の不確実性という制約によって、スペックルパターンはサンプルごとに異なっている可能性があり、パターンは、疑似乱数のパタ-ンのままである。疑似乱数のレーザパターン308のサイズ及び形状は、線形不変のままであり、レーザ源からの距離に比例する。スペックル生成器202は、複数の近隣点402をランダムに選択した距離関係に基づいて、一意的に特定され得る疑似乱数のレーザスペックルパターン308を作成する。
図4a~図4cは、3Dスキャナ112からの広視野を用いた、例示のレーザスペックル処理技法を示す。レーザスペックル処理技法は、点群のレジストレーション及び/または航空機の位置同定に関連して使用されてよい。具体的には、図4aは、3Dスキャナ112(またはカメラ114)によってキャプチャされた、スペックル生成器202からの例示の疑似乱数のレーザスペックルパターン308を示す。疑似乱数のレーザスペックルパターン308の点402の検出を強化するため、プロセッサ116は、複数の画像処理技法を用いてよい。この目的のため、プロセッサ116は、画像セグメント化を使用して、疑似乱数のレーザスペックルパターン308のデジタル画像を、複数のセグメント(例えばセット)に分割し得る。例えば、プロセッサ116は、1つ以上の画像閾値化技法を用いて、バイナリ画像(または他の高コントラスト画像)を生成してよい。バイナリ画像では、点は1色(例えば黒)であり、無特徴表面206(またはディフューザー208)の残りの部分は、対照的な第2の色(例えば白)である。
スペックルパターン400を作成するため、疑似乱数のレーザスペックルパターン308の点402から、複数のランダムな最近隣点402(例えば、約4個~20個、より好ましくは約6個~14個、最も好ましくは約8個~10個)が選択される。スペックルパターン400の例は、図4bで示されている。スペックルパターン400の点402間の距離は標準化されており、各点402の半径は測定可能である。例えば、プロセッサは、前記複数の点402のうちの少なくとも1つの直径を測定することによって、第2のレーザスペックルパターンの点のサイズを決定するか、及び/または、前記複数の点402のうちの少なくとも2つ(例えば2つの隣接する点402)の間の距離を測定することによって、点の距離を決定するように、構成されていてよい。
スペックルパターン400は、次に、最適なマッチングが特定されるまで、例えばルックアップテーブルを使って既知のスペックルパターン404a、404b、404nのデータベースと比較されてよい。既知のスペックルパターン404a、404b、404nは、航空機100のメモリ装置118、または別の(例えば遠隔装置130の)メモリ装置に記憶されていてよい。スペックルパターン400を抽出して既知のスペックルパターン404と比較するこの処理は、コンセンサスを生成するためにランダムな点402の種々のセットを使って繰り返されてよく、このプロセスは無作為標本コンセンサス(RANSAC)と呼ばれ得る。
図5a~図5dは、3Dスキャナ112の広視野に基づいて、地面に平行な平面内における航空機100の横位置を同定するための、例示のレーザスペックル処理技法を示す。具体的には、図5aは、グラウンドトゥルース(0,0)における疑似乱数のレーザスペックルパターン308を示しているが、図5b~図5dはそれぞれ、グラウンドトゥルース(0,-0.4)、グラウンドトゥルース(0.5,0)、及びグラウンドトゥルース(1.9,2)における疑似乱数のレーザスペックルパターン308を示している。スペックルパターン400を規定するために複数のランダムな最近隣点402が特定されると、それを受けて、航空機100のレーザスペックルの空(sky)に対する位置を同定するために、スペックルパターン400の横方向の中心が用いられ得る。具体的には、スペックル生成器202の位置が既知であるため、2次元(例えばX-Y)座標系平面内の疑似乱数のレーザスペックルパターン308の位置は、既知である。
説明のため、グラウンドトゥルース(0,0)における疑似乱数のレーザスペックルパターン308が、所望の位置を表すと仮定する。この知識を用いて、航空機100は、グラウンドトゥルースが(0,0)から偏差を有しているときの航空機100の横位置を調整することができる。例えば、図5bは、航空機100の横位置がY軸に沿って横方向に0.4移動しており、したがってY軸に沿った-0.4の調整(即ち0,-0.4)が必要であることを示している。同様に、図5cは航空機100の横位置がX軸に沿って横に0.5移動しているのを示しており、一方で図5dは、航空機100の横位置がX軸に沿って1.9、Y軸に沿って2.0移動しており、したがって、それぞれ(0.5,0)及び(1.9,2)の横方向の調整は、当然である。
図6a~図6cは、カメラ114からの画像に基づいた、スペックル生成器202に対する航空機100の縦位置の、例示的な位置同定プロセスを示す。即ち、点402間の距離と、半径によって、スペックル生成器202からのz方向の距離が与えられる。例えば、航空機100のスペックル生成器202からの距離が変化するのにつれて、点402間の距離が直線的に変化することが予期されており、観察されてよい。同様に、各点402の半径は、航空機100とスペックル生成器202との距離に対して、直線的に変化するであろう。例示として、図6aは距離Aにおける疑似乱数のレーザスペックルパターン308を示し、一方、図6b及び図6cは、それぞれ距離2A(2倍の距離)及び距離0.5A(半分の距離)における疑似乱数のレーザスペックルパターンを示す。距離Aにおける直径及び点402間の間隔は、距離2Aと比べで2倍であり、距離0.5Aの場合の半分であった。
光の発散により、点402のサイズは距離と共に増大する。実際、レーザビームのビーム発散角は、光が放出される光学的開口(例えばスペックル発生器202)からの距離に伴う、ビームの直径(または半径)の増大に関する角度の測定値である。しかし、疑似乱数のレーザスペックルパターン308が大きくなりすぎたとき(例えば図6b)や疑似乱数のレーザスペックルパターン308が小さすぎるとき(例えば図6c)には、距離の限界が生じ得る。しかし、図6bのシナリオでは、問題を軽減するために、疑似乱数のレーザスペックルパターン308をより近くの距離からトラッキングすることができるが、一方で図6cのシナリオでは、スペックルはセンサ上に良好的に規定されておらず、「中心」として位置決めするために、(すべてのレーザ強度を平均した)単一の点が画像化され得るのみである。しかしこれらの懸念は、必要に応じてレーザスペックルパターンを調整して焦点を合わせるかまたはぼかすために、レーザスペックル生成器上のレンズ318を調整することによって、軽減され得る。
図7a~図7cは、点群をレジストレーションするための例示の技法を示す。示されるように、スペックル生成器202は、航空機100がZ軸に沿って(即ち上下に)飛行して無特徴表面206の縦方向の長さをスキャンする間に、疑似乱数のレーザスペックルパターン308を無特徴表面206上に投影する。
図7aに示すように、航空機100は、無特徴表面206の第1の領域700aをスキャンし、3Dスキャナ112を介して第1の局所点群を生成する。第1の領域700aが完了すると、図7bに示すように、航空機100はZ方向へ無特徴表面206に沿って進み、無特徴表面206の第2の領域700bをスキャンし、3Dスキャナ112を介して第2の局所点群を生成する。第2の領域700bが完了すると、図7cに示すように、航空機100はZ方向へ無特徴表面206に沿って進み、無特徴表面206の第3の領域700cをスキャンし、3Dスキャナ112を介して第3の局所点群を生成する。無特徴表面206の全体がスキャンされるまで、航空機100は、各領域に対してこのプロセスを繰り返してよい。
確実に無特徴表面206の全ての部分をスキャンするために、連続してスキャンされた様々な領域は、少なくとも部分的に重なり合っていてよい。例えば、第1の領域700aは、第2の領域700bと少なくとも部分的に重なり合っていてよく、一方で第2の領域700bは、第3の領域700cと少なくとも部分的に重なり合っていてよい。航空機100は、第1、第2、第3の領域700a、700b、700cのそれぞれと少なくとも部分的に重なり合っている疑似乱数のレーザスペックルパターン308を使って、3Dスキャナ112からの第1、第2、及び第3の点群をレジストレーションし、完成した3Dモデルを形成してよい。実際、航空機100は、1つ以上の3Dスキャナ112を介して、同じ領域(例えば第1の領域700a)の違う角度からの複数のビューをキャプチャしてよい。この場合、それぞれのビューが点群を有する。図7a~図7cは単一の3Dスキャナ112を使用して描かれているが、同一の領域を(例えばやや異なるアングルから)スキャンするスキャニングプロセスを通じて、または無特徴表面206に隣接していてよい第2の無特徴表面をスキャンするスキャニングプロセスを通じて、複数の3Dスキャナ112が使用されてよい。例えば、第1の領域700aをスキャンするのに単一の3Dスキャナ112が使用されているときには、3Dスキャナ112は、枢動するかまたはジンバルを使用して別様に調整し、第1の領域700aの第2のビューをキャプチャしてよい。複数の3Dスキャナ112が使用されているときには、各3Dスキャナ112は、第1の領域700aの別々の角度からのビューを同時にキャプチャしてよい。
航空機100は、スキャン処理中に1つ以上のスキャン飛行パターンを辿ってよい。図8a~図8dは、16個の領域700に分割された、例示の無特徴表面206を示す。16個の領域700のそれぞれをスキャンするために、航空機100は、1つ以上のスキャン経路を用いてよい。例えば航空機100は、(例えば図8aの垂直スキャン経路800aによって示されているように)一連の垂直領域として、(例えば図8bの水平スキャン経路800bによって示されているように)一連の水平領域として、(例えば図8cの螺旋スキャン経路800cによって示されているように)一連の螺旋領域として、または図8dのハイブリッドスキャン経路800dによって示されているようにこれらの組み合わせとして、無特徴表面206をスキャンしてよい。
スキャン処理中、3Dスキャナ112は、1つ以上の光源と、2つの異なるモードを持った1つ以上のイメージャーとを、用いてよい。実施の際、3Dスキャナ112は、無特徴表面206のある領域をイメージャー上で可視化して所与の領域に関する局所点群を生成するため、3Dスキャナ112からの構造化された光を投影する。次に、3Dスキャナ112は3Dスキャナ112からの構造化された光をオフにして、疑似乱数のレーザスペックルパターン308を可視化し、時間的に近接した(または空間的に近接した)キャプチャした点群間の、基準による結びつきを決定してよい。例えば、3Dスキャナ112は、第1の点群を生成するために第1の領域をスキャンしてから、次に第2の点群を生成するために第2の領域のスキャンに進んでよい。航空機100は、基準による結びつきに基づいて、キャプチャした点群の(例えば第1の点群の第2の点群に対する)概略的なレジストレーションを実施してよい。航空機100は、プロセッサは、2つの点群間の差異を最小化するための1つ以上のアルゴリズムを用いて、キャプチャした点群に関する精細なレジストレーションを実施してよい。例えば、航空機100は、複数の異なる点群から2Dまたは3Dの表面を再構成し、航空機100の位置を同定し、航空機100の最適なスキャン経路のプランニングを実現する、逐次近傍点(ICP)アルゴリズムを実施してよい。
図9は、例示のスキャン処理900を示す。スキャン処理900は、(例えばスキャン用ソフトウェアの開始後に)ステップ902でスタートする。ステップ904では、3Dスキャナ112は、3Dスキャナ112から構造化された光を投影し、無特徴表面206の第1の領域700aをイメージャー上で可視化する。
ステップ906では、プロセッサ116は、第1の領域700aに関連づけられた第1の局所点群を生成する。ステップ908では、3Dスキャナ112は、3Dスキャナ112からの構造化された光をオフにする。ステップ910では、プロセッサ116は、疑似乱数のレーザスペックルパターン308を可視化する。ステップ912では、プロセッサ116は、時間的に近接した(または空間的に近接した)キャプチャされた点群間の、基準による結びつきを決定する。時間的に近接した(または空間的に近接した)点群が過去にキャプチャされていない場合、ステップ912~916は迂回され、スキャン処理900はステップ918に進む。
ステップ914では、プロセッサ116は、ステップ912で決定した基準による結びつきに少なくとも部分的に基づいて、キャプチャした点群の概略的なレジストレーションを実施する。ステップ916では、プロセッサ116は、2つの点群間の差異を最小化するための1つ以上のアルゴリズム(例えばICPアルゴリズム)を用いて、キャプチャした点群に関する精細なレジストレーションを実施する。
ステップ918では、プロセッサ116が、スキャン処理900を終了すべきかどうかを判定する。スキャン処理900は、スキャン処理が完了したとき(即ち、全ての領域がキャンセルされたとき)、エラーが検出されたとき、オペレータがコメントしたとき(例えば、中止指示のとき)などに、終了してよい。
スキャン処理900が終了する際には、スキャン処理900はステップ922に進む。ステップ922では、リセットまたはリスタートされるまでの間、スキャン処理は打ち切られている。そうでない場合には、スキャン処理900はステップ920に進み、後続する領域(例えば、後続する時間的に近接したまたは空間的に近接した領域)をスキャンする。ステップ920で、航空機100は次のスキャン領域へと航行する。例えば、プロセッサ116は、フライトコントローラ120に、航空機100を現在の位置から、後続する領域をスキャンするための後続する位置まで航行させるように、命令してよい。
上記の特許及び特許公報は、参照によりその全体が本願に組み込まれる。参照により本願に組み込まれる参照文書内の用語の定義または用法が、本書で使用される用語の定義または理解と不整合である場合または相容れない場合には、本書で使用される用語の意味によるものとし、参照文献におけるその用語の定義は必ずしも当てはまらないものとする。具体的な部品の構成や特徴などを参照して、様々な実施形態が記載されてきたが、これらはすべての可能な構成や特徴を網羅することを意図しておらず、当業者には、多くの他の実施形態、修正形態、及び変形形態が特定可能であろう。したがって、本教示の開示が、本書に具体的に記載されている以外の態様で実施され得ることは、理解すべきである。

Claims (16)

  1. 複数の点群をレジストレーションするためのシステムであって、前記システムは、
    第1のレーザスペックルパターン(308、400)を表面(206)上に投影するスペックル生成器(202)と、
    前記表面(206)をスキャンするための少なくとも1つの3次元(3D)スキャナ(112)であって、前記表面(206)の複数の点群を生成し且つ前記第1のレーザスペックルパターン(308、400)の少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナ(112)と、
    少なくとも部分的に前記第1のレーザスペックルパターン(308、400)に基づいて、前記複数の点群をレジストレーションして前記表面(206)の3Dモデルを生成するために、前記少なくとも1つの3Dスキャナ(112)に通信可能に連結されたプロセッサ(116)とを備え、
    前記少なくとも1つの3Dスキャナ(112)は、ディフューザー(208)及び光学的キャプチャ装置を有する航空機(100)に連結されており、前記光学的キャプチャ装置は、前記プロセッサ(116)と通信可能に連結され、且つ前記ディフューザー(208)の第1の表面(206)を画像化するように構成されている、システム。
  2. 前記スペックル生成器(202)は、レーザビームを生成するレーザ源(302)と、前記レーザビームを複数の次数の複数のレーザビームに回折させる光学要素(304)であって、前記複数のレーザビームが前記第1のレーザスペックルパターン(308、400)を画定する、光学要素(304)とを含む、請求項1に記載のシステム。
  3. 前記光学的キャプチャ装置は、下向きのカメラである、請求項1に記載のシステム。
  4. 前記スペックル生成器(202)は、前記ディフューザー(208)の第2の表面(206)上に第2のレーザスペックルパターン(308、400)を投影するように構成されている、請求項1からのいずれか一項に記載のシステム。
  5. 前記プロセッサ(116)は、前記第1のレーザスペックルパターン(308、400)から複数のランダムな最近隣点(402)を選択することによって、スペックルパターン(308、400)を特定するように構成されている、請求項1から4のいずれか一項に記載のシステム。
  6. 前記プロセッサ(116)は、前記スペックルパターン(308、400)を複数の既知のスペックルパターン(308、400)と比較して、前記複数の既知のスペックルパターン(308、400)から最もマッチするスペックルパターン(308、400)を特定するように構成されている、請求項5に記載のシステム。
  7. 前記スペックル生成器(202)の物理的な位置が既知になっており、前記プロセッサ(116)は、前記最もマッチするスペックルパターン(308、400)に少なくとも部分的に基づいて、前記スペックル生成器(202)に対する前記航空機(100)の位置を同定するように構成されている、請求項6に記載のシステム。
  8. 前記プロセッサ(116)は、少なくとも部分的に前記第1のレーザスペックルパターン(308、400)に基づいて、前記複数の点群に関する概略のレジストレーションを実施するように構成されている、請求項1から7のいずれか一項に記載のシステム。
  9. 前記プロセッサ(116)は、2つの点群間の差異を最小化するための1つ以上のアルゴリズムを用いて、前記複数の点群に関する精細なレジストレーションを実施するように構成されている、請求項8に記載のシステム。
  10. 着陸ゾーン内で航空機(100)用の接地ゾーンを特定するためのシステムであって、
    表面(206)上にレーザスペックルパターン(308、400)を投影するために前記着陸ゾーンに配置されたスペックル生成器(202)であって、レーザビームを生成するレーザ源(302)及び、前記レーザビームを、前記レーザスペックルパターン(308、400)を画定する複数の次数の複数のレーザビームに回折させる光学要素(304)を含む、スペックル生成器(202)と、
    前記航空機(100)に連結される少なくとも1つの光学的キャプチャ装置であって、前記表面(206)上に投影された前記レーザスペックルパターン(308、400)の少なくとも一部を画像化するように構成された少なくとも1つの光学的キャプチャ装置と、
    少なくとも部分的に前記レーザスペックルパターン(308、400)の前記少なくとも一部に基づいて、前記着陸ゾーン内の前記接地ゾーンに対する前記航空機(100)の位置を同定するために、前記少なくとも1つの光学的キャプチャ装置に通信可能に連結されたプロセッサ(116)とを備え、
    前記航空機(100)は、前記表面(206)を含む不透明なディフューザー(208)を備え、前記表面(206)は、上に投影された前記レーザスペックルパターン(308、400)を有している、システム。
  11. 前記不透明なディフューザー(208)は、第1の平面内に存在する第1の表面(206)と、前記第1の平面にほぼ平行な第2の平面内に存在する第2の表面(206)を含み、前記不透明なディフューザー(208)の前記第2の表面(206)が、上に投影された前記レーザスペックルパターン(308、400)を有する前記表面(206)である、請求項10に記載のシステム。
  12. 前記少なくとも1つの光学的キャプチャ装置は、前記第2の表面(206)上に投影された前記レーザスペックルパターン(308、400)をキャプチャするために、前記不透明なディフューザー(208)の前記第1の表面(206)を画像化するように構成された下向きのカメラである、請求項11に記載のシステム。
  13. 前記プロセッサ(116)は、少なくとも部分的に、前記レーザスペックルパターン(308、400)の前記少なくとも一部に基づいて、前記航空機(100)を前記接地ゾーンに着陸させる命令を生成するように構成されている、請求項10から12のいずれか一項に記載のシステム。
  14. 前記プロセッサ(116)は、少なくとも部分的に、既知の座標系における前記レーザスペックルパターン(308、400)の位置に基づいて、前記航空機(100)の横位置を決定するように構成されている、請求項10から13のいずれか一項に記載のシステム。
  15. 前記レーザスペックルパターン(308、400)は、複数の点(402)を含んでおり、前記プロセッサ(116)は、(1)前記複数の点(402)のうちの少なくとも1つの直径を測定することによって、前記レーザスペックルパターン(308、400)の点のサイズを決定するか、または(2)前記複数の点(402)のうちの少なくとも2つの間の距離を測定することによって、点の距離を決定するように構成されている、請求項10から14のいずれか一項に記載のシステム。
  16. 複数の点群をレジストレーションするためのシステムであって、前記システムは、
    第1のレーザスペックルパターン(308、400)を表面(206)上に投影するスペックル生成器(202)と、
    前記表面(206)をスキャンするための少なくとも1つの3次元(3D)スキャナ(112)であって、前記表面(206)の複数の点群を生成し且つ前記第1のレーザスペックルパターン(308、400)の少なくとも一部を画像化するように構成された少なくとも1つの3Dスキャナ(112)と、
    少なくとも部分的に前記第1のレーザスペックルパターン(308、400)に基づいて、前記複数の点群をレジストレーションして前記表面(206)の3Dモデルを生成するために、前記少なくとも1つの3Dスキャナ(112)に通信可能に連結されたプロセッサ(116)とを備え、
    前記プロセッサ(116)は、前記第1のレーザスペックルパターン(308、400)から複数のランダムな最近隣点(402)を選択することによって、スペックルパターン(308、400)を特定するように構成されており、且つ
    前記プロセッサ(116)は、前記スペックルパターン(308、400)を複数の既知のスペックルパターン(308、400)と比較して、前記複数の既知のスペックルパターン(308、400)から最もマッチするスペックルパターン(308、400)を特定するように構成されている、システム。
JP2018127205A 2017-07-10 2018-07-04 航空機用レーザスペックルのシステム及び方法 Active JP7175652B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/645,148 US10527711B2 (en) 2017-07-10 2017-07-10 Laser speckle system and method for an aircraft
US15/645,148 2017-07-10

Publications (2)

Publication Number Publication Date
JP2019035736A JP2019035736A (ja) 2019-03-07
JP7175652B2 true JP7175652B2 (ja) 2022-11-21

Family

ID=62916452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018127205A Active JP7175652B2 (ja) 2017-07-10 2018-07-04 航空機用レーザスペックルのシステム及び方法

Country Status (7)

Country Link
US (2) US10527711B2 (ja)
EP (1) EP3435282B1 (ja)
JP (1) JP7175652B2 (ja)
KR (1) KR102669474B1 (ja)
CN (1) CN109242890B (ja)
AU (1) AU2018202211B2 (ja)
IL (1) IL259219B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
CN109285220B (zh) * 2018-08-30 2022-11-15 阿波罗智能技术(北京)有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
USD928072S1 (en) * 2018-12-03 2021-08-17 SZ DJI Technology Co., Ltd. Aerial vehicle
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
DK180562B1 (en) 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
WO2020168313A1 (en) * 2019-02-15 2020-08-20 Arizona Board Of Regents On Behalf Of The University Of Arizona Mobile 3d imaging system and method
US10837761B1 (en) * 2019-04-30 2020-11-17 The Boeing Company Component heating sub-systems and methods for laser shearography testing systems
US10955241B2 (en) * 2019-06-26 2021-03-23 Aurora Flight Sciences Corporation Aircraft imaging system using projected patterns on featureless surfaces
JP7444898B2 (ja) * 2019-12-09 2024-03-06 富士フイルム株式会社 移動体、制御装置、及び撮像方法
EP3848900A1 (en) 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera
CN111325779B (zh) * 2020-02-07 2020-12-11 贝壳找房(北京)科技有限公司 点云配准方法和装置、电子设备和存储介质
JP7360983B2 (ja) * 2020-03-31 2023-10-13 関西電力株式会社 データ取得装置および該方法
US11656072B2 (en) * 2020-07-02 2023-05-23 Virtek Vision International Inc. Classification of laser speckle profiles for validation of part placement in an assembly task
CN112258494B (zh) * 2020-10-30 2021-10-22 北京柏惠维康科技有限公司 一种病灶位置确定方法、装置及电子设备
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
CN112904361B (zh) * 2020-12-10 2022-05-10 成都飞机工业(集团)有限责任公司 一种基于激光扫描的发动机推力线精确测量方法
US11623738B1 (en) * 2021-11-12 2023-04-11 Beta Air, Llc System and method for the prioritization of flight controls in an electric aircraft
CN113048886B (zh) * 2021-05-31 2021-08-17 山东捷瑞数字科技股份有限公司 计量工件不规则体尺寸的测量方法及设备
EP4348580A4 (en) * 2021-06-01 2024-08-07 Ericsson Telefon Ab L M ALIGNMENT OF DENSE POINT CLOUDS OF A PHYSICAL OBJECT
WO2023078540A1 (en) * 2021-11-03 2023-05-11 Telefonaktiebolaget Lm Ericsson (Publ) Alignment of point clouds representing physical objects
CN114131293B (zh) 2021-11-25 2022-11-01 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
KR102439313B1 (ko) * 2022-06-15 2022-09-01 주식회사 모쓰 프로펠러 날개의 단면 특성 정보 획득 방법
US20240169583A1 (en) * 2022-11-21 2024-05-23 The Boeing Company Laser Strike Origin Determination for an Aircraft

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001066123A (ja) 1999-08-27 2001-03-16 Ricoh Co Ltd 3次元形状の形状測定装置及び形状測定方法
US20080101688A1 (en) 2006-10-25 2008-05-01 D4D Technologies, Llc 3D photogrammetry using projected patterns
JP2008145431A (ja) 1996-12-15 2008-06-26 Cognitens Ltd 3次元表面形状再構築のための装置および方法
WO2014014341A1 (en) 2012-07-20 2014-01-23 Lely Patent N.V. Milking arrangement
CN104062977A (zh) 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
JP2015184056A (ja) 2014-03-20 2015-10-22 株式会社東芝 計測装置、方法及びプログラム
CN105046746A (zh) 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法
WO2016059930A1 (ja) 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
US20170067734A1 (en) 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
WO2005026661A1 (en) * 2003-09-05 2005-03-24 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for detecting submarines
US7543780B1 (en) 2004-10-04 2009-06-09 The United States Of America As Represented By The Secretary Of The Air Force Unmanned air vehicle transmission line docking surveillance
WO2007043036A1 (en) * 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
US8050461B2 (en) * 2005-10-11 2011-11-01 Primesense Ltd. Depth-varying light fields for three dimensional sensing
US7433024B2 (en) * 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
CN101496033B (zh) * 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US8581981B2 (en) 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
JP5167248B2 (ja) * 2006-05-11 2013-03-21 プライムセンス リミテッド 深度マップによるヒューマノイド形状のモデル化
US7643147B2 (en) * 2006-11-03 2010-01-05 Neuropace, Inc. Method and system for device identification
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8068136B2 (en) * 2007-05-16 2011-11-29 Honeywell International Inc. Method and system for determining angular position of an object
WO2009093228A2 (en) * 2008-01-21 2009-07-30 Prime Sense Ltd. Optical designs for zero order reduction
CN101520319B (zh) * 2008-02-27 2012-02-22 邹小平 复合式三维激光测量系统及测量方法
US8290305B2 (en) 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
CA2655001C (en) 2009-02-20 2015-11-24 Queen's University At Kingston Marker localization using intensity-based registration of imaging modalities
CA2957077C (en) 2009-06-01 2019-07-02 Gerd Hausler Method and device for three-dimensional surface detection with a dynamic reference frame
CN101608908B (zh) * 2009-07-20 2011-08-10 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
CN102831642B (zh) * 2011-01-27 2014-04-23 深圳泰山在线科技有限公司 一种物体表面重建的系统和方法
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
US8611692B2 (en) 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US8933820B1 (en) * 2012-08-01 2015-01-13 Rockwell Collins, Inc. System and method for indicating a landing zone to an inbound helicopter
US10049281B2 (en) * 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US8874283B1 (en) 2012-12-04 2014-10-28 United Dynamics Advanced Technologies Corporation Drone for inspection of enclosed space and method thereof
US8903568B1 (en) 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
CN104903790B (zh) 2013-10-08 2018-07-24 深圳市大疆灵眸科技有限公司 用于增稳和减振的装置和方法
EP3067658B1 (en) * 2013-11-06 2019-10-02 Toppan Printing Co., Ltd. 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
US9557742B2 (en) 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
US9922459B2 (en) * 2015-03-09 2018-03-20 D4D Technologies, Llc Real-time detail highlighting on 3D models
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
CN105203044B (zh) * 2015-05-27 2019-06-11 珠海真幻科技有限公司 以计算激光散斑为纹理的立体视觉三维测量方法及系统
EP3168704B1 (en) * 2015-11-12 2021-02-24 Hexagon Technology Center GmbH 3d surveying of a surface by mobile vehicles
US20170277187A1 (en) * 2016-02-29 2017-09-28 Optecks, Llc Aerial Three-Dimensional Scanner
CN113014906B (zh) * 2016-04-12 2023-06-30 奎蒂安特有限公司 3d场景重建方法、系统及计算机程序存储介质
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN206311076U (zh) * 2017-01-04 2017-07-07 苏州西博三维科技有限公司 基于散斑的极速三维人体扫描仪

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008145431A (ja) 1996-12-15 2008-06-26 Cognitens Ltd 3次元表面形状再構築のための装置および方法
JP2001066123A (ja) 1999-08-27 2001-03-16 Ricoh Co Ltd 3次元形状の形状測定装置及び形状測定方法
US20080101688A1 (en) 2006-10-25 2008-05-01 D4D Technologies, Llc 3D photogrammetry using projected patterns
WO2014014341A1 (en) 2012-07-20 2014-01-23 Lely Patent N.V. Milking arrangement
JP2015184056A (ja) 2014-03-20 2015-10-22 株式会社東芝 計測装置、方法及びプログラム
CN104062977A (zh) 2014-06-17 2014-09-24 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
WO2016059930A1 (ja) 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
CN105046746A (zh) 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法
US20170067734A1 (en) 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates

Also Published As

Publication number Publication date
IL259219A (en) 2018-06-28
AU2018202211A1 (en) 2019-01-24
IL259219B (en) 2022-02-01
AU2018202211B2 (en) 2024-02-29
JP2019035736A (ja) 2019-03-07
US10527711B2 (en) 2020-01-07
CN109242890B (zh) 2023-09-08
KR102669474B1 (ko) 2024-05-24
KR20190006432A (ko) 2019-01-18
US20200150217A1 (en) 2020-05-14
CN109242890A (zh) 2019-01-18
EP3435282A3 (en) 2019-04-17
US20190011529A1 (en) 2019-01-10
EP3435282B1 (en) 2023-06-28
US11327149B2 (en) 2022-05-10
EP3435282A2 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
JP7175652B2 (ja) 航空機用レーザスペックルのシステム及び方法
US10234278B2 (en) Aerial device having a three-dimensional measurement device
JP6843773B2 (ja) 環境の走査及び無人航空機の追跡
CN109073498B (zh) 用于对象的损坏分析的系统
US20200074683A1 (en) Camera calibration
EP3420428B1 (en) Systems and methods for visual target tracking
US20180273173A1 (en) Autonomous inspection of elongated structures using unmanned aerial vehicles
JP7007137B2 (ja) 情報処理装置、情報処理方法および情報処理用プログラム
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
WO2019106714A1 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
US20230142394A1 (en) Contour scanning with an unmanned aerial vehicle
US20240129616A1 (en) Reality capture using cloud based computer networks
US20240054789A1 (en) Drone data collection optimization for evidence recording
US20240111311A1 (en) Control apparatus, base station, control method, and program
EP4369308A1 (en) A multimodal fiducial marker, a heterogeneous perception apparatus and a multimodal system comprising both
Murcia et al. A Low-Cost 3D Mapping System for Indoor Scenes Based on a 2D LiDAR On-Board an UGV
US20240054731A1 (en) Photogrammetry system for generating street edges in two-dimensional maps
Ali Application of Quad-Copter Target Tracking Using Mask Based Edge Detection for Feasibility of Wind Turbine Blade Inspection During Uninterrupted Operation
JP2024519280A (ja) 航空機を使用した太陽光発電デバイスの自動イメージング、および、それを実施するための航空機の自動飛行
WO2021006026A1 (ja) 自己位置特定方法
JP2021057078A (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7175652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150