KR20190035496A - 항공 비파괴 검사를 위한 포지셔닝 시스템 - Google Patents

항공 비파괴 검사를 위한 포지셔닝 시스템 Download PDF

Info

Publication number
KR20190035496A
KR20190035496A KR1020180098615A KR20180098615A KR20190035496A KR 20190035496 A KR20190035496 A KR 20190035496A KR 1020180098615 A KR1020180098615 A KR 1020180098615A KR 20180098615 A KR20180098615 A KR 20180098615A KR 20190035496 A KR20190035496 A KR 20190035496A
Authority
KR
South Korea
Prior art keywords
distance
uav
laser
image
aerial vehicle
Prior art date
Application number
KR1020180098615A
Other languages
English (en)
Inventor
제임스 제이. 트로이
개리 이. 조지슨
스콧 더블유. 리아
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20190035496A publication Critical patent/KR20190035496A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B64C2201/127—
    • B64C2201/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Bridges Or Land Bridges (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

무인 항공기(UAV, 20)와 같은 원격으로 조작되는 비행 플랫폼을 사용하여 목표 대상물(102)까지의 거리를 측정하고 환경 내의 그 목표 대상물에 대한 스케일 및 지점들 간 거리 정보를 획득하기 위한 시스템들 및 방법들이 개시된다. 시스템은 탑재형 센서들(132, 138, 166) 및 처리 기술들을 사용하여 목표 대상물 상의 지점들 사이의 거리들 또는 목표 대상물의 스케일의 이산적인 또는 연속적인 측정치들을 제공한다. UAV들(또는 다른 비행 플랫폼들)에 탑재형 3차원 측정 능력들을 추가하는 것은 거리 데이터의 수집을 가능하게 한다. 이러한 능력을 갖는 것은 이러한 시스템들이 계측 관련 작업들을 수행하는 과정에서 단일 대상물 상의 지점들 사이의 거리들을 획득하는 것, 이를테면 UAV에 의해 캡처된 이미지들에서 항목들의 실제 스케일 팩터들을 결정하는 것을 가능하게 한다.

Description

항공 비파괴 검사를 위한 포지셔닝 시스템{POSITIONING SYSTEM FOR AERIAL NON-DESTRUCTIVE INSPECTION}
본 개시내용은 일반적으로 검사 활동들을 수행하기 위한 시스템들 및 방법들에 관한 것으로, 보다 구체적으로는 무인 항공기에 의해 구조물들 또는 대상물들의 원격 검사를 가능하게 하기 위한 시스템들 및 방법들에 관한 것이다.
구조물들 및 다양한 타입들의 대상물들에 대한 직접적인 인간 기반의 검사들은 개인이 수행하기에는 시간이 오래 걸리고, 비용이 많이 들며, 어려울 수 있다. 중요한 검사 문제들을 제기하는 구조물들의 예들은 교량들, 댐들, 제방들, 발전소들, 전력선들 또는 전력망들, 수처리 시설들; 정유 시설들, 화학 처리 공장들, 고층 건물들, 전기 열차들 및 모노레일 지원 구조들과 연관된 인프라구조 및 공항들의 항공기 구조물들을 포함한다.
무인 항공기(UAV: unmanned aerial vehicle)를 이용하여, 조작자는 구조물들로부터 이미지들 또는 다른 센서 데이터를 안전하게 획득할 수 있다. UAV 조작자는 위험한 상황에 노출되지 않고 크레인들이나 플랫폼들과 같이 번거롭고 비싼 장비를 필요로 하지 않으면서 구조물들의 자동 스캐닝 프로세스를 시작할 수 있다. 그러나 일반적인 무인 항공기는 비행 중에 접하게 될 수도 있는 대상물 상의 지점들 간의 거리들 또는 탑재형 카메라로 확인되는 대상물들의 상대적 스케일을 나타내는 정확한 데이터를 얻는 능력이 없다. 예를 들어, GPS 장착 UAV들은 육안 검사에 충분한 위치의 대략적 추정을 제공할 수 있지만, GPS 추적은 다른 비파괴 검사 방법들에 사용하기에는 충분히 정확하지 않다.
UAV들과 같은 원격으로 조작되는 모바일 플랫폼들의 사용자들에게 현재 이용 가능한 상황 인식의 주요 방법은 탑재형 카메라로부터 비디오를 보여주는 디스플레이 모니터를 보는 것이다. 이 접근 방식의 유용성 문제들 중 하나는 조작자가 화면 상에 디스플레이된 대상물들의 크기를 결정하기 위한 기준 프레임이 없다는 점이며, 이는 이러한 플랫폼들에서의 검사 애플리케이션들의 유용성을 제한한다. 스케일 정보를 얻는 다른 접근 방식은 이미지 처리 애플리케이션을 사용하여 장면 내의 대상물들을 식별하는 것이지만, 이는 장면 내의 대상물들에 대한 정보가 있고 소프트웨어가 대상물들을 적절히 식별할 수 있는 경우에만 작동한다. 추가 접근 방식은 심도 카메라들을 사용하여 목표 대상물까지의 거리를 측정하는 것이지만, 심도 카메라들은 밝은 빛에서 포화되어 제한된 범위를 가질 수 있다. 또 다른 접근 방식은 모바일 플랫폼에 탑재된 회전형 레이저 스캐너를 사용하여 거리 데이터를 포인트 클라우드(point cloud)에 제공하는 것이지만, 이러한 방법은 더 많은 데이터를 획득하고 목표 대상물까지의 거리를 측정하기 위해 필요한 것보다 더 복잡하다.
이에 따라, UAV 기반 비파괴 검사 중에 캡처된 이미지들에 나타나는 대상물들 상의 지점들 사이의 거리들 또는 대상물들의 크기들을 결정하는 능력을 제공하는 것이 바람직할 것이다.
아래에서 어느 정도 상세히 개시되는 요지는 UAV와 같은 원격으로 조작되는 비행 플랫폼을 사용하여 비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득하기 위한 시스템들 및 방법들에 관한 것이다. 시스템은 탑재형 센서들 및 처리 기술들을 사용하여 목표 대상물 상의 지점들 사이의 거리들 또는 목표 대상물의 스케일의 이산적인 또는 연속적인 측정치들을 제공한다. UAV들(또는 다른 비행 플랫폼들)에 탑재형 3차원(3-D: three-dimensional) 측정 능력들을 추가하는 것은 현재 이러한 시스템들에서 놓치고 있는 객관적 거리 데이터의 수집을 가능하게 한다. 이러한 능력을 갖는 것은 이러한 시스템들이 계측 관련 작업들을 수행하는 과정에서 환경 내의 대상물들 간의 거리들 또는 단일 대상물 상의 지점들 사이의 거리들을 획득하는 것, 이를테면 UAV에 의해 캡처된 이미지들에서 항목들의 실제 스케일 팩터들을 결정하는 것을 가능하게 하며, 이는 검사 애플리케이션들을 위한 일부 타입들의 비행 플랫폼들의 유용성에 있어 상당한 향상을 야기한다.
항공 비파괴 검사를 위한 시스템의 일부 예들에 따르면, UAV가 구조물을 향해 비행할 때 카메라 장착 UAV와 검사될 구조물을 이격시키는 거리가 탑재 장비에 의해 반복해서 측정되며, 이격 거리가 목표 오프셋과 같을 때, UAV는 구조물을 향한 비행을 중단한다. 선택적으로, UAV는 그 다음에, 카메라의 초점 축이 이미지화된 구조물의 표면에 수직이 되도록 자체적으로 배향을 조정하고, 추후의 디스플레이를 위해 카메라가 활성화되어 이미지를 캡처한다. 일례에 따르면, 디스플레이된 이미지 상에 오버레이되는 스케일 표시자를 생성하는 데 거리 정보가 사용된다. 다른 예에 따르면, 이미지화되는 구조물의 표면 상의 두 지점들 사이의 거리를 측정하는 데 거리 정보가 사용되는데, 지점들 간 거리 값이 디스플레이된 이미지 상에 오버레이된다.
본 명세서에서 설명되는 개념들은 UAV들 그리고 다른 원격으로 조작되는 모바일 플랫폼들에 대한 측정 및 제어 능력들을 제공한다. 측정 데이터의 획득은 다음 세 가지 범주들로 나뉠 것이다.
한 범주의 예들에서는, 2개 또는 그보다 많은 레이저 포인터들 및 디지털 비디오 카메라가 목표물까지의 거리, 목표물의 시야에 대한 기준 스케일, 및 일부 예들에서는 목표물 상의 관심 지점들 간의 거리를 계산하기 위한 정보를 획득하는 데 사용된다. 이러한 범주의 예들은 목표물 표면이 상대적으로 평평하고 레이저 포인터들 및 카메라의 조준 방향에 대해 수직인 상황들에 적용할 수 있다. 본 명세서에서 사용되는 바와 같이, "레이저 포인터"라는 용어는 레이저 빔을 방출하고 반사된 레이저 광을 검출하지 않는 디바이스를 의미한다.
개념의 다른 범주의 예들은 UAV가 목표물까지의 거리, 기준 스케일뿐만 아니라, 목표물에 대한 UAV의 하나 또는 그보다 많은 배향각의 직접 측정을 가능하게 하는 2개 또는 그보다 많은 레이저 거리계들을 포함하는 구성들이다. (여기서는 도시되지 않은) 동일 선상에 장착되지 않은 3개의 레이저 거리계들이 사용된다면, 하나보다 많은 배향각(예컨대, 요(yaw) 및 피치)이 측정될 수 있다. 본 명세서에 사용되는 바와 같이, ("레이저 거리 측정기"로도 또한 알려진) "레이저 거리계"라는 용어는 레이저 빔을 방출하고 반사된 레이저 광을 검출하는 디바이스를 의미한다.
세 번째 범주의 예들은 짐벌형 레이저 거리계가 이동 플랫폼(예컨대, UAV)으로부터 환경 내의 대상물들까지의 거리 및 조준 방향 정보를 획득하는 데 사용되는 것을 포함한다. 이 개념은 플랫폼의 상대적 모션을 결정하기 위한 센서들, 이를테면 관성 측정 유닛의 추가와 함께, 미국 특허 제7,859,655호(그 개시내용은 그 전체가 본 명세서에 참조로 포함됨)에 개시된 벡터 기반 측정 알고리즘들의 일부 양상들에 영향을 준다. 이 플랫폼 모션 데이터는 짐벌형 레이저 거리계로부터의 조준 방향 및 거리 데이터와 함께 환경의 대상물들의 측정치들을 획득하는 데 사용될 수 있다.
비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득하기 위한 시스템들 및 방법들의 다양한 예들이 본 명세서에서 나중에 어느 정도 상세히 설명되지만, 그러한 예들 중 하나 또는 그보다 많은 예들은 다음 양상들 중 하나 또는 그보다 많은 양상들에 의해 특성화될 수 있다.
아래에서 상세히 개시되는 요지의 한 양상은 무인 항공기를 작동시키기 위한 방법이며, 이 방법은: (a) 구조물을 향해 비행하도록 무인 항공기를 제어하는 단계; (b) 무인 항공기가 비행하고 있는 동안 구조물의 표면 상의 각각의 제1 스폿 및 제2 스폿으로부터 무인 항공기에 탑재된 제1 레이저 거리계 및 제2 레이저 거리계를 각각 이격시키는 제1 거리 및 제2 거리를 반복해서 측정하기 위해 제1 레이저 거리계 및 제2 레이저 거리계를 사용하는 단계; (c) 제1 거리 및 제2 거리에 적어도 기초하여 무인 항공기를 구조물로부터 이격시키는 제1 이격 거리를 계산하는 단계; (d) 제1 이격 거리가 목표 오프셋과 동일한지 여부를 결정하는 단계; (e) 이격 거리가 목표 오프셋과 동일하다는 단계(d)에서의 결정에 대한 응답으로 제1 이격 거리만큼 구조물로부터 이격된 제1 위치에서 호버링(hover)하도록 무인 항공기를 제어하는 단계; (f) 무인 항공기가 제1 위치에서 호버링하고 있는 동안 구조물의 이미지를 캡처하기 위해 무인 항공기에 탑재된 카메라를 사용하는 단계; 및 (g) 디스플레이 화면 상에 이미지를 디스플레이하는 단계를 포함한다. 일례에 따르면, 이 방법은: 제1 거리 및 제2 거리에 기초하여 구조물의 표면 상의 제1 스폿과 제2 스폿을 연결하는 선에 대한 카메라의 초점 축의 배향각을 계산하는 단계; 이격 거리 및 배향각에 적어도 부분적으로 기초하여 디스플레이 화면 상에 디스플레이될 때 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및 이미지 상에 오버레이된 스케일 표시자를 디스플레이하는 단계를 더 포함하며, 스케일 표시자의 값 또는 길이는 스케일 팩터를 나타낸다.
아래에서 상세히 개시되는 요지의 다른 양상은 무인 항공기를 작동시키기 위한 방법이며, 이 방법은: (a) 검사될 구조물로부터 이격된 위치에서 호버링하도록 무인 항공기를 제어하는 단계; (b) 평행하게 무인 항공기에 탑재된, 피벗 가능하게 장착된 제1 레이저 포인터 및 제2 레이저 포인터를 구조물의 표면을 향해 지향시키는 단계 ― 제1 레이저 포인터 및 제2 레이저 포인터의 각각의 피벗 축들은 고정된 거리만큼 이격됨 ―; (c) 무인 항공기가 그 위치에서 호버링하고 있는 동안 서로 평행한 레이저 빔들을 제1 스폿 및 제2 스폿에 각각 송신하기 위해 서로 평행한 제1 레이저 포인터 및 제2 레이저 포인터를 사용하는 단계; (d) 제1 스폿 및 제2 스폿을 포함하는 구조물의 표면의 일부의 제1 이미지를 캡처하기 위해 제1 시점에 무인 항공기에 탑재된 카메라를 사용하는 단계; (e) 제1 레이저 포인터 및 제2 레이저 포인터가 더는 평행하지 않도록 무인 항공기가 호버링하고 있는 동안 제1 레이저 포인터 및 제2 레이저 포인터를 미리 정해진 각도만큼 피벗시키는 단계; (f) 무인 항공기가 그 위치에서 호버링하고 있는 동안 평행하지 않은 레이저 빔들을 구조물의 표면 상의 각각의 제3 스폿 및 제4 스폿에 송신하기 위해 피벗된 제1 레이저 포인터 및 제2 레이저 포인터를 사용하는 단계; (g) 제3 스폿 및 제4 스폿을 포함하는 구조물의 표면의 일부의 제2 이미지를 캡처하기 위해 제2 시점에 카메라를 사용하는 단계; 및 (h) 이미지들 내의 제3 스폿 및 제4 스폿의 포지션들에 기초하여 구조물로부터 무인 항공기를 이격시키는 제1 이격 거리를 계산하도록 제1 이미지 및 제2 이미지를 처리하는 단계를 포함하며, 미리 정해진 각도 및 고정된 거리가 레이저 포인터들의 피벗 축들을 이격시킨다. 일례에 따르면, 단계(h)는 제3 스폿 및 제4 스폿의 각각의 중심들을 이격시키는 제2 이격 거리를 계산하는 단계를 더 포함하며, 이 방법은 제2 이격 거리에 기초하여 지상 워크스테이션에서 컴퓨터 시스템의 디스플레이 화면 상에 디스플레이될 때 제1 이미지 및 제2 이미지에 대한 스케일 팩터를 계산하는 단계를 더 포함한다.
아래에서 상세하게 개시되는 요지의 추가 양상은 카메라 및 레이저 거리계를 지지하는 팬-틸트(pan-tilt) 메커니즘 및 관성 측정 유닛을 포함하는 무인 항공기를 사용하여 구조물의 피처의 크기를 정하기 위한 방법이며, 이 방법은: (a) 검사될 구조물로부터 이격된 제1 위치를 향해 비행한 다음 그 위치에서 호버링하도록 무인 항공기를 제어하는 단계; (b) 무인 항공기가 제1 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제1 가시적 피처에 대응하는 제1 지점에 레이저 거리계를 조준하고 제1 거리 측정치를 획득하는 단계; (c) 레이저 거리계가 제1 지점에 조준될 때 레이저 거리계의 각각의 팬 각도 및 틸트 각도를 측정하기 위해 팬-틸트 메커니즘을 사용하는 단계; (d) 단계(b) 및 단계(c)에서 획득된 거리 측정치 및 각도 측정치를 제1 위치에 있는 무인 항공기의 기준 프레임에서 제1 지점의 위치를 나타내는 제1 벡터로 변환하는 단계; (e) 무인 항공기가 제2 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제2 가시적 피처에 대응하는 제2 지점에 레이저 거리계를 조준하고 제2 거리 측정치를 획득하는 단계; (f) 레이저 거리계가 제2 지점에 조준될 때 레이저 거리계의 각각의 팬 각도 및 틸트 각도를 측정하기 위해 팬-틸트 메커니즘을 사용하는 단계; (g) 단계(e) 및 단계(f)에서 획득된 거리 측정치 및 각도 측정치를 제2 위치에 있는 무인 항공기의 기준 프레임에서 제2 지점의 위치를 나타내는 제2 벡터로 변환하는 단계; (h) 제1 위치에서 제2 위치로 비행하는 동안 무인 항공기의 가속도 및 회전 속도를 측정하기 위해 관성 측정 유닛을 사용하는 단계; (i) 단계(h)에서 획득된 정보에 기초하여 무인 항공기의 제1 위치와 제2 위치 사이의 포지션 차 및 배향 차를 나타내는 변환 행렬을 생성하는 단계; (j) 제1 위치에 있는 무인 항공기의 기준 프레임에서 제2 지점의 위치를 나타내는 제3 벡터를 형성하기 위해 제2 벡터를 변환 행렬과 곱하는 단계; 및 (k) 제1 벡터 및 제3 벡터를 사용하여 제1 지점과 제2 지점 사이의 거리를 계산하는 단계를 포함한다.
일례에 따르면, 이전 단락에서 설명된 방법은: (l) 무인 항공기로부터 단계(b), 단계(c), 단계(e), 단계(f) 및 단계(h)에서 획득된 측정 데이터를 포함하는 하나 또는 그보다 많은 메시지들을 송신하는 단계; (m) 지상 워크스테이션의 컴퓨터 시스템에서 하나 또는 그보다 많은 메시지들을 수신하는 단계; 및 (n) 메시지로부터 측정 데이터를 추출하는 단계를 더 포함하며, 여기서 단계(d), 단계(g) 그리고 단계(i) 내지 단계(k)는 지상 워크스테이션에서 컴퓨터 시스템에 의해 수행된다. 이 방법은: 무인 항공기가 제1 위치에서 호버링하고 있는 동안, 제1 가시적 피처 및 제2 가시적 피처를 포함하는 구조물의 표면의 일부의 이미지를 캡처하기 위해 카메라를 사용하는 단계; 및 이미지 및 그 이미지 상에 오버레이된, 단계(k)에서 계산된 거리의 값을 나타내는 기호 표시를 지상 워크스테이션의 컴퓨터 시스템의 디스플레이 화면 상에 디스플레이하는 단계를 더 포함할 수 있다. 예를 들어, 제1 가시적 피처 및 제2 가시적 피처는 구조물에서 이상(anomaly)의 각각의 종단점들일 수 있다.
본 명세서에서 개시되는 요지의 또 다른 양상은 무인 항공기이며, 이 무인 항공기는: 프레임; 프레임에 회전 가능하게 장착된 복수의 회전자들; 복수의 회전자들 중 회전자들의 회전을 구동하도록 각각 결합된 복수의 모터들; 복수의 모터들의 동작을 제어하기 위한 복수의 모터 제어기들; 프레임에 장착된 팬-틸트 메커니즘; 팬-틸트 메커니즘에 장착된 카메라; 팬-틸트 메커니즘에 장착된 레이저 거리계; 모터 제어기들에 지시들을 전송하고, 팬-틸트 메커니즘의 동작을 제어하며, 카메라 및 레이저 거리계를 선택적으로 작동시키도록 구성된 컴퓨터 시스템; 프레임에 장착되어 선 가속도 및 회전 속도 데이터를 컴퓨터 시스템에 전송하도록 구성된 관성 측정 유닛; 및 컴퓨터 시스템과 지상 스테이션 사이의 통신을 가능하게 하도록 구성된 트랜시버를 포함한다. 일부 예들에 따르면, 컴퓨터 시스템은: 카메라로부터의 이미지 데이터, 팬-틸트 메커니즘으로부터의 팬 및 틸트 각도 데이터, 레이저 거리계로부터의 거리 데이터, 및 관성 측정 유닛으로부터의 선 가속도 및 회전 속도 데이터를 수신하고; 구조물에 대한 무인 항공기의 제1 위치를 결정하고; 무인 항공기를 제1 위치로부터 제2 위치로 비행시키기 위한 제1 지시를 모터 제어기들에 전송하고 ― 제2 위치에서 카메라가 구조물의 표면으로부터 목표 오프셋만큼 이격됨 ―; 그리고 무인 항공기를 제2 위치로부터 제3 위치로 비행시키기 위한 제2 지시를 모터 제어기들에 전송하도록 ― 제3 위치에서 카메라가 구조물의 표면으로부터 목표 오프셋만큼 이격되고 카메라의 초점 축은 구조물의 표면에 수직임 ― 추가로 구성된다.
추가 양상은 무인 항공기이며, 이 무인 항공기는: 프레임; 프레임에 회전 가능하게 장착된 복수의 회전자들; 복수의 회전자들 중 회전자들의 회전을 구동하도록 각각 결합된 복수의 모터들; 복수의 모터들의 동작을 제어하기 위한 복수의 모터 제어기들; 카메라; 제1 레이저 포인터, 제2 레이저 포인터 및 제3 레이저 포인터; 모터 제어기들에 지시들을 전송하고 카메라 및 제1 레이저 포인터 내지 제3 레이저 포인터를 선택적으로 활성화하도록 구성된 컴퓨터 시스템; 및 컴퓨터 시스템과 제어 스테이션 사이의 통신을 가능하게 하도록 구성된 트랜시버를 포함하며, 여기서 제1 레이저 포인터와 제2 레이저 포인터는 서로 평행한 관계로 프레임에 고정되고, 제3 레이저 포인터는 프레임에 피벗 가능하게 결합된다.
원격으로 조작되는 비행 플랫폼을 사용하여 환경 내의 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득하기 위한 시스템들 및 방법들의 다른 양상들이 아래에 개시된다.
이전 섹션에서 논의된 특징들, 기능들 및 이점들은 다양한 예들에서는 독립적으로 달성될 수 있거나 또 다른 예들에서는 결합될 수 있다. 이하, 앞서 설명한 그리고 다른 양상들의 예시를 위해 도면들을 참조하여 다양한 예들이 설명될 것이다. 이 섹션에서 간략하게 설명되는 도면들 중 어느 것도 실척대로 그려져 있지 않다.
도 1은 일부 예들에 따라 한 쌍의 레이저 디바이스들 및 카메라가 탑재된 공수(airborne) UAV를 사용하여 교량을 검사하기 위한 시스템을 도시하는 도면이다.
도 2는 일례에 따라 목표 대상물에 향하게 된 한 쌍의 고정된 레이저 포인터들을 갖는 공수 UAV의 평면도를 도시하는 도면이다. UAV에 탑재된 카메라는 도시되지 않는다.
도 3은 2개 또는 그보다 많은 레이저 포인터들을 갖는 원격 제어식 UAV를 사용하여 구조물의 비파괴 검사를 수행하기 위한 시스템의 일부 컴포넌트들을 식별하는 블록도이다. 레이저 포인터들의 구성은 도 2, 도 6 및 도 8에 도시된 다른 예들로부터 선택될 수 있다.
도 4a는 목표 대상물로부터 거리(D)만큼 이격된 비디오 카메라 및 한 쌍의 고정된 레이저 포인터들을 도시하는 도면이며, 이 레이저 포인터들은 목표 대상물의 표면 상에 거리(d)만큼 이격된 각각의 레이저 스폿들을 생성한다.
도 4b는 도 4a에 도시된 비디오 카메라에 의해 획득된 이미지를 나타내는 도면이며, 이 이미지는 목표 대상물의 표현을 포함한다.
도 5는 가시적 이상을 가지며 그 위에 스케일 바(scale bar)가 오버레이된 구조물의 일부의 표현을 포함하는 이미지를 나타내는 도면이다.
도 6은 다른 예에 따라 목표 대상물에 향하게 된 한 쌍의 피벗 가능한 레이저 포인터들을 갖는 공수 UAV의 평면도를 도시하는 도면이다. UAV에 탑재된 카메라는 도시되지 않는다.
도 7a는 목표 대상물로부터 거리(D)만큼 이격된 비디오 카메라 및 한 쌍의 피벗 가능한 레이저 포인터들을 도시하는 도면이며, 이 레이저 포인터들은 목표 대상물의 표면 상에 거리(d)만큼 이격된 각각의 레이저 스폿들을 생성한다.
도 7b는 도 7a에 도시된 비디오 카메라에 의해 획득된 이미지를 나타내는 도면이며, 이 이미지는 목표 대상물의 표현을 포함한다.
도 8은 추가 예에 따라 목표 대상물에 향하게 된 한 쌍의 고정된 레이저 포인터들(제1 컬러) 및 (단일 축을 중심으로) 피벗 가능한 제3 레이저 포인터(제2 컬러)를 갖는 공수 UAV의 평면도를 도시하는 도면이다. UAV에 탑재된 카메라는 도시되지 않는다.
도 9a는 도 8에 도시된 바와 같이 구성되며 목표 대상물로부터 거리(D)만큼 이격된 비디오 카메라 및 3개의 레이저 포인터들을 도시하는 도면이며, 이 레이저 포인터들은 목표 대상물의 표면 상에, 가장 멀리 떨어진 스폿들이 거리(d)만큼 이격된 각각의 레이저 스폿들을 생성한다.
도 9b는 도 9a에 도시된 비디오 카메라에 의해 획득된 이미지를 나타내는 도면이며, 이 이미지는 목표 대상물의 표현을 포함한다.
도 10은 일례에 따라 목표 대상물 상의 레이저 스폿들 사이의 픽셀들의 거리를 결정하도록 이미지들을 처리하기 위한 방법의 단계들을 예시하는 도면이다.
도 11은 이미지 처리 효율을 향상시키는 방식으로 목표 대상물 상의 레이저 스폿들 사이의 픽셀들의 거리를 결정하도록 이미지들을 처리하기 위한 방법의 단계들을 예시하는 도면이다.
도 12는 다른 예에 따라 목표 대상물에 향하게 된 한 쌍의 고정된 레이저 거리계들을 갖는 공수 UAV의 평면도를 도시하는 도면이다. UAV에 탑재된 카메라는 도시되지 않는다.
도 13은 일례에 따라 목표 대상물의 비파괴 검사 동안 무인 항공기를 작동시키기 위한 방법의 단계들을 식별하는 흐름도이다.
도 14는 구조용 빔에 조준된 레이저 거리계 및 카메라를 포함하는 탑재형 로컬 포지셔닝 시스템을 갖는 원격 제어식 공수 UAV를 도시하는 도면이다.
도 15는 탑재형 로컬 포지셔닝 시스템을 갖는 원격 제어식 UAV를 사용하여 구조물의 비파괴 검사를 수행하기 위한 시스템의 일부 컴포넌트들을 식별하는 블록도이다.
도 16은 목표 대상물에 향하게 된 짐벌형 레이저 거리계 및 비디오 카메라를 포함하는 로컬 포지셔닝 시스템을 갖는 공수 UAV의 평면도를 도시하는 도면이다. UAV에 탑재된 관성 측정 유닛은 도시되지 않는다.
도 17은 로컬 포지셔닝 시스템을 지닌 UAV를 사용하여 구조물의 피처의 크기를 정하기 위한 방법의 단계들을 식별하는 흐름도이다.
도 18은 도 16에 부분적으로 도시된 UAV를 사용하여 목표 대상물 상의 제1 지점에서부터 목표 대상물 상의 제2 지점까지의 거리 및 방향을 나타내는 벡터를 생성하기 위한 방법을 예시하는 벡터도이다.
도 19는 UAV에 탑재된 장비에 의해 획득된 측정 데이터에 기초하여 UAV의 모션을 제어하기 위한 피드백 제어 프로세스의 단계들을 식별하는 블록도이다.
이하, 서로 다른 도면들의 비슷한 엘리먼트들이 동일한 참조 번호들을 갖는 도면들에 대해 참조가 이루어질 것이다.
예시의 목적으로, UAV를 사용하여 항공 비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득하기 위한 시스템들 및 방법들이 이제 상세히 설명될 것이다. 그러나 이 명세서에서 실제 구현의 모든 특징들이 설명되는 것은 아니다. 당해 기술분야에서 통상의 지식을 가진 자는 임의의 그러한 예의 개발시 시스템 관련 및 비즈니스 관련 제약들의 준수와 같은 개발자의 구체적인 목표들을 달성하기 위해 많은 구현 특정 결정들이 이루어져야 한다는 것을 인식할 것이며, 이는 구현마다 다를 것이다. 더욱이, 그러한 개발 노력은 복잡하고 시간 소모적일 수 있지만, 그럼에도 본 개시내용의 이점을 갖는 당해 기술분야에서 통상의 지식을 가진 자들에게는 통상적인 일일 것이라고 인식될 것이다.
도 1은 교량(18)을 검사하기 위한 일부 예들에 따른 시스템을 도시하는 도면이다. 시스템은 주기적 검사를 필요로 하는 구조물 주위로 이동(비행)될 수 있는 무인 항공기(20)(이하 "UAV(20)")를 포함한다. 이 예에서, UAV(20)는 회전익 항공기이다. 검사되는 구조물은 교량(18)으로 예시되지만, 시스템은 전력선들, 발전 시설들, 전력망들, 댐들, 제방들, 경기장들, 대형 건물들, 대형 안테나들 및 망원경들, 수처리 시설들, 정유 시설들, 화학 처리 공장들, 고층 건물들, 및 전기 열차들과 연관된 인프라구조 및 모노레일 지원 구조들을 포함하는, 그러나 이에 한정된 것은 아닌 다양한 범위의 다른 구조물들의 검사에 사용하는 데 동일하게 잘 적응된다. 시스템은 또한 제조 설비들 및 창고들과 같은 대형 건물들 내부에서 사용하기에 특히 적합하다. 사실상, 검사 디바이스를 제어하는 사람 또는 검사 디바이스를 지닌 플랫폼에 의해 검사하기에 어렵거나, 비용이 많이 들거나, 너무 위험한 임의의 구조물은 도 1에 도시된 시스템을 사용하여 잠재적으로 검사될 수 있다.
검사 애플리케이션들의 경우, 매우 느린 속도들로 호버링하고 이동하는 능력 때문에 회전익 항공기가 선호된다. 원격 제어식 무인 회전익 항공기의 수직 이륙 및 착륙 능력은 또한 많은 애플리케이션들에서, 특히 제조 공장들, 창고들 등과 같은 구조물들이나 시설들 내부에서 작동할 때, 또는 서로 밀접하게 밀집된 많은 높은 구조물들(예컨대, 굴뚝들)을 가질 수 있는 화학 처리 공장들이나 정유 시설들과 같은 복잡한 시설들을 검사할 때 매우 유리할 수 있다. 수직으로만 호버링하거나 이동하는 능력은 원격 제어식 무인 회전익 항공기가 교량들의 수직 지지 기둥들, 안테나들 또는 댐들의 수직 표면들과 같은 대형 수직 구조물들에 근접하게 비행하여 검사를 할 수 있게 한다.
(아래에서 보다 상세하게 개시되는) 일부 예들에 따르면, UAV(20)는 카메라(30)의 대향 면들 상에 배열된 한 쌍의 레이저 디바이스들(24a, 24b)을 지지하는 프레임(22)을 포함한다. 카메라(30)는 스틸 이미지들을 얻기 위한 스틸 카메라(컬러 및/또는 흑백), 컬러 및/또는 흑백 비디오를 얻기 위한 비디오 카메라, 또는 교량(18)의 부분들의 적외선 스틸 이미지들 또는 적외선 비디오를 얻기 위한 적외선 카메라를 포함할 수 있다. 레이저 디바이스들(24a, 24b)은 교량(18)의 일부를 향해 지향되는 각각의 레이저 빔들(26a, 26b)을 방출한다. 아래에서 어느 정도 상세히 설명되는 바와 같이, 교량의 표면 상의 레이저 빔들(26a, 26b)의 충돌은 교량(18)에 대한 UAV(20)의 위치에 관한 정보의 획득을 가능하게 한다.
도 1에 도시된 시스템은 UAV(20)로 그리고 UAV(20)로부터 무선 통신들을 전송 및 수신하기 위한 원격 제어 스테이션(10)을 더 포함한다. 일례에 따르면, 원격 제어 스테이션(10)은 랩톱 컴퓨터(12), 트랜시버(14) 및 안테나(16)를 포함한다. 트랜시버(14)는 랩톱 컴퓨터(12)와 UAV(20) 간의 통신을 가능하게 하기 위해 안테나(16)와 통신한다.
UAV(20)의 탑재형 시스템은 (도 1에 도시되지 않은) 비-일시적인 유형의 컴퓨터 판독 가능 저장 매체에 저장된 비행 계획 데이터에 의해 디지털로 표현된 하나 또는 그보다 많은 서로 다른 저장된 비행 계획들을 구현할 수 있는 (도 1에 도시되지 않은) 안내 및 제어 하드웨어 및 소프트웨어 시스템을 더 포함할 수 있다. 탑재형 시스템은 UAV(20)의 배향을 제어하고 메모리에 저장된 사전 프로그래밍된 비행 계획의 실행을 돕기 위한 글로벌 포지셔닝 시스템/관성 항법 시스템(GPS/INS: global positioning system/inertial navigation system)을 더 포함할 수 있다. (도 1에 도시되지 않은) 탑재형 안테나 및 무선 트랜시버는 원격 제어 스테이션(10)과의 양방향 무선 전자파 통신들을 가능하게 한다.
도 1에 도시된 타입의 무인 항공기들은 비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득하는 능력으로 업그레이드될 수 있다. UAV에는 탑재형 센서들 및 처리 기술들이 제공되어 목표 대상물 상의 지점들 사이의 거리들 또는 목표 대상물의 스케일의 이산적인 또는 연속적인 측정치들을 제공할 수 있다. 이러한 향상된 성능의 UAV의 다양한 예들이 이제 어느 정도 상세히 설명될 것이다.
도 2는 비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득할 수 있는 공수 UAV(20)의 일례의 평면도를 도시하는 도면이다. UAV(20)는 병렬 구성으로 배열된 한 쌍의 레이저 포인터들(132a, 132b)을 포함한다. 레이저 포인터들(132a, 132b)은 각각의 조준 방향 벡터들(134a, 134b)에 의해 표시된 각각의 광학 경로들을 따라 각각의 레이저 빔들을 방출한다. UAV(20)는 (도 2에 도시되지 않은) 디지털 비디오 카메라를 더 포함한다. 레이저 포인터들(132a, 132b) 및 비디오 카메라는 목표 대상물(102)까지의 거리 및 기준 스케일을 계산하는 데 사용된다. 이 예는 UAV(20)가 목표 대상물(102)에 비교적 가까운 상황들에 사용된다.
도 2에 도시된 UAV(20)는 프레임(22) 및 프레임(22)에 회전 가능하게 장착된 4개의 회전자들(124a-124d)을 포함한다. 각각의 회전자의 회전은 프레임(22)에 장착된 (도 2에 도시되지 않은) 각각의 모터에 의해 구동된다. 서로 평행한 축들을 갖는 한 쌍의 레이저 포인터들(132a, 132b)이 프레임(22)에 고정식으로 장착된다. 활성화되면, 레이저 포인터들(132a, 132b)은 목표 대상물(102)의 표면 상의 각각의 레이저 스폿들로 서로 평행한 각각의 레이저 빔들을 지향시킨다. 도 2에 도시되지 않았지만, UAV(20)는 또한 프레임(22)에 장착된 비디오 카메라(130)(도 3 참조)를 포함한다. 바람직하게는, 비디오 카메라(130)의 초점 축과 레이저 포인터들(132a, 132b)의 조준 방향들은 서로 평행하다.
비디오 카메라(130)는 2개의 레이저 스폿들이 보이는 이미지를 캡처하도록 활성화될 수 있다. 이러한 이미지 데이터는 2개의 레이저 포인터들(132a, 132b)의 축들을 분리하는 알려진 거리와 함께 스케일 팩터를 결정하는 데 사용될 수 있는 픽셀 정보를 도출하도록 (아래에서 어느 정도 상세히 설명되는 바와 같이) 처리될 수 있다. 그 다음, 그 스케일 팩터는 UAV가 동일한 위치에서 호버링하고 있는 동안 비디오 카메라(130)에 의해 캡처된 임의의 후속 이미지 상에 스케일 표시자를 디스플레이하는 데 사용될 수 있다. 보다 구체적으로, 하나의 목표는 도 4a 및 도 4b를 참조하여 아래에서 보다 상세히 설명되는 바와 같이, 포인터들(132a, 132b)과 목표 대상물(102) 사이의 거리(D)를 결정하는 것이다.
도 3은 2개 또는 그보다 많은 레이저 포인터들(132)(예컨대, 도 2에서 확인되는 제1 레이저 포인터(132a) 및 제2 레이저 포인터(132b))이 장착된 원격 제어식 UAV(20)를 사용하여 구조물의 비파괴 검사를 수행하기 위한 시스템의 일부 컴포넌트들을 식별하는 블록도이다. 이 예에서, UAV(20) 및 UAV(20)가 지닌 장비는 제어 스테이션(150)에 의해 송신된 무선 주파수 지시들의 함수로써 탑재형 컴퓨터 시스템(162)에 의해 제어된다. 그러한 무선 주파수 지시들은 UAV(20)에 탑재된 트랜시버(160)에 의해 수신되어, 적절한 디지털 포맷으로 변환된 다음, 컴퓨터 시스템(162)으로 전달된다. 제어 스테이션(150)은 컴퓨터 시스템(162)에 지시들을 전송함으로써 UAV(20) 및 UAV(20)에 탑재된 장비의 동작을 제어하기 위한 프로그래밍으로 구성된 범용 컴퓨터 시스템을 포함할 수 있다. 예를 들어, 제어 스테이션은 UAV(20)의 비행을 제어하는 지시들 및 레이저 포인터들(132)의 활성화를 위한 지시들을 전송할 수 있다. 또한, 제어 스테이션(150)의 컴퓨터 시스템은 검사 동작 중에 UAV(20)로부터 수신된 데이터를 처리하기 위한 프로그래밍으로 구성된다. 특히, 제어 스테이션(150)의 컴퓨터 시스템은 비디오 카메라(130)에 의해 획득된 이미지들을 디스플레이하도록 디스플레이 모니터(152)를 제어하기 위한 소프트웨어로 구성된 디스플레이 프로세서를 포함할 수 있다. 비디오 카메라(130)에 의해 관측된 광학 이미지 필드가 디스플레이 모니터(152) 상에 디스플레이될 수 있다.
제어 스테이션(150)으로부터의 지시들에 대한 응답으로, 비디오 카메라(130) 및 레이저 포인터들(132)은 컴퓨터 시스템(162)에 의해 (예컨대, 전기 케이블들을 통해) 송신된 제어 신호들에 의해 활성화될 수 있다. 비디오 카메라(130)는 자동화된(원격으로 제어되는) 줌 능력들을 가질 수 있다. 컴퓨터 시스템(162)은 또한 회전자들(124a-124d)(도 2 참조)의 회전을 구동하는 각각의 모터들(148)의 회전을 각각 제어하는 지시들을 모터 제어기들(168)에 전송함으로써 UAV(20)의 비행을 제어한다.
도 4a는 목표 대상물(102)로부터 거리(D)만큼 이격된, 비디오 카메라(130) 및 한 쌍의 레이저 포인터들(132a, 132b)을 도시하는 도면이며, 이 레이저 포인터들은 목표 대상물(102)의 표면 상에 각각의 레이저 스폿들을 생성한다. 목표 대상물 표면 상의 이러한 레이저 스폿들은 거리(d)만큼 이격된다. 도 4b는 도 4a에 도시된 비디오 카메라(130)에 의해 획득된 이미지(70)를 나타내는 도면이며, 이 이미지(70)는 목표 대상물(102)의 표현(102') 및 레이저 스폿들의 각각의 포지션들(106, 108)의 각각의 표현들을 포함한다.
도 4a 및 도 4b에 도시된 상황에 따르면, 알려진 변수들은 비디오 카메라(130)의 현재 시야(즉, 도 4a의 "FoV"), 이미지(70)의 폭 방향에서의 픽셀들의 최대 수(즉, 도 4b의 "maxPx"), 레이저 포인터들(132a, 132b)에 의해 생성된 레이저 스폿들의 포지션들(106, 108)을 나타내는 픽셀들의 각각의 그룹들 사이의 이미지(70) 내의 픽셀들의 수(즉, 도 4b의 "nPx"); 및 레이저 포인터들(132a, 132b)을 이격시키는 거리(즉, 도 4a의 "L 1")이다. 알려지지 않은 변수들은 레이저 스폿들 간의 시야각(α)과 거리들(D, d)이다.
레이저 스폿들 간의 시야각(α)은 카메라 시야(FoV)와 이미지 픽셀 데이터를 사용하여 다음과 같이 계산될 수 있으며:
Figure pat00001
(1)
여기서 nPx는 레이저 스폿들 사이의 측정된 픽셀들의 수이며, maxPx는 픽셀 단위의 이미지 폭이다. 그 다음, 다음 식들을 사용하여 거리들(d, D)이 계산될 수 있다:
d = L 1
Figure pat00002
시야각(α)에 대한 식(1)을 치환하면, 다음 식이 얻어진다:
Figure pat00003
도 2 및 도 4a에 도시된 예(그리고 이하에 설명되는 다른 예들)에 따르면, 거리(D)의 값이 계속해서 업데이트된다.
하나의 가능한 구현에 따르면, 거리(d)의 값은 디스플레이 모니터(도 3의 항목(152)) 상에 디스플레이된 이미지(70)에 아무 데나 포함될 수 있다. 다른 가능한 구현에 따르면, 거리(d)와 픽셀들의 수(nPx)의 비에 기초하여 스케일 팩터가 계산될 수 있고, 스케일 바 또는 스케일 팩터를 나타내는 다른 스케일 표시자가 이미지(70)의 일부로서 포함될 수 있다. UAV-목표 대상물 이격 거리(D)가 최신 상태인 한, 이 스케일 표시자는 정확할 것이다. 그 이격 거리가 변화함에 따라, 앞서 설명한 동작들이 반복되어 업데이트된 스케일 팩터를 생성할 수 있다. 시간이 지남에 따라, 스케일 표시자는 UAV와 목표 대상물을 이격시키는 가변 거리의 함수로써 반복해서 조정된다.
비파괴 검사의 목적으로, 바람직하게는 검사된 구조물의 획득된 이미지들은 레이저 스폿들의 표현들을 포함하지 않는다. 이에 따라, 목표 대상물의 이미지화된 표면 영역의 초기 크기 결정에 이어, 레이저 포인터들(132a, 132b)이 비활성화된 동안 비디오 카메라(130)가 활성화되어 추가 이미지들(예컨대, 이미지들의 비디오 시퀀스)을 캡처할 수 있다. 이 경우, 비디오 카메라(130)는 바람직하게는, 이격 거리(D)가 최신 상태인 동안 이미지들을 캡처한다.
예를 들어, 도 5는 가시적 이상(74) 및 스케일 바(76)를 갖는 구조물(72)의 일부의 표현을 포함하지만 레이저 스폿들의 어떠한 표현들도 포함하지 않는 이미지(70)를 나타내는 도면이다. 제어 스테이션(150)의 기술자는 스케일 바(76)에 의해 표시된 것과 같이 이미지화된 영역의 적용 가능한 크기를 인식하면서 이 이미지를 볼 수 있다. 또한, 디스플레이 화면 상에 나타나는 스케일 표시자의 가시적 치수와 이상의 가시적 치수를 비교함으로써 가시적 이상들이 대충(즉, 대략적으로) 크기가 정해질 수 있다.
도 6은 대안적인 예에 따른 공수 UAV(20)의 평면도를 도시하는 도면이다. 도 3에 부분적으로 도시된 예와 같이, 도 6에 부분적으로 도시된 예는 또한 비파괴 검사를 받는 대상물들에 대한 스케일 및 지점들 간 거리 정보를 획득할 수 있다. 도 6에 부분적으로 도시된 UAV(20)는 한 쌍의 피벗 가능한 레이저 포인터들(132a, 132b) 및 (도 6에 도시되지 않은) 비디오 카메라(130)를 포함한다. 활성화되면, 레이저 포인터들(132a, 132b)은 목표 대상물(102)의 표면 상의 각각의 레이저 스폿들로 각각의 레이저 빔들을 지향시킨다. 레이저 포인터들(132a, 132b)은 독립적으로 피벗 가능할 수 있거나 레이저 포인터들(132a, 132b)이 반대 방향으로 피벗 가능하도록 이들의 피벗팅 메커니즘이 결합될 수 있다. 본 명세서에서 사용되는 바와 같이, "반대 방향으로 피벗 가능"이라는 문구는 비디오 카메라(130) 피벗의 (도 6에 도시되지 않은) 초점 축에 대한 레이저 포인터들(132a, 132b)의 각위치들이 항상 동일하고 반대인 것을 의미한다.
레이저 포인터들(132a, 132b)은 UAV(20)에 탑재되어 평행한 구성에 대해 알려진 양만큼 회전될 수 있다. 이것은 목표 대상물(102) 상의 레이저 스폿들 사이에 추가 격리를 생성하는데, 이는 UAV(20)가 도 2에 도시된 예에 대한 경우일 수 있는 것보다 목표 대상물(102)로부터 더 먼 상황들에 유용하다. 예를 들어, 초기에 레이저 포인터들(132a, 132b)은 각각의 조준 방향 벡터들(134a, 134b)에 의해 표시된 서로 평행한 광학 경로들을 따라 각각의 레이저 빔들을 방출하도록 평행하게 포지셔닝된다. 그 다음, 레이저 포인터들(132a, 132b)은 알려진 각도만큼 회전된 다음, 다시 활성화되어 각각의 조준 방향 벡터들(134a', 134b')에 의해 표시된 각각의 광학 경로들을 따라 각각의 레이저 빔들을 방출한다. 목표 대상물(102)까지의 거리는 (도시되지 않은) 탑재형 비디오 카메라에 의해 캡처된 이미지들을 사용하여 결정될 수 있는데, 이 이미지들은 레이저 스폿들을 나타내는 픽셀들의 그룹들을 포함한다. 보다 구체적으로, 이 예는 도 7a 및 도 7b를 참조로 아래에서 보다 상세히 설명되는 바와 같이, 레이저 포인터들(132a, 132b)에 의해 목표 대상물(102) 상에 각각 생성된 레이저 스폿들 사이의 거리(d); 그리고 포인터들(132a, 132b)과 목표 대상물(102) 사이의 거리(D)를 결정하도록 구성된다.
도 7a는 목표 대상물(102)로부터 거리(D)만큼 이격된, 비디오 카메라(130) 및 한 쌍의 피벗 가능한 레이저 포인터들(132a, 132b)을 도시하는 도면이며, 이 레이저 포인터들은 목표 대상물(102)의 표면 상에 각각의 레이저 스폿들을 생성한다. 목표 대상물 표면 상의 이러한 레이저 스폿들은 거리(d)만큼 이격된다. 도 7b는 도 7a에 도시된 비디오 카메라(130)에 의해 획득된 이미지(70)를 나타내는 도면이며, 이 이미지(70)는 목표 대상물(102)의 표현(102') 및 레이저 스폿들의 각각의 포지션들(106, 108)을 나타내는 픽셀들의 각각의 그룹들을 포함한다.
도 7a 및 도 7b에 도시된 상황에 따르면, 알려진 변수들은 비디오 카메라(130)의 시야(즉, 도 7a의 "FoV"), 이미지(70)의 폭 방향에서의 픽셀들의 최대 수(즉, 도 7b의 "maxPx"), 레이저 포인터들(132a, 132b)에 의해 생성된 레이저 스폿들의 포지션들(106, 108)을 나타내는 픽셀들의 각각의 그룹들 사이의 픽셀들의 수(즉, 도 7b의 "nPx"); 레이저 포인터들(132a, 132b)에 의해 송신된 레이저 빔들 사이의 각도(즉, 도 7a의 "β"); 및 레이저 포인터들(132a, 132b)의 각각의 피벗 축들을 이격시키는 거리(즉, 도 7a의 "L 1")이다. 알려지지 않은 변수들은 레이저 스폿들 간의 시야각(α)과 거리들(D, d)이다.
식(1)을 사용하여 레이저 스폿들 간의 시야각(α)이 다시 계산될 수 있다. 그 다음, 다음 식들을 사용하여 거리들(d, D)이 계산될 수 있다:
Figure pat00004
Figure pat00005
하나의 가능한 구현에 따르면, 거리(d)와 픽셀들의 수(nPx)의 비에 기초하여 스케일 팩터가 계산될 수 있고, UAV(20)가 동일한 위치에서 호버링하는 동안 비디오 카메라(130)에 의해 캡처된 후속 이미지들 상에 스케일 바 또는 스케일 팩터를 나타내는 다른 스케일 표시자가 디스플레이될 수 있다.
도 8은 목표 대상물(102)에 향하게 된, 한 쌍의 고정된 레이저 포인터들(132a, 132b) 및 (단일 축을 중심으로) 피벗 가능한 제3 레이저 포인터(132c)를 갖는 공수 UAV(20)의 평면도를 도시하는 도면이다. UAV에 탑재된 카메라는 도시되지 않는다. 이러한 변형에 따르면, 2개의 레이저 포인터들(132a, 132b)은 서로 평행하고, 제3 레이저 포인터(132c)는 다른 2개의 레이저 포인터들에 대해 고정된 또는 제어 가능한 각도로 회전된다. 제3 레이저 포인터(132c)는 레이저 포인터들(132a, 132b)에 의해 방출된 레이저 광과는 다른 컬러를 갖는 레이저 광을 방출하여 목표 대상물(102) 상에서 레이저 스폿들을 서로 구별하는 것을 도울 수 있다. (대안으로, 이 계산 방법은 동일한 컬러의 3개의 레이저 포인터들을 사용하여 수행될 수 있다.) 레이저 포인터들(134a, 134b)은 각각의 조준 방향 벡터들(134a, 134b)에 의해 표시된 서로 평행한 광학 경로들을 따라 각각의 레이저 빔들을 방출하는 한편, 제3 레이저 포인터(132c)는 도 8의 조준 방향 벡터(134a)에 의해 표시된 광학 경로를 따라 레이저 빔을 방출한다.
도 9a는 도 8에 도시된 바와 같이 구성되며 목표 대상물(102)로부터 거리(D)만큼 이격된, 비디오 카메라(130) 및 3개의 레이저 포인터들(132a-c)을 도시하는 도면이며, 이 레이저 포인터들(132a-c)은 목표 대상물(102)의 표면 상에, 가장 멀리 떨어진 스폿들이 거리(d)만큼 이격된 각각의 레이저 스폿들을 생성한다. 상호 간에 레이저 포인터들(132a, 132b)에 의해 목표 대상물 표면 상에 생성된 레이저 스폿들은 거리(L 1)만큼 이격되는데, 이 거리는 또한 레이저 포인터들(132a, 132b)의 축들을 이격시키는 물리적 거리이다. 레이저 포인터들(132a, 132b)에 의해 목표 대상물 표면 상에 생성된 레이저 스폿들은 거리(d)만큼 이격된다. 도 9b는 도 9a에 도시된 비디오 카메라(130)에 의해 획득된 이미지(70)를 나타내는 도면이며, 이 이미지(70)는 목표 대상물(102)의 표현(102') 및 레이저 스폿들의 각각의 포지션들(106, 107, 108)을 나타내는 픽셀들의 각각의 그룹들을 포함한다.
도 9a 및 도 9b에 도시된 상황에 따르면, 알려진 변수들은 비디오 카메라(130)의 시야(즉, 도 9a의 "FoV"), 이미지(70)의 폭 방향에서의 픽셀들의 최대 수(즉, 도 9b의 "maxPx"), 레이저 포인터들(132a, 132b)에 의해 생성된 레이저 스폿들의 각각의 포지션들(106, 108)을 나타내는 픽셀들의 각각의 그룹들 사이의 픽셀들의 수(즉, 도 9b의 "nPx 1"); 레이저 포인터들(132b, 132c)에 의해 생성된 레이저 스폿들의 각각의 포지션들(108, 107)을 나타내는 픽셀들의 각각의 그룹들 사이의 픽셀들의 수(즉, 도 9b의 "nPx 2"); 레이저 포인터들(132b, 132c)에 의해 송신된 레이저 빔들 사이의 각도(즉, 도 9a의 "β"); 및 레이저 포인터들(132a, 132b)의 각각의 축들을 이격시키는 거리(즉, 도 9a의 "L 1")이다. 알려지지 않은 변수들은 레이저 스폿들 간의 시야각(α)과 거리들(D, d)이다.
레이저 포인터들(132a, 132b)에 의해 생성된 레이저 스폿들 간의 시야각(α)이 식(1)을 사용하여 다시 계산될 수 있다. 그 다음, 다음 식들을 사용하여 거리들(d, D)이 계산될 수 있다:
Figure pat00006
d = L 1 + D * tan β
또는
d = L 1 +(nPx 1 + nPx 2)/ nPx 1
따라서 d를 계산하기 위한 두 가지 방법들이 있는데: 하나는 각도(β)를 사용하고 다른 하나는 nPx 2를 사용한다. 거리(d)에 대한 값을 계산하는 두 가지 개별 방법들을 갖는 것은 신뢰성을 향상시키기 위한 프로세스 체크로서의 역할을 한다.
하나의 가능한 구현에 따르면, 거리(d)와 합계(nPx 1 + nPx 2)의 비에 기초하여 스케일 팩터가 계산될 수 있다. 그 후, UAV(20)가 동일한 위치에서 호버링하는 동안 비디오 카메라(130)에 의해 캡처된 후속 이미지들 상에 스케일 바 또는 스케일 팩터를 나타내는 다른 스케일 표시자가 디스플레이될 수 있다.
도 4a, 도 4b, 도 7a, 도 7b, 도 9a 및 도 9b에 부분적으로 도시된 예들에 따르면, 이미지(70) 상에 디스플레이된 레이저 스폿들의 이미지들 사이의 픽셀들의 거리를 결정하는 데 이미지 처리 방법이 사용된다. 이미지 처리 단계의 주요 목표는 목표 대상물 상의 레이저 스폿들 사이의 픽셀들의 거리를 결정하는 것이다. 이를 위해 사용될 수 있는 여러 가지 방법들, 이를테면 픽셀 컬러를 사용하는 방법들이 있지만, 매우 다양한 조명 조건들을 가질 수도 있는 환경들에서는 그 접근 방식이 아주 강력하지는 않다. 이 애플리케이션의 경우, 레이저 스폿들이 한 이미지에서는 온이고 다음 이미지에서는 오프인 순차적 이미지들을 수반하는 프로세스가 사용된다. 이 방법은 비디오 카메라 프레임 레이트의 1/2 레이트(또는 다른 정수 나눔수(divisor))인 레이트로 레이저 포인터들을 온 및 오프 순환한 다음, 변경된 인접 클러스터들의 픽셀들을 식별하도록 이미지 감산 단계를 수행하는 것을 수반한다. 인접 클러스터들의 중심들 사이의 차이는 픽셀 거리(nPixels)가 될 것이며, 이 픽셀 거리는 거리(d)와 함께, 스케일 팩터를 계산하고 나중에 그 스케일 팩터를 그래픽으로 표시하는 스케일 표시자를 디스플레이하는 데 사용될 수 있다.
변화 검출은 2개 또는 그보다 많은 이미지들 간의 차이를 결정하는 데 사용되는 프로세스이다. 예를 들어, 변화 영역들은 디지털 이미지 처리 기술들을 사용하여 결정될 수 있다. 이러한 하나의 프로세스는 이미지 감산, 블러 필터들 및 이미지 분할 단계들을 수반할 수 있다. "디지털 이미지 처리"라는 용어는 이미지 또는 일련의 이미지들의 컴퓨터 기반 분석을 의미한다. "픽셀들"이라는 용어는 2-D 디지털 이미지를 구성하는 픽처 엘리먼트들을 의미한다. 분할은 디지털 이미지에서 비슷한 특성들을 갖는 픽셀들을 식별하는 프로세스이다.
도 10은 일례에 따라 목표 대상물 상의 레이저 스폿들 사이의 픽셀들의 거리를 결정하도록 이미지들을 처리하기 위한 방법의 단계들을 예시하는 도면이다. 비디오 카메라(130)는 T = 0.00, 0.01, 0.02 및 0.03 시점들에서 각각의 프레임들(140a-d)을 캡처한다. 레이저 포인터들(132a, 132b)은 프레임들(140a, 140c)이 T = 0.00 및 0.02인 시점들에 캡처될 때는 OFF이지만, 프레임들(140b, 140d)이 T = 0.01 및 0.03인 시점들에 캡처될 때는 ON이다. 프레임(140a)으로부터 프레임(140b)이 감산되어 감산 이미지(142a)를 생성하고; 프레임(140c)으로부터 프레임(140d)이 감산되어 감산 이미지(142b)를 생성한다. 그 다음, 감산 이미지들(142a, 142b)의 차들의 위치들이 결정된다. 각각의 영역의 중심이 발견되어 픽셀 좌표들(x, y)로 변환된다. 카메라의 광학계를 보상하기 위해 왜곡 보정이 수행되며, 여기서 2차원 이미지 보정들이 적용되어 (x', y')가 된다. 이러한 보정은 예를 들어, 렌즈 광학계, 줌 및 포커스 레벨들에 따라 좌우될 수 있다. 보정들은 한 예에서는 실험적으로 결정되며, 테이블 조회를 사용하여 런타임에 다시 호출된다. 조명 보정이 적용된 후에, 각각의 감산 이미지에 나타나는 차이들(즉, 레이저 스폿들의 이미지들)이 결정된다. 일례로, 픽셀 단위 차이 동작이 수행되고, 그 다음에 블러 필터 동작이 수행되며, 그 다음에 이미지 분할 동작이 수행된다. (5 x 5 커널과 같은) N x N 블러 필터가 사용되어 이미지들과 연관된 고주파 잡음의 대부분을 평활화할 수 있으며, 다양한 크기들의 영역들을 폐기하도록 조정될 수 있다. 그 다음, 블러링된 이미지가 서로 닿지 않는 개별 영역들로 분할된다. 개별 영역들 각각의 중심이 계산되어 이미지 쌍들 각각과 연관된 리스트에 저장된다. 그 다음, 2개의 레이저 스폿들에 대응하는 2개의 중심들을 분리하는 픽셀들의 수가 계산된다.
레이저 스폿들의 각각의 포지션들(106, 108)을 나타내는 픽셀들의 그룹들이 각각의 이미지의 동일한 수평 스트립에 있을 것이므로, 이미지의 해당 부분만이 이미지 처리를 위해 필요하다. 도 11은 이미지 처리 효율을 향상시키는 방식으로 목표 대상물 상의 레이저 스폿들 사이의 픽셀들의 거리를 결정하도록 이미지들을 처리하기 위한 방법의 단계들을 예시하는 도면이다. 예를 들어, 수평 스트립들(144a, 144b)은 각각 프레임들(140a, 140b)에 의해 생성될 수 있다. 그 다음, 수평 스트립(144a)으로부터 수평 스트립(144b)이 감산되어 감산 이미지(146)를 형성한다.
개념의 다른 범주의 예들은 UAV가 목표물까지의 거리, 기준 스케일뿐만 아니라, 목표물에 대한 UAV의 하나 또는 그보다 많은 배향각의 측정을 가능하게 하는 2개 또는 그보다 많은 레이저 거리계들을 포함하는 구성들이다. (여기서는 도시되지 않은) 동일 선상에 장착되지 않은 3개의 레이저 거리계들이 사용된다면, 하나보다 많은 배향각(예를 들어, 요 및 피치)이 측정될 수 있다.
도 12는 비파괴 검사를 받는 대상물들에 대한 스케일 정보를 획득할 수 있는 공수 UAV(20)의 일례의 평면도를 도시하는 도면이다. 이는 또한, UAV(20)와 목표 대상물(102) 사이의 이격 거리(D) 및 목표 대상물(102)에 대한 UAV(20)의 배향각을 측정할 수 있다. 도 12에 도시된 UAV(20)의 아키텍처는 병렬 구성으로 배열된 한 쌍의 레이저 거리계들(138a, 138b)이 레이저 포인터들(132)을 대체하게 된다는 점을 제외하면, 도 3에 도시된 아키텍처와 비슷할 수 있다.
도 12에 도시된 UAV(20)는 프레임(22) 및 프레임(22)에 회전 가능하게 장착된 4개의 회전자들(124a-124d)을 포함한다. 각각의 회전자의 회전은 프레임(22)에 장착된 (도 12에 도시되지 않은) 각각의 모터에 의해 구동된다. 서로 평행한 축들을 갖는 한 쌍의 레이저 거리계들(138a, 138b)이 프레임(22)에 고정식으로 장착된다. 활성화되면, 레이저 거리계들(138a, 138b)은 목표 대상물(102)의 표면 상의 각각의 레이저 스폿들로 서로 평행한 각각의 레이저 빔들을 지향시킨다. 도 12에 도시되지 않았지만, UAV(20)는 또한 프레임(22)에 장착된 비디오 카메라(130)(도 3 참조)를 포함한다. 바람직하게는, 비디오 카메라(130)의 초점 축과 레이저 거리계들(138a, 138b)의 조준 방향들은 서로 평행하다.
레이저 빔들이 충돌하는 목표 대상물(102)의 표면의 일부에 대해 레이저 거리계들(138a, 138b)의 축들이 수직이 아닌 경우들에, 레이저 거리계들(138a, 138b)을 그 표면으로부터 이격시키는 각각의 거리들은 동일하지 않을 것이며, UAV(20)는 그 표면에 대해 0이 아닌 배향각을 가질 것이다. 레이저 빔들이 충돌하는 목표 대상물(102)의 표면의 일부에 대해 레이저 거리계들(138a, 138b)의 축들이 수직인 경우들에, 레이저 거리계들(138a, 138b)을 그 표면으로부터 이격시키는 각각의 거리들은 동일할 것이고, 배향각은 0이 될 것이다. 따라서 목표 대상물(102)로부터의 레이저 거리계들(138a, 138b)의 각각의 이격 거리들의 측정들은 목표 대상물(102)로부터의 UAV(20)의 현재 오프셋 및 현재의 배향각을 결정하고, 그 다음에 목표 오프셋으로부터의 현재 오프셋의 편차와 목표 배향각(예컨대, 0도의 각도)으로부터의 현재 배향각의 편차 모두를 감소시키는 식으로 이동하도록 UAV(20)를 제어하는 데 사용될 수 있다.
비디오 카메라(130)는 2개의 레이저 스폿들이 보이는 이미지를 캡처하도록 활성화될 수 있다. 이러한 이미지 데이터는 2개의 레이저 거리계들(138a, 138b)의 축들을 분리하는 알려진 거리와 함께 스케일 팩터를 결정하는 데 사용될 수 있는 픽셀 정보를 도출하도록 (아래에서 어느 정도 상세히 설명되는 바와 같이) 처리될 수 있다. 그 다음, 그 스케일 팩터는 UAV가 동일한 위치에서 호버링하고 있는 동안 비디오 카메라(130)에 의해 캡처된 임의의 후속 이미지 상에 스케일 표시자를 디스플레이하는 데 사용될 수 있다.
다수의 레이저 거리계 예들의 경우, 각각의 레이저 거리계들로부터의 목표 대상물(102)까지의 거리들과 연관된 정보가 측정되었기 때문에, 그리고 비디오 카메라(130)의 시야가 알려져 있기 때문에, 이미지 처리 단계에 대한 필요성 없이 스케일 팩터를 결정하는 것이 가능하다. 이미지 처리 단계로부터 사용될 수 있는 부분은 nPx이지만, 그것은 다음 식을 사용하여 FoV, 평균 거리(D/n), L 1 및 maxPx의 함수로써 계산될 수 있다(여기서 n은 레이저 거리계들의 수이다):
Figure pat00007
(주: 앞서 말한 계산은 또한 이미지 왜곡 보정 단계, 또는 보다 정확하게는 그 역을 필요로 한다.)
제어 스테이션(150)(도 3 참조)으로부터의 지시들에 대한 응답으로, 비디오 카메라(130) 및 레이저 거리계들(138a, 138b)은 컴퓨터 시스템(162)에 의해 (예컨대, 전기 케이블들을 통해) 송신된 제어 신호들에 의해 활성화될 수 있다. 컴퓨터 시스템(162)은 또한 회전자들(124a-124d)(도 2 참조)의 회전을 구동하는 각각의 모터들(148)의 회전을 각각 제어하는 지시들을 모터 제어기들(168)에 전송함으로써 UAV(20)의 비행을 제어한다.
대안적인 예들에 따르면, UAV(20)는 하나 또는 그보다 많은 배향각뿐만 아니라, 목표 대상물까지의 거리의 측정을 가능하게 하는 하나보다 많은 레이저 거리계를 포함한다. (도 12에 도시된 예에서와 같이) 2개의 레이저 거리계들이 사용된다면, 하나의 배향각(예컨대, 요)이 측정될 수 있다. (도면들에는 도시되지 않은) 동일 선상에 장착되지 않은 3개의 레이저 거리계들이 사용된다면, 하나보다 많은 배향각(예컨대, 요 및 피치)이 측정될 수 있다. 이 정보로부터, 사용자에게 스케일 팩터가 디스플레이될 수 있거나 차량 제어에 모션 제약이 적용될 수 있다.
도 13은 동일 선상에 장착되지 않은 3개의 레이저 거리계들이 사용되며 요 및 피치 배향각들이 측정될 수 있는 일례에 따라 구조물의 비파괴 검사 동안 무인 항공기를 작동시키기 위한 방법(40)의 단계들을 식별하는 흐름도이다. 방법(40)은 다음의 단계들: (a) 검사될 구조물을 향해 비행하도록 무인 항공기를 제어하는 단계(단계(42)); (b) 무인 항공기가 비행하고 있는 동안 구조물의 표면 상의 각각의 스폿들로부터 레이저 거리계들을 이격시키는 각각의 거리들을 반복해서 측정(즉, 계산)하기 위해 무인 항공기에 탑재된 3개의 레이저 거리계들을 사용하는 단계(단계(44)); (c) 단계(44)에서 계산된 거리들에 적어도 기초하여 무인 항공기를 구조물로부터 이격시키는 제1 이격 거리를 계산하는 단계(단계(46)); (d) 구조물에 대해 (예컨대, 목표 오프셋과 동일한) 지정된 이격 거리를 유지하도록 UAV를 제어하는 단계(단계(48)); (e) 단계(44)에서 계산된 거리들에 기초하여 구조물의 표면 상의 3개의 레이저 스폿들을 교차하는 평면에 대한 카메라의 초점 축의 요 및 피치 배향각들을 계산하는 단계(단계(50)); (f) 카메라의 초점 축이 구조물의 표면에 수직이 되게 배향을 재조정하도록 무인 항공기를 제어하는 단계(단계(52)); (g) 무인 항공기가 (예컨대, 제1 위치에서) 지정된 이격 거리로 호버링하고 있는 동안 구조물의 이미지를 캡처하기 위해 무인 항공기에 탑재된 카메라를 사용하는 단계(단계(54)); (h) 이격 거리 및 카메라의 시야에 적어도 부분적으로 기초하여 디스플레이 화면 상에 디스플레이될 때 이미지에 대한 스케일 팩터를 계산하는 단계(단계(56)); (i) 스케일 표시자가 위에 오버레이된 이미지를 디스플레이하는 단계 ― 스케일 표시자의 값 또는 길이가 스케일 팩터를 나타냄 ―(단계(58)); 및 (j) 피드백 제어 모드를 계속할지 여부를 결정하는 단계(단계(60))를 포함한다. 단계(60)에서 피드백 제어 모드가 계속되어야 한다고 결정된다면, 프로세스는 단계(44)로 돌아간다. 단계(60)에서 피드백 제어 모드가 계속되지 않아야 한다고 결정된다면, 이전의 UAV 비행 모드가 재개된다(단계(62)).
도 3에 도시된 구성에 따르면, UAV(20)에 탑재된 장비에 의해 획득된 데이터(즉, 레이저 거리계들(138a, 138b)에 의해 획득된 측정 데이터 및 비디오 카메라(130)에 의해 획득된 이미지 데이터)가 트랜시버(160)에 의해 송신된다. 그 메시지는 지상의 제어 스테이션(150)에 의해 수신된다. 제어 스테이션(150)의 컴퓨터 시스템은 메시지로부터 이미지를 나타내는 이미지 데이터를 추출하고, 이미지 데이터에 따라 디스플레이 화면의 픽셀들의 상태들을 제어함으로써 디스플레이 모니터(152)의 화면 상에 이미지가 디스플레이되게 한다.
모션 제어 기능의 일 양상에 따르면, UAV(20)는 이격 거리를 유지하면서 제2 위치로 병진하도록 제어될 수 있다. 그 다음, 비디오 카메라(130)가 활성화되어, 무인 항공기가 제2 위치에서 호버링하고 있는 동안 구조물의 제2 이미지를 캡처하는데, 이 제2 이미지는 디스플레이 화면 상에 디스플레이될 수 있다. 일부 경우들에서, 제1 이미지 및 제2 이미지는 구조물의 표면 상에서 부분적으로 중첩하거나 인접한 영역들을 나타내는 제1 세트 및 제2 세트의 이미지 데이터를 각각 포함할 수 있다.
모션 제어 기능의 다른 양상에 따르면, 컴퓨터 시스템(162)은 무인 항공기가 제1 위치에서 제2 위치로 이동한 후에 목표 오프셋으로부터의 이격 거리의 편차를 검출한 다음, 이격 거리가 목표 오프셋과 동일한 제3 위치로 비행함으로써 편차를 0으로 감소시키게 무인 항공기를 제어하도록 프로그래밍된 모션 제어기를 포함할 수 있다. 모션 제어기는 다음의 동작들: 제1 거리, 제2 거리 및 제3 거리에 기초하여 구조물의 표면에 대한 카메라의 초점 축의 배향각을 계산하는 동작; 무인 항공기가 제1 위치에서 호버링하고 있는 동안 원하는 배향각으로부터의 편차를 검출하는 동작; 및 배향각이 원하는 배향각과 동일하게 되게 무인 항공기의 배향을 변화시키도록 무인 항공기를 제어하는 동작을 실행하도록 추가로 프로그래밍될 수 있다.
도 14는 대안적인 예에 따라 구조물들을 검사하기 위한 시스템을 도시한다. 도시된 시스템은 주기적 검사를 필요로 하는 구조물 주위로 이동하게 될 수 있는 원격 제어식 공수 UAV(20)를 포함한다. 이 예에서, UAV(20)는 회전익 항공기이고, 검사될 구조물은 구조용 I-빔(100)이다. 목표 구조물은 구조용 I-빔(100)으로서 예시되지만, 시스템은 전력선들, 발전 시설들, 전력망들, 댐들, 제방들, 경기장들, 대형 건물들, 대형 안테나들 및 망원경들, 탱크들, 컨테이너들, 수처리 시설들, 정유 시설들, 화학 처리 공장들, 고층 건물들, 및 전기 열차들과 연관된 인프라구조 및 모노레일 지원 구조들을 포함하는, 그러나 이에 한정된 것은 아닌 다양한 범위의 다른 구조물들의 검사에 사용하는 데 동일하게 잘 적응된다. 시스템은 또한 제조 설비들 및 창고들과 같은 대형 건물들 내부에서 사용하기에 특히 적합하다.
일부 예들에서, UAV(20)는 사전 프로그래밍된 비행 계획에 따라 UAV(20)를 항행하게 할 수 있고 구조용 I-빔(100)에 대한 검사 데이터가 얻어질 수 있게 할 수 있는 탑재형 시스템을 포함할 수 있다. 일부 예들에서, UAV(20)는 하우징(112), 제어 사용자 인터페이스 컴포넌트들(114), 비디오 디스플레이(116) 및 안테나(118)를 포함하는 무선 UAV 및 탑재 제어기(110)를 사용하는 조작자에 의해 비행 경로를 따라 비행하게 될 수 있다. 획득된 검사 데이터는 비디오 카메라(130)에 의해 캡처된 이미지 데이터 및 UAV(20)에 탑재되어 구비된 하나 또는 그보다 많은 다른 센서들로부터의 센서 데이터를 포함한다. UAV(20)가 지닌 사전 프로그래밍된 비행 계획은 UAV(20)가 구조용 I-빔(100)에 근접한 위치로 비행 경로를 따라갈 수 있게 한다. 일부 예들에서는, 하나보다 많은 UAV(20)가 사용되어, 단일 UAV보다 짧은 시간 내에 구조물의 다양한 영역들의 검사를 가능하게 할 수 있는 차량들의 "무리"를 형성할 수 있다.
도 14에 도시된 UAV(20)는 프레임(22) 및 프레임(22)에 회전 가능하게 장착된 4개의 회전자들(124a-124d)을 포함한다. 각각의 회전자의 회전은 프레임(22)에 장착된 (도 14에 도시되지 않은) 각각의 모터에 의해 구동된다. UAV(20)는 프레임(22)에 장착된 탑재형 로컬 포지셔닝 시스템(38)을 더 포함한다. 로컬 포지셔닝 시스템(38)은 팬-틸트 메커니즘(120), 팬-틸트 메커니즘(120)에 장착된 비디오 카메라(130), 및 비디오 카메라(130)의 초점 축과 레이저 거리계(138)의 조준 방향이 서로 평행하게 되는 식으로 카메라(130)에 부착된 레이저 거리계(138)를 포함한다. 도 14에 도시된 예에서, 레이저 거리계(138)의 조준 방향 벡터(134)는 파선으로 표시되는데, 이 파선은 또한 레이저 거리계(138)에 의해 송신되며 구조용 I-빔(100)의 표면 상에 충돌하여 레이저 스폿(104)을 형성하는 레이저 빔을 나타낸다.
비디오 카메라(130)는 자동화된(원격으로 제어되는) 줌 능력들을 가질 수 있다. 비디오 카메라(130)는 팬-틸트 메커니즘(120) 상에 지지된다. 팬-틸트 메커니즘(120)은 팬 유닛(126) 및 틸트 유닛(128)을 포함한다. 팬 유닛(126), 틸트 유닛(128), 비디오 카메라(130) 및 레이저 거리계(138)는 (도 14에 도시되지 않았지만, 도 15의 컴퓨터 시스템(162)을 참조하여) 탑재형 컴퓨터 시스템에 의해 작동될 수 있다. 컴퓨터 시스템(162)은 결국, 지상의 기술자에 의해 조작될 수 있는 무선 UAV 및 탑재 제어기(110)로부터의 지시들을 수신하도록 구성될 수 있다.
도 15는 대안적인 예에 따라 원격 제어식 UAV(20)를 사용하여 구조물의 비파괴 검사를 수행하기 위한 시스템의 일부 컴포넌트들을 식별하는 블록도이다. 이 예에서, UAV(20) 및 UAV(20)가 지닌 장비는 제어 스테이션(150)에 의해 송신된 무선 주파수 지시들의 함수로써 컴퓨터 시스템(162)에 의해 제어된다. 그러한 무선 주파수 지시들은 UAV(20)에 탑재된 트랜시버(160)에 의해 수신되어, 적절한 디지털 포맷으로 변환된 다음, 컴퓨터 시스템(162)으로 전달된다. 제어 스테이션(150)은 UAV(20) 및 UAV(20)에 탑재된 장비의 동작을 제어하기 위한 프로그래밍으로 구성된 범용 컴퓨터 시스템을 포함할 수 있다. 예를 들어, 제어 스테이션(150)의 컴퓨터 시스템의 키보드, 마우스, 터치 패드 또는 터치 스크린 또는 다른 사용자 인터페이스 하드웨어(예컨대, 게임 패드)를 사용하여, 팬-틸트 메커니즘(120)의 팬 각도 및 틸트 각도 그리고 이에 따라 비디오 카메라(130)의 배향이 제어될 수 있다. 또한, 제어 스테이션(150)의 컴퓨터 시스템은 검사 동작 중에 UAV(20)로부터 수신된 데이터를 처리하기 위한 프로그래밍으로 구성된다. 특히, 제어 스테이션(150)의 컴퓨터 시스템은 비디오 카메라(130)에 의해 획득된 이미지들을 디스플레이하도록 디스플레이 모니터(152)를 제어하기 위한 소프트웨어로 구성된 디스플레이 프로세서를 포함할 수 있다. 비디오 카메라(130)에 의해 관측된 광학 이미지 필드가 디스플레이 모니터(152) 상에 디스플레이될 수 있다.
앞서 설명한 바와 같이, UAV(20)에 탑재된 장비는 팬-틸트 메커니즘(120), 비디오 카메라(130) 및 레이저 거리계(138)를 포함하며, 이들 모두는 (예컨대, 전기 케이블들을 통해) 컴퓨터 시스템(162)에 의해 송신된 제어 신호들에 의해 활성화될 수 있다. 컴퓨터 시스템(162)은 또한 회전자들(124a-124d)(도 14 참조)의 회전을 구동하는 각각의 모터들(148)의 회전을 각각 제어하는 지시들을 모터 제어기들(168)에 전송함으로써 UAV(20)의 비행을 제어한다.
일례에 따르면, 팬-틸트 메커니즘(120)은 컴퓨터 시스템(162)(도 15 참조)으로부터 수신된 제어 신호들에 대한 응답으로, 팬 축(124)을 중심으로 카메라(130)(그리고 그에 장착된 레이저 거리계(138))를 회전시키도록 구성된 팬 유닛(126)(도 14 참조), 및 팬 축에 직각인 틸트 축을 중심으로 카메라(130)(그리고 그에 장착된 레이저 거리계(138))를 회전시키도록 구성된 틸트 유닛(128)(도 14 참조)을 포함한다. 팬-틸트 메커니즘(120) 내의 (도면들에 도시되지 않은) 액추에이터들, 이를테면 서보 모터들 등은 팬 축 및 틸트 축을 중심으로 한 카메라(130)의 각도 회전뿐만 아니라, 카메라(130)/레이저 거리계(138)가 팬 축 및 틸트 축을 중심으로 회전하는 각속도를 조정함으로써 컴퓨터 시스템(162)으로부터의 제어 신호를 수신하여 그에 응답할 수 있다. 팬-틸트 메커니즘(120)은 현재 각위치 데이터를 나타내는 신호들을 다시 컴퓨터 시스템(162)으로 전송하는 (도면들에 도시되지 않은) 팬 및 틸트 회전 인코더들을 더 포함한다. 팬-틸트 메커니즘(120)에 인가된 제어 신호들은 사용자 명령들(예컨대, 제어 스테이션(150)의 일부인 입력 디바이스의 조작) 또는 자동 경로 생성기에 대한 응답으로 컴퓨터 시스템(162)에 의해 계산될 수 있다.
팬-틸트 메커니즘(120)은 팬 축 및 틸트 축 주위에서 선택된 각도들로 레이저 거리계(138) 및 비디오 카메라(130)를 회전식으로 조정하도록 제어된다. 레이저 거리계(138)가 구조용 I-빔(100) 상의 관심 지점에 조준될 때, UAV(20)의 프레임(22)의 고정 좌표계에 대한 레이저 거리계(138)의 배향(및 비디오 카메라(130)의 초점 축)을 기술하는 조준 방향 벡터(134)가 팬 각도 및 틸트 각도로부터 결정된다.
레이저 거리계(138)는 조준 방향 벡터(134)를 따라 레이저 빔을 송신하는 식으로 비디오 카메라(130)의 하우징 내부에 통합되거나 비디오 카메라(130)의 외부에 장착될 수 있다. 레이저 거리계(138)는 구조용 I-빔(100) 상의 임의의 가시적 피처 또는 구조용 I-빔(100)에 부착된 임의의 표지까지의 거리를 측정하도록 구성된다. 일부 예들에 따르면, 레이저 거리계(138)는 레이저 빔을 사용하여 구조용 I-빔(100)까지의 거리를 결정한다. 가장 일반적인 형태의 레이저 거리계는 구조용 I-빔(100)을 향해 좁은 빔으로 레이저 펄스를 전송하고 펄스가 구조용 I-빔(100)으로부터 반사되어 레이저 거리계(138) 내에 통합된 광검출기로 되돌아오는 데 걸리는 시간을 측정함으로써 비행 시간 원리에 따라 작동한다. 광속이 공지되고 정확한 시간 측정이 이루어지면, 레이저 거리계(138)로부터 레이저 스폿(104)까지의 거리가 계산될 수 있다. UAV(20)가 한 위치에서 호버링하고 있는 동안 많은 펄스들이 순차적으로 발사되며, 평균 응답이 가장 일반적으로 사용된다.
도 15를 다시 참조하면, UAV(20)에 탑재된 장비는 관성 측정 유닛(166)(이하, "IMU(166)")을 더 포함한다. 관성 측정 유닛은 하나 또는 그보다 많은 가속도계들을 사용하여 선 가속도를 그리고 하나 또는 그보다 많은 자이로스코프들을 사용하여 회전 속도를 검출함으로써 작동한다. 일반적인 구성에서, 관성 측정 유닛은 3개의 차량 축들: 피치, 롤 및 요 각각에 대해 축마다 하나의 가속도계와 하나의 자이로스코프를 포함한다. 컴퓨터 시스템(162)은 글로벌 기준 프레임에 대한 자세, 각속도들, 선속도 및 포지션을 계산하기 위해 원시 IMU 측정치들을 이용하는 관성 항법 소프트웨어로 구성된 개별 프로세서를 더 포함할 수 있다. IMU(166)로부터 수집된 데이터는 컴퓨터 시스템(162)이 데드 레코닝(dead reckoning)으로 알려진 방법을 사용하여 UAV의 포지션을 추적할 수 있게 한다.
도 16은 목표 대상물(102)에 향하게 된 레이저 거리계(138) 및 비디오 카메라(130)를 포함하는 로컬 포지셔닝 시스템(38)을 갖는 공수 UAV(20)의 평면도를 도시하는 도면이다. 레이저 거리계(138)에 의해 송신된 레이저 빔이 레이저 스폿(104)에서 목표물(102)의 표면 상에 충돌한다. 비디오 카메라(130)의 (한 쌍의 파선들로 표시된) 시야(136)의 각도는 도 16에서 "ang"로 표기된 호로 표시된다. 조준 방향 벡터(134)는 레이저 거리계(138)로부터 레이저 스폿(104)까지 연장하고 (아래에서는 레이저 거리계(138)와 목표 대상물(102)을 이격시키는 "거리(D)"로도 또한 지칭되는) 길이(D)를 갖는다.
일례에 따르면, 거리(D)는 시야(136)의 각도가 알려져 있는 동안 레이저 거리계(138)에 의해 측정된다. 이 정보는 비디오 카메라(130)에 의해 캡처된 이미지가 디스플레이되고 있을 때 디스플레이 모니터(152)(도 15 참조)의 화면 상에 크기 스케일 표시자를 오버레이하거나 중첩시키는 데 사용될 수 있다. 목표 대상물(102)까지의 거리(D)가 알려진다면, 디스플레이 모니터(152)의 화면 상의 이미지에 디스플레이된 스케일 정보는 사용자가 디스플레이된 이미지 내의 대상물들의 크기를 잴 수 있게 한다. 스케일 표시자는 디스플레이 상의 이미지의 전체 수평 및 수직 치수들 또는 화면의 일부에서 스케일 팩터 데이터를 보여주는 화면 상 오버레이의 형태일 수 있다. 이것은 비디오 카메라(130)에 의해 캡처되어 디스플레이 모니터(152)의 화면 상의 이미지에 디스플레이된 장면에 대한 크기 콘텍스트를 제공한다.
알려진 카메라 시야각은 다음 식으로 주어진다:
ang = 2*atan(SCRx/(2D))
이미지 X 값 및 Y 값은 다음 식들로 주어지며:
SCRx = D*tan(ang/2)
SCRy = ratio*SCRx
여기서 D는 레이저 거리계(138)에 의해 측정된 목표 대상물 표면까지의 거리이고, "ratio"는 (알려진) 이미지 종횡비, 즉 이미지 폭(w) 대 이미지 높이(h)의 비이다.
추가 예들에 따르면, UAV 비행 통제들과 독립적으로 레이저 거리계(138)를 조준하여 목표 대상물(102)의 표면 상의 두 지점들을 이격시키는 거리의 직접 측정을 획득하기 위해 완전 전동 팬-틸트 메커니즘(120)이 사용될 수 있다. 병진 오프셋이 0이거나 측정될 수 있다고 가정하면, 로컬 포지셔닝 시스템(38)의 기본 특징들 모두가 사용될 수 있다.
대안적인 예들에 따르면, 단일 동력 및 측정 축 짐벌(틸트 또는 피치 축)만을 사용하는 것이 가능할 수 있다. UAV의 경우, 차량과 연관된 전반적인 요(팬)가 차량 포지션을 변경하지 않고 레이저 거리계(138)를 가리키는 데 또한 사용될 수 있지만, UAV(20)의 피치를 변경하는 것은 UAV(20)를 병진시킬 것이다. 이를 해결하기 위해, 레이저 거리계(138)를 위한 별도의 전동 피치 제어기가 사용될 수 있다.
도 17은 로컬 포지셔닝 시스템(38)을 지닌 UAV(20)를 사용하여 검사될 구조물의 표면 상의 피처의 크기를 정하기 위한(즉, 피처의 지점들 간 거리를 측정하기 위한) 방법(170)의 단계들을 식별하는 흐름도이다. 방법(170)은 다음의 단계들: (a) 검사될 구조물로부터 이격된 제1 위치를 향해 비행한 다음 그 위치에서 호버링하도록 UAV(20)를 제어하는 단계(단계(172)); (b) UAV가 제1 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제1 가시적 피처에 대응하는 제1 지점에 레이저 거리계(138)를 조준하고(단계(174)) 제1 거리 측정치를 획득하는 단계(단계(176)); (c) 레이저 거리계(138)가 제1 지점에 조준될 때 레이저 거리계(138)의 각각의 팬 각도 및 틸트 각도를 측정하기 위해 팬-틸트 메커니즘(120)을 사용하는 단계(단계(178)); (d) 단계들(176, 178)에서 획득된 거리 측정치 및 각도 측정치를 제1 위치에 있는 UAV(20)의 기준 프레임에서 제1 지점의 위치를 나타내는 제1 벡터로 변환하는 단계(단계(180)); (e) UAV(20)가 제2 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제2 가시적 피처에 대응하는 제2 지점에 레이저 거리계(138)를 조준하고(단계(182)) 제2 거리 측정치를 획득하는 단계(단계(184)); (f) 레이저 거리계(138)가 제2 지점에 조준될 때 레이저 거리계(138)의 각각의 팬 및 틸트 각들을 측정하기 위해 팬-틸트 메커니즘(120)을 사용하는 단계(단계(186)); (g) 단계들(184, 186)에서 획득된 거리 측정치 및 각도 측정치를 제2 위치에 있는 UAV(20)의 기준 프레임에서 제2 지점의 위치를 나타내는 제2 벡터로 변환하는 단계(단계(188)); (h) 제1 위치에서 제2 위치로 비행하는 동안 UAV의 가속도 및 회전 속도를 측정하기 위해 IMU(166)를 사용하는 단계(단계(190)); (i) 단계(190)에서 획득된 정보에 기초하여 UAV(20)의 제1 위치와 제2 위치 사이의 포지션 차 및 배향 차를 나타내는 변환 행렬을 생성하는 단계(단계(192)); (j) 제1 위치에 있는 UAV(20)의 기준 프레임에서 제2 지점의 위치를 나타내는 제3 벡터를 형성하기 위해 제2 벡터를 변환 행렬과 곱하는 단계(단계(194)); 및 (k) 제1 벡터 및 제3 벡터를 사용하여 제1 지점과 제2 지점 사이의 거리를 계산하는 단계(단계(196))를 포함한다.
일례에 따르면, 이전 단락에서 설명된 방법은: (l) UAV(20)로부터 단계들(176, 178, 184, 186, 190)에서 획득된 측정 데이터를 포함하는 하나 또는 그보다 많은 메시지들을 송신하는 단계; (m) 지상 워크스테이션(예컨대, 제어 스테이션(150)(도 15 참조))의 컴퓨터 시스템에서 하나 또는 그보다 많은 메시지들을 수신하는 단계; 및 (n) 메시지로부터 측정 데이터를 추출하는 단계를 더 포함하며, 여기서 단계들(180, 188, 192, 194, 196)은 지상 워크스테이션에서 컴퓨터 시스템에 의해 수행된다. 이 방법은: UAV가 제1 위치에서 호버링하고 있는 동안, 제1 가시적 피처 및 제2 가시적 피처를 포함하는 구조물의 표면의 일부의 이미지를 캡처하기 위해 비디오 카메라(130)를 사용하는 단계; 및 이미지 및 그 이미지 상에 오버레이된, 단계(196)에서 계산된 거리의 값을 나타내는 기호 표시를 지상 워크스테이션의 컴퓨터 시스템의 디스플레이 화면 상에 디스플레이하는 단계를 더 포함할 수 있다. 예를 들어, 제1 가시적 피처 및 제2 가시적 피처는 구조물에서 (균열과 같은) 이상의 각각의 종단점들일 수 있다.
도 18은 앞서 설명한 UAV(20)를 사용하여 목표 대상물 상의 제1 지점에서부터 목표 대상물 상의 제2 지점까지의 거리 및 방향을 나타내는 벡터를 생성하기 위한 앞서 설명한 방법을 예시하는 벡터도이다. 두 지점들에 대한 좌표들을 직접 측정하는 데 단일 레이저 거리계가 사용되기 때문에, 공통 기준 위치가 그 두 지점들 사이의 거리를 결정하는 데 사용된다. 이 상황에서, 사용자는 로컬 포지셔닝 시스템(38)의(그리고 UAV(20)의) 제1 기준 프레임 내의 제1 지점의 좌표들의 획득 동안의 UAV(20)의 제1 위치와 제1 기준 프레임으로부터 오프셋된 로컬 포지셔닝 시스템의 제2 기준 프레임 내의 제2 지점의 좌표들의 획득 동안의 UAV(20)의 제2 위치 간의 차이를 결정한다. 획득된 좌표 포지션 데이터를 사용하여, 로컬 포지셔닝 시스템(38)의 제1 기준 프레임과 제2 기준 프레임 사이의 포지션 차 및 배향 차(즉, 제1 측정 및 제2 측정이 이루어진 순간들에 UAV(20)의 제1 위치와 제2 위치 사이의 차이들)를 나타내는 변환 행렬이 생성된다.
도 18에 도시된 벡터도는 이전 단락에서 설명된 구성을 도시한다. 각각의 꼭지점들에서 만나는 두 쌍들의 서로 직교하는 화살표들은 각각의 기준 프레임들을 그래픽으로 도시한다(도면에서 어수선함을 피하기 위해 각각의 기준 프레임에 대한 각각의 제3 상호 직교 축은 도시되지 않음). 좌측 쌍의 화살표들은 제1 위치에서의 UAV(20)의 기준 프레임(A)을 나타내는 한편, 우측 쌍의 화살표들은 제2 위치에서의 UAV(20)의 기준 프레임(B)을 나타낸다. 기준 프레임(A)에 대한 기준 프레임(B)의 위치 오프셋은 도 18에서 변환 행렬(
Figure pat00008
)로 표현되는데, 이는 기준 프레임 {A}에 대한 기준 프레임 {B}를 기술하는 4×4 동차 변환 행렬이다. 이 상황에서, 기준 프레임 {A}에 대한 기준 프레임 {B}의 포지션 및 배향은 IMU(166)에 의해 획득된 데이터로부터 결정될 수 있다.
UAV(20)가 제1 위치에 있을 때 (도 18에 도시되지 않은) 레이저 거리계(138)로부터 목표 대상물(102)의 표면 상의 제1 지점(P1)까지의 거리는 기준 프레임 {A}의 원점으로부터 연장하는 벡터(AP1)의 길이로 표현된다. UAV(20)가 제2 위치에 있을 때 레이저 거리계(138)로부터 목표 대상물(102)의 표면 상의 제2 지점(P2)까지의 거리는 기준 프레임 {B}의 원점으로부터 제2 지점(P2)까지 연장하는 벡터(BP2)의 길이로 표현된다. 그 다음, 벡터(BP2)에 변환 행렬(
Figure pat00009
)을 곱하여 이를 기준 프레임 {A}에 정의된 벡터로 변환한다. 결과적인 곱은 다음과 같다:
Figure pat00010
BP2 = AP2
벡터(AP2)의 크기(즉, 길이)는 UAV(20)가 제1 위치에 있을 때 레이저 거리계(138)로부터 제2 지점(P2)까지의 거리를 나타낸다. 이러한 2개의 벡터들 간의 차이로부터 거리(d)가 결정되는데, 이 연산은 다음과 같이 표현될 수 있다:
d = │AP2 - AP1 │
동등한 방식으로, 지점들(P1, P2) 간의 거리(d)는 두 지점들을 연결하는 3-D 벡터의 크기(즉, 유클리드 노름(Euclidean norm))이다. 이는 측정된 점 좌표들(즉, x, y 및 z 값들)의 개개의 컴포넌트들의 차들의 제곱들의 합의 제곱근으로서 계산된다. 이 식의 일반적인 형태는 다음과 같다:
Figure pat00011
결과적인 거리 값은 지점들(P1, P2)을 포함하는 목표 대상물(102)의 표면 부분의 카메라 이미지와 함께 디스플레이 모니터(152)의 화면 상에 디스플레이(예컨대, 중첩 또는 가상으로 오버레이)된다. 선택적으로, 콘텍스트를 보여주기 위해 두 지점들 사이에 라인이 그려질 수 있다.
비파괴 검사 동작 동안 UAV(20)의 비행은 UAV(20)를 사용자가 특정 타입들의 작업들을 위해 제어하기에 더 쉽게 하도록 설계된 다양한 모션 제약들을 받을 수 있다. "모션 제약들"이라는 용어에는 통상의 운동학적 정의가 주어져야 한다. 일반적으로, 모션 제약들은 대상물의 모션으로부터 하나 또는 그보다 많은 자유도(DoF: degree of freedom)들을 제거한다. 예를 들어, 자유 공간에 있는 단일 강체 대상물은 6개의 자유도들(즉, x, y, z, 롤, 피치 및 요)을 갖지만, 강체 대상물이 예를 들어, 이를 테이블 위에(중력이 있는 위치에) 배치함으로써 구속되는 경우, 자유도들의 수는 3(즉, x, y 및 요)으로 감소된다. 이 예에서, 테이블의 평평한 표면은 시스템으로부터 3개의 자유도들을 제거하는 모션 제약들을 도입한다. 다른 예에서, 6-DoF 대상물과 다른 고정된 위치의 대상물 사이에 회전(레볼루트(revolute)) 조인트가 부착된다면, 회전 조인트는 시스템으로부터 5개의 자유도들을 제거함으로써 대상물의 모션을 하나의 자유도(즉, 레볼루트 조인트의 축을 중심으로 한 회전)로 제한한다. 이러한 예들은 물리적 모션 제약들이지만, 본 개시내용에서 제안되는 것인 제어 모션으로부터 하나 또는 그보다 많은 자유도들을 제거하기 위해 모션 제약들이 소프트웨어에 또한 적용될 수 있다.
표준 동작에서는 자유 공간에서 6개의 자유도들을 제어할 수 있는 UAV 및 그 조작자를 수반하는 시스템의 경우, 제어할 조작자에게 UAV의 자유도들 중 하나 이상이 직접 이용 가능하지 않도록 거리 측정 정보가 UAV의 모션을 제한하는 데 사용된다. 예를 들어, (레이저 거리계로부터의 실시간 측정 데이터를 사용하여) 목표 대상물까지의 거리에 모션 제약이 적용된다면, 시스템은 UAV를 그 지정된 거리로 유지하려고 시도할 것이다. 이는 하위 레벨 제어기가 여전히 6개의 자유도들을 제어할 수 없다는 것을 의미하지는 않는다. 대신, 이는 조작자의 관점에서 이들이 직접 제어하고 있지는 않은 하나(또는 그보다 많은) 축이 있음을 의미한다. 돌풍이 UAV를 모션 제약 방향으로 밀려고 시도한다면, 하위 레벨 제어기가 사용자 입력을 요구하지 않고 이를 보상하기 위해 모션 제어를 제공할 것이다. 이는 목표 대상물로부터의 특정 오프셋을 유지하는 것이 바람직한 조건들에서 유용하다. 이는 또한 가상 경계들의 제공시 또는 충돌 회피를 위해 유용하다.
측정 데이터가 획득되었다면, 이는 사용자에게 디스플레이될 수 있거나, 차량 제어에 사용될 수 있는 모션 제약들의 제공과 같은 추가 능력들에 사용될 수 있다. 이러한 확장은 센서들로부터의 데이터 및 도출된 측정 데이터의 피드백에 기초하여 UAV(20)에 대한 모션 제어 능력들을 가능하게 한다. 이는 시스템에 대한 반자동 제어뿐만 아니라 보다 직관적인 수동 제어를 제공하는 능력을 야기한다.
레이저 포인터들을 이용하는 예들의 경우, 이러한 예들이 배향을 측정하지 않기 때문에, 제어 시스템에 추가될 수 있는 모션 제약들의 유일한 타입들은 포지션과 연관된 것들이다. 2개 또는 그보다 많은 레이저 거리계들을 갖는 예들은 거리를 결정하는 것 외에도, 목표 대상물(102)에 대한 UAV(20)의 배향을 측정하는 능력을 갖는다. 이는 하나보다 많은 레이저 거리계를 갖는 예들이 목표 대상물(102)에 대한 UAV(20)의 포지션과 배향 모두를 제어할 수 있게 한다.
도 19는 일례에 따라 차량(88)에 탑재된 장비에 의해 획득된 측정 데이터에 기초하여 차량(88)의 모션을 제어하기 위한 피드백 제어 프로세스(80)의 단계들을 식별하는 블록도이다. 우선, 사용자 또는 에이전트는 차량(88)의 목표 거리 및 배향에 관한 지시들을 입력하는데(단계(82)), 이러한 입력들은 합산 접합부(84)에 의해 수신된다. 합산 접합부(84)는 또한, 거리 및 배향을 계산하도록 구성된 거리 및 배향 계산 소프트웨어 모듈로부터 거리 및 배향 데이터를 수신한다(단계(94)). 합산 접합부(84)는 계산된 거리를 지시된 거리로부터 감산하고 계산된 배향을 지시된 배향으로부터 감산한다. 편차들을 감소시키도록 계산된 제어 신호들을 계산하도록 구성된 제어 신호 계산 소프트웨어 모듈로 결과적인 편차들이 출력된다(단계(86)). 합산 접합부(84)로부터의 출력에 기초하여, 제어 신호 계산 소프트웨어 모듈은 차량(80)에 탑재된 모션 액추에이터들(90)(예컨대, 회전자 모터 제어기들)에 제어 신호들을 출력한다. 차량(80)의 비행 중에, 센서들이 센서 데이터를 획득하는데(단계(92)), 이 센서 데이터는 거리 및 배향을 계산하는 데 사용된다(단계(94)).
일부 예들에 따르면, 컴퓨터 시스템(162)은 탑재형 정렬 방법을 사용하여 목표 대상물(102)에 대한 비디오 카메라(130)의 상대 위치(포지션 및 배향) 오프셋들을 결정한다. 이 프로세스는 3개의 레이저 거리계들로부터의 거리 정보를 사용하여 상대 위치를 실시간으로 계산한다. 그 다음, 컴퓨터 시스템(162)은 그 데이터를 사용하여 UAV(20)의 원하는 피드백 기반 모션을 생성한다.
이 프로세스가 가능하게 하는 제어의 한 형태는 비디오 카메라(130)의 초점 축이 목표 대상물의 표면에 항상 수직임을 확실하게 하기 위한, 또는 이것이 항상 표면으로부터 특정한 거리에 있음을 확실하게 하는 비디오 카메라(130)의 배향과 같은 정렬의 어떤 양상에서 조작자를 보조하기 위한 반자동 제어이다.
보다 구체적으로, 컴퓨터 시스템(162)은 레이저 거리계들로부터 수신된 거리 정보에 기초하여 비디오 카메라(130)의 초점 축을 목표 대상물의 표면에 수직인 벡터와 정렬하기 위해 어떤 움직임들이 필요한지를 결정하도록 구성(예컨대, 프로그래밍)된다. 컴퓨터 시스템(162)은 비디오 카메라(130)의 초점 축이 표면 법선과 정렬되도록 UAV(20)를 배향하기 위해 필요에 따라 모터들(148)을 활성화하도록, 선택된 모터 제어기들(168)에 지시 신호들을 전송한다.
목표 대상물까지의 거리를 결정하기 위해 3개의 레이저 거리계들을 사용하는 것뿐만 아니라, 이들은 또한 요 배향각 및 피치 배향각(이하 "요 각" 및 "피치 각")을 결정하는 데에도 사용된다. 예시를 위해, 이등변 삼각형의 꼭지점들에 3개의 레이저 거리계들이 배치되어, 이등변 삼각형의 밑변의 꼭지점들에 배치된 2개의 레이저 거리계들을 이격시키는 거리가 a가 되고, 제3 레이저 거리계와 이등변 삼각형의 밑면의 중점을 이격시키는 거리(즉, 이등변 삼각형의 높이)는 b가 된다고 가정한다. d 1, d 2 및 d 3은 목표 대상물의 표면까지의 각각의 레이저 거리계들의 각각의 측정된 거리들이라고 가정한다. 식(2) 및 식(3)이 피치 각 및 요 각을 계산하는 데 사용될 수 있으며:
PitchAngle = atan2(d 1 - (d 2 + d 3)/2, b) (2)
YawAngle = atan2(d 2 - d 3, a) (3)
여기서 PitchAngle 및 YawAngle은 목표 대상물의 표면에 대한 현재 계산된 배향각들이고, atan2는 2 인수 아크탄젠트 역삼각 함수이다. 현재 위치에서 표면 법선에 대해 측정된 이러한 각도들에 대한 목표는 0과 같아지는 것이며; 목표 각도들을 달성하기 위한 프로세스는 아래에서 설명된다.
현재의 요 각 및 피치 각이 계산되면, 시스템 모션 제어기는 제어되는 모션들: 팬, 틸트 및 거리에 대한 속도 제어 방법을 사용할 수 있다. 비례 적분 미분(PID: proportional-integral-derivative) 제어기와 같은 피드백 제어기가 사용되어 현재 각도와 원하는 각도 간의 에러를 0으로 구동할 수 있다. 식(4) 및 식(5)이 피치 및 요 모션 제어를 계산하는 데 사용될 수 있으며:
PitchRate = Kp pitch * (PitchAngle - PitchAngle goal ) (4)
YawRate = Kp yaw * (YawAngle - YawAngle goal ) (5)
여기서 PitchRate 및 YawRate는 정렬 장치의 피치 축 및 밑변의 요 축에 대한 각도 회전 속도들을 각각 기술하고; Kp pitch 및 Kp yaw는 각각 피치 축 및 요 축과 연관된 비례 피드백 이득들이며; PitchAngle 및 YawAngle은 각각 식(2) 및 식(3)으로부터 계산된 각도들이고; PitchAngle goal 및 YawAngle goal은 원하는 목표 각도들인데, 이러한 목표 각도들을 향해 제어기가 시스템을 구동시키고 있다(앞서 언급한 바와 같이, 이 예에서 이들은 둘 다 0이다). 적분 및 미분 피드백이 또한 사용될 수 있지만 여기서는 도시되지 않는다.
추가로, 본 개시내용은 다음 조항들에 따른 예들을 포함한다:
조항 1. 무인 항공기를 작동시키기 위한 방법은: (a) 구조물을 향해 비행하도록 무인 항공기를 제어하는 단계; (b) 무인 항공기가 비행하고 있는 동안 구조물의 표면 상의 각각의 제1 스폿 및 제2 스폿으로부터 무인 항공기에 탑재된 제1 레이저 거리계 및 제2 레이저 거리계를 각각 이격시키는 제1 거리 및 제2 거리를 반복해서 측정하기 위해 제1 레이저 거리계 및 제2 레이저 거리계를 사용하는 단계; (c) 제1 거리 및 제2 거리에 적어도 기초하여 무인 항공기를 구조물로부터 이격시키는 제1 이격 거리를 계산하는 단계; (d) 제1 이격 거리가 목표 오프셋과 동일한지 여부를 결정하는 단계; (e) 이격 거리가 목표 오프셋과 동일하다는 단계(d)에서의 결정에 대한 응답으로 제1 이격 거리만큼 구조물로부터 이격된 제1 위치에서 호버링하도록 무인 항공기를 제어하는 단계; (f) 무인 항공기가 제1 위치에서 호버링하고 있는 동안 구조물의 제1 이미지를 캡처하기 위해 무인 항공기에 탑재된 카메라를 사용하는 단계; 및 (g) 디스플레이 화면 상에 제1 이미지를 디스플레이하는 단계를 포함한다.
조항 2. 조항 1에 기술된 방법에서, 제1 거리와 제2 거리는 목표 오프셋과 동일하고, 이 방법은: 이격 거리 및 카메라의 시야에 적어도 부분적으로 기초하여 디스플레이 화면 상에 디스플레이될 때 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및 디스플레이 화면 상에 디스플레이된 제1 이미지 상에 오버레이된 스케일 표시자를 디스플레이하는 단계를 더 포함하며, 스케일 표시자의 값 또는 길이가 스케일 팩터를 나타낸다.
조항 3. 조항 1에 기술된 방법에서, 디스플레이 화면은 무인 항공기에 탑재되지 않으며, 이 방법은: 무인 항공기로부터 제1 이미지를 나타내는 이미지 데이터를 포함하는 메시지를 송신하는 단계; 지상 스테이션에서 메시지를 수신하는 단계; 및 메시지로부터 제1 이미지를 나타내는 이미지 데이터를 추출하는 단계를 더 포함하고, 디스플레이 화면 상에 제1 이미지를 디스플레이하는 단계는 이미지 데이터에 따라 디스플레이 화면의 픽셀들의 상태들을 제어하는 단계를 포함한다.
조항 4. 조항 1에 기술된 방법은: 이격 거리를 유지하면서 제2 위치로 병진하도록 무인 항공기를 제어하는 단계; 무인 항공기가 제2 위치에서 호버링하고 있는 동안 구조물의 제2 이미지를 캡처하기 위해 카메라를 사용하는 단계; 및 디스플레이 화면 상에 제2 이미지를 디스플레이하는 단계를 더 포함한다.
조항 5. 조항 4에 기술된 방법에서, 제1 이미지 및 제2 이미지는 구조물의 표면 상에서 부분적으로 중첩하거나 인접한 영역들을 나타내는 제1 세트 및 제2 세트의 이미지 데이터를 각각 포함한다.
조항 6. 조항 1에 기술된 방법은: 제1 거리 및 제2 거리에 기초하여 구조물의 표면 상의 제1 스폿과 제2 스폿을 연결하는 선에 대한 카메라의 초점 축의 배향각을 계산하는 단계; 이격 거리 및 배향각에 적어도 부분적으로 기초하여 디스플레이 화면 상에 디스플레이될 때 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및 제1 이미지 상에 오버레이된 스케일 표시자를 디스플레이하는 단계를 더 포함하며, 스케일 표시자의 값 또는 길이는 스케일 팩터를 나타낸다.
조항 7. 조항 1에 기술된 방법은: 무인 항공기가 비행하고 있는 동안 구조물의 표면 상의 제3 스폿으로부터 무인 항공기에 탑재된 제3 레이저 거리계를 이격시키는 제3 거리를 반복해서 측정하기 위해 제3 레이저 거리계를 사용하는 단계를 더 포함하며, 이격 거리는 제1 거리, 제2 거리 및 제3 거리에 기초하여 계산된다.
조항 8. 조항 7에 기술된 방법은: 제1 거리, 제2 거리 및 제3 거리에 기초하여 구조물의 표면 상의 제1 스폿, 제2 스폿 및 제3 스폿에 의해 한정된 평면에 대한 카메라의 초점 축의 제1 배향각 및 제2 배향각을 계산하는 단계; 이격 거리 그리고 제1 배향각 및 제2 배향각에 기초하여 디스플레이 화면 상에 디스플레이될 때 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및 제1 이미지 상에 오버레이된 스케일 표시자를 디스플레이하는 단계를 더 포함하며, 스케일 표시자의 값 또는 길이가 스케일 팩터를 나타낸다.
조항 9. 조항 1에 기술된 방법은: 무인 항공기가 제1 위치에서 제2 위치로 이동한 후에 목표 오프셋으로부터의 이격 거리의 편차를 검출하는 단계; 및 이격 거리가 목표 오프셋과 동일한 제3 위치로 비행함으로써 편차를 0으로 감소시키도록 무인 항공기를 제어하는 단계를 더 포함하며, 제3 위치를 향한 무인 항공기의 비행의 제어는 무인 항공기에 탑재된 모션 제어기에 의해 제공된다.
조항 10. 조항 1에 기술된 방법은: 제1 거리, 제2 거리 및 제3 거리에 기초하여 구조물의 표면에 대한 카메라의 초점 축의 배향각을 계산하는 단계; 무인 항공기가 제1 위치에서 호버링하고 있는 동안 원하는 배향각으로부터의 배향각의 편차를 검출하는 단계; 및 배향각이 원하는 배향각과 동일하게 되게 무인 항공기의 배향을 변화시키도록 무인 항공기를 제어하는 단계를 더 포함하며, 무인 항공기의 배향의 제어는 무인 항공기에 탑재된 모션 제어기에 의해 제공된다.
조항 11. 무인 항공기를 작동시키기 위한 방법은: (a) 구조물로부터 이격된 위치에서 호버링하도록 무인 항공기를 제어하는 단계; (b) 평행하게 무인 항공기에 탑재된, 피벗 가능하게 장착된 제1 레이저 포인터 및 제2 레이저 포인터를 구조물의 표면을 향해 지향시키는 단계 ― 제1 레이저 포인터 및 제2 레이저 포인터의 각각의 피벗 축들은 고정된 거리만큼 이격됨 ―; (c) 무인 항공기가 그 위치에서 호버링하고 있는 동안 서로 평행한 레이저 빔들을 제1 스폿 및 제2 스폿에 각각 송신하기 위해 서로 평행한 제1 레이저 포인터 및 제2 레이저 포인터를 사용하는 단계; (d) 제1 스폿 및 제2 스폿을 포함하는 구조물의 표면의 일부의 제1 이미지를 캡처하기 위해 제1 시점에 무인 항공기에 탑재된 카메라를 사용하는 단계; (e) 제1 레이저 포인터 및 제2 레이저 포인터가 더는 평행하지 않도록 무인 항공기가 호버링하고 있는 동안 제1 레이저 포인터 및 제2 레이저 포인터를 미리 정해진 각도만큼 피벗시키는 단계; (f) 무인 항공기가 그 위치에서 호버링하고 있는 동안 평행하지 않은 레이저 빔들을 구조물의 표면 상의 각각의 제3 스폿 및 제4 스폿에 송신하기 위해 피벗된 제1 레이저 포인터 및 제2 레이저 포인터를 사용하는 단계; (g) 제3 스폿 및 제4 스폿을 포함하는 구조물의 표면의 일부의 제2 이미지를 캡처하기 위해 제2 시점에 카메라를 사용하는 단계; 및 (h) 이미지들 내의 제3 스폿 및 제4 스폿의 포지션들에 기초하여 구조물로부터 무인 항공기를 이격시키는 제1 이격 거리를 계산하도록 제1 이미지 및 제2 이미지를 처리하는 단계를 포함하며, 미리 정해진 각도 및 고정된 거리가 레이저 포인터들의 피벗 축들을 이격시킨다.
조항 12. 조항 11에 기술된 방법에서, 단계(h)는 제3 스폿 및 제4 스폿의 각각의 중심들을 이격시키는 제2 이격 거리를 계산하는 단계를 더 포함하며, 이 방법은 제2 이격 거리에 기초하여 지상 스테이션에서 컴퓨터 시스템의 디스플레이 화면 상에 디스플레이될 때 제1 이미지 및 제2 이미지에 대한 스케일 팩터를 계산하는 단계를 더 포함한다.
조항 13. 조항 12에 기술된 방법은: (i) 무인 항공기로부터 제1 이미지 및 제2 이미지를 나타내는 이미지 데이터를 포함하는 메시지를 송신하는 단계; (j) 지상 스테이션의 컴퓨터 시스템에서 메시지를 수신하는 단계; 및 (k) 메시지로부터 제1 이미지를 나타내는 이미지 데이터를 추출하는 단계를 더 포함하고, 단계(k)는 지상 스테이션에서 컴퓨터 시스템에 의해 수행된다.
조항 14. 조항 12에 기술된 방법은: 구조물의 표면의 일부의 제3 이미지를 캡처하기 위해 카메라를 사용하는 단계; 및 제3 이미지 상에 오버레이된 스케일 표시자를 디스플레이 화면 상에 디스플레이하는 단계를 더 포함하며, 스케일 표시자의 값 또는 길이가 스케일 팩터를 나타낸다.
조항 15. 카메라 및 레이저 거리계를 지지하는 팬-틸트 메커니즘 및 관성 측정 유닛을 포함하는 무인 항공기를 사용하여 구조물의 피처의 크기를 정하기 위한 방법으로서, 이 방법은: (a) 검사될 구조물로부터 이격된 제1 위치를 향해 비행한 다음 그 위치에서 호버링하도록 무인 항공기를 제어하는 단계; (b) 무인 항공기가 제1 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제1 가시적 피처에 대응하는 제1 지점에 레이저 거리계를 조준하고 제1 거리 측정치를 획득하는 단계; (c) 레이저 거리계가 제1 지점에 조준될 때 레이저 거리계의 각각의 팬 각도 및 틸트 각도를 측정하기 위해 팬-틸트 메커니즘을 사용하는 단계; (d) 단계(b) 및 단계(c)에서 획득된 거리 측정치 및 각도 측정치를 제1 위치에 있는 무인 항공기의 기준 프레임에서 제1 지점의 위치를 나타내는 제1 벡터로 변환하는 단계; (e) 무인 항공기가 제2 위치에서 호버링하고 있는 동안 구조물의 표면 상의 제2 가시적 피처에 대응하는 제2 지점에 레이저 거리계를 조준하고 제2 거리 측정치를 획득하는 단계; (f) 레이저 거리계가 제2 지점에 조준될 때 레이저 거리계의 각각의 팬 각도 및 틸트 각도를 측정하기 위해 팬-틸트 메커니즘을 사용하는 단계; (g) 단계(e) 및 단계(f)에서 획득된 거리 측정치 및 각도 측정치를 제2 위치에 있는 무인 항공기의 기준 프레임에서 제2 지점의 위치를 나타내는 제2 벡터로 변환하는 단계; (h) 제1 위치에서 제2 위치로 비행하는 동안 무인 항공기의 가속도 및 회전 속도를 측정하기 위해 관성 측정 유닛을 사용하는 단계; (i) 단계(h)에서 획득된 정보에 기초하여 무인 항공기의 제1 위치와 제2 위치 사이의 포지션 차 및 배향 차를 나타내는 변환 행렬을 생성하는 단계; (j) 제1 위치에 있는 무인 항공기의 기준 프레임에서 제2 지점의 위치를 나타내는 제3 벡터를 형성하기 위해 제2 벡터를 변환 행렬과 곱하는 단계; 및 (k) 제1 벡터 및 제3 벡터를 사용하여 제1 지점과 제2 지점 사이의 거리(d)를 계산하는 단계를 포함한다.
조항 16. 조항 15에 기술된 방법은: (l) 무인 항공기로부터 단계(b), 단계(c), 단계(e), 단계(f) 및 단계(h)에서 획득된 측정 데이터를 포함하는 하나 또는 그보다 많은 메시지들을 송신하는 단계; (m) 지상 워크스테이션의 컴퓨터 시스템에서 하나 또는 그보다 많은 메시지들을 수신하는 단계; 및 (n) 메시지로부터 측정 데이터를 추출하는 단계를 더 포함하며, 여기서 단계(d), 단계(g) 그리고 단계(i) 내지 단계(k)는 지상 워크스테이션에서 컴퓨터 시스템에 의해 수행된다.
조항 17. 조항 16에 기술된 방법은: 무인 항공기가 제1 위치에서 호버링하고 있는 동안, 제1 가시적 피처 및 제2 가시적 피처를 포함하는 구조물의 표면의 일부의 이미지를 캡처하기 위해 카메라를 사용하는 단계; 및 이미지 및 그 이미지 상에 오버레이된, 단계(k)에서 계산된 거리의 값을 나타내는 기호 표시를 지상 워크스테이션의 컴퓨터 시스템의 디스플레이 화면 상에 디스플레이하는 단계를 더 포함한다.
조항 18. 조항 15에 기술된 방법에서, 제1 가시적 피처 및 제2 가시적 피처는 구조물에서 이상의 각각의 종단점들이다.
조항 19. 무인 항공기는: 프레임; 프레임에 회전 가능하게 장착된 복수의 회전자들; 복수의 회전자들 중 회전자들의 회전을 구동하도록 각각 결합된 복수의 모터들; 복수의 모터들의 동작을 제어하기 위한 복수의 모터 제어기들; 프레임에 장착된 팬-틸트 메커니즘; 팬-틸트 메커니즘에 장착된 카메라; 팬-틸트 메커니즘에 장착된 레이저 거리계; 모터 제어기들에 지시들을 전송하고, 팬-틸트 메커니즘의 동작을 제어하며, 카메라 및 레이저 거리계를 선택적으로 작동시키도록 구성된 컴퓨터 시스템; 프레임에 장착되어 선 가속도 및 회전 속도 데이터를 컴퓨터 시스템에 전송하도록 구성된 관성 측정 유닛; 및 컴퓨터 시스템과 제어 스테이션 사이의 통신을 가능하게 하도록 구성된 트랜시버를 포함하며, 컴퓨터 시스템은: 카메라로부터의 이미지 데이터, 팬-틸트 메커니즘으로부터의 팬 및 틸트 각도 데이터, 레이저 거리계로부터의 거리 데이터, 및 관성 측정 유닛으로부터의 선 가속도 및 회전 속도 데이터를 수신하고; 구조물에 대한 무인 항공기의 제1 위치를 결정하고; 그리고 무인 항공기를 제1 위치로부터 제2 위치로 비행시키기 위한 제1 지시를 모터 제어기들에 전송하도록 ― 제2 위치에서 카메라가 구조물의 표면으로부터 목표 오프셋만큼 이격됨 ― 추가로 구성된다.
조항 20. 무인 항공기는: 프레임; 프레임에 회전 가능하게 장착된 복수의 회전자들; 복수의 회전자들 중 회전자들의 회전을 구동하도록 각각 결합된 복수의 모터들; 복수의 모터들의 동작을 제어하기 위한 복수의 모터 제어기들; 카메라; 제1 레이저 포인터, 제2 레이저 포인터 및 제3 레이저 포인터; 모터 제어기들에 지시들을 전송하고 카메라 및 제1 레이저 포인터 내지 제3 레이저 포인터를 선택적으로 활성화하도록 구성된 컴퓨터 시스템; 및 컴퓨터 시스템과 제어 스테이션 사이의 통신을 가능하게 하도록 구성된 트랜시버를 포함하며, 여기서 제1 레이저 포인터와 제2 레이저 포인터는 서로 평행한 관계로 프레임에 고정되고, 제3 레이저 포인터는 프레임에 피벗 가능하게 결합된다.
다양한 예들과 관련하여 구조물의 비파괴 검사 동안 무인 항공기의 동작을 제어하기 위한 방법들이 설명되었지만, 본 명세서의 교시들의 범위를 벗어나지 않으면서 다양한 변형들이 이루어질 수 있고 등가물들이 이들의 엘리먼트들을 대신할 수 있다고 당해 기술분야에서 통상의 지식을 가진 자들에 의해 이해될 것이다. 추가로, 본 명세서의 교시들을 그 범위를 벗어나지 않으면서 특정 상황에 맞추도록 많은 변형들이 이루어질 수 있다. 따라서 청구항들은 본 명세서에 개시된 특정 예들에 국한되지 않는 것으로 의도된다.
청구항들에서 사용된 바와 같이, "위치"라는 용어는 3차원 좌표계에서의 포지션 및 그 좌표계에 대한 배향을 포함한다.
본 명세서에서 설명된 방법들은 제한 없이 저장 디바이스 및/또는 메모리 디바이스를 포함하는 비-일시적 유형의 컴퓨터 판독 가능 저장 매체에 구현된 실행 가능 명령들로서 인코딩될 수 있다. 이러한 명령들은 처리 또는 컴퓨팅 시스템에 의해 실행될 때 시스템으로 하여금, 본 명세서에서 설명한 방법들의 적어도 일부를 수행하게 한다.
이하에 제시되는 프로세스 청구항들은, 청구항들에서 기술되는 단계들의 일부 또는 전부가 수행되는 특정 순서를 나타내는 조건들을 청구항 표현이 명시적으로 특정하거나 언급하지 않는 한, 그러한 단계들이 알파벳 순서로(청구항들에서의 임의의 알파벳 순서는 이전에 기술된 단계들을 참조하기 위한 목적으로만 사용됨) 또는 그러한 단계들이 기술된 순서로 수행될 것을 요구하는 것으로 해석되지 않아야 한다. 프로세스 청구항들은, 청구항 표현이 그러한 해석을 배제하는 조건을 명시적으로 언급하지 않는 한, 동시에 또는 교대로 수행되는 2개 또는 그보다 많은 단계들의 어떠한 부분들도 배제하는 것으로 해석되지 않아야 한다.

Claims (11)

  1. 무인 항공기를 작동시키기 위한 방법으로서,
    (a) 구조물(18, 72)을 향해 비행하도록 무인 항공기(20)를 제어하는 단계;
    (b) 상기 무인 항공기가 비행하고 있는 동안 상기 구조물의 표면 상의 각각의 제1 스폿(106) 및 제2 스폿(108)으로부터 상기 무인 항공기에 탑재된 제1 레이저 거리계(138a) 및 제2 레이저 거리계(138b)를 각각 이격시키는 제1 거리 및 제2 거리를 반복해서 측정하기 위해 상기 제1 레이저 거리계 및 상기 제2 레이저 거리계를 사용하는 단계;
    (c) 상기 제1 거리 및 상기 제2 거리에 적어도 기초하여 상기 무인 항공기를 상기 구조물로부터 이격시키는 제1 이격 거리를 계산하는 단계;
    (d) 상기 제1 이격 거리가 목표 오프셋과 동일한지 여부를 결정하는 단계;
    (e) 상기 이격 거리가 상기 목표 오프셋과 동일하다는 단계(d)에서의 결정에 대한 응답으로 상기 제1 이격 거리만큼 상기 구조물로부터 이격된 제1 위치에서 호버링(hover)하도록 상기 무인 항공기를 제어하는 단계;
    (f) 상기 무인 항공기가 상기 제1 위치에서 호버링하고 있는 동안 상기 구조물의 제1 이미지를 캡처하기 위해 상기 무인 항공기에 탑재된 카메라(130)를 사용하는 단계; 및
    (g) 디스플레이 화면(116, 152) 상에 상기 제1 이미지를 디스플레이하는 단계를 포함하는,
    무인 항공기를 작동시키기 위한 방법.
  2. 제1 항에 있어서,
    상기 제1 거리와 상기 제2 거리는 상기 목표 오프셋과 동일하고,
    상기 방법은,
    상기 이격 거리 및 상기 카메라의 시야에 적어도 부분적으로 기초하여 상기 디스플레이 화면 상에 디스플레이될 때 상기 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및
    상기 디스플레이 화면 상에 디스플레이된 상기 제1 이미지 상에 오버레이된 스케일 표시자(76)를 디스플레이하는 단계를 더 포함하며,
    상기 스케일 표시자의 값 또는 길이가 상기 스케일 팩터를 나타내는,
    무인 항공기를 작동시키기 위한 방법.
  3. 제1 항에 있어서,
    상기 디스플레이 화면은 상기 무인 항공기에 탑재되지 않으며,
    상기 방법은,
    상기 무인 항공기로부터 상기 제1 이미지를 나타내는 이미지 데이터를 포함하는 메시지를 송신하는 단계;
    지상 스테이션(150)에서 상기 메시지를 수신하는 단계; 및
    상기 메시지로부터 상기 제1 이미지를 나타내는 이미지 데이터를 추출하는 단계를 더 포함하고,
    상기 디스플레이 화면 상에 상기 제1 이미지를 디스플레이하는 단계는 상기 이미지 데이터에 따라 상기 디스플레이 화면의 픽셀들의 상태들을 제어하는 단계를 포함하는,
    무인 항공기를 작동시키기 위한 방법.
  4. 제1 항에 있어서,
    상기 이격 거리를 유지하면서 제2 위치로 병진하도록 상기 무인 항공기를 제어하는 단계;
    상기 무인 항공기가 상기 제2 위치에서 호버링하고 있는 동안 상기 구조물의 제2 이미지를 캡처하기 위해 상기 카메라를 사용하는 단계; 및
    상기 디스플레이 화면 상에 상기 제2 이미지를 디스플레이하는 단계를 더 포함하는,
    무인 항공기를 작동시키기 위한 방법.
  5. 제4 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 상기 구조물의 표면 상에서 부분적으로 중첩하거나 인접한 영역들을 나타내는 제1 세트 및 제2 세트의 이미지 데이터를 각각 포함하는,
    무인 항공기를 작동시키기 위한 방법.
  6. 제1 항에 있어서,
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 구조물의 표면 상의 상기 제1 스폿(106)과 상기 제2 스폿(108)을 연결하는 선에 대한 상기 카메라의 초점 축의 배향각을 계산하는 단계;
    상기 이격 거리 및 상기 배향각에 적어도 부분적으로 기초하여 상기 디스플레이 화면 상에 디스플레이될 때 상기 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및
    상기 제1 이미지 상에 오버레이된 스케일 표시자(76)를 디스플레이하는 단계를 더 포함하며,
    상기 스케일 표시자의 값 또는 길이가 상기 스케일 팩터를 나타내는,
    무인 항공기를 작동시키기 위한 방법.
  7. 제1 항에 있어서,
    상기 무인 항공기가 비행하고 있는 동안 상기 구조물의 표면 상의 제3 스폿으로부터 상기 무인 항공기에 탑재된 제3 레이저 거리계(138)를 이격시키는 제3 거리를 반복해서 측정하기 위해 상기 제3 레이저 거리계를 사용하는 단계를 더 포함하며,
    상기 이격 거리는 상기 제1 거리, 상기 제2 거리 및 상기 제3 거리에 기초하여 계산되는,
    무인 항공기를 작동시키기 위한 방법.
  8. 제7 항에 있어서,
    상기 제1 거리, 상기 제2 거리 및 상기 제3 거리에 기초하여 상기 구조물의 표면 상의 상기 제1 스폿, 상기 제2 스폿 및 상기 제3 스폿에 의해 한정된 평면에 대한 상기 카메라의 초점 축의 제1 배향각 및 제2 배향각을 계산하는 단계;
    상기 이격 거리 그리고 상기 제1 배향각 및 상기 제2 배향각에 기초하여 상기 디스플레이 화면 상에 디스플레이될 때 상기 제1 이미지에 대한 스케일 팩터를 계산하는 단계; 및
    상기 제1 이미지 상에 오버레이된 스케일 표시자(76)를 디스플레이하는 단계를 더 포함하며,
    상기 스케일 표시자의 값 또는 길이가 상기 스케일 팩터를 나타내는,
    무인 항공기를 작동시키기 위한 방법.
  9. 제1 항에 있어서,
    상기 무인 항공기가 상기 제1 위치로부터 제2 위치로 이동한 후에 상기 목표 오프셋으로부터의 상기 이격 거리의 편차를 검출하는 단계; 및
    상기 이격 거리가 상기 목표 오프셋과 동일한 제3 위치로 비행함으로써 상기 편차를 0으로 감소시키도록 상기 무인 항공기를 제어하는 단계를 더 포함하며,
    상기 제3 위치를 향한 상기 무인 항공기의 비행의 제어는 상기 무인 항공기에 탑재된 모션 제어기(162)에 의해 제공되는,
    무인 항공기를 작동시키기 위한 방법.
  10. 제1 항에 있어서,
    상기 제1 거리, 상기 제2 거리 및 상기 제3 거리에 기초하여 상기 구조물의 표면에 대한 상기 카메라의 초점 축의 배향각을 계산하는 단계;
    상기 무인 항공기가 상기 제1 위치에서 호버링하고 있는 동안 원하는 배향각으로부터의 상기 배향각의 편차를 검출하는 단계; 및
    상기 배향각이 상기 원하는 배향각과 동일하게 되게 상기 무인 항공기의 배향을 변화시키도록 상기 무인 항공기를 제어하는 단계를 더 포함하며,
    상기 무인 항공기의 배향의 제어는 상기 무인 항공기에 탑재된 모션 제어기(162)에 의해 제공되는,
    무인 항공기를 작동시키기 위한 방법.
  11. 무인 항공기(20)로서,
    프레임(22);
    상기 프레임에 회전 가능하게 장착된 복수의 회전자들(124a-d);
    상기 복수의 회전자들 중 회전자들의 회전을 구동하도록 각각 결합된 복수의 모터들(148);
    상기 복수의 모터들의 동작을 제어하기 위한 복수의 모터 제어기들(168);
    상기 프레임에 장착된 팬-틸트(pan-tilt) 메커니즘(120);
    상기 팬-틸트 메커니즘에 장착된 카메라(130);
    상기 팬-틸트 메커니즘에 장착된 레이저 거리계(138);
    상기 모터 제어기들에 지시들을 전송하고, 상기 팬-틸트 메커니즘의 동작을 제어하며, 그리고 상기 카메라 및 상기 레이저 거리계를 선택적으로 작동시키도록 구성된 컴퓨터 시스템(162);
    상기 프레임에 장착되어 선형 가속도 및 회전 속도 데이터를 상기 컴퓨터 시스템에 전송하도록 구성된 관성 측정 유닛(166); 및
    상기 컴퓨터 시스템과 제어 스테이션(150) 사이의 통신을 가능하게 하도록 구성된 트랜시버(160)를 포함하며,
    상기 컴퓨터 시스템은,
    상기 카메라로부터의 이미지 데이터, 상기 팬-틸트 메커니즘으로부터의 팬 및 틸트 각도 데이터, 상기 레이저 거리계로부터의 거리 데이터, 및 상기 관성 측정 유닛으로부터의 선 가속도 및 회전 속도 데이터를 수신하고;
    구조물에 대한 상기 무인 항공기의 제1 위치를 결정하고; 그리고
    상기 무인 항공기를 상기 제1 위치로부터 제2 위치로 비행시키기 위한 제1 지시를 상기 모터 제어기들에 전송하도록 ― 상기 제2 위치에서 상기 카메라가 상기 구조물의 표면으로부터 목표 오프셋만큼 이격됨 ―
    추가로 구성되는,
    무인 항공기(20).
KR1020180098615A 2017-09-25 2018-08-23 항공 비파괴 검사를 위한 포지셔닝 시스템 KR20190035496A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/714,662 2017-09-25
US15/714,662 US10788428B2 (en) 2017-09-25 2017-09-25 Positioning system for aerial non-destructive inspection

Publications (1)

Publication Number Publication Date
KR20190035496A true KR20190035496A (ko) 2019-04-03

Family

ID=62495700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098615A KR20190035496A (ko) 2017-09-25 2018-08-23 항공 비파괴 검사를 위한 포지셔닝 시스템

Country Status (8)

Country Link
US (1) US10788428B2 (ko)
EP (1) EP3460392A3 (ko)
JP (1) JP7260269B2 (ko)
KR (1) KR20190035496A (ko)
CN (1) CN109556577B (ko)
BR (1) BR102018012662B1 (ko)
CA (1) CA3006155C (ko)
SG (1) SG10201804546TA (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
JP6715340B2 (ja) * 2016-10-14 2020-07-01 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
US10620002B2 (en) * 2017-11-14 2020-04-14 Saudi Arabian Oil Company Incorporate wall thickness measurement sensor technology into aerial visual inspection intrinsically safe drones
US20220019222A1 (en) * 2017-11-28 2022-01-20 Acsl Ltd. Unmanned Aerial Vehicle, Unmanned Aerial Vehicle Flight Control Device, Unmanned Aerial Vehicle Flight Control Method and Program
JP7012522B2 (ja) * 2017-12-01 2022-01-28 三菱電機株式会社 測定システム、測定指示装置、及びプログラム
US10776987B2 (en) * 2018-03-05 2020-09-15 Disney Enterprises, Inc. Aerial imaging high-accuracy scale calibration
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
WO2019236588A1 (en) 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
US20210266461A1 (en) * 2018-07-04 2021-08-26 c/o H3 DYNAMICS PTE. LTD. Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
US11630083B2 (en) * 2018-12-21 2023-04-18 The Boeing Company Location-based scanner repositioning using non-destructive inspection
US20200264279A1 (en) * 2019-02-20 2020-08-20 Flir Surveillance, Inc. Rotatable light sources and associated pulse detection and imaging systems and methods
JP7213104B2 (ja) * 2019-02-27 2023-01-26 三菱重工業株式会社 無人航空機および検査方法
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
US10712286B1 (en) * 2019-04-23 2020-07-14 The Boeing Company Systems and methods for non-destructive evaluation of a structure
US11275391B2 (en) * 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles
WO2021010907A2 (en) * 2019-06-07 2021-01-21 Ptt Exploration And Production Public Company Limited A system for steady movement toward a curved wall of an unmanned aerial vehicle (uav) and method for movement toward said curved wall
CN110371292A (zh) * 2019-06-25 2019-10-25 天津大学 一种无人机捕获回收装置
EP3767417A1 (en) 2019-07-15 2021-01-20 Ventus Engineering GmbH Method of performing an inspection and an airborne system therefore
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
CN110658844B (zh) * 2019-08-23 2022-06-14 中国南方电网有限责任公司超高压输电公司昆明局 一种特高压直流线路通道无人机监控方法及其系统
CN110702343B (zh) * 2019-09-20 2021-06-08 武汉中岩科技股份有限公司 一种基于立体视觉的挠度测量系统及方法
CN112580420A (zh) * 2019-09-30 2021-03-30 卡巴斯基实验室股份制公司 用于抵制无人驾驶飞行器的系统和方法
CN112492514B (zh) * 2019-10-16 2023-05-26 广东美嘉欣创新科技股份有限公司 一种能扩大无人机可操控范围的飞行数据及图像传输装置
KR102083132B1 (ko) * 2019-12-12 2020-02-28 우현선박기술 주식회사 초음파 두께 측정 기술과 영상 송출 기능을 탑재한 선박검사 및 측정용 드론 시스템
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN113064134B (zh) * 2019-12-16 2024-05-03 南京理工大学 基于改进模糊神经网络滤波的激光雷达回波处理方法
CN111103297A (zh) * 2020-01-20 2020-05-05 无锡市建筑工程质量检测中心 一种建筑外墙面层质量的非接触式检测方法及其检测系统
FR3106883B1 (fr) * 2020-01-30 2023-01-06 Horizon Data Services Procédé de mesure de diamètre d’organe cylindrique et dispositif d’aide à la mesure pour réaliser un tel procédé
CN111551173A (zh) * 2020-02-19 2020-08-18 中国人民解放军海军航空大学 一种使用外部测量仪测量飞行器航向输出的系统
US11555693B2 (en) * 2020-05-12 2023-01-17 The Boeing Company Measurement of surface profiles using unmanned aerial vehicles
JP7216046B2 (ja) * 2020-05-28 2023-01-31 中部電力株式会社 巡視点検システム
CN112631333B (zh) * 2020-12-25 2024-04-12 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片
WO2022172987A1 (ja) * 2021-02-15 2022-08-18 株式会社Liberaware 作業システムおよび機体の制御方法
KR102610397B1 (ko) * 2021-06-08 2023-12-05 금오공과대학교 산학협력단 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템
CN113251940A (zh) * 2021-06-15 2021-08-13 湖南东润智能仪表有限公司 桥梁结构挠度测量装置
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11953309B2 (en) * 2021-09-22 2024-04-09 Lockheed Martin Corporation Automated non-contact thickness inspection and projection system using color-coded based patterns
CN113793367B (zh) * 2021-11-17 2022-02-15 西南交通大学 一种工程结构转角位移视觉测量及动力识别系统及方法
CN114148536B (zh) * 2021-11-29 2023-05-23 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的线位移补偿控制方法
CN114353619B (zh) * 2021-12-08 2023-11-21 中航西安飞机工业集团股份有限公司 一种长标尺测量靶标之间距离的标定方法
CN114838710B (zh) * 2022-03-29 2023-08-29 中国一冶集团有限公司 基于无人机拍照的工程用快速的测绘方法及测绘系统
CN114852621A (zh) * 2022-05-05 2022-08-05 衡阳镭目科技有限责任公司 柴油发电机组输送系统、方法及存储介质
CN114789798B (zh) * 2022-06-27 2022-10-25 成都飞机工业（集团）有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN115379123B (zh) * 2022-10-26 2023-01-31 山东华尚电气有限公司 一种用无人机巡检的变压器故障检测方法
CN116087235B (zh) * 2023-04-07 2023-06-20 四川川交路桥有限责任公司 一种多源耦合的桥梁损伤探测方法及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2834660A1 (de) 1978-08-08 1980-02-21 Honeywell Gmbh Laser-entfernungsmesser
JP2003185783A (ja) * 2001-12-20 2003-07-03 Hitachi Ltd 炉内目視検査装置
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
JP4992405B2 (ja) * 2006-12-12 2012-08-08 株式会社デンソー 車載機器の操作装置
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8214098B2 (en) 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
IL192601A (en) 2008-07-03 2014-07-31 Elta Systems Ltd Discovery / Transmission Device, System and Method
US8300096B2 (en) 2008-10-22 2012-10-30 Michael Franklin Abernathy Apparatus for measurement of vertical obstructions
GB0920636D0 (en) 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US8744133B1 (en) 2010-10-04 2014-06-03 The Boeing Company Methods and systems for locating visible differences on an object
US9221506B1 (en) 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
EP2861972A4 (en) * 2012-06-18 2016-01-13 Collineo Inc VISUAL REMOTE TEST SYSTEM AND METHOD
DE102013000410A1 (de) 2013-01-11 2014-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autonomen Navigation einer eigenfortbewegungsfähigen Plattform relativ zu einem Objektiv
US9453500B2 (en) * 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
CN104298248B (zh) * 2014-10-08 2018-02-13 南京航空航天大学 旋翼无人机精确视觉定位定向方法
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
CN110027709B (zh) * 2015-03-12 2022-10-04 奈庭吉尔智慧系统公司 自动化无人机系统
KR20160142482A (ko) * 2015-06-02 2016-12-13 고려대학교 산학협력단 건설용 무인 비행체 장치
US20180273173A1 (en) * 2015-09-22 2018-09-27 Pro-Drone Lda Autonomous inspection of elongated structures using unmanned aerial vehicles
JP6375503B2 (ja) * 2015-10-15 2018-08-22 株式会社プロドローン 飛行型検査装置および検査方法
US10012509B2 (en) * 2015-11-12 2018-07-03 Blackberry Limited Utilizing camera to assist with indoor pedestrian navigation
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9613538B1 (en) * 2015-12-31 2017-04-04 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
KR20170084966A (ko) 2016-01-13 2017-07-21 주식회사 이지시스 국소위치인식시스템
EP3936961A1 (en) * 2016-02-29 2022-01-12 SZ DJI Technology Co., Ltd. Methods and systems for movement control of flying devices
JP6024074B1 (ja) * 2016-04-19 2016-11-09 株式会社ニチギ 写真撮影用無人移動体
US11203425B2 (en) * 2016-06-30 2021-12-21 Skydio, Inc. Unmanned aerial vehicle inspection system
CN106441278A (zh) * 2016-09-29 2017-02-22 长沙开元仪器股份有限公司 一种无人机室内定位系统及方法
US10724505B2 (en) * 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
DE102017117049A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Verfahren zur Erstellung eines 3D-Modells von einem Objekt
US10317905B2 (en) * 2017-08-10 2019-06-11 RavenOPS, Inc. Autonomous robotic technologies for industrial inspection

Also Published As

Publication number Publication date
CA3006155C (en) 2023-03-07
EP3460392A3 (en) 2019-08-07
SG10201804546TA (en) 2019-04-29
US10788428B2 (en) 2020-09-29
BR102018012662A2 (pt) 2019-04-16
CA3006155A1 (en) 2019-03-25
US20190094149A1 (en) 2019-03-28
EP3460392A2 (en) 2019-03-27
CN109556577B (zh) 2022-11-29
JP7260269B2 (ja) 2023-04-18
BR102018012662B1 (pt) 2023-04-25
BR102018012662A8 (pt) 2022-12-20
JP2019114234A (ja) 2019-07-11
CN109556577A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109556577B (zh) 用于空中非破坏性检查的定位系统
CN109552665B (zh) 用于使用悬索平台测量和检查结构的方法
US20210065400A1 (en) Selective processing of sensor data
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
JP4345014B2 (ja) 機械制御可能な乗り物用の測定および安定化システム
RU2623295C2 (ru) Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства
JP6843773B2 (ja) 環境の走査及び無人航空機の追跡
US8699005B2 (en) Indoor surveying apparatus
EP2818958B1 (en) Flying vehicle guiding system and associated guiding method
US20100226541A1 (en) System and method for detecting position of underwater vehicle
EP3474109A1 (en) Measuring device, control device for unmanned aerial vehicle and method for controlling unmanned aerial vehicle
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
WO2020103049A1 (zh) 旋转微波雷达的地形预测方法、装置、系统和无人机
WO2020061857A1 (en) Autofocusing camera and systems
CN115932882A (zh) 通过自主机器人载具提供环境的3d探测的系统
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
JP2022149716A (ja) 測量システム
CN115718298A (zh) Ugv和uav自动提供其激光雷达数据参照进行3d探测的系统
CN114078142A (zh) 主动式万向支架稳定的航空视觉惯性导航系统
Sanna et al. A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs
CN202084081U (zh) 运动体运动姿态感知系统
CN109669468B (zh) 测量装置、无人机及其控制装置、控制方法及存储介质
Murcia et al. A Low-Cost 3D Mapping System for Indoor Scenes Based on a 2D LiDAR On-Board an UGV
JP2024008901A (ja) ３次元データ生成システム、３次元データ生成方法、及びマーカーメジャー
CN114127510A (zh) 3d定位和测绘系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal