KR20190101961A - 이미지 센서 기반 자율 착륙 - Google Patents

이미지 센서 기반 자율 착륙 Download PDF

Info

Publication number
KR20190101961A
KR20190101961A KR1020197014660A KR20197014660A KR20190101961A KR 20190101961 A KR20190101961 A KR 20190101961A KR 1020197014660 A KR1020197014660 A KR 1020197014660A KR 20197014660 A KR20197014660 A KR 20197014660A KR 20190101961 A KR20190101961 A KR 20190101961A
Authority
KR
South Korea
Prior art keywords
aircraft
image
landing
tdp
offset
Prior art date
Application number
KR1020197014660A
Other languages
English (en)
Other versions
KR102483714B1 (ko
Inventor
오하드 로젠버그
하임 소메크
Original Assignee
이스라엘 에어로스페이스 인더스트리즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이스라엘 에어로스페이스 인더스트리즈 리미티드 filed Critical 이스라엘 에어로스페이스 인더스트리즈 리미티드
Publication of KR20190101961A publication Critical patent/KR20190101961A/ko
Application granted granted Critical
Publication of KR102483714B1 publication Critical patent/KR102483714B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B64C2201/141—
    • B64C2201/187—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/60—Take-off or landing of UAVs from a runway using their own power

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법이 제공된다. 이 방법은 컴퓨터를 이용하여: 활주로에 접근하는 동안 항공기에 탑재된 카메라에 의해 캡쳐된 이미지에 이미지 프로세싱을 적용하여 이미지에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계; 이미지의 중심에 대한 TDP의 이미지 파라미터의 편차를 계산하는 단계; 미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차 값으로 변환하는 단계; 계산된 각도 및 거리 편차에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 단계; 및 항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를 포함하는 단계들을 수행하는 단계를 포함하고, 여기서, 오프셋은 착륙을 가능하게 하기 위해 착륙 회랑을 향해 항공기를 안내하도록 항공기를 제어하기 위해 사용된다.

Description

이미지 센서 기반 자율 착륙
본 발명은 자율 착륙(autonomous landing) 중 항공기를 제어하는 시스템 및 방법에 관한 것이다.
"드론"이라고도 알려진 UAV(Unmanned aerial vehicle)는 다양한 수준의 자율성으로(즉, 휴먼 운전자에 의한 원격 제어되거나 또는, 예컨대, 온보드 컴퓨터에 의한 완전한 또는 간헐적으로 자율적으로) 작동될 수 있다. UAV를 원격으로 조작할 때, 데이터 링크 지연 시간은 착륙 시 수동 제어를 어렵게 하거나 심지어 위험하게 만들 수 있다. 그러므로, 드론이 사람에 의해 정상적으로 작동되는 상황에서도, 자율 착륙이 사용될 수 있다. 또한, 자율 착륙은, 예를 들어, 비행 조건이 좋지 않은 경우와 같이, 인적 오류로 인한 사고 방지를 돕기 위해 유인 항공기를 착륙시키기 위해서도 사용될 수 있다.
많은 경우에, 자율 착륙 시스템은 항공기의 위치를 제공하기 위해 GPS(Global Positioning System)에 의존한다. 그러나, 경우에 따라 오작동 또는 전파 방해(jamming)로 인해 GPS가 사용 불가능할 수 있다. 그러므로, GPS에 의존하지 않는 자율 착륙을 가능하게 하기 위한 방법 및 시스템을 갖는 것이 바람직하다.
본 발명의 일 양태에 따르면, 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법이 제공된다. 이 방법은 컴퓨터를 이용하여: 활주로에 접근하는 동안 항공기에 탑재된 카메라에 의해 캡쳐된 이미지에 이미지 프로세싱을 적용하여 이미지에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계; 이미지의 중심에 대한 TDP의 이미지 파라미터의 편차를 계산하는 단계; 미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차 값으로 변환하는 단계; 계산된 각도 및 거리 편차에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 단계; 및 항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를 포함하는 단계들을 수행하는 단계를 포함하고, 여기서, 오프셋은 착륙을 가능하게 하기 위해 착륙 회랑을 향해 항공기를 안내하도록 항공기를 제어하기 위해 사용된다.
상기 특징들에 부가하여, 본 발명의 이 양태에 따른 방법은 기술적으로 가능할 수 있는 임의의 원하는 조합 또는 순열로 아래 나열된 특징(i) 내지(xi) 중 하나 이상을 포함할 수 있다.
(i). 여기서, 이미지 파라미터의 편차를 계산하는 단계는: 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계; 이미지의 수평 y-축으로부터 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및 이미지의 세로 z-축으로부터 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 포함한다.
(ii). 여기서, 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 단계는: 착륙 회랑에 대한 항공기의 횡방향 오프셋을 계산하는 단계; 및 착륙 회랑에 대한 항공기의 종방향 오프셋을 계산하는 단계를 포함한다.
(iii). 착륙 회랑을 향해 항공기를 안내하도록 항공기를 제어하는 단계를 더 포함한다.
(iv). 하나 이상의 항공기 파라미터를 획득하는 단계; 및 획득된 하나 이상의 항공기 파라미터를 이용하여 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 단계를 더 포함한다.
(v). 항공기의 축에 대해 항공기에 탑재된 상기 카메라의 포지셔닝의 하나 이상의 카메라 파라미터를 획득하는 단계; 및 획득된 하나 이상의 카메라 파라미터를 이용하여 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 단계를 더 포함한다.
(vi). 항공기가 안전하게 착륙할 때까지 프로세스를 반복하는 단계를 더 포함한다.
(vii). TDP가 식별될 때까지 이미지를 지속적으로 획득하는 단계를 더 포함한다.
(viii). 여기서, 이미지에서 활주로의 TDP를 식별하는 단계는: 이미지 내에 활주로를 위치시키는 단계; 활주로의 시작과 끝을 식별하는 단계; 및 활주로의 시작과 끝을 기준으로 TDP의 위치를 식별하는 단계를 포함한다.
(ix). 여기서, 하나 이상의 항공기 파라미터는 지면으로부터의 항공기의 고도 및 항공기의 각도 중 하나 이상을 포함한다.
(x). 여기서, 항공기는 무인 항공기(UAV)이다.
(xi). 여기서, 카메라의 시야(FOV)는 항공기의 노즈 전방 영역의 이미지를 캡쳐할 수 있게 하는 방향을 가리킨다.
본 발명의 다른 양태에 따라, 센서 네트워크를 동작시키는 상기 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 컴퓨터 프로그램 저장 장치가 제공된다.
개시된 본 발명의 이 양태는 기술적으로 가능할 수 있는 임의의 바람직한 조합 또는 순열로, 필요에 따라 변경된, 상기 나열된 특징(i) 내지(xi) 중 하나 이상을 선택적으로 포함할 수 있다.
개시된 본 발명의 다른 양태에 따라, 자율 착륙 시 항공기를 제어하기 위해 항공기에 장착 가능한 시스템이 제공된다. 이 시스템은 카메라; 및 카메라에 동작 가능하게 연결된 프로세서를 포함하고, 이 프로세서는: 카메라로부터 캡쳐된 이미지를 획득하는 단계; 이미지 내에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계; 식별된 TDP에 대하여 이미지의 중심으로부터 이미지 파라미터의 편차를 계산하는 단계; 미리 정해진 비율을 기초로 이미지 파라미터의 편차를 각도 및 거리 편차로 변환하는 단계; 계산된 각도 및 거리 편차를 기초로 하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 항공기의 위치의 오프셋을 계산하는 단계; 및 계산된 오프셋을 항공기를 제어하기 위한 명령어를 제공하도록 구성된 항공기 제어 시스템으로 전송하는 단계를 수행하도록 구성되며; 오프셋은 착륙 시 상기 항공기를 제어하기 위해 사용된다.
개시된 본 발명의 이 양태는 선택적으로, 기술적으로 가능할 수 있는 임의의 바람직한 조합 또는 순열로, 필요에 따라 변경된, 상기 나열된 특징(i) 내지(xi) 중 하나 이상을 선택적으로 포함할 수 있다. 상기 특징들에 부가하여, 현재 개시된 발명의 이 양태에 따른 시스템은 기술적으로 가능한 임의의 바람직한 조합 또는 순열로 이하에 열거된 특징(xii) 내지(xvi) 중 하나 이상을 포함할 수 있다.
(xii). 여기서, 카메라는 파노라마 카메라; 중파장 적외선 카메라; 단파장 적외선 카메라; 광 검출 및 거리 측정 카메라; 및 합성 개구 레이더 카메라로 이루어진 그룹에서 선택된다.
(xiii). 여기서, 비행 제어 시스템은 엔진; 비행 제어 표면 및 랜딩 기어로 이루어진 그룹 중 하나 이상에 동작 가능하게 연결된다.
(xiv). 여기서, 하나 이상의 항공기 파라미터 센서는 고도 센서; 각도 센서; 및 속도 센서로 이루어진 그룹으로부터 선택된다.
(xv). 여기서, 고도 센서는 고도계; 레이더 고도계; 및 기압계로 이루어진 그룹으로부터 선택된다.
(xvi). 여기서, 각도 센서는 관성 항법 시스템; 자이로스코프; 나침반; 및 자력계로 이루어진 그룹으로부터 선택된다.
본 발명을 이해하고 그것이 실제로 어떻게 수행될 수 있는지를 이해하기 위해, 비 제한적인 예로서 아래의 첨부 도면을 참조하여 실시예들이 설명 될 것이다.
도 1은 본 발명의 특정 예에 따른 자율 착륙 시 항공기를 제어하기 위한 시스템의 기능 블록도를 도시한다.
도 2는 본 발명의 특정 예에 따른 자율 착륙 시 항공기를 제어하는 방법의 일반화된 흐름도를 도시한다.
도 3은 본 발명의 특정 예에 따른 이미지 파라미터 편차를 계산하기 위한 방법의 흐름도를 도시한다.
도 4는 본 발명의 특정 예에 따른 항공기에 탑재된 카메라에 의해 촬영된 이미지를 개략적으로 도시한다.
도 5는 본 발명의 특정 예에 따른 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 방법의 흐름도를 도시한다.
도 6은 본 발명의 특정 예에 따른 이미지 센서의 시야를 개략적으로 도시한다.
이하의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 나열된다. 그러나, 당업자는 현재 개시된 주제가 이들 특정 세부 사항없이 실시될 수도 있음을 이해할 것이다. 다른 예들에서, 널리 공지된 방법, 프로시저, 구성 요소 및 회로들은 현재 개시된 주제를 모호하게하지 않기 위해 상세히 설명되지는 않는다.
특별히 다르게 언급되지 않는 한, 아래의 논의로부터 명백한 바와 같이, 본 명세서 전반에 걸쳐 "획득하다", "식별하다", "계산하다", "변환하다", "전송하다", "정의하다", "사용하다", "제어하다", "반복하다", "위치 지정하다", "생성하다", 또는 "판정하다" 등과 같은 용어를 사용하는 설명은 데이터를 조작하고 및/또는 다른 데이터로 변환하는 컴퓨터의 동작(들) 및/또는 프로세스(들)를 나타내며, 상기 데이터는 전자와 같은 물리적 양으로서 나타내고 및/또는 상기 데이터는 물리적 객체를 나타낸다.
용어 "컴퓨터" 또는 "프로세서" 또는 이들의 변형은 제한하지 않는 예로서 처리 장치(예컨대, 디지털 신호 프로세서(DSP), 마이크로컨트롤러, 현장 프로그래밍 가능한 회로, 주문형 집적 회로(ASIC: application-specific integrated circuit) 등) 또는 하나 이상의 처리 장치를 포함하거나 동작적으로 연결된 장치를 포함하는 데이터 처리 능력을 제공하는 처리 회로를 포함하는 임의의 종류의 하드웨어 기반 전자 장치를 커버하는 것으로 광범위하게 해석되어야 한다.
본 명세서의 교시에 따른 동작은 원하는 목적을 위해 특별히 구성된 컴퓨터에 의해 또는 비 일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 의해 원하는 목적을 위해 특별히 구성된 범용 컴퓨터에 의해 수행될 수 있다.
본 개시된 발명의 실시예는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어가 본 명세서에 기재된 본 발명의 교시를 구현하는데 사용될 수 있음이 이해될 것이다.
이를 염두에 두고, 본 개시된 주제의 특정 예에 따른 자율 착륙 시스템(100)을 도시하는 도 1을 주목한다. 도시된 자율 착륙 시스템(100)은 이미지 프로세싱 및 여기에 개시된 다양한 동작을 수행하도록 구성된 하나 이상의 프로세서(102)를 포함한다.
프로세서(102)는 이미지 센서(104), 고도 센서(106), 각도 센서(108), 속도 센서(110) 및 자동 착륙 모듈(ALM)(112)에 동작 가능하게 연결된다.
이미지 센서(104)는 항공기 내측에 위치하며, 그 시야는 항공기의 노즈 앞에 있는 영역의 이미지를 캡쳐할 수 있는 방향을 가리킨다. 이미지 센서(104)는, 예컨대, 파노라믹[pano], 적외선[IR], 중파장 적외선[MWIR], 단파장 적외선[SWIR], 라이다[LIDAR], 합성 개구 레이더[SAR], 주간 및/또는 야간 동안 센서로서 사용될 수 있는 임의의 적절한 복수의 스펙트럼 감지 장치 등의 카메라/센서 중 하나 이상을 포함할 수 있다. 선택사항으로서, 이미지 센서(104)는 상이한 선택 가능한 동작 모드를 가질 수 있다. 이미지 센서(104)의 적절한 동작 모드는, 예컨대, 일중시간, 날씨 등을 포함하는 다양한 실시간 파라미터에 기초하여 선택될 수 있다.
고도 센서(106)는 항공기의 고도를 판정하도록 구성된다. 고도 센서(106)는, 예를 들어, 고도계, 레이더 고도계 [RALT], 기압계, 또는 임의의 다른 적절한 고도 감지 장치와 같은 하나 이상의 센서를 포함할 수 있다.
각도 센서(108)는 항공기의 각도(예를 들어, 오일러 각, 방위각 등)를 판정하도록 구성된다. 각도 센서(108)는, 예를 들어, 관성 항법 시스템 [INS], 자이로스코프, 나침반, 자력계, 임의의 다른 적절한 각도 감지 장치 등의 하나 이상의 유형의 센서를 포함할 수 있다.
속도 센서(110)는 항공기의 속도를 감지하도록 구성된다. 속도 센서(110)는, 예를 들어, 피봇 튜브 또는 임의의 다른 적절한 속도 감지 장치를 포함할 수 있다.
고도 센서(106), 각도 센서(108) 및 속도 센서(110)는 항공기에 탑재 될 수 있다.
ALM(112)은 항공기에 탑재될 수 있으며, 항공기의 비행 제어 시스템(114)에 작동 가능하게 연결된 항공기 제어 시스템이다. ALM(112)은(예를 들어, 프로세서(102)로부터) 데이터를 수신하고 그에 따라 항공기의 착륙을 제어하도록 구성된다. 예를 들어, ALM(112)은 하나 이상의 비행 제어 시스템(114)에 의해 사용되는 비행 커맨드/명령을 생성함으로써 항공기의 착륙을 제어할 수 있다. ALM(112)은, 예를 들어, 자동 이착륙(ATOL) 시스템일 수 있다.
일반적인 ATOL 시스템은 지상 레이저 레이더 및 내장형 레트로 반사기를 기반으로 하는 차동 위성 위치 확인 시스템(DGPS) 및 옵티컬 포지셔닝 및 트레킹 시스템(OPATS: Optronic Positioning and Tracking System)을 사용하여 자동 이착륙을 제공할 수 있다.
일반적인 ATOL 제어 루프에서, UAV는 위치 측정을 사용하여 글라이드 슬로프(GLS)로부터의 UAV의 편차를 계산한다. UAV는 ATOL 제어 루프를 사용하여 GLS 및 활주로 중심선을 유지 관리한다. 모든 루프 커맨드(피치, 롤, 스로틀, 러더, 노즈 휠 조향)는 관련 프로세스(이륙 또는 착륙)의 UAV 상태에 따라 계산된다. 종방향 루프는 원하는 GLS, 하강 속도 및 터치다운 시의 자세에 대한 UAV의 수직 위치를 제어한다. 횡방향 루프는 활주로 중심선을 기준으로 위치를 제어하고 활주로 조향을 수행한다. 루프는 적절한 헤딩 및 뱅크 각도에서 터치다운을 보장한다. 일반적인 ATOL 시스템이 DGPS를 사용하면, 측면 및 수직 거리 편차 또는 GLS로부터의 "오프셋"이 ATOL 시스템에 입력된다.
전형적인 ATOL에서, OPATS은 이륙 또는 착륙 접근 중에 UAV 동적 위치를 측정하는 결합된 이중 레이저 레이더 및 TV 카메라 센서이다. UAV는 레이저 레이더의 레이저 펄스에 의해 "조명"된다. 이 펄스는 UAV 레트로 반사기에 의해 OPATS로 반향된다. 이러한 에코로부터, OPATS는 UAV 거리, 방위각 및 앙각을 판정한다. 이 데이터는 UAV 제어 시스템(UCS)으로, 그리고 ATL 제어 루프 피드백을 위해 UCS에서 UAV로 전송된다. 유사한 기능은 지상 기반 송신기 및 공중 에코 시스템을 사용하여 전자기 레이더로 달성할 수 있다.
본 발명은 GPS 또는 레이저 레이더를 사용할 필요없이, 본 명세서에 기술된 바와 같이 이미지 센서에 의해 캡쳐된 이미지로부터의 데이터를 판정함으로써 ATOL 시스템을 사용할 수 있다.
본 발명은 또한 지상-기반 레이더 송신기로부터 송신되는 레이더 송신에 의존하지 않으며, 따라서 상기 지상 기반 레이더 송신기가 각 착륙 지점에 배치되어 존재할 것을 요구하지 않는다.
비행 제어 시스템(114)은 항공기 기동을 가능하게 하도록 구성된 항공기에 탑재된 다양한 서브 시스템에 동작 가능하게 연결된다. 이러한 서브 시스템은 예컨대 엔진(116), 비행 제어 장치(118)(예컨대, 에일러론, 엘리베이터, 방향타, 스포일러, 플랩, 슬랫, 공기 브레이크 등), 랜딩 기어(120) 등을 포함할 수 있다.
본 발명의 내용의 교시는 도 1을 참조하여 설명된 자율 착륙 시스템(100)에 의해 한정되지 않는다는 것을 이해해야 한다. 등가 및/또는 수정된 기능은 다른 방식으로 통합되거나 분할될 수 있으며 펌웨어 및/또는 하드웨어와 소프트웨어의 적절한 조합으로 구현될 수 있으며 적합한 장치에서 실행될 수 있다. 예를 들어, 이미지는 제3자의 장비를 포함하는 다른 시스템에 의해 제공될 수 있으며, 처리는 항공기에서 원격으로 수행될 수 있다.
이제, 본 발명의 특정 예에 따른 동작의 흐름도를 도시하는 도 2, 도 3 및 도 5를 참조한다.
본 발명의 교시는 도 2, 도 3 및 도 5에 도시된 흐름도에 의해 한정되지 않으며, 도시된 동작은 도시된 순서와 다르게 발생할 수 있음을 이해해야 한다. 예를 들어, 연속적으로 도시된 동작(306 및 308)은 실질적으로 동시에 또는 역순으로 실행될 수 있다. 또한, 흐름도는 자율 착륙 시스템(100)의 구성 요소를 참조하여 설명되지만, 이는 단지 예로서 행해지는 것으로 제한적으로 해석되어서는 안된다.
도 2는 본 발명의 특정 실시예에 따라 자율 착륙 중에 항공기를 제어하는 방법의 일반화된 흐름도를 도시한다.
블록(202)에서, 터치다운 포인트(TDP)에 대한 착륙 회랑(corridor)과 관련된 파라미터는(예를 들어, 프로세서(102)에 의해) 형성 및/또는 획득된다. 본 명세서에 사용된 용어 "터치다운 포인트"는 활주로 상에 항공기의 착륙을 시작하기에 적합한 활주로의 영역(예를 들어, 활주로상의 항공기의 초기 터치다운을 위한 지정된 영역)을 지칭한다. 활주로에 상대적인 TDP의 위치는 항공 플랫폼의 종류에 따라 상이할 수 있다.
본 명세서에서 사용되는 "착륙 회랑"이라는 용어는 착륙 시 항공기를 TDP로 유도하는 비행 경로를 의미한다. 착륙 회랑은 착륙 시 항공기가 지침으로 사용하기 위한 기준을 제공한다. 이와 같이, 착륙 회랑은 TDP 및/또는 활주로와 관련하여 위치 및 코스를 규정하는 다양한 횡방향, 종방향, 고도 및 각도 파라미터를 포함할 수 있다. 착륙 회랑의 파라미터는 미리 정의되고 시스템의 메모리에 저장되어 요청시 프로세서가 획득할 수 있다.
착륙 회랑은 상이한 거리 및 상이한 각도로 연장되는 하나 이상의 활주 다리를 포함할 수 있다. 비 제한적인 예에서, 착륙 회랑은 TDP에서 시작된 1.5 ° 경사면을 가진 400 미터 활주 경로 및 이어진 4° 경사면을 가진 3킬로미터 활주 경로를 포함할 수 있다. 비 제한적인 다른 예에서, TDP는 활주로의 1/3의 끝에 위치하는 것으로 미리 정의될 수 있으며, 착륙 회랑은 TDP로부터 300 ° 후방으로 1.5 ° 기울어진 활주 경로와 이어진 4° 경사의 2킬로미터 활주 경로로서 정의될 수 있다.
블록(204)에서, 하나 이상의 카메라 파라미터들이(예를 들어, 프로세서(102)에 의해) 정의 및/또는 획득된다. 카메라 파라미터는 미리 정의되어 시스템의 메모리에 저장되어 요청시 프로세서가 획득할 수 있다. 카메라 파라미터에는 카메라의 화각, 항공기의 축에 대한 카메라의 지지 및 누름 각도, 카메라의 시야(FOV) 등이 포함되지만 이에 국한되지는 않는다.
어떤 경우에는, 예를 들어, 카메라가 고정된 위치(예를 들어, 실질적으로 직진하여 상대적으로 작은 기울기로 하향으로)에 항공기에 부착되는 경우, 이들 카메라 파라미터는 일정할 수 있다. 다른 경우에, 이러한 카메라 파라미터는, 예를 들어, 짐벌과 같은 회전 가능한 지지체를 사용하여 항공기에 부착되는 경우, 카메라의 현재 위치에 기초하여 지속적으로 업데이트될 필요가 있다.
경우에 따라, 카메라가 고정 위치에 부착된 경우에도 시야가 카메라 작동 모드(예컨대, 줌인 또는 줌아웃)에 의해 영향을 받을 수 있다.
블록(206)에서, (예를 들어, 고도 센서(106), 각도 센서(108), 속도 센서(110) 등에 의해) 하나 이상의 항공기 파라미터가 결정된다. 항공기 파라미터는 항공기의 고도, 항공기의 각도 방위, 항공기의 속도 등을 포함하지만 이에 한정되지는 않는다.
블록(208)에서, 항공기가 활주로에 접근하는 동안, 적어도 하나의 이미지가(예를 들어, 이미지 센서(104)에 의해) 캡쳐된다. 전술한 바와 같이, 이미지 센서(104)의 시야는 항공기의 노즈 앞에 있는 영역의 이미지를 포착할 수 있는 방향을 가리키는 FOV를 갖는 항공기에 고정된다. 항공기에 부착된 카메라 및 이미지 센서의 FOV를 보여주는 개략도가 도 6에 도시되어 있다.
이미지 프로세싱은 포착된 이미지에 적용되어 활주로의 TDP를 식별한다(블록(210)). 선택사항으로, 활주로의 시작과 끝은 포착된 이미지에서 식별될 수 있으며, TDP의 위치는 활주로의 시작과 끝 위치에 상대적으로 식별될 수 있다(예컨대, TDP가 활주로의 1/3 끝 부분에 위치하는 것으로 식별될 수 있다).
몇몇 예에서, 복수의 카메라로부터 동시적으로 다수의 이미지들이 캡쳐될 수 있으며, 각각은 동일한 및/또는 상이한 각도 방위를 갖지만 적어도 부분적으로 중첩된 TDP의 뷰를 가지며, 프로세싱은 데이터 리던던시를 획득하여 TDP 식별의 견고성을 증가시키기 위해 이미지 세트의 각각의 이미지에 대해 수행될 수 있다. 선택사항으로, 복수의 카메라가 사용되는 경우, 상이한 카메라는 상이한 각각의 스펙트럼 성능을 갖도록 구성될 수 있다.
TDP가 이미지에서 식별되면, 이미지의 중심으로부터의 TDP-편차의 이미지 파라미터가 계산된다(블록 212). 이미지 파라미터는, 예를 들어, 이미지 픽셀을 포함할 수 있으며, TDP 편차는 픽셀로 정의할 수 있다. 이러한 계산에 대한 보다 상세한 예는 도 3 및 도 4를 참조하여 아래에 제공된다.
TDP-편차를 정의하는 계산된 이미지 파라미터는 각도 편차 및/또는 거리 편차로 변환될 수 있다(블록 214). 예를 들어, 이미지 파라미터는 픽셀 대 각도 비율 및/또는 픽셀 대 거리 비율(캡쳐 이미지 내의 각 픽셀의 각도 값 또는 각 픽셀의 미터 값을 정의)과 같은 비율에 따라 변환될 수 있다.
이미지 파라미터를 각도 및 거리 편차로 변환할 때, 카메라의 FOV를 고려할 수 있다. 예를 들어, 이미지의 폭 픽셀 치수가 이미지의 높이 픽셀 치수와 상이하다고 가정하면, 수평축에 대한 제 1 픽셀 대 각도 비율은 이미지 폭을 가로지르는 픽셀의 개수를 카메라의 FOV로 나눔으로써 결정될 수 있다. 수직축에 대한 제 2 픽셀 대 각도 비율은 이미지 높이를 가로 지르는 픽셀 수를 카메라의 FOV로 나눔으로써 결정될 수 있다. 각 축에 대한 픽셀 대 각도 비율이 결정된 후, 이미지 중심으로부터의 픽셀에서의 TDP의 수평 편향은 수평축에 대해 결정된 픽셀 대 각도 비율을 사용하여 수평 각도 편차로 변환될 수 있고, 이미지 중심으로부터의 픽셀의 TDP의 수직 편차는 수직축에 대해 결정된 픽셀 대 각도 비율을 사용하여 수직 각도 편차로 변환될 수 있다. 이 예에서, FOV 정보를 사용하여 픽셀을 각도 편차로 변환한 후에, 각도 편차(예를 들어, 관측 각 및 지면에 대한 항공기의 고도를 사용하여)를 사용하여 거리 편차가 계산될 수 있다.
위의 계산은 캡쳐된 프로그레시브 이미지에 대해 실시간으로 수행된다. 이전 이미지와 관련하여 계산된 이전 값은 후속 이미지와 관련하여 계산된 후속 값과 상이한데, 이는 계산이 이미지의 특정 특성을 기반으로 하고 이전 이미지의 특성은 후속 이미지의 특성과 상이하기 때문이다. 후속 이미지에 대한 계산은 이전 이미지에 종속되지 않는다. 항공기의 위치가 TDP에 대한 항공기의 관점을 결정하기 때문에 특정 이미지와 관련된 계산된 값은 특정 이미지가 획득된 항공기의 위치와 관련됩니다. 항공기의 위치가 TDP에 대한 항공기의 뷰를 결정하기 때문에, 특정 이미지와 관련된 계산된 값은 특정 이미지가 획득된 항공기의 위치와 관련된다. 예를 들어, 항공기가 각각의 프로그레시브 이미지가 캡쳐되는 시간 사이에 위치가 바뀌면, 새로운 후속 이미지가 캡쳐될 때, 항공기는 해당 특정 이미지가 캡쳐될 때 TDP로부터의 새로운 상이한 거리를 가지며, 그러므로 TDP에 대한 새로운 상이한 뷰를 갖는다. 따라서, 새롭게 캡쳐된 후속 이미지는 이전에 캡쳐한 이전 이미지(TDP의 상이한 뷰를 가짐)를 기반으로 계산된 이전 값과 다른 새로운 계산된 값을 야기하는 새로운 특징을 갖는다.
특정 시간 기간에 대한 계산은(복수 이미지를 동시에 캡쳐하는 것과 관련하여 상기에 관련 것처럼) 하나의 특정 현재 이미지 또는 특정 장면의 유사하고 적어도 부분적으로 중첩되는 특성을 갖는 동시에 캡쳐된 현재 이미지들의 관련 세트와 관련하여 수행된다.
블록(216)에서, (TDP에서 끝나는) 착륙 회랑에 대한 항공기 위치의 오프셋이 계산된다. 이러한 계산은, 예를 들어, 각도 및 거리 편차, 카메라 파라미터, 항공기 파라미터(고도, 자세, 속도 등) 등을 포함하는 다양한 파라미터에 기초할 수 있다. 이 계산의 보다 상세한 예는 도 5를 참조하여 아래에 제공된다.
계산된 오프셋은 AIM(112)에 전송되어 자동 착륙의 실행을 가능하게 한다. 계산된 오프셋은 착륙 회랑을 향해 비행하고 착륙을 위한 적절한 위치에 항공기를 배치하도록 오프셋을 수정하기 위해 항공기를 제어하는데 사용된다. 예를 들어, 계산된 오프셋들을 수신한 것에 응답하여, ALM(112)은 오프셋들에 기초하여 계산된 각각의 명령들을 생성하고, 그 명령들을 비행 제어 시스템(114)으로 전송한다. 비행 제어 시스템(114)은 수신된 비행 커맨드에 기초하여 항공기의 서브 시스템 중 하나 이상(예를 들어, 엔진(116) 및/또는 비행 제어 표면(118))을 제어하여 착륙 회랑을 향해 항공기를 안내한다.
항공기가 활주로에 안전하게 착륙할 수 있을 때까지 착륙 회랑 쪽으로 더 정확하게 항공기를 인도하기 위해 위의 과정을 반복할 수 있다.
도 3은 본 발명의 특정 예에 따라 TDP 편차를 계산하기 위한 방법의 흐름도를 도시한다. 도 3은 본 명세서에 개시된 발명의 특정 예들에 따라 항공기 내에 탑재된 이미지 센서(104)에 의해 취해진 이미지(400)를 개략적으로 도시하는 도 4를 참조하여 설명된다.
도 2의 블록(208)-(210)을 참조하여 상술된 바와 같이, 활주로의 이미지는 처리할 시스템에서 수신된다. 예를 들어, 프로세서(102)는 항공기에 탑재된 이미지 센서(104)에 의해 캡쳐된 이미지(400)를 수신한다. 프로세서(102)는(예를 들어, 프로세서에 동작 가능하게 연결된 이미지 처리 모듈의 도움으로) 수신된 이미지를 처리하고 활주로(406)에서 TDP(404)를 식별하도록 구성될 수 있다.
이미지의 프로세싱의 일부로서, 수평축(예컨대, y-축) 및 수직축(예컨대, z-축)이 이미지에 정의된다(블록 304). 수평 y-축과 수직 z-축은 이미지의 한 점에서 교차한다. 예를 들어, 프로세서(102)는 이미지를 처리하고 이미지(400)의 중심점(402)을 통해 축을 형성하도록 구성될 수 있다.
y-축 및 z-축이 정의되면, 수평 y-축으로부터 픽셀 단위로 측정된 TDP의 횡방향 거리가 계산되고(블록 306), 수직 z-축으로부터 픽셀 단위로 측정된 TDP의 종 방향 거리가 계산된다(블록(308). 예를 들어, 프로세서(102)는 도 4에 개략적으로 도시된 바와 같이 수평 y-축(Y)으로부터 픽셀(Ay)의 수평 거리 및 수직 z-축(Z)으로부터 식별된 TDP(404)까지의 픽셀 거리(Δζ)를 계산하도록 구성될 수 있다.
계산된 횡방향 거리 및 수직 방향 거리는 픽셀 값으로부터 각도 값 및 거리 값으로 변환되어 도 2의 블록(214)-(216)을 참조하여 전술한 바와 같이 식별된 TDP에서 끝나는 착륙 회랑에 대한 항공기 위치의 오프셋을 얻는다. 이 계산(216)의 보다 상세한 예가 도 5를 참조하여 아래에 제공된다.
도 5는 본 발명의 특정 예에 따라 항공기 위치의 오프셋을 계산하는 방법의 흐름도를 도시한다.
도 2의 블록(202)-(206) 및(214)를 참조하여 전술한 바와 같이, 착륙 회랑으로부터의 항공기 오프셋의 계산을 시작하기 전에, 계산을 완료하기 위해 필요한 데이터가 얻어진다(블록 502). 획득된 데이터는, 예를 들어, 계산된 각도 및 거리 편차, 착륙 회랑의 파라미터, 하나 이상의 카메라 파라미터, 및 하나 이상의 항공기 파라미터(예를 들어, 항공기의 고도, 각도, 속도 등)를 포함한다. 데이터의 적어도 일부는 고도 센서(106), 각도 센서(108), 속도 센서(110) 등과 같은 항공기에 탑재된 다양한 센서에 의해 판정될 수 있다.
TDP에서 끝나는 착륙 회랑에 대한 횡방향 오프셋(ΔY) 및 종방향 오프셋(ΔZ)이 계산된다(블록 504). 횡방향 오프셋(ΔY) 및 종방향 오프셋(ΔZ)은 각도 및 거리 편차 및 다양한 다른 파라미터를 사용하여 계산될 수 있다. 예를 들어,이 계산은 착륙 회랑의 고도 파라미터와 비교되는 항공기의 고도를 사용하여 수행될 수 있다. 카메라 위치와 TDP 위치를 연결하는 지구 축의 벡터는 항공기의 오일러 각(예컨대, 탑재된 INS로부터 획득), 카메라의 베어링 및 우묵한 각도 및 이전에 계산된 각도 오프셋과 함께 이 비교 결과를 사용하여 계산될 수 있다. 당 기술 분야에서 잘 알려진 바와 같이, "지구 축의 벡터"라는 용어는, 축이 지구와 관련하여 절대적인 벡터에 관한 것이다. 이 벡터와 착륙 회랑 파라미터를 사용하여, 횡방향 오프셋(ΔY)과 종방향 오프셋(ΔZ)을 추출할 수 있다. 이 계산에는 비행기의 오일러 각도(헤딩 포함), 항공기에 대한 카메라 각도 위치, 이미지 중심과 이미지의 TDP 위치 간의 각도 편차가 고려되기 때문에, 이 계산은 바람 효과에 관계없이 수행할 수 있다. 의미는, 항공기의 각도 자세가 판정되었기 때문에, 이미지 센서의 각도 자세는 지구 축의 시선(LOS) 벡터를 계산하는데 사용되며, 항공기 위치는 거리 편차를 계산하고 그것을 항공기 제어 시스템(예컨대, ATOL 시스템)으로 전달하기 위해 위에서 언급한 FOV 및 변환을 사용하여 계산된다. 따라서, 이러한 계산은 바람에 의해 생성될 수 있는 지상 벡터 방향에서 항공기 헤딩의 미끄럼 각도에 영향을 받지 않는다.
전술한 바와 같이, TDP에 대한 항공기 위치가 계산된다. 그 다음, 착륙 회랑의 파라미터를 사용하여, 착륙 회랑으로부터의 항공기의 거리 편차를 계산할 수 있다.
오프셋이 계산되면, 오프셋은 도 2의 블록(218)-(220)을 참조하여 전술한 바와 같이 안전한 착륙을 허용하기 위해 착륙 회랑을 향해 항공기를 안내하는데 사용될 수 있다. 예를 들어, 프로세서(102)는 오프셋을 ALM(112)에 전송하도록 구성될 수 있으며, ALM(112)은 항공기를 착륙 회랑을 향해 안내할 수 있도록 비행 서브 시스템을 제어하기 위한 명령을 생성하도록 차례로 구성될 수 있다.
본 발명은 본 명세서에 포함되거나 도면에 예시된 설명에 기재된 세부사항으로 그것의 적용이 제한되지 않는다는 것을 이해해야 한다. 본 발명은 다른 예가 가능하고 다양한 방법으로 실시되고 수행될 수 있다. 따라서, 여기에 사용된 표현 및 용어는 설명의 목적을 위한 것이며 제한적으로 간주되어서는 안된다는 것을 이해해야 한다. 이와 같이, 당업자는 본 발명의 기초가 되는 개념이 본 발명의 여러 목적을 수행하기 위한 다른 구조, 방법 및 시스템을 설계하기 위한 기초로서 용이하게 이용될 수 있다는 것을 이해할 것이다.
또한, 본 발명에 따른 시스템은 적절하게 프로그래밍된 컴퓨터상에서 적어도 부분적으로 구현될 수 있음을 이해할 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 발명은 또한 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 실행 가능한 명령어의 프로그램을 실재적으로 구현하는 비일시적인 컴퓨터 판독 가능 메모리를 고려한다.
당업자라면 첨부된 청구 범위에 의해 정의된 본 발명의 범위를 벗어나지 않고서 앞서 설명한 본 발명의 실시예에 다양한 수정 및 변경이 가해질 수 있음을 쉽게 알 수 있을 것이다.

Claims (29)

  1. 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법에 있어서,
    컴퓨터를 이용하여:
    활주로에 접근하는 동안 상기 항공기에 탑재된 카메라에 의해 캡쳐된 이미지에 이미지 프로세싱을 적용하여 상기 이미지에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
    상기 이미지의 중심에 대한 TDP의 이미지 파라미터의 편차를 계산하는 단계;
    미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차 값으로 변환하는 단계;
    계산된 각도 및 거리 편차에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계; 및
    상기 항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를
    수행하는 단계를 포함하고,
    상기 오프셋은 착륙을 가능하게 하기 위해 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  2. 제 1 항에 있어서, 상기 이미지 파라미터의 편차를 계산하는 단계는:
    상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계;
    상기 이미지의 수평 y-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및
    상기 이미지의 세로 z-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계는:
    상기 착륙 회랑에 대한 상기 항공기의 횡방향 오프셋을 계산하는 단계; 및
    상기 착륙 회랑에 대한 상기 항공기의 종방향 오프셋을 계산하는 단계를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    하나 이상의 항공기 파라미터를 획득하는 단계; 및
    획득된 하나 이상의 항공기 파라미터를 이용하여 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 항공기의 축에 대해 상기 항공기에 탑재된 상기 카메라의 포지셔닝의 하나 이상의 카메라 파라미터를 획득하는 단계; 및
    획득된 하나 이상의 카메라 파라미터를 이용하여 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 항공기가 안전하게 착륙할 때까지 프로세스를 반복하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, TDP가 식별될 때까지 이미지를 지속적으로 획득하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 이미지에서 활주로의 TDP를 식별하는 단계는:
    이미지 내에 활주로를 위치시키는 단계;
    활주로의 시작과 끝을 식별하는 단계; 및
    활주로의 시작과 끝을 기준으로 TDP의 위치를 식별하는 단계를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  10. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 하나 이상의 항공기 파라미터는 지면으로부터의 항공기의 고도 및 항공기의 각도 중 하나 이상을 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 항공기는 무인 항공기(UAV)인 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 상기 카메라의 시야(FOV)는 상기 항공기의 노즈 전방 영역의 이미지를 캡쳐할 수 있게 하는 방향을 가리키는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
  13. 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템으로서,
    카메라; 및
    상기 카메라에 동작 가능하게 연결된 프로세서를 포함하고,
    상기 프로세서는:
    상기 카메라로부터 캡쳐된 이미지를 획득하는 단계;
    상기 이미지 내에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
    식별된 TDP에 대하여 상기 이미지의 중심으로부터 이미지 파라미터의 편차를 계산하는 단계;
    미리 정해진 비율을 기초로 이미지 파라미터의 편차를 각도 및 거리 편차로 변환하는 단계;
    계산된 각도 및 거리 편차를 기초로 하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 상기 항공기의 위치의 오프셋을 계산하는 단계; 및
    계산된 오프셋을 상기 항공기를 제어하기 위한 명령어를 제공하도록 구성된 항공기 제어 시스템으로 전송하는 단계를 수행하도록 구성되며;
    상기 오프셋은 착륙 시 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  14. 제 13 항에 있어서, 상기 프로세서는 또한:
    상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계;
    상기 이미지의 수평 y-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및
    상기 이미지의 수직 z-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 수행하도록 구성되어 있는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  15. 제 13 항 또는 제 14 항에 있어서, 상기 프로세서는 또한:
    상기 착륙 회랑에 대한 상기 항공기의 횡방향 오프셋을 계산하는 단계; 및
    상기 착륙 회랑에 대한 상기 항공기의 종방향 오프셋을 계산하는 단계를 수행하도록 구성되어 있는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  16. 제 13 항 내지 제 15 항에 있어서, 상기 항공기 제어 시스템으로부터의 하나 이상의 커맨드에 기초하여 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하는 비행 제어 시스템을 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  17. 제 13 항 내지 제 16 항에 있어서, 항공기 파라미터를 감지하기 위한 하나 이상의 항공기 파라미터 센서를 더 포함하고, 상기 항공기 파라미터는 또한 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는데 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  18. 제 13 항 내지 제 17 항에 있어서, 상기 프로세서는 또한:
    상기 항공기의 축에 대해 상기 항공기에 탑재된 카메라의 포지셔닝의 하나 이상의 카메라 파라미터를 획득하는 단계; 및
    획득된 하나 이상의 카메라 파라미터를 사용하여 이미지 파라미터의 편차를 계산하는 단계를 수행하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  19. 제 13 항 내지 제 18 항에 있어서, 상기 프로세서는 또한:
    상기 항공기가 안전하게 착륙할 때까지 반복적으로 프로세스를 반복하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  20. 제 13 항 내지 제 19 항에 있어서, 상기 시스템은 또한:
    TDP가 식별될 때까지 이미지를 지속적으로 캡쳐하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  21. 제 13 항 내지 제 20 항에 있어서, 상기 프로세서는 또한:
    상기 이미지 내에 활주로를 위치시키는 단계;
    활주로의 시작과 끝을 식별하는 단계; 및
    활주로의 시작과 끝을 기준으로 TDP의 위치를 식별하는 단계를 수행하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  22. 제 13 항 내지 제 21 항에 있어서, 상기 카메라는 파노라마 카메라; 중파장 적외선 카메라; 단파장 적외선 카메라; 광 검출 및 거리 측정 카메라; 및 합성 개구 레이더 카메라로 이루어진 그룹에서 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  23. 제 13 항 내지 제 22 항에 있어서, 상기 비행 제어 시스템은 엔진; 비행 제어 표면 및 랜딩 기어로 이루어진 그룹 중 하나 이상에 동작 가능하게 연결된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  24. 제 17 항 내지 제 23 항에 있어서, 상기 하나 이상의 항공기 파라미터 센서는 고도 센서; 각도 센서; 및 속도 센서로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  25. 제 24 항에 있어서, 상기 고도 센서는 고도계; 레이더 고도계; 및 기압계로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  26. 제 24 항 또는 제 25 항에 있어서, 상기 각도 센서는 관성 항법 시스템; 자이로스코프; 나침반; 및 자력계로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  27. 제 13 항 내지 제 26 항에 있어서, 상기 항공기는 무인 항공기(UAV)인 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  28. 제 13 항 내지 제 27 항에 있어서, 상기 카메라의 시야(FOV)는 상기 항공기의 노즈 전방 영역의 이미지를 캡쳐할 수 있게 하는 방향을 가리키는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
  29. 자율 착륙 시 항공기를 제어하기 위한 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 프로그램 저장 장치로서,
    프로세서를 이용하여:
    활주로에 접근하는 동안 상기 항공기에 탑재된 카메라에 의해 캡쳐된 이미지를 획득하는 단계;
    상기 이미지 내에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
    식별된 TDP에 대한 상기 이미지의 중심으로부터의 이미지 파라미터의 편차를 계산하는 단계;
    미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차로 변환하는 단계;
    계산된 각도 및 거리 편차에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계; 및
    항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를
    수행하는 단계를 포함하고,
    상기 오프셋은 착륙 시 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 프로그램 저장 장치.
KR1020197014660A 2016-12-29 2017-12-18 이미지 센서 기반 자율 착륙 KR102483714B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL249870A IL249870B (en) 2016-12-29 2016-12-29 Autonomous landing with the help of an image
IL249870 2016-12-29
PCT/IL2017/051357 WO2018122836A1 (en) 2016-12-29 2017-12-18 Image sensor based autonomous landing

Publications (2)

Publication Number Publication Date
KR20190101961A true KR20190101961A (ko) 2019-09-02
KR102483714B1 KR102483714B1 (ko) 2023-01-02

Family

ID=62454692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014660A KR102483714B1 (ko) 2016-12-29 2017-12-18 이미지 센서 기반 자율 착륙

Country Status (5)

Country Link
US (1) US11126201B2 (ko)
EP (1) EP3563293A4 (ko)
KR (1) KR102483714B1 (ko)
IL (1) IL249870B (ko)
WO (1) WO2018122836A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280753B1 (ko) * 2020-02-28 2021-07-21 세종대학교산학협력단 무인 비행체의 마커 기반 착륙 기법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL249870B (en) * 2016-12-29 2022-02-01 Israel Aerospace Ind Ltd Autonomous landing with the help of an image
JP7022559B2 (ja) * 2017-10-17 2022-02-18 株式会社トプコン 無人航空機の制御方法および無人航空機の制御用プログラム
DE102018120198A1 (de) * 2018-08-20 2020-02-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
CN110569838B (zh) * 2019-04-25 2022-05-24 内蒙古工业大学 一种基于视觉定位的四旋翼无人机自主降落方法
CN110908403A (zh) * 2019-12-09 2020-03-24 国家电网有限公司 一种用于电力巡线无人机的自动定点降落装置及方法
CN112882498B (zh) * 2021-01-12 2024-04-16 湖南宇正智能科技有限公司 具有抑制图像旋转功能的三轴光电搜索跟踪装置及方法
US11479365B2 (en) * 2021-01-22 2022-10-25 Honeywell International Inc. Computer vision systems and methods for aiding landing decision
US11753181B2 (en) * 2021-03-30 2023-09-12 Honeywell International Inc. System and method for visual aided landing
CN113608542B (zh) * 2021-08-12 2024-04-12 山东信通电子股份有限公司 一种无人机自动降落的控制方法以及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026189A1 (en) * 2014-07-25 2016-01-28 Airbus Operations (S.A.S.) Method and system for automatic autonomous landing of an aircraft

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5716032A (en) 1996-04-22 1998-02-10 United States Of America As Represented By The Secretary Of The Army Unmanned aerial vehicle automatic landing system
FR2835314B1 (fr) 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
US8812181B2 (en) * 2005-06-29 2014-08-19 Honeywell International Inc. Methods and systems to accurately display lateral deviation symbology in offset approaches to runways
CN101109640A (zh) 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
KR101008259B1 (ko) 2008-09-03 2011-01-13 한국항공우주연구원 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법
CN101504287B (zh) 2009-01-22 2011-01-05 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN104006790A (zh) * 2013-02-21 2014-08-27 成都海存艾匹科技有限公司 基于视觉的飞机降落辅助装置
WO2014169354A1 (en) 2013-04-16 2014-10-23 Bae Systems Australia Limited Landing system for an aircraft
FR3009117B1 (fr) 2013-07-24 2016-11-25 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
GR20130100620A (el) * 2013-10-25 2015-05-18 Ιωαννης Γεωργιου Μικρος Συστημα και μεθοδος ηλεκτρονικης καθοδηγησης κηφηνων για απογειωση-προσγειωση και για απονηωση-προσνηωση
EP2976687B1 (en) * 2014-05-30 2017-09-06 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
CN108137151B (zh) * 2015-09-11 2021-09-10 深圳市大疆灵眸科技有限公司 用于无人飞行器的载体
CN112882181A (zh) * 2015-10-23 2021-06-01 深圳市大疆创新科技有限公司 保持重心的方法、系统及存储介质
IL242790B (en) * 2015-11-26 2018-11-29 Israel Aerospace Ind Ltd Aerial photography system
FR3050291B1 (fr) * 2016-04-15 2020-02-28 Thales Procede d'affichage de donnees pour la gestion du vol d'un aeronef, produit programme d'ordinateur et systeme associes
US10684756B2 (en) * 2016-04-27 2020-06-16 Rockwell Collins, Inc. Avionics picture-in-picture display
US10170011B2 (en) * 2016-07-26 2019-01-01 International Business Machines Corporation Guide drones for airplanes on the ground
EP3855270A1 (en) * 2016-11-14 2021-07-28 SZ DJI Technology Co., Ltd. Flight path determination
IL249870B (en) * 2016-12-29 2022-02-01 Israel Aerospace Ind Ltd Autonomous landing with the help of an image
GB2575029B (en) * 2018-06-22 2022-12-28 Ge Aviat Systems Ltd Landing on emergency or unprepared landing strip in low visibility condition
IL267356B2 (en) * 2019-06-12 2024-05-01 Israel Aerospace Ind Ltd Autonomous three-dimensional navigation of aircraft under constraints
US11315433B2 (en) * 2019-06-25 2022-04-26 Honeywell International Inc. Systems and methods for providing a terrain and runway alerting service over a secured data link

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026189A1 (en) * 2014-07-25 2016-01-28 Airbus Operations (S.A.S.) Method and system for automatic autonomous landing of an aircraft

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280753B1 (ko) * 2020-02-28 2021-07-21 세종대학교산학협력단 무인 비행체의 마커 기반 착륙 기법

Also Published As

Publication number Publication date
EP3563293A4 (en) 2020-08-19
EP3563293A1 (en) 2019-11-06
IL249870A0 (en) 2017-06-29
KR102483714B1 (ko) 2023-01-02
WO2018122836A1 (en) 2018-07-05
US11126201B2 (en) 2021-09-21
IL249870B (en) 2022-02-01
US20190235523A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
KR102483714B1 (ko) 이미지 센서 기반 자율 착륙
Al-Kaff et al. Survey of computer vision algorithms and applications for unmanned aerial vehicles
CN104340371B (zh) 自主且自动的着陆方法和系统
EP2118713B1 (en) Precision approach control
US8996207B2 (en) Systems and methods for autonomous landing using a three dimensional evidence grid
KR101494654B1 (ko) 무인항공기 착륙유도 방법 및 장치와 착륙제어 방법 및 장치
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
US9483842B2 (en) Navigation based on at least one sensor and a three dimensional map
RU2703412C2 (ru) Способ обеспечения автоматической посадки летательного аппарата
US10643481B2 (en) Method and a device for avoiding an object by detecting its approach to an aircraft
CN108255190B (zh) 基于多传感器的精确着陆方法及使用该方法的系留无人机
US8686326B1 (en) Optical-flow techniques for improved terminal homing and control
EP2933603B1 (en) Navigation based on at least one sensor and a 3d map
EP2442201A2 (en) Formation flying method and system
Morais et al. Trajectory and Guidance Mode for autonomously landing an UAV on a naval platform using a vision approach
Jantawong et al. Automatic landing control based on GPS for fixed-wing aircraft
CN111341154A (zh) 低/无能见度起飞系统
Al-Kaff Vision-based navigation system for unmanned aerial vehicles
RU200639U1 (ru) Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом
Conte Vision-based localization and guidance for unmanned aerial vehicles
Kahn Vision-based recovery and guidance for small unmanned air vehicles
EP3331758B1 (en) An autonomous vehicle control system
Hecker et al. Integrity Enhancement of an Integrated Navigation System with Optical Sensors
Esin Vision-aided landing for fixed wing unmanned aerial vehicle
Blenkhorn et al. Towards an inexpensive computer-vision based automated landing system for small unmanned aerial vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant