KR102609467B1 - Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법 - Google Patents

Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법 Download PDF

Info

Publication number
KR102609467B1
KR102609467B1 KR1020230084379A KR20230084379A KR102609467B1 KR 102609467 B1 KR102609467 B1 KR 102609467B1 KR 1020230084379 A KR1020230084379 A KR 1020230084379A KR 20230084379 A KR20230084379 A KR 20230084379A KR 102609467 B1 KR102609467 B1 KR 102609467B1
Authority
KR
South Korea
Prior art keywords
drone
flight
gnss
zoom
altitude
Prior art date
Application number
KR1020230084379A
Other languages
English (en)
Inventor
이기성
Original Assignee
주식회사 네스앤텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네스앤텍 filed Critical 주식회사 네스앤텍
Priority to KR1020230084379A priority Critical patent/KR102609467B1/ko
Application granted granted Critical
Publication of KR102609467B1 publication Critical patent/KR102609467B1/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/20—Integrity monitoring, fault detection or fault isolation of space segment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 GNSS 신호를 이용할 수 없게 된 상황에서 드론이 영상 항법으로 비행하도록 전환시키되 고도에 따라 카메라를 줌 제어하고 줌 배율에 따른 보정 계수를 영상 항법을 위한 옵티컬 플로우 계산에 적용하여 정확한 방향 확인과 속도 계산에 의한 자동 비행이 실현될 수 있도록 하는 방법에 관한 것이며,
드론에 장착된 GNSS의 이상을 감지하는 이상 감지 단계, GNSS의 이상이 감지되면, 드론에 장착된 카메라의 촬영 방향을 수직 하방으로 조정하고, 실시간의 영상을 촬영하는 촬영 단계, GNSS의 이상이 감지되면, 드론에 장착된 센서를 이용하여 현재의 비행 고도를 확인하는 고도 확인 단계, 확인된 비행 고도에 따라 카메라의 줌을 제어하는 줌 제어 단계, 카메라의 줌이 제어된 상태에서 옵티컬 플로우 방식으로 영상에 대한 픽셀들의 위치 변화를 추적하여 드론이 이동 비행하는 방향을 확인하는 동시에 현재의 비행 고도와 줌 배율을 반영하여 드론이 이동 비행하는 속도를 계산하는 계산 단계 및, 계산 단계에서 확인 및 계산된 드론의 비행 방향과 속도를 이용하여 관성 항법 방식으로 드론의 비행을 제어하는 비행 제어 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법{Automatic flight method using image based navigation in GNSS abnormal situations}
본 발명은 GNSS 신호를 이용할 수 없게 된 상황에서 드론이 자동으로 비행할 수 있도록 하는 방법에 관한 것으로써, 보다 상세하게는 GNSS 신호를 이용할 수 없게 된 상황에서 드론이 영상 항법으로 비행하도록 전환시키되 고도에 따라 카메라를 줌 제어하고 줌 배율에 따른 보정 계수를 영상 항법을 위한 옵티컬 플로우 계산에 적용하여 정확한 방향 확인과 속도 계산에 의한 자동 비행이 실현될 수 있도록 하는 방법에 관한 것이다.
일반적으로, 대부분의 드론에는 GPS 수신기와 같은 GNSS 모듈이 장착되어 있으며, 이를 통해 확인 가능한 실시간의 위치 정보를 이용하여 위치 오차를 최소화하며 정밀하게 비행하게 될 수 있다.
따라서, GNSS 모듈에 문제가 발생하거나 외부에서 위성 신호의 교란을 위한 전파 방해가 시도되는 상황에서는 위치 정보의 이용이 불가하게 되므로 드론의 정밀한 비행이 매우 어려워질 수 밖에 없다.
이러한 이유에서 정찰이나 촬영 등 특정의 임무 수행을 위한 목적으로 이용되는 드론을 전파 교란 등의 이상 상황에서 보호할 수 있는 수단이 필요하다 할 수 있으며, 그 필요성에 따라 대한민국 공개특허공보 제10-2020-0016432호의 “무인 비행체의 해킹 대응 시스템”와 대한민국 공개특허공보 제10-2022-0014179호의 “GPS 신호의 수신불능 상황에서의 대응을 위한 자동 비행 장치” 등의 발명들이 제안되어 공개된 바 있다.
즉, 상기 대한민국 공개특허공보 제10-2020-0016432호의 “무인 비행체의 해킹 대응 시스템”에는 실시간으로 수신되는 GPS 신호를 분석하여 가짜 신호를 검출 및 제거함으로써 스푸핑 방식의 해킹 시도에 대응할 수 있도록 하고, 모든 신호의 수신이 차단될 때에는 기설정된 비행경로 정보를 따라 비행하도록 함으로써 재밍 방식의 해킹 시도에도 대응할 수 있도록 하는 해킹 대응 시스템에 관한 발명이 제안되어 있다.
또한, 상기 대한민국 공개특허공보 제10-2022-0014179호의 “GPS 신호의 수신불능 상황에서의 대응을 위한 자동 비행 장치”에는 GPS 신호의 수신에 장애가 발생하는 경우에 있어 마지막으로 수집된 위치 정보와 기설정된 다수의 안전지역 각각에 대한 좌표 정보 그리고 무인 비행체의 헤딩값을 이용한 계산에 의하여 그 무인 비행체가 안전지역을 향해 안전하게 자율 비행하고 착륙할 수 있도록 하는 자동 비행 장치에 관한 발명이 제안되어 있다.
이처럼 상기한 선행 발명들을 이용하게 되면 드론의 비행 중 발생할 수 있는 전파 교란과 같은 이상 상황에서 드론의 추락이나 포획을 방지할 수 있을 정도로의 대응이 가능할 것으로 예상할 수 있다.
그러나 상기한 선행 발명들은 전파 교란과 같은 이상 상황에서의 대응을 위한 포괄적인 개념만을 제시하고 있을 뿐이며, 위성 신호 없이 드론을 원래의 목적지나 안전한 위치까지 정밀하게 비행시키기 위한 구체적인 방법까지는 사실상 제안하지 못하고 있는 구성상의 미비점을 가지고 있다.
즉, 상기한 선행 발명들만으로는 이상 상황에서의 드론의 추락이나 포획 방지를 위한 완전한 기술 구현이 어려운 상태라고 할 수 있으며, 이러한 이유로 위성 신호 없이 드론을 원래의 목적지나 안전한 위치까지 정밀하게 비행시킬 수 있는 방법을 제시하는 새로운 발명이 요구되는 실정이라 할 수 있다.
대한민국 공개특허공보 제10-2020-0016432호(2020. 02. 17) 대한민국 공개특허공보 제10-2022-0014179호(2022. 02. 04)
본 발명은 상기한 발명들이 드론의 비행 중 발생할 수 있는 전파 교란과 같은 이상 상황에서의 대응을 위한 포괄적인 개념만을 제시하고 있을 뿐 위성 신호 없이 드론을 원래의 목적지나 안전한 위치까지 정밀하게 비행시키기 위한 구체적인 방법까지는 사실상 제안하지 못하고 있는 구성상의 미비점을 가지고 있기 때문에, 이에 대한 해결 방안을 제시하는 것을 목적으로 한다.
부연 설명하자면, 드론의 비행 중 발생할 수 있는 전파 교란과 같은 이상 상황에서 전통적인 항법인 관성 항법만으로 비행하는 경우에는 지속적으로 오차가 누적되는 문제를 해결할 수 없는 한계가 발생하게 된다.
또한, 위성 지도를 활용하는 영상 매칭 활용 기법은 그 위성 지도의 촬영 시점을 기준으로 시간이 지남에 따라 발생하게 되는 지면의 상태 변화에 대응할 수 없을 뿐만 아니라 특정한 패턴이 없는 사막 등의 넓은 지역에서는 활용이 불가능한 한계가 발생하게 된다.
따라서, 상기한 발명들을 포함하여, 종래의 방식으로는 전파 교란과 같은 이상 상황에서의 마땅한 대응 방안이 없기 때문에, 본 발명은 이에 대한 해결 방안을 제시하는 것을 목적으로 한다.
본 발명은 상기와 같은 목적을 실현하고자,
드론에 장착된 GNSS의 이상을 감지하는 이상 감지 단계; GNSS의 이상이 감지되면, 드론에 장착된 카메라의 촬영 방향을 수직 하방으로 조정하고, 실시간의 영상을 촬영하는 촬영 단계; GNSS의 이상이 감지되면, 드론에 장착된 센서를 이용하여 현재의 비행 고도를 확인하는 고도 확인 단계; 확인된 비행 고도에 따라 카메라의 줌을 제어하는 줌 제어 단계; 카메라의 줌이 제어된 상태에서 옵티컬 플로우 방식으로 영상에 대한 픽셀들의 위치 변화를 추적하여 드론이 이동 비행하는 방향을 확인하는 동시에 현재의 비행 고도와 줌 배율을 반영하여 드론이 이동 비행하는 속도를 계산하는 계산 단계; 및, 상기 계산 단계에서 확인 및 계산된 드론의 비행 방향과 속도를 이용하여 관성 항법 방식으로 드론의 비행을 제어하는 비행 제어 단계; 를 포함하여 구성되는 것을 특징으로 하는 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법을 제시한다.
이때, 본 발명은 GNSS의 이상이 감지되는 즉시 비행 당일의 일출과 일몰 시간을 계산하고, 계산된 일출과 일몰 시간을 기준으로 현재의 시점을 주간이나 야간으로 구분하여, 야간에는 드론에 장착된 열화상 카메라의 촬영 방향을 수직 하방으로 단독 조정하는 방식으로 계산 단계에서 이용되는 실시간의 열화상 영상을 촬영하도록 구성되는 것을 특징으로 한다.
이에 더하여, 본 발명은 드론의 비행 고도와 현재의 줌 배율에 따른 보정 계수를 기입력된 보정 공식을 이용하는 옵티컬 플로우 계산에 적용하여 드론의 비행 고도에 따른 계산값 오차의 발생을 최소화하도록 구성되는 것을 특징으로 한다.
본 발명에 의한 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법은,
GNSS 신호를 이용할 수 없게 된 상황에서 드론이 영상 항법으로 비행하도록 전환시키되 고도에 따라 카메라를 줌 제어하고, 줌 배율에 따른 보정 계수를 영상 항법을 위한 옵티컬 플로우 계산에 적용하도록 구성되어, 결과적으로는 정확한 방향 확인과 속도 계산에 의한 자동 비행이 실현될 수 있는 효과가 발생하게 된다.
또한, 본 발명은 GNSS 신호를 이용할 수 없게 된 시점을 주간이나 야간으로 구분하여 확인하고, 주간에는 디지털 카메라를 그대로 이용하되 야간에는 열화상 카메라를 이용하도록 구성되기 때문에, 야간에도 영상 항법에 의한 자동 비행이 문제없이 실현될 수 있는 효과가 발생하게 된다.
도 1은 본 발명에 의한 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법의 기본 순서도.
도 2는 본 발명에 포함된 촬영 단계에서의 촬영 카메라 선택을 위한 현재 시점 구분 과정을 나타낸 순서도.
도 3은 본 발명에 포함된 고도 확인 단계에서의 줌 제어 신호 생성 과정을 나타낸 순서도.
도 4는 본 발명에 포함된 계산 단계와 비행 제어 단계의 진행 과정을 나타낸 순서도.
본 발명은 GNSS 신호를 이용할 수 없게 된 상황에서 드론이 자동으로 비행할 수 있도록 하는 방법에 관한 것으로써,
드론에 장착된 GNSS의 이상을 감지하는 이상 감지 단계(S100); GNSS의 이상이 감지되면, 드론에 장착된 카메라의 촬영 방향을 수직 하방으로 조정하고, 실시간의 영상을 촬영하는 촬영 단계(S110); GNSS의 이상이 감지되면, 드론에 장착된 센서를 이용하여 현재의 비행 고도를 확인하는 고도 확인 단계(S120); 확인된 비행 고도에 따라 카메라의 줌을 제어하는 줌 제어 단계(S130); 카메라의 줌이 제어된 상태에서 옵티컬 플로우 방식으로 영상에 대한 픽셀들의 위치 변화를 추적하여 드론이 이동 비행하는 방향을 확인하는 동시에 현재의 비행 고도와 줌 배율을 반영하여 드론이 이동 비행하는 속도를 계산하는 계산 단계(S140); 및, 상기 계산 단계(S140)에서 확인 및 계산된 드론의 비행 방향과 속도를 이용하여 관성 항법 방식으로 드론의 비행을 제어하는 비행 제어 단계(S150); 를 포함하여 구성되는 것을 특징으로 한다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 설명하고자 한다.
우선, 도 1에 도시된 바와 같이, 상기 이상 감지 단계(S100)는 본 발명에서 제안하고 있는 영상 항법에 의한 자동 비행 제어의 시작이 되는 단계이며, 다수의 회전익을 구비한 형태의 드론에 장착된 GNSS의 이상을 감지하는 시점을 기준으로 한다.
즉, 촬영 등의 임무 수행을 위한 목적으로 이용될 수 있는 드론에는 위성 신호를 수신하기 위한 목적으로 GPS 수신기와 같은 GNSS(Global Navigation Satellite System) 모듈이 장착되는데, 상기 이상 감지 단계(S100)에서는 GNSS 모듈 자체의 이상이나 GNSS 모듈이 수신하는 위성 신호의 이상을 감지하여 그에 대한 대응 절차가 시작될 수 있도록 한다.
따라서, 상기 GNSS 모듈 자체의 이상을 감지하거나 그 GNSS 모듈이 수신하는 위성 신호의 이상을 감지하기 위한 분석 장치(100)나 분석 시스템이 드론의 본체에 구비되거나 지상의 관제 장치에 구비되어야 하며, 드론의 비행중에는 항시 활성화된 상태가 유지되는 것이 바람직하다.
또한, 상기 분석 장치(100)나 분석 시스템은 드론에 대한 스푸핑(Spoofing)의 시도 뿐만 아니라 재밍(Jamming)의 시도도 감지할 수 있도록 구성되는 것이 바람직하며, 그 중 스푸핑(Spoofing)에 대한 감지 방식으로는 위성 신호의 감도를 모니터링하는 방식, 위성 신호의 품질을 분석하는 방식, 주파수 간섭을 감지하는 방식 등이 이용될 수 있으나, 감지에 효과가 있다면 그 외의 다른 방식이 이용되어도 무방하다.
그리고 상기 분석 장치(100)나 분석 시스템은 드론에 대한 스푸핑이나 재밍의 시도를 감지하는 즉시 대응을 위한 비상용의 제어 신호를 생성하여야 하며, 생성된 제어 신호를 드론의 본체에 구비된 제어 장치(110)나 지상의 관제 장치에 구비된 제어 장치(110)로 전송하여야 한다.
이때, 상기 제어 장치(110)는 단독으로 카메라를 제어하는 장치이거나 드론의 비행을 제어함과 동시에 그 드론에 장착된 카메라를 제어할 수 있는 다기능의 장치일 수 있으며, 비상용의 제어 신호를 수신하는 즉시 다른 신호에 우선하여 카메라를 단독으로 제어하거나 드론과 카메라를 동시에 제어하여야 한다.
또한, 도 1에 도시된 바와 같이, 상기 촬영 단계(S110)는 GNSS의 이상이 감지된 직후에 실시되는 단계이며, 드론에 장착된 카메라의 촬영 방향을 수직 하방으로 조정하고, 실시간의 영상이 촬영되도록 함으로써 영상 항법의 기반이 되는 실시간의 영상 정보가 확보될 수 있도록 한다.
즉, 상기 드론의 영상 촬영이 동반되지 않은 비행 상태에서 GNSS의 이상이 감지되면, 상기 제어 장치(110)는 비상용의 제어 신호를 수신하는 즉시 카메라를 촬영 모드로 전환함과 동시에 촬영 방향을 수직 하방으로 그대로 유지하거나 조정하여 실시간의 영상이 촬영될 수 있도록 한다.
또한, 상기 드론의 영상 촬영을 동반한 비행 상태에서 GNSS의 이상이 감지되면, 상기 제어 장치(110)는 비상용의 제어 신호를 수신하는 즉시 카메라의 촬영 방향을 수직 하방으로 그대로 유지하거나 조정하여 실시간의 영상이 촬영될 수 있도록 한다.
이때, 상기 제어 장치(110)가 수신하는 비상용의 제어 신호는 다른 제어 신호에 우선되어야 하는 것이므로 이전의 제어 신호에 의한 영상 촬영은 그 즉시 중단되어야 한다.
따라서, 상기 촬영 단계(S110)에서는 비행 상태인 드론의 수직 하방에 대한 영상이 실시간으로 촬영될 수 있으며, 그에 따른 영상 정보가 생성되고, 생성 즉시 지정된 장치로 전송됨으로써 이후의 단계에서 드론이 이동 비행하는 방향의 확인과 이동 비행하는 속도의 계산에 이용될 수 있다.
다만, 상기와 같은 구성은 일반적인 디지털 카메라를 이용하여 드론 하방의 지형지물을 명확하게 식별할 수 있을 정도로 선명한 영상의 촬영이 가능한 주간에만 유의미한 것일 뿐 선명한 영상의 촬영이 어렵거나 불가한 야간에 생성되는 영상 정보는 드론이 이동 비행하는 방향 확인하고, 이동 비행하는 속도를 계산하는 과정에 이용되기 어렵거나 이용될 수 없다.
상기와 같은 문제에 대한 해결 방안으로, 본 발명은 GNSS의 이상이 감지되는 경우에 있어 드론이 비행하고 있는 당일의 일출과 일몰 시간을 기준으로 하여 현재의 시점을 주간이나 야간으로 구분할 수 있도록 구성되고, 구분이 완료된 현재의 시점이 야간일 때에는 영상의 촬영에 열화상 카메라를 이용하도록 구성되는 것을 특징으로 한다.
이를 위해, 상기 드론에는 일반적인 영상을 촬영 가능한 디지털 카메라가 짐벌과 함께 장착될 뿐만 아니라 열화상 영상을 촬영 가능한 열화상 카메라가 짐벌과 함께 장착되어야 하며, 장착된 두 종류의 카메라는 상기 제어 장치(110)에 의해 동시에 제어되거나 선택적으로 제어될 수 있다.
보다 구체적으로, 도 2에 도시된 바와 같이, 상기 분석 장치(100)나 분석 시스템은 드론에 장착된 GNSS의 이상을 감지하거나 드론에 대한 재밍 시도를 감지하는 시점의 날짜와 시각에 따라 당일의 일출과 일몰 시간을 계산하고, 계산된 일출과 일몰 시간을 기준으로 하여 현재의 시점을 주간이나 야간으로 구분할 수 있다.
이때, 일출과 일몰 시간을 계산하기 위해서는 상기 분석 장치(100)나 분석 시스템을 통한 확인 가능한 현재 시점의 날짜와 시각 뿐만 아니라 드론을 기준으로 하는 현재의 위도와 경도를 알아야 한다.
여기서 현재의 위도와 경도를 확인하는 방식으로는 상기 이상 감지 단계(S100)에서의 이상이 감지되기 직전에 GNSS 모듈을 통해 확인된 위도 정보와 경도 정보를 이용하는 방식이 이용될 수 있으나 이 방식으로의 한정이 발생하는 것은 아니다.
그리고 상기 분석 장치(100)나 분석 시스템에 기입력된 다음의 코드를 이용하여 드론이 비행하고 있는 당일의 일출과 일몰 시간을 계산할 수 있다.(아래 표 1에 기재된 코드는 일출과 일몰 시간을 계산할 수 있도록 하는 코드의 예시이며, 그대로 이용될 수 있으나, 필요에 따라서는 일부가 변경 또는 다른 명령어가 추가되어 이용될 수 있다.)
int M = Month;
int D = Day;
double latitude = Lat;
double longitude = Lon;

double timeSpan = (M - 3) * 30 + (D - 21);
if (timeSpan < 0) timeSpan = 365;
double axialTilt = 23.5 * Math.sin(D2R * ((360.0 * timeSpan) / 365.0));
double theta3Rad = Math.acos(Math.tan(D3R * axialTilt) * Math.tan(D2R * latitude));
double ratio = 2 * R2D * theta3Rad / 360 - 0200625;
double sunrise = 60 * 60 * 24 * ratio / 2 + 60 * (135 - longitude) * 4;
double sunset = 60 * 60 * 12 + 60 * 60 * 24 * (1 - ratio) / 2 + 60 * (135 - longitude) * 4;
if((sunrise<S)&&(S<sunset)) return true;
else return false;
이후, 계산의 결과로 확인된 현재의 시점이 주간일 때에는 상기 드론에 장착된 디지털 카메라를 대상으로 하는 제어 신호를 생성하여 제어 장치(110)로 전송함으로써 카메라의 수직 하방으로의 조정과 그 하방에 대한 영상의 촬영이 동시에 실시될 수 있도록 한다.
그러나 계산의 결과로 확인된 현재의 시점이 야간일 때에는 상기 드론에 장착된 열화상 카메라를 대상으로 하는 제어 신호를 생성하여 제어 장치(110)로 전송함으로써 열화상 카메라의 수직 하방으로의 조정과 그 하방에 대한 열화상 영상의 촬영이 동시에 실시될 수 있도록 한다.
이 과정에서는 디지털 카메라를 이용한 영상 촬영이 중단될 필요가 없으므로 동시에 두 종류의 영상 정보가 생성되는 상황이 발생할 수 있으나, 디지털 카메라로 생성하는 영상 정보는 드론의 비행 속도를 계산하기 위한 목적으로 생성되는 것이 아니기 때문에 이후의 계산 단계(S140)에서는 실시간의 열화상 영상만이 이용될 수 있다.
결과적으로, 상기 촬영 단계(S110)가 야간에 실시될 때에는 비행 상태인 드론의 수직 하방에 대한 열화상 영상이 실시간으로 촬영될 수 있으며, 그에 따른 영상 정보가 생성 및 지정된 장치로 전송됨으로써 이후의 단계에서 드론이 이동 비행하는 방향의 확인과 이동 비행하는 속도의 계산에 이용될 수 있다.
또한, 도 1에 도시된 바와 같이, 상기 고도 확인 단계(S120)도 GNSS의 이상이 감지된 직후에 실시되는 단계이며, DTED(Digital Terrain Elevation Data)를 이용하거나 LiDar 등을 이용하여, 이륙지점을 기준으로 하는 AGL(Above Ground Level)이 아닌 지면을 기준으로 하는 실제 비행 위치의 고도가 확인될 수 있도록 한다.
따라서, 상기 드론에 구비된 전파 고도계나 기압 센서 또는 라이다는 항시 측정 정보를 생성하거나 GNSS의 이상이 감지된 시점 또는 재밍 시도가 감지되는 시점으로부터 측정 정보를 생성할 수 있으며, 생성된 측정 정보는 드론에 구비된 분석 장치(100)로 전송되거나 지상의 관제 장치에 구비된 분석 장치(100)로 전송되어 카메라의 줌 제어를 위한 제어 신호를 생성하는 과정에 이용될 수 있다.
즉, 도 3에 도시된 바와 같이, 상기 분석 장치(100)나 분석 시스템은 측정 정보에 포함된 거리 정보나 대기압 수치 정보 등을 기입력된 DTED에 적용하거나 LiDar 등을 이용하여 현재의 고도값을 계산할 수 있으며, 그 고도값을 기반으로 하여 디지털 카메라 또는 열화상 카메라의 줌 제어를 위한 줌 제어 신호를 생성할 수 있다.
또한, 도 1에 도시된 줌 제어 단계(S130)는 카메라의 줌 제어를 위한 줌 제어 신호가 생성된 직후에 실시되거나 그 줌 제어 신호를 생성하는 과정을 포함하는 단계이며, 확인된 비행 고도에 따라 카메라의 줌을 제어하는 방식으로 영상 항법을 위한 보다 정확한 영상 분석이 실현될 수 있도록 한다.
즉, 영상 항법의 실현을 위해서는 카메라로 촬영된 영상을 대상으로 하여 픽셀들의 위치 변화를 추적하는 옵티컬 플로우 방식의 영상 분석이 수반되어야 하는데 이러한 옵티컬 플로우 방식의 영상 분석은 드론의 고도가 높아질수록 영상의 분해능과 정밀도가 저하되기 때문에 분석의 정확도가 저하되는 문제가 발생하게 되거나 영상 항법에 이용할 수 있을만한 분석 데이터를 생성할 수 없게 되는 문제가 발생하게 된다.
따라서, 본 발명은 상기 분석 장치(100)나 분석 시스템이 생성하는 줌 제어 신호를 기반으로 하여 상기 제어 장치(110)가 드론의 비행 고도에 따른 카메라의 줌 제어를 실시하도록 하고 있으며, 이로 인해 드론이 100m 이상의 고고도에서 비행하는 상태에서도 옵티컬 플로우 방식의 영상 분석이 정확하게 실현될 수 있는 효과가 발생하게 된다.
상기 줌 제어 단계(S130)에 관한 본 발명의 일 실시예로써, 상기 분석 장치(100)나 분석 시스템은 기설정된 최대 고도인 150m를 기준으로 하여 15m 이하의 고도에서는 카메라가 최대로 줌아웃하도록 하는 줌 제어 신호를 생성할 수 있고, 15m를 초과하되 30m 이하인 고도에서는 카메라가 최대값 기준 10% 줌인하도록 하는 줌 제어 신호를 생성할 수 있으며, 상기와 동일한 방식을 유지하여 135m를 초과하되 150m 이하인 고도에서는 카메라가 최대로 줌인하도록 하는 줌 제어 신호를 생성할 수 있다.
이때, 상기한 실시예에서의 최대 고도는 드론에 장착되는 카메라의 성능에 의거하는 것이므로 고정된 값이 아니며, 제품에 따라 다른 최대 고도가 적용될 수 있다.
또한, 도 1에 도시된 바와 같이, 상기 계산 단계(S140)는 상기 제어 장치(110)에 의한 카메라의 줌 제어가 실시된 직후에 실시되는 단계이며, 드론의 영상 항법을 위한 보다 정확한 영상 분석이 상기한 옵티컬 플로우 방식으로 실현될 수 있도록 한다.
즉, 상기 계산 단계(S140)에서 상기 분석 장치(100)나 분석 시스템은 카메라의 줌이 제어된 상태에서 옵티컬 플로우 방식으로 영상에 대한 픽셀들의 위치 변화를 추적하여 드론이 이동 비행하는 방향을 확인하고, 그와 동시에 현재의 비행 고도와 줌 배율을 반영하여 드론이 이동 비행하는 속도를 계산하게 된다.
다만, 상기 줌 제어 단계(S130)에서는 드론의 고도만을 기준으로 하여 줌 제어 신호를 생성하게 되므로, 옵티컬 플로우 방식으로 확인된 속도값과 드론의 실제 속도가 상당히 불일치하게 되는 문제가 발생하게 된다.
이는, 상기 줌 제어 단계에서 카메라가 줌인 또는 줌아웃 되는 과정에서의 FOV(Field of View) 변화값이 비선형적으로 형성되기 때문이다.
즉, 디지털 카메라 중 하느 하나의 제품을 대상으로 하여 FOV의 변화값을 확인해 보았을 때, 최대로 줌아웃한 상태에서의 FOV 값을 58.92695°, 최대값 기준 10% 줌인한 상태에서의 FOV 값을 51.74155°, 20% 줌인한 상태에서의 FOV 값을 44.09145°, 30% 줌인한 상태에서의 FOV 값을 38.06503°, 40% 줌인한 상태에서의 FOV 값을 32.60511°, 50% 줌인한 상태에서의 FOV 값을 26.98874°, 60% 줌인한 상태에서의 FOV 값을 21.23717°, 70% 줌인한 상태에서의 FOV 값을 16.49911°, 80% 줌인한 상태에서의 FOV 값을 13.4017°, 90% 줌인한 상태에서의 FOV 값을 10.28449° 그리고 최대로 줌인한 상태에서의 FOV 값을 7.437238°로 확인할 수 있었다.
이처럼, 상기 드론에 장착되는 카메라의 FOV(Field of View) 변화값이 비선형적으로 형성되기 때문에, 단순히 현재의 비행 고도와 줌 배율을 반영한 옵티컬 플로우 방식의 영상 분석은 부정확할 수 밖에 없다.
따라서, 상기 분석 장치(100)나 분석 시스템에는 기입력된 보정 공식에 보정 계수가 반영되어 영상 분석에 의한 정확한 계산값이 도출될 수 있도록 하는 것이 바람직하며, 상기한 보정 공식을 적용된 줌 제어 신호를 생성한 경우에는 옵티컬 플로우 방식으로 확인된 속도값과 드론의 실제 속도가 거의 일치하거나 동일하게 될 수 있다.
즉, 도 4에 도시된 바와 같이, 상기 계산 단계(S140)에서는 드론의 현재 비행 고도와 줌 배율에 따른 보정 계수를 기입력된 보정 공식을 이용하는 옵티컬 플로우 계산에 적용하여 드론의 비행 고도에 따른 계산값 오차의 발생을 최소화하도록 구성되는 것을 특징으로 한다.
한편, 상기 드론이 최대 고도 이상의 고도에서 비행하고 있는 상황에서는 드론에 장착된 카메라가 이미 최대로 줌인되어 있는 상태에서 고도만 변화하는 것이며, 이는 선형 변수이기 때문에 고정된 줌 배율값에 현재 고도만을 유동적으로 반영하여 옵티컬 플로우 계산을 실시하면 된다.
또한, 도 1에 도시된 바와 같이, 상기 비행 제어 단계(S150)는 옵티컬 플로우 방식에 의한 영상 분석이 실시된 직후에 실시되는 단계이며, 영상 분석을 통해 확인 및 계산된 드론의 비행 방향과 속도를 기반으로 하는 관성 항법이 실현될 수 있도록 한다.
즉, 상기 비행 제어 단계(S150)에서 상기 제어 장치(110)는 분석 장치(100)나 분석 시스템이 생성한 분석 데이터인 방향 데이터와 속도 데이터를 이용하는 관성 항법 방식으로 드론의 비행을 제어하게 된다.
따라서, 상기 드론은 GNSS 모듈에 발생한 이상이 감지된 상황이나 스푸핑 시도가 발생하여 그 GNSS 모듈이 수신하는 위성 신호의 이상이 감지된 상황 또는 드론에 대한 재밍 시도가 감지된 상황에서도 원래의 비행 항로를 따라 계속 비행하거나 새로운 비행 항로를 따라 계속 비행할 수 있게 된다.
이후, GNSS 모듈에 이상이 발생한 상황을 제외하고, 상기 드론이 스푸핑이나 재밍이 시도되는 범위에서 벗어나게 되면 GNSS 신호가 다시 정상적으로 수신될 수 있으며, 이 경우에는 드론에 대한 비행 제어 방식이 GNSS 신호를 이용하는 원래의 방식으로 전환될 수 있다.
위에서 소개된 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 하기 위해, 예로써 제공되는 것이며, 본 발명은 위에서 설명된 실시예들에 한정되지 않고, 다른 형태로 구체화 될 수도 있다.
또한, 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
S100 : 이상 감지 단계
S110 : 촬영 단계
S120 : 고도 확인 단계
S130 : 줌 제어 단계
S140 : 계산 단계
S150 : 비행 제어 단계
100 : 분석 장치
110 : 제어 장치

Claims (3)

  1. 드론에 장착된 GNSS의 이상을 감지하는 이상 감지 단계(S100);
    GNSS의 이상이 감지되면, 드론에 장착된 카메라의 촬영 방향을 수직 하방으로 조정하고, 실시간의 영상을 촬영하는 촬영 단계(S110);
    GNSS의 이상이 감지되면, 드론에 장착된 센서를 이용하여 현재의 비행 고도를 확인하는 고도 확인 단계(S120);
    확인된 비행 고도에 따라 카메라의 줌을 제어하는 줌 제어 단계(S130);
    카메라의 줌이 제어된 상태에서 옵티컬 플로우 방식으로 영상에 대한 픽셀들의 위치 변화를 추적하여 드론이 이동 비행하는 방향을 확인하는 동시에 현재의 비행 고도와 줌 배율을 반영하여 드론이 이동 비행하는 속도를 계산하는 계산 단계(S140); 및,
    상기 계산 단계(S140)에서 확인 및 계산된 드론의 비행 방향과 속도를 이용하여 관성 항법 방식으로 드론의 비행을 제어하는 비행 제어 단계(S150); 를 포함하여 구성되는 것을 특징으로 하는 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법.
  2. 제1항에 있어서,
    GNSS의 이상이 감지되면,
    비행 당일의 일출과 일몰 시간을 계산하고,
    계산된 일출과 일몰 시간을 기준으로 현재의 시점을 주간이나 야간으로 구분하여,
    야간에는 상기 촬영 단계(S110)에서 드론에 장착된 열화상 카메라의 촬영 방향을 수직 하방으로 단독 조정하는 방식으로 상기 계산 단계(S140)에서 이용되는 실시간의 열화상 영상을 촬영하도록 구성되는 것을 특징으로 하는 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법.
  3. 제1항에 있어서,
    상기 계산 단계(S140)에서는,
    드론의 비행 고도와 현재의 줌 배율에 따른 보정 계수를 기입력된 보정 공식을 이용하는 옵티컬 플로우 계산에 적용하여 드론의 비행 고도에 따른 계산값 오차의 발생을 최소화하도록 구성되는 것을 특징으로 하는 GNSS 이상 상황에서의 영상 항법을 사용하는 자동 비행 방법.
KR1020230084379A 2023-06-29 2023-06-29 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법 KR102609467B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230084379A KR102609467B1 (ko) 2023-06-29 2023-06-29 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230084379A KR102609467B1 (ko) 2023-06-29 2023-06-29 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법

Publications (1)

Publication Number Publication Date
KR102609467B1 true KR102609467B1 (ko) 2023-12-04

Family

ID=89165040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230084379A KR102609467B1 (ko) 2023-06-29 2023-06-29 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법

Country Status (1)

Country Link
KR (1) KR102609467B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016915A (ko) * 2008-08-05 2010-02-16 주식회사 대한항공 무인항공기의 비행제어장치 및 그 제어방법
JP2017529709A (ja) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ オプティカルフロー場を構築する方法
KR101911353B1 (ko) * 2017-11-07 2018-10-25 드로젠(주) Ｇｎｓｓ 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체
KR20200016432A (ko) 2018-08-07 2020-02-17 박종덕 무인 비행체의 해킹 대응 시스템
KR102174827B1 (ko) * 2020-07-30 2020-11-05 (주)디에스정보기술 지피에스와 아이엔에스를 이용하여 정밀한 이미지를 획득할 수 있는 항공촬영시스템
KR20220014179A (ko) 2020-07-28 2022-02-04 유콘시스템 주식회사 Gps 신호의 수신불능 상황에서의 대응을 위한 자동 비행 장치
KR102392822B1 (ko) * 2021-06-10 2022-05-02 주식회사 에이투마인드 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016915A (ko) * 2008-08-05 2010-02-16 주식회사 대한항공 무인항공기의 비행제어장치 및 그 제어방법
JP2017529709A (ja) * 2015-07-31 2017-10-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ オプティカルフロー場を構築する方法
KR101911353B1 (ko) * 2017-11-07 2018-10-25 드로젠(주) Ｇｎｓｓ 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체
KR20200016432A (ko) 2018-08-07 2020-02-17 박종덕 무인 비행체의 해킹 대응 시스템
KR20220014179A (ko) 2020-07-28 2022-02-04 유콘시스템 주식회사 Gps 신호의 수신불능 상황에서의 대응을 위한 자동 비행 장치
KR102174827B1 (ko) * 2020-07-30 2020-11-05 (주)디에스정보기술 지피에스와 아이엔에스를 이용하여 정밀한 이미지를 획득할 수 있는 항공촬영시스템
KR102392822B1 (ko) * 2021-06-10 2022-05-02 주식회사 에이투마인드 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법

Similar Documents

Publication Publication Date Title
EP2735932B1 (en) Method and system for navigation of an unmanned aerial vehicle in an urban environment
KR102018892B1 (ko) 무인기의 착륙 제어 방법 및 장치
EP2879371B1 (en) System for following an object marked by a tag device with a camera
US8315794B1 (en) Method and system for GPS-denied navigation of unmanned aerial vehicles
USRE45253E1 (en) Remote image management system (RIMS)
EP2118713B1 (en) Precision approach control
EP3077879B1 (en) Imaging method and apparatus
CN105121999A (zh) 用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制
EP3077760B1 (en) Payload delivery
EP3077880B1 (en) Imaging method and apparatus
US5564650A (en) Processor arrangement
US20200145568A1 (en) Electro-optical imager field of regard coverage using vehicle motion
CN116430901A (zh) 一种基于移动停机坪的无人机返航控制方法及系统
JP7362203B2 (ja) 無人移動体
KR102609467B1 (ko) Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법
GB2522327A (en) Determining routes for aircraft
JP6719738B2 (ja) 自律移動撮影制御システムおよび自律移動体
KR101911353B1 (ko) Ｇｎｓｓ 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체
EP2881697A1 (en) Capturing and processing images
EP2881827A1 (en) Imaging method and apparatus
WO2015082594A1 (en) Determining routes for aircraft
GB2522328A (en) Payload delivery
EP3751233B1 (en) Multi-aircraft vision and datalink based navigation system and method
KR102149494B1 (ko) 드론을 이용한 구조물 검사 시스템 및 검사 방법
RU2813215C1 (ru) Комплекс средств автономной посадки беспилотного воздушного судна

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant