KR102462230B1 - 무인 비행장치 및 그의 동작 방법 - Google Patents
무인 비행장치 및 그의 동작 방법 Download PDFInfo
- Publication number
- KR102462230B1 KR102462230B1 KR1020200156935A KR20200156935A KR102462230B1 KR 102462230 B1 KR102462230 B1 KR 102462230B1 KR 1020200156935 A KR1020200156935 A KR 1020200156935A KR 20200156935 A KR20200156935 A KR 20200156935A KR 102462230 B1 KR102462230 B1 KR 102462230B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- point
- location
- unmanned aerial
- aerial vehicle
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006378 damage Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B64C2201/141—
-
- B64C2201/18—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 3차원 영상 카메라를 포함하는 무인 비행장치 및 그의 동작 방법에 관한 것으로, 본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법은, 상기 3차원 영상 카메라를 이용하여 제1 위치(P1)에서 제1 지역을 촬영하여 제1 3차원 영상 데이터를 획득하는 단계, 상기 제1 위치로부터 수직 방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역을 촬영하여 제2 3차원 영상 데이터를 획득하는 단계, 상기 제1 3차원 영상 데이터와 상기 제2 3차원 영상 데이터를 이용하여 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점(point)들 각각의 상대 고도를 계산하는 단계, 상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 결정하는 단계, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정하는 단계를 포함한다.
Description
본 발명은 무인 비행장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 3차원 영상 데이터를 기초로 착륙 지점을 결정하는 무인 비행장치 및 그의 동작 방법에 관한 것이다.
무인 비행장치가 다양한 분야에 적용되어 활용됨에 따라, 무인 비행장치로 인한 사고도 증가하고 있다. 특히, 무인 비행장치가 추락하여 충돌하는 경우 심각한 부상 및 재물 파손을 야기할 수 있다.
종래의 무인 비행장치는 GPS 신호 및 영상 데이터를 이용하여 운용자에게 위치 및 상태에 대한 정보를 송신하고, 제어 신호를 수신한다. 무인 비행장치의 통신 모듈 또는 다른 구성품에 문제가 생겨 비상 착륙이 필요한 경우, 무인 비행장치는 회피 시나리오에 따라 초기 위치 또는 설정된 착륙 위치로 이동한다. 그러나 무인 비행장치가 GPS 신호를 수신할 수 없어 정확한 현재 위치 정보를 알 수 없는 경우, 무인 비행장치의 비상 착륙으로 인하여 피해가 발생할 수 있다.
3차원 영상 카메라는 피사체의 영상 및 피사체까지의 거리를 포함하는 3차원 영상 데이터를 생성하는 기기이다. 3차원 영상 카메라는 스테레오스코프 방식, 비행-시간(Time-Of-Flight) 방식, 및 구조화 광 패턴(Structured Light Pattern) 방식이 있다. 스테레오스코프 방식은 두 개의 이차원 이미지 센서가 촬영한 이차원 영상을 결합하여 거리를 측정하는 방식이며, 구조화 광 패턴 방식은 패턴을 가진 광을 피사체에 조사하여, 피사체의 표면에 투영된 패턴을 분석하여 거리를 측정하는 방식이다.
비행-시간 방식은 피사체에 광을 조사하고, 피사체의 표면으로부터 반사된 광을 수신하여, 반사에 의하여 변조된 광 주파수를 분석함으로써 거리를 측정하는 방식이다. 비행-시간 방식 3차원 영상 카메라는 레이저를 이용하여 매우 멀리 위치하는 피사체의 거리 측정이 가능하며, 영상 처리에 의한 결과가 아니므로, 영상 처리에서 발생하는 오류로부터 자유롭다.
한국 공개특허공부 제10-2017-0088501호(2017.08.02.)는 국소위치인식시스템에 관한 것으로, 건물에 의한 가림이 발생하거나, 건물 내의 환경에서 GPS 신호를 사용할 수 없을 때, 외부의 신호발생장치를 사용하지 않고, 거리 검출 센서와 카메라가 조합된 센서 모듈이 고정된 3개의 위치를 측정하여 자기 위치와 자세를 인식하는 국소위치인식시스템을 제공한다.
그러나, 이러한 방법을 이용하여 무인 비행장치가 국소위치를 인식하더라도, 기 설정된 착륙 지점에 예상치 못한 물체 등이 위치하는 경우, 충돌에 의한 사고를 피할 수 없다는 문제점이 여전히 존재한다.
본 발명이 해결하고자 하는 제1 기술적 과제는 3차원 영상 데이터를 이용하여 착륙 지점을 결정하는 무인 비행장치의 동작 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 제2 기술적 과제는 3차원 영상 데이터를 이용하여 착륙 지점을 결정하는 무인 비행장치를 제공하는 것이다.
상술한 제1 기술적 과제를 해결하기 위하여 본 발명은 상기 3차원 영상 카메라를 이용하여 제1 위치(P1)에서 제1 지역을 촬영하여 제1 3차원 영상 데이터를 획득하는 단계, 상기 제1 위치로부터 수직 방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역을 촬영하여 제2 3차원 영상 데이터를 획득하는 단계, 상기 제1 3차원 영상 데이터와 상기 제2 3차원 영상 데이터를 이용하여 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점(point)들 각각의 상대 고도를 계산하는 단계, 상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 추출하는 단계, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정하는 단계를 포함하는 무인 비행장치의 동작 방법을 제공한다.
본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법은 회피 시행 조건이 만족되면, 상기 단계들을 실행하는 단계를 더 포함하고, 상기 회피 시행 조건은 상기 무인 비행장치에 장착되는 통신 모듈, GPS 모듈 및 SBAS 모듈 중 적어도 하나에 이상이 감지되는 경우일 수 있다.
상기 제2 3차원 영상 데이터를 획득하는 단계는, 상기 제1 3차원 영상 데이터로부터 상기 제1 위치의 상대 고도를 결정하는 단계, 상기 제1 위치의 상대 고도가 미리 설정된 값 이상인 경우, 상기 제1 거리만큼 하강하여 상기 제2 위치로 이동하는 단계, 및 상기 제2 위치(P2)에서 상기 제2 지역을 촬영하는 단계를 포함할 수 있다.
또는, 상기 제1 3차원 영상 데이터를 획득하는 단계는, 상기 제2 3차원 영상 데이터로부터 상기 제2 위치의 상대 고도를 결정하는 단계, 상기 제2 위치의 상대 고도가 미리 설정된 값 이하인 경우, 상기 제1 거리만큼 상승하여 상기 제1 위치로 이동하는 단계, 및 상기 제1 위치(P1)에서 상기 제1 지역을 촬영하는 단계를 포함할 수 있다.
상기 복수의 지점들 각각의 상대 고도를 계산하는 단계는 상기 복수의 지점들 중 하나인 제1 지점의 상대 고도를 계산하는 단계를 포함하고, 상기 제1 지점의 상대 고도를 계산하는 단계는, 상기 제1 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제1 픽셀을 결정하는 단계, 상기 제2 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제2 픽셀을 결정하는 단계, 상기 제1 3차원 영상 데이터의 상기 제1 픽셀의 값을 이용하여, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a)를 획득하는 단계, 상기 제2 3차원 영상 데이터의 상기 제2 픽셀의 값을 이용하여 상기 제2 위치(P2)와 상기 제2 지점 사이의 거리(b)를 획득하는 단계, 및 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a), 상기 제2 위치(P2)와 상기 제2 지점 사이의 거리(b), 및 상기 제1 거리(c)를 이용하여, 상기 제1 지점의 상대 고도(x)를 산출하는 단계를 포함할 수 있다.
상기 제1 지점의 상대 고도(x)는 하기 수학식 1에 의하여 산출될 수 있다.
[수학식 1]
이 때, x는 상기 제1 지점의 상대 고도이고, a는 상기 제1 위치와 상기 제1 지점 사이의 거리이고, b는 상기 제2 위치와 상기 제2 지점 사이의 거리이고, c는 상기 제1 위치와 상기 제2 위치 사이의 상기 제1 거리이다.
상기 적어도 하나의 수평 영역을 추출하는 단계는, 상기 복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑하는 단계, 및 상기 복수의 지점들 중에서 그룹핑된 지점들을 수평 영역으로 결정하는 단계를 포함할 수 있다.
상기 착륙 지점을 결정하는 단계는, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 결정하는 단계, 상기 적어도 하나의 수평 영역의 상대 고도에 기초하여 착륙 가능 픽셀 수를 산출하는 단계, 및 상기 적어도 하나의 수평 영역에 해당하는 픽셀들이 제1 방향과 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 적어도 하나의 수평 영역을 상기 착륙 지점으로 결정하는 단계를 포함할 수 있다.
상기 착륙 가능 픽셀 수는 하기 수학식 2에 의하여 결정될 수 있다.
[수학식 2]
이 때, y는 상기 착륙 가능 픽셀 수이고, x는 상기 제1 지점의 상대 고도이고, k 및 C는 상기 상대 고도에 따른 연관 상수이다.
상기 연관 상수는 상기 3차원 영상 카메라의 광학 특성을 기초로 결정될 수 있다.
상기 착륙 지점을 결정하는 단계는, 복수의 착륙 지점 중에서 상기 제2 위치(P2)에서 가장 가까운 착륙 지점을 선택하는 단계를 포함할 수 잇다.
본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법은 상기 착륙 지점으로 이동하면서, 상기 단계들을 반복하여 상기 착륙 지점의 적합도를 재평가하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상술한 어느 한 방법을 컴퓨팅 장치를 이용하여 실행시키기 위한 컴퓨터 프로그램을 컴퓨터로 판독 가능한 매체에 저장할 수 있다.
상술한 제2 기술적 과제를 해결하기 위하여 본 발명은, 운용자로부터 제어 명령을 수신하고 현재 상태를 송신하는 통신 모듈, GPS 위성 신호를 수신하는 GPS 모듈, 상기 GPS 위성 신호의 오차를 제거하고, 상기 GPS 위성 신호의 무결성 정보를 수신하여, 현재 위치 정보를 생성하는 SBAS 모듈, 피사체의 영상 및 상기 피사체까지의 거리를 포함하는 3차원 영상 데이터를 생성하는 3차원 영상 카메라, 및 상기 통신 모듈, 상기 GPS 모듈, 및 상기 SBAS 모듈 중 적어도 하나에 이상이 감지되는 경우, 회피 알고리즘을 실행하도록 구성되는 제어부를 포함하는 무인 비행장치를 제공한다.
상기 회피 알고리즘은 상기 3차원 영상 카메라를 이용하여 제1 위치(P1)에서 제1 지역을 촬영하여 제1 3차원 영상 데이터를 획득하고, 상기 제1 위치로부터 수직 방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역을 촬영하여 제2 3차원 영상 데이터를 획득하고, 상기 제1 3차원 영상 데이터와 상기 제2 3차원 영상 데이터를 이용하여 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점들 각각의 상대 고도를 계산하고, 상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 추출하고, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정할 수 있다.
상기 회피 알고리즘은, 상기 제1 3차원 영상 데이터에서 상기 복수의 지점들 중 하나인 제1 지점에 대응하는 제1 픽셀을 결정하고, 상기 제2 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제2 픽셀을 결정하고, 상기 제1 3차원 영상 데이터의 상기 제1 픽셀의 값을 이용하여, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a)를 획득하고, 상기 제2 3차원 영상 데이터의 상기 제2 픽셀의 값을 이용하여, 상기 제2 위치(P2)와 상기 제2 지점 사이의 거리(b)를 획득하고, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a), 상기 제2 위치(P2)와 상기 제2 지점 사이의 거리(b), 및 상기 제1 거리(c)를 이용하여 상기 제1 지점의 상대 고도를 계산할 수 있다.
상기 회피 알고리즘은, 상기 복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑하고, 상기 복수의 지점들 중에서 그룹핑된 지점들을 상기 수평 영영으로 결정할 수 있다.
상기 회피 알고리즘은, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 결정하고, 상기 적어도 하나의 수평 영역의 상대 고도에 기초하여 착륙 가능 픽셀 수를 산출하고, 상기 적어도 하나의 수평 영역에 해당하는 픽셀들이 제1 방향과 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 적어도 하나의 수평 영역을 상기 착륙 지점으로 결정할 수 있다.
상기 회피 알고리즘은, 상기 착륙 지점으로 이동하면서, 상기 착륙 지점의 적합도를 재평가할 수 있다.
본 발명의 일 실시예에 따른 무인 비행장치는, 회피 조건을 만족하였을 때, 3차원 영상 카메라를 이용하여 착륙 지점을 스스로 결정하여 비상 착륙할 수 있다.
이 때, 무인 비행장치는 착륙 지점으로 이동하는 과정에서 착륙 적합도를 지속적으로 확인하고, 착륙 지점에 이상 물체가 존재하는 경우, 착륙을 중지하고 다른 지역을 검색하여 대체 착륙 지점을 결정할 수 있다.
따라서, 무인 비행장치의 낙하, 충돌로 인한 부상이나 재물 파손을 방지하고, 무인 비행장치를 안전하게 회수할 수 있다.
본 발명의 기술적 효과들은 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 무인 비행장치를 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법을 도시하는 순서도이다.
도 3은 도 2에 도시된 상대 고도를 산출하는 단계를 설명하기 위한 개념도이다.
도 4는 도 2에 도시된 수평 영역 결정 단계를 설명하기 위한 개념도이다.
도 5는 3차원 영상 카메라의 광학 특성을 설명하기 위한 개념도이다.
도 6은 상대 고도에 따른 착륙 가능 픽셀 수를 도시하는 그래프이다.
도 7은 도 1에 도시된 무인 비행장치의 제어부를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법을 도시하는 순서도이다.
도 3은 도 2에 도시된 상대 고도를 산출하는 단계를 설명하기 위한 개념도이다.
도 4는 도 2에 도시된 수평 영역 결정 단계를 설명하기 위한 개념도이다.
도 5는 3차원 영상 카메라의 광학 특성을 설명하기 위한 개념도이다.
도 6은 상대 고도에 따른 착륙 가능 픽셀 수를 도시하는 그래프이다.
도 7은 도 1에 도시된 무인 비행장치의 제어부를 설명하기 위한 블록도이다.
본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.
층, 영역 또는 기판과 같은 요소가 다른 구성요소 "상(on)"에 존재하는 것으로 언급될 때, 이것은 직접적으로 다른 요소 상에 존재하거나 또는 그 사이에 중간 요소가 존재할 수도 있다는 것을 이해할 수 있을 것이다.
비록 제1, 제2 등의 용어가 여러 가지 요소들, 성분들, 영역들, 층들 및/또는 지역들을 설명하기 위해 사용될 수 있지만, 이러한 요소들, 성분들, 영역들, 층들 및/또는 지역들은 이러한 용어에 의해 한정되어서는 안 된다는 것을 이해할 것이다.
일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 명세서의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다.
본 명세서의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 명세서의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 명세서의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 명세서에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 명세서는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면 상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 무인 비행장치를 도시하는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 무인 비행장치(100)는 통신모듈(110), GPS 모듈(120), SBAS 모듈(130), 3차원 영상 카메라(140) 및 제어부(150)를 포함한다.
상기 무인 비행장치(100)는 사람이 타지 않고, 원격 조종 또는 스스로 조종되는 비행체를 말한다. 무인 비행장치(100)는 무인 비행기, 무인 헬리콥터, 또는 무인 멀티콥터일 수 있다. 무인 비행장치(100)는 레저용, 정찰, 항공 촬영, 해안 감시, 농약 살포, 및 물품 배송 중 어느 하나 이상의 역할을 수행할 수 있으며, 그 목적에 따라 촬영 장비, 측정 장비, 배송 장비 등의 다양한 장비를 탑재할 수 있다.
통신 모듈(110)은 운용자로부터 제어 명령을 수신하고, 무인 비행장치(100)의 현재 상태를 송신한다.
GPS 모듈(120)은 위성으로부터 GPS 위성 신호를 수신하고, 수신된 GPS 위성 신호에 포함된 경도 좌표 및 위도 좌표를 기초로 하여 상기 무인 비행장치(100)의 위치를 실시간으로 결정한다.
SBAS 모듈(130)은 정지궤도 위성 및 지상시스템을 통하여 GPS 위성 신호의 오차 및 무결성 정보를 수신하고, 상기 GPS 위성 신호를 이용한 위치 결정에서 발생하는 오차를 보정하고, 무인 비행장치(100)의 위치를 실시간으로 결정한다. SBAS 모듈(130)은 GPS 신호를 이용하여 위치를 결정할 때 수반되는 전파경로상의 오차, 위성시계 오차 등을 보정하여 무인 비행장치(100)의 현재 위치를 3 m 이내로 결정하고 무결성을 보장할 수 있다.
3차원 영상 카메라(140)는 피사체의 영상 및 상기 피사체까지의 거리를 포함하는 3차원 영상 데이터를 생성한다. 3차원 영상 카메라(140)는 스테레오스코프 방식 카메라, 구조화 광 패턴 방식 카메라, 비행-시간 방식 카메라 또는 이들의 조합일 수 있다.
3차원 영상 카메라(140)는 무인 비행장치(100)의 하부에 장착되며, 무인 비행장치(100)가 비행하는 동안 무인 비행장치(100) 아래의 지형지물 및 이동 물체를 항공 촬영하여 3차원 영상 데이터를 획득할 수 있다.
제어부(150)는 무인 비행장치(100)의 동작을 제어하는 컴퓨팅 장치이다. 제어부(150)는 적어도 하나 이상의 프로세서에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 제어부(150)는 마이크로프로세서나 소형 컴퓨터 시스템과 같은 형태로 구동되는 것일 수 있다. 제어부(150)는 프로그램 명령 및 무인 비행장치(100)가 획득한 위성 신호, 오차 및 무결성 정보, 3차원 영상 데이터 등을 저장하기 위한 기록 장치를 포함한다.
무인 비행장치(100)는 GPS 모듈(120)이 수신하는 GPS 위성 신호 및 SBAS 모듈(130)이 수신하는 오차 및 무결성 정보를 이용하여 정확한 위치를 결정한다. 무인 비행장치(100)는 통신 모듈(110)을 통하여, 상기 결정된 위치 및 무인 비행장치(100)의 현재 상태를 운용자에게 송신하고, 운용자로부터 제어 명령을 수신한다. 따라서, 통신 모듈(110), GPS 모듈(120) 및 SBAS 모듈(130) 중 적어도 어느 하나에 문제가 발생하는 경우, 운용자는 무인 비행장치(100)의 정확한 위치와 상태를 파악할 수 없다. 따라서, 운용자의 정밀한 제어가 불가능한 무인 비행장치(100)는 충돌의 위험성이 증가할 수 있다.
제어부(150)는 통신 모듈(110), GPS 모듈(120) 및 SBAS 모듈(130) 중 적어도 어느 하나에 문제가 발생하는 경우를 회피 조건으로 하여, 회피 알고리즘을 실행할 수 있다. 상기 회피 조건은 사용자의 입력, 무인 비행장치(100)의 파손, 연료 부족, 또는 기상 악화로 인한 문제 발생 등을 더 포함할 수 있다. 회피 알고리즘이 실행되면, 무인 비행장치(100)는 착륙 지점을 자동으로 결정하여 비상 착륙을 시도한다.
도 2는 본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법을 도시하는 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 무인 비행장치의 동작 방법은 제1 3차원 영상 데이터를 획득하는 단계(S10), 제2 3차원 영상 데이터를 획득하는 단계(S20), 복수의 지점들의 상대 고도를 산출하는 단계(S30), 수평 영역을 추출하는 단계(S40) 및 착륙 지점을 결정하는 단계(S50)를 포함한다.
제1 3차원 영상 데이터를 획득하는 단계(S10) 및 제2 3차원 영상 데이터를 획득하는 단계(S20)는, 무인 비행장치가 제1 위치(P1)에서 제1 지역의 3차원 영상 데이터를 획득하고, 제1 위치(P1)로부터 수직방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역의 3차원 영상 데이터를 획득하는 단계이다.
회피 조건이 만족되면, 무인 비행장치는 현재 위치에서 3차원 영상 데이터를 획득하고, 무인 비행장치로부터 수직 방향의 표면으로부터 현재 위치의 상대 고도를 획득한다.
이 때, 현재 위치의 상대 고도가 기 설정된 기준값 이상이면, 무인 비행장치의 현재 위치를 제1 위치(P1)로 결정한다. 무인 비행장치는 수직방향으로 제1 거리(c)만큼 하강하여 제2 위치(P2)로 이동하고, 제2 지역의 3차원 영상 데이터를 획득한다.
회피 조건이 만족되었을 때, 무인 비행장치의 현재 위치의 상대 고도가 기 설정된 기준값 이하이면, 무인 비행장치의 현재 위치를 제2 위치(P2)로 결정한다. 무인 비행장치는 수직 방향으로 제1 거리(c)만큼 상승하여 제1 위치(P1)로 이동하고, 제1 지역의 3차원 영상 데이터를 획득한다.
복수의 지점들의 상대 고도를 산출하는 단계(S30)는, 상기 제1 3차원 영상 데이터와 상기 제2 3차원 영상 데이터를 이용하여 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점들 각각의 상대 고도를 계산하는 단계이다.
제1 위치(P1)에서 촬영한 제1 지역은, 제1 위치(P1)보다 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 촬영한 제2 지역보다 넓은 범위의 지역일 수 있다. 따라서, 제1 지역과 제2 지역이 중첩하여, 제1 3차원 영상 데이터 및 제2 3차원 영상 데이터 각각에 영상 및 거리 정보가 저장되는 복수의 지점들 각각의 상대 고도를 계산한다.
본 발명의 일 실시예에서, 상대 고도를 계산하는 복수의 지점들은 객체 검출 알고리즘에 의하여 3차원 영상 데이터의 영상 또는 거리 정보로부터 적절하게 선택될 수 있다. 예를 들어, 3차원 영상 데이터에서 채도, 명도 분석을 통하여 인접하는 픽셀들과 유사한 값을 가지는 지점들을 상대 고도를 계산하는 복수의 지점들로 선택할 수 있다. 또 다른 예로, 인접하는 픽셀들의 거리 변화 값이 일정 범위 이내인 지점들을 상대 고도를 계산하는 복수의 지점들로 선택할 수 있다.
수평 영역을 추출하는 단계(S40)는 상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 추출하는 단계이다.
복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑한다. 상기 미리 설정된 범위는 상대 고도에 따른 측정 오차 범위일 수 있다. 상기 미리 설정된 범위는 무인 비행장치의 착륙 가능한 표면의 요철을 포함하는 범위일 수 있다.
무인 비행장치는 복수의 지점들 중에서 그룹핑 된 지점들을 수평 영역으로 결정할 수 있다.
착륙 지점을 결정하는 단계(S50)는, 제2 3차원 영상 데이터에서 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정하는 단계이다.
무인 비행장치는 상기 하나의 수평 영역에 해당하는 픽셀들의 수를 계수하고, 계수 된 픽셀들의 수를 그 수평 영역의 상대 고도에 기초한 착륙 가능 픽셀 수와 비교한다.
상대 고도에 기초한 착륙 가능 픽셀 수는 무인 비행장치의 착륙 가능 면적 및 3차원 영상 카메라의 광학적 특성에 의하여 산출된다. 착륙 가능 픽셀 수는 제1 방향 및 제2 방향으로 무인 비행장치의 길이 및 너비와 비례한다.
수평 영역에 해당하는 픽셀들이 제1 방향 및 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 수평 영역은 착륙 지점으로 결정될 수 있다.
수평 영역에 해당하는 픽셀들이 제1 방향 및 제2 방향으로 착륙 가능 픽셀 수를 초과하는 수평 영역들이 복수 존재하는 경우, 복수의 착륙 지점이 결정될 수 있으며, 무인 비행장치는 복수의 착륙 지점 중에서 상기 제2 위치(P2)에 가장 가까운 착륙 지점을 선택하여 착륙을 시도할 수 있다.
무인 비행장치는 착륙 지점으로 이동하면서, 상기 단계들(S10 내지 S50)을 반복하여 착륙 지점의 적합도를 재평가할 수 있다. 먼 거리에서 측정함으로써 생기는 오차나 물체의 이동 등으로 인하여 결정된 착륙 지점이 착륙에 부적합할 때, 무인 비행장치는 새로운 착륙 지점을 결정할 수 있다.
도 3은 도 2에 도시된 복수의 지점들의 상대 고도를 산출하는 단계를 설명하기 위한 개념도이다.
도 3을 참조하면, 무인 비행장치(10a)는 제1 위치(P1)에서 제1 3차원 영상 데이터를 획득한다. 제1 3차원 영상 데이터는 제1 위치(P1)에서 무인 비행장치(10a)의 수직 방향으로 아래에 위치한 표면(O)까지의 거리(h1)와, 제1 피사체(20)의 제1 지점(M)까지의 거리(a)를 포함한다.
무인 비행장치(10b)는 제1 위치(P1)에서 수직 방향으로 제1 거리(c)만큼 하강한 제2 위치(P2)에서 제2 3차원 영상 데이터를 획득한다. 제2 3차원 영상 데이터는 제1 지점(M)까지의 거리(b)를 포함한다.
제2 위치(P2)에 위치한 무인 비행장치(10b)의 고도와 제1 지점(M)의 고도의 차이인 상대 고도(x)는 하기의 수학식 1에 의하여 산출된다.
[수학식 1]
이 때, x는 상기 제1 지점의 상대 고도이고, a는 상기 제1 위치와 상기 제1 지점 사이의 거리이고, b는 상기 제2 위치와 상기 제2 지점 사이의 거리이고, c는 상기 제1 위치와 상기 제2 위치 사이의 상기 제1 거리이다.
도 4는 도 2에 도시된 수평 영역 결정 단계 및 착륙 지점 결정 단계를 설명하기 위한 3차원 영상 데이터의 개념도이다.
도 4를 참조하면, 무인 비행장치는 제1 3차원 영상 데이터와 제2 3차원 영상 데이터에 포함되는 중첩 지역(300a)를 추출하고, 추출된 중첩 지역(300a) 내의 복수의 지점들 각각의 상대 고도를 산출한다. 이 때, 상대 고도를 산출하는 복수의 지점들은 객체 검출 알고리즘에 의하여 선택될 수 있다. 이해를 돕기 위하여, 복수의 지점들의 상대 고도는 각 지점의 음영으로 표시되었다.
복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑한다. 미리 설정된 범위는 상대 고도에 따른 측정 오차 범위일 수 있으나 이에 한정되는 것은 아니다.
그룹핑 된 복수의 지점들은 각각 수평 영역(G1, G2 및 G3)으로 결정된다. 3차원 영상 데이터에서 각각의 수평 영역의 픽셀들의 수가 계수 되어 결정된다. 본 실시예에서 제1 수평 영역(G1)의 픽셀 수는 36개이고, 제2 수평 영역(G2)의 픽셀 수는 20개이며, 제3 수평 영역(G3)의 픽셀 수는 4개이다.
수평 영역의 상대 고도에 기초하여 착륙 가능 픽셀 수를 산출한다. 예를 들어, 제2 수평 영역(G2)와 제3 수평 영역(G3)는 동일한 상대 고도를 가지며, 상기 상대 고도에서 무인 비행장치의 착륙 가능 픽셀 수는 16개일 수 있다. 제2 수평 영역(G2)에 비하여 상대 고도가 낮은 제1 수평 영역(G1)의 경우, 제1 수평 영역(G1)의 상대 고도에서 무인 비행장치의 착륙 가능 픽셀 수는 25개일 수 있다. 무인 비행장치는 착륙 가능 픽셀 수를 초과하는 제1 수평 영역(G1)과 제2 수평 영역(G2)은 착륙 지점으로 결정하고, 제3 수평 영역(G3)는 착륙 지점에서 제외할 수 있다.
도 5는 3차원 영상 카메라의 광학 특성을 설명하기 위한 개념도이다.
도 5(a)를 참조하면, 무인 비행장치(10a)는 제1 위치(P1)에서 수직 방향으로 아래에 위치하는 제1 피사체(20)의 상면을 촬영한다. 제1 3차원 영상 데이터에서 제1 피사체(20)의 상면은 제1 면적(31a)를 갖는다.
도 5(b)를 참조하면, 무인 비행장치(10b)는 제2 위치(P2)에서 수직 방향으로 아래에 위치하는 제1 피사체(20)의 상면을 촬영한다. 무인 비행장치(10b)와 제1 피사체(20)의 상면의 상대 고도가 감소함에 따라, 제2 3차원 영상 데이터에서 제1 피사체(20)의 상면의 면적인 제2 면적(31b)은 제1 면적(31a)에 비하여 증가한다.
이 때, 제1 피사체(20)의 상면은 무인 비행장치(10)가 착륙 가능한 착륙 가능 면적일 수 있다.
무인 비행장치(10)를 상승 또는 하강하여, 제1 피사체(20) 상면의 상대 고도를 달리하며 3차원 영상 데이터들을 획득한다. 3차원 영상 데이터들로부터 제1 피사체(20)의 상면의 면적이 차지하는 픽셀 수를 각각 계수하고, 3차원 영상 카메라의 광학 특성에 따른 착륙 가능 픽셀 수와 상대 고도의 관계를 도출할 수 있다.
이 때, 착륙 가능 픽셀 수는 선형회귀(Linear Regression) 기법을 활용하여 도출될 수 있다.
도 6은 상대 고도에 따른 착륙 가능 픽셀 수를 도시하는 그래프이다.
도 6을 참조하면, 피사체의 상대 고도(x)에 따라, 피사체의 상면에 표시된 착륙 가능 영역은 3차원 영상 데이터에서 y 개의 픽셀 수로 표시된다. 착륙 가능 픽셀 수 y와 상대 고도(x)의 관계는 하기의 수학식 2로 나타낼 수 있다.
[수학식 2]
이 때, y는 상기 착륙 가능 픽셀 수이고, x는 상기 제1 지점의 상대 고도이고, k 및 C는 상기 상대 고도에 따른 연관 상수이다.
연관 상수 k 및 C는 3차원 영상 카메라의 광학적 특성에 따라 결정된다.
다른 실시예에서, 착륙 가능 픽셀 수와 상대 고도는 3차원 영상 카메라의 광학적 특성에 따라 비선형적 관계를 가질 수 있다.
도 7은 도 1에 도시된 무인 비행장치의 제어부를 설명하기 위한 블록도이다.
도 7을 참조하면, 제어부(150)는 상태 감지부(151), 고도 계산부(153), 수평 영역 추출부(155) 및 착륙 지점 결정부(157)를 포함할 수 있다.
제어부(150)는 적어도 하나 이상의 프로세서에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있으며, 마이크로프로세서나 소형 컴퓨터 시스템과 같은 하드웨어 장치일 수 있다. 각각의 부들은 특정 기능을 실행하는 하드웨어 및 소프트웨어 구성일 수 있다.
제어부(150)는 3차원 영상 데이터 및 회피 알고리즘을 수행하기 위한 프로그램을 저장하는 메모리를 더 포함할 수 있다. 상기 메모리는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체일 수 있다.
상태 감지부(151)는 통신 모듈(110), GPS 모듈(120), SBAS 모듈(130) 및 무선 비행장치를 구성하는 기타 모듈들로부터 신호를 수신하고, 무선 비행장치의 현재 상태를 결정한다. 상태 감지부(151)는 통신 모듈(110), GPS 모듈(120) 및 SBAS 모듈(130) 중 적어도 어느 하나에 문제가 발생하는 경우, 이를 감지하고, 회피 알고리즘을 실행하도록 신호를 발생시킬 수 있다.
고도 계산부(153)는 회피 알고리즘에 따라, 제1 위치(P1)에서 획득한 제1 3차원 영상 데이터와, 제1 위치(P1)로부터 수직방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 획득한 제2 3차원 영상 데이터로부터 복수의 지점의 상대 고도를 산출한다.
복수의 지점들은 상기 제1 위치(P1)에서 촬영한 제1 지역과, 상기 제2 위치(P2)에서 촬영한 제2 지역이 중첩하는 지역 내에서 결정된다. 고도 계산부(153)는 3차원 영상 데이터의 영상 또는 거리 정보를 이용하여 상대 고도를 계산하는 복수의 지점들을 선택할 수 있다.
복수의 지점들 중 하나인 제1 지점(M)의 상대 고도(x)는 하기의 수학식 1에 의하여 산출된다.
[수학식 1]
이 때, x는 상기 제1 지점의 상대 고도이고, a는 상기 제1 위치와 상기 제1 지점 사이의 거리이고, b는 상기 제2 위치와 상기 제2 지점 사이의 거리이고, c는 상기 제1 위치와 상기 제2 위치 사이의 상기 제1 거리이다.
수평 영역 추출부(155)는 상기 복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑한다. 미리 설정된 범위는 상대 고도에 따른 측정 오차 범위일 수 있으나 이에 한정되는 것은 아니다. 수평 영역 추출부(155)는 복수의 지점들 중에서 상기 그룹핑 된 지점들을 수평 영역으로 결정할 수 있다.
착륙 지점 결정부(157)는 제2 3차원 영상 데이터에서 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정한다. 착륙 지점 결정부(157)는 상기 하나의 수평 영역에 해당하는 픽셀들의 수를 계수하고, 계수 된 픽셀들의 수를 그 수평 영역의 상대 고도에 기초한 착륙 가능 픽셀 수와 비교한다.
상대 고도에 기초한 착륙 가능 픽셀 수는 무인 비행장치의 착륙 가능 면적 및 3차원 영상 카메라의 광학적 특성에 의하여 산출된다. 착륙 가능 픽셀 수는 제1 방향 및 제2 방향으로 무인 비행장치의 길이 및 너비와 비례한다.
수평 영역에 해당하는 픽셀들이 제1 방향 및 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 수평 영역은 착륙 지점으로 결정될 수 있다.
착륙 지점 결정부(157)는 복수의 착륙 지점을 선택할 수 있다. 착륙 지점 결정부(157)는 복수의 착륙 지점 중 상기 제2위치(P2)에 가장 가까운 하나의 착륙 지점을 선택할 수 있다.
제어부(150)는 상기 선택된 착륙 지점으로 이동하며, 상술한 동작들을 반복하여, 착륙 지점의 적합도를 재평가할 수 있다.
상기에서는 본 발명에 따른 실시예들을 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않는다. 본 발명이 속하는 기술분야의 당업자가 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있으며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속한다.
10 : 무인 비행장치 20 : 피사체
30 : 투영면
100 : 무인 비행장치 110 : 통신 모듈
120 : GPS 모듈 130 : SBAS 모듈
140 : 3차원 영상 카메라 150 : 제어부
151 : 상태 감지부 153 : 고도 계산부
155 : 수평 영역 추출부 157 : 착륙 지점 결정부
30 : 투영면
100 : 무인 비행장치 110 : 통신 모듈
120 : GPS 모듈 130 : SBAS 모듈
140 : 3차원 영상 카메라 150 : 제어부
151 : 상태 감지부 153 : 고도 계산부
155 : 수평 영역 추출부 157 : 착륙 지점 결정부
Claims (19)
- 3차원 영상 카메라를 포함하는 무인 비행장치의 동작 방법에 있어서,
상기 3차원 영상 카메라를 이용하여 제1 위치(P1)에서 제1 지역을 촬영하여 제1 3차원 영상 데이터를 획득하는 단계;
상기 제1 위치로부터 수직 방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역을 촬영하여 제2 3차원 영상 데이터를 획득하는 단계;
상기 제1 3차원 영상 데이터와 상기 제2 3차원 영상 데이터를 이용하여 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점(point)들 각각의 상대 고도를 계산하는 단계;
상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 결정하는 단계;
상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정하는 단계를 포함하고,
상기 복수의 지점들 각각의 상대 고도를 계산하는 단계는 상기 복수의 지점들 중 하나인 제1 지점의 상대 고도를 계산하는 단계를 포함하고,
상기 제1 지점의 상대 고도를 계산하는 단계는,
상기 제1 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제1 픽셀을 결정하는 단계;
상기 제2 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제2 픽셀을 결정하는 단계;
상기 제1 3차원 영상 데이터의 상기 제1 픽셀의 값을 이용하여, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a)를 획득하는 단계;
상기 제2 3차원 영상 데이터의 상기 제2 픽셀의 값을 이용하여 상기 제2 위치(P2)와 상기 제1 지점 사이의 거리(b)를 획득하는 단계; 및
상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a), 상기 제2 위치(P2)와 상기 제1 지점 사이의 거리(b), 및 상기 제1 거리(c)를 이용하여, 상기 제1 지점의 상대 고도(x)를 산출하는 단계를 포함하는 무인 비행장치의 동작 방법. - 제1항에 있어서,
회피 시행 조건이 만족되면, 상기 단계들을 실행하는 단계를 더 포함하고,
상기 회피 시행 조건은 상기 무인 비행장치에 장착되는 통신 모듈, GPS 모듈 및 SBAS 모듈 중 적어도 하나에 이상이 감지되는 경우인 무인 비행장치의 동작 방법. - 제1항에 있어서,
상기 제2 3차원 영상 데이터를 획득하는 단계는,
상기 제1 3차원 영상 데이터로부터 상기 제1 위치의 상대 고도를 결정하는 단계;
상기 제1 위치의 상대 고도가 미리 설정된 값 이상인 경우, 상기 제1 거리만큼 하강하여 상기 제2 위치로 이동하는 단계; 및
상기 제2 위치(P2)에서 상기 제2 지역을 촬영하는 단계를 포함하는 무인 비행장치의 동작 방법. - 제1항에 있어서,
상기 제1 3차원 영상 데이터를 획득하는 단계는,
상기 제2 3차원 영상 데이터로부터 상기 제2 위치의 상대 고도를 결정하는 단계;
상기 제2 위치의 상대 고도가 미리 설정된 값 이하인 경우, 상기 제1 거리만큼 상승하여 상기 제1 위치로 이동하는 단계; 및
상기 제1 위치(P1)에서 상기 제1 지역을 촬영하는 단계를 포함하는 무인 비행장치의 동작 방법. - 삭제
- 제1항에 있어서,
상기 제1 지점의 상대 고도(x)는 하기 수학식 1에 의하여 산출되는 무인 비행장치의 동작 방법:
[수학식 1]
이 때, x는 상기 제1 지점의 상대 고도이고, a는 상기 제1 위치와 상기 제1 지점 사이의 거리이고, b는 상기 제2 위치와 상기 제1 지점 사이의 거리이고, c는 상기 제1 위치와 상기 제2 위치 사이의 상기 제1 거리이다. - 제1항에 있어서,
상기 적어도 하나의 수평 영역을 추출하는 단계는,
상기 복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑하는 단계; 및
상기 복수의 지점들 중에서 그룹핑된 지점들을 수평 영역으로 결정하는 단계를 포함하는 무인 비행장치의 동작 방법. - 제1항에 있어서,
상기 착륙 지점을 결정하는 단계는,
상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 결정하는 단계;
상기 적어도 하나의 수평 영역의 상대 고도에 기초하여 착륙 가능 픽셀 수를 산출하는 단계; 및
상기 적어도 하나의 수평 영역에 해당하는 픽셀들이 제1 방향과 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 적어도 하나의 수평 영역을 상기 착륙 지점으로 결정하는 단계를 포함하는 무인 비행장치의 동작 방법. - 제8항에 있어서,
상기 착륙 가능 픽셀 수는 하기 수학식 2에 의하여 결정되는 무인 비행장치의 동작 방법:
[수학식 2]
이 때, y는 상기 착륙 가능 픽셀 수이고, x는 상기 수평 영역의 상대 고도이고, k 및 C는 상기 상대 고도에 따른 연관 상수이다. - 제9항에 있어서,
상기 연관 상수는 상기 3차원 영상 카메라의 광학 특성을 기초로 결정되는 무인 비행장치의 동작 방법. - 제1항에 있어서,
상기 착륙 지점을 결정하는 단계는,
복수의 착륙 지점 중에서 상기 제2 위치(P2)에서 가장 가까운 착륙 지점을 선택하는 단계를 포함하는 무인 비행장치의 동작 방법. - 제1항에 있어서,
상기 착륙 지점으로 이동하면서, 상기 단계들을 반복하여 상기 착륙 지점의 적합도를 재평가하는 단계를 더 포함하는 무인 비행장치의 동작 방법. - 컴퓨팅 장치를 이용하여 제1항 내지 제4항 및 제6항 내지 제12항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
- 무인 비행장치에 있어서,
운용자로부터 제어 명령을 수신하고 현재 상태를 송신하는 통신 모듈;
GPS 위성 신호를 수신하는 GPS 모듈;
상기 GPS 위성 신호의 오차를 제거하고, 상기 GPS 위성 신호의 무결성 정보를 수신하여, 현재 위치 정보를 생성하는 SBAS 모듈;
피사체의 영상 및 피사체까지의 거리를 포함하는 3차원 영상 데이터를 생성하는 3차원 영상 카메라; 및
상기 통신 모듈, 상기 GPS 모듈, 및 상기 SBAS 모듈 중 적어도 하나에 이상이 감지되는 경우, 회피 알고리즘을 실행하도록 구성되는 제어부;를 포함하고,
상기 회피 알고리즘은 상기 3차원 영상 카메라를 이용하여 제1 위치(P1)에서 제1 지역을 촬영하여 제1 3차원 영상 데이터를 획득하고, 상기 제1 위치로부터 수직 방향으로 제1 거리(c)만큼 고도가 낮은 제2 위치(P2)에서 제2 지역을 촬영하여 제2 3차원 영상 데이터를 획득하고, 상기 제1 3차원 영상 데이터에서 상기 제1 지역과 상기 제2 지역이 중첩하는 지역 내의 복수의 지점들 중 하나인 제1 지점에 대응하는 제1 픽셀을 결정하고, 상기 제2 3차원 영상 데이터에서 상기 제1 지점에 대응하는 제2 픽셀을 결정하고, 상기 제1 3차원 영상 데이터의 상기 제1 픽셀의 값을 이용하여, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a)를 획득하고, 상기 제2 3차원 영상 데이터의 상기 제2 픽셀의 값을 이용하여, 상기 제2 위치(P2)와 상기 제1 지점 사이의 거리(b)를 획득하고, 상기 제1 위치(P1)와 상기 제1 지점 사이의 거리(a), 상기 제2 위치(P2)와 상기 제1 지점 사이의 거리(b), 및 상기 제1 거리(c)를 이용하여 상기 제1 지점의 상대 고도를 계산하고, 상기 복수의 지점들 각각의 상대 고도에 기초하여 적어도 하나의 수평 영역을 추출하고, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 기초로 착륙 지점을 결정하는, 무인 비행 장치. - 삭제
- 삭제
- 제14항에 있어서,
상기 회피 알고리즘은, 상기 복수의 지점들 각각의 상대 고도에 기초하여, 인접한 지점들 간의 상대 고도 차이가 미리 설정된 범위 내인 지점들을 그룹핑하고, 상기 복수의 지점들 중에서 그룹핑된 지점들을 상기 수평 영역으로 결정하는, 무인 비행장치. - 제14항에 있어서,
상기 회피 알고리즘은, 상기 제2 3차원 영상 데이터에서 상기 적어도 하나의 수평 영역에 해당하는 픽셀들을 결정하고, 상기 적어도 하나의 수평 영역의 상대 고도에 기초하여 착륙 가능 픽셀 수를 산출하고, 상기 적어도 하나의 수평 영역에 해당하는 픽셀들이 제1 방향과 제2 방향으로 상기 착륙 가능 픽셀 수를 초과하여 존재하는 경우, 상기 적어도 하나의 수평 영역을 상기 착륙 지점으로 결정하는, 무인 비행장치. - 제14항에 있어서,
상기 회피 알고리즘은, 상기 착륙 지점으로 이동하면서, 상기 착륙 지점의 적합도를 재평가하는, 무인 비행장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156935A KR102462230B1 (ko) | 2020-11-20 | 2020-11-20 | 무인 비행장치 및 그의 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200156935A KR102462230B1 (ko) | 2020-11-20 | 2020-11-20 | 무인 비행장치 및 그의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220069623A KR20220069623A (ko) | 2022-05-27 |
| KR102462230B1 true KR102462230B1 (ko) | 2022-11-02 |
Family
ID=81791781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200156935A KR102462230B1 (ko) | 2020-11-20 | 2020-11-20 | 무인 비행장치 및 그의 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102462230B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018908B (zh) * | 2022-06-01 | 2024-04-26 | 中国人民解放军63660部队 | 一种基于阴影的飞行器落点单目测量方法 |
| KR102589828B1 (ko) | 2022-08-26 | 2023-10-16 | 한화시스템 주식회사 | 도심 항공 모빌리티를 위한 통제 장치, 비행 장치 및 이륙 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4448233B2 (ja) * | 2000-05-19 | 2010-04-07 | 富士重工業株式会社 | 着陸地点探索装置、それを用いた飛行体、および着陸地点評価装置 |
| KR101651600B1 (ko) * | 2016-04-29 | 2016-08-29 | 공간정보기술 주식회사 | 스테레오 카메라에 의한 자동 착륙 기능을 갖는 무인 비행용 드론 |
| KR102018892B1 (ko) * | 2019-02-15 | 2019-09-05 | 국방과학연구소 | 무인기의 착륙 제어 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170088501A (ko) | 2016-01-25 | 2017-08-02 | 주식회사 이지시스 | 국소위치인식시스템 |
| KR102112825B1 (ko) * | 2017-12-26 | 2020-05-19 | 한국항공우주연구원 | 실시간 위성항법 정보 보정 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 |
-
2020
- 2020-11-20 KR KR1020200156935A patent/KR102462230B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4448233B2 (ja) * | 2000-05-19 | 2010-04-07 | 富士重工業株式会社 | 着陸地点探索装置、それを用いた飛行体、および着陸地点評価装置 |
| KR101651600B1 (ko) * | 2016-04-29 | 2016-08-29 | 공간정보기술 주식회사 | 스테레오 카메라에 의한 자동 착륙 기능을 갖는 무인 비행용 드론 |
| KR102018892B1 (ko) * | 2019-02-15 | 2019-09-05 | 국방과학연구소 | 무인기의 착륙 제어 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220069623A (ko) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210012520A1 (en) | Distance measuring method and device | |
| EP3236286B1 (en) | Auto commissioning system and method | |
| US10671862B2 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
| US11151741B2 (en) | System and method for obstacle avoidance | |
| US9387927B2 (en) | Rotary-wing drone comprising autonomous means for determining a position in an absolute coordinate system linked to the ground | |
| US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
| CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
| Mondragón et al. | 3D pose estimation based on planar object tracking for UAVs control | |
| US9911038B2 (en) | Survey data processing device, survey data processing method, and program therefor | |
| US10694148B1 (en) | Image-based navigation using quality-assured line-of-sight measurements | |
| KR20200044420A (ko) | 위치 추정 방법 및 장치 | |
| KR102462230B1 (ko) | 무인 비행장치 및 그의 동작 방법 | |
| KR102177655B1 (ko) | Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템 | |
| CN113658241B (zh) | 单目结构光的深度恢复方法、电子设备及存储介质 | |
| JP6890350B2 (ja) | Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 | |
| CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
| US20160034607A1 (en) | Video-assisted landing guidance system and method | |
| KR20170114348A (ko) | 무인항공기의 위치인식 방법 및 시스템 | |
| KR20100066952A (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
| Wolkow et al. | Accuracy and availability of an optical positioning system for aircraft landing | |
| CN108957432B (zh) | 路沿检测方法、装置、计算机设备和存储介质 | |
| KR101783585B1 (ko) | 플랜트 시설물 관리 방법 | |
| US20210327283A1 (en) | Systems and Methods for Mobile Aerial Flight Planning and Image Capturing Based on Structure Footprints | |
| KR101967554B1 (ko) | 지시선을 이용하여 공간 정보를 측정하기 위한 방법, 그 방법을 이용한 장치 | |
| US10698111B2 (en) | Adaptive point cloud window selection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |