KR20190004176A - 무인항공기의 장애물 충돌 회피 장치 및 그 방법 - Google Patents
무인항공기의 장애물 충돌 회피 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20190004176A KR20190004176A KR1020170084443A KR20170084443A KR20190004176A KR 20190004176 A KR20190004176 A KR 20190004176A KR 1020170084443 A KR1020170084443 A KR 1020170084443A KR 20170084443 A KR20170084443 A KR 20170084443A KR 20190004176 A KR20190004176 A KR 20190004176A
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- image
- distance
- unit
- fixed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 20
- 230000006854 communication Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 6
- 238000003754 machining Methods 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/02—Arrangements or adaptations of signal or lighting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G01S13/9303—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/622—Obstacle avoidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 무인항공기의 장애물 충돌 회피 장치 및 그 방법에 관한 것으로, 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 장치는, 무인항공기의 3축 자세위치값을 측정하기 위한 자세위치 측정부; 상기 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정하기 위한 거리 측정부; 및 상기 3축 자세위치값에 대한 경로 오차값과 기 설정된 오차 기준값의 비교 결과에 따라, 상기 거리 측정값과 기 설정된 거리 기준값을 비교하여 상기 고정형 장애물 사이의 이격 거리를 일정하게 유지하기 위한 제어부;를 포함한다.
Description
본 발명은 무인항공기의 장애물 충돌 회피 장치 및 그 방법에 관한 것으로, 구체적으로는 고정형 장애물(예, 전선, 송전철탑, 항공장애구 등) 또는 이동형 장애물(예, 새, 드론, 풍선 등)와 무인항공기 사이에 일정한 거리를 유지함으로써 무인항공기의 장애물 충돌을 회피하기 위한, 무인항공기의 장애물 충돌 회피 장치 및 그 방법에 관한 것이다.
일반적으로, 항공기는 운행 주체에 따라 사람이 탑승하여 항공기를 직접 운행하는 유인항공기(Manned Aerial Vehicle: MAV)와 전자 제어 시스템에 의해 운행되는 무인항공기(Unmanned Aerial Vehicle: UAV)로 구분할 수 있다.
먼저, 유인항공기는 충돌 회피를 위해 항공 교통 관제(air traffic control), 트랜스폰더(transponder: 자동 무선 레이더) 및 조종사 시력(pilot vision)에 의존한다. 유인항공기의 조종사는 국부적인 이동 물체를 시각적으로 식별하여 각 물체가 충돌 위험성을 내포하고 있는지를 판단하고, 이에 대한 충돌 회피를 위한 비행 제어 동작을 수행한다. 따라서, 유인항공기는 다른 항공기를 검출할 때에 시력 기반 검출(vision based detection)이 필수적이다.
그런데, 무인항공기는 최근에 제어 및 통신 기술의 급격한 발전에 따라 위험 지역 탐사 또는 군사용 정찰 등에 이용하려는 목적으로 개발이 활발히 진행되고 있다. 이러한 무인항공기는 사람이 직접 탑승하여 수행하기에 위험하거나 어려운 작업도 가능하게 한다.
또한, 무인항공기는 GPS 기반으로 조종자가 설정한 경로, 고도, 속도로 이동하거나, 자체적으로 탑재된 제어 시스템에 의해 위치나 자세, 방향 등을 제어하는 것이 가능하다.
그런데, GPS는 ±5m의 오차범위가 발생할 수 있고, 무인항공기는 상당히 고가이다. 이로 인해, 무인항공기는 초음파 센서(ultrasonic sensor)를 부수적으로 부착하여 다른 물체와의 충돌 이격 거리를 설정하여 충돌을 회피할 수 있다. 즉, 무인항공기는 예상치 못한 상황으로 인해 GPS의 오차범위를 벗어나더러라도 초음파 센서를 이용하여 다른 물체와의 충돌을 회피할 수 있다. 여기서, 초음파 센서는 기체, 액체 및 고체에 사용이 가능하며, 주파수가 높고 파장이 짧기 때문에 정확한 안전거리를 확인할 수 있다.
한편, 지상에 있는 조종자는 무인항공기로부터 전송되는 실시간 영상정보, 자체 위치정보를 확인할 수 있다.
하지만, 무인항공기로부터 전송되는 실시간 영상정보에는 원격 제어 매커니즘의 특성상 지상에 있는 조종자가 확인하기 어려운 사각지역이 존재할 수 있다.
따라서, 무인항공기는 유인항공기와 같이 시력 기반 검출 기능을 구현하기 위한 기술이 제안될 필요가 있다. 특히, 무인항공기는 비행중 장애물에 의한 충돌에 대해 적시의 위험성 검출 및 회피에 대한 대책 마련이 필요한 실정이다.
본 발명의 목적은 고정형 장애물(예, 전선, 송전철탑, 항공장애구 등) 또는 이동형 장애물(예, 새, 드론, 풍선 등)와 무인항공기 사이에 일정한 거리를 유지함으로써 무인항공기의 장애물 충돌을 회피하기 위한, 무인항공기의 장애물 충돌 회피 장치 및 그 방법을 제공하는데 있다.
본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 장치는, 무인항공기의 3축 자세위치값을 측정하기 위한 자세위치 측정부; 상기 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정하기 위한 거리 측정부; 및 상기 3축 자세위치값에 대한 경로 오차값과 기 설정된 오차 기준값의 비교 결과에 따라, 상기 거리 측정값과 기 설정된 거리 기준값을 비교하여 상기 고정형 장애물 사이의 이격 거리를 일정하게 유지하기 위한 제어부;를 포함할 수 있다.
일실시예에 따르면, 상기 고정형 장애물의 장애물 이미지에 대한 이미지 처리를 통해 윤곽선 이미지를 생성하여 상기 고정형 장애물의 실제 거리를 계산하고, 상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물과 일정한 거리를 유지하면서 이동형 장애물이 접근하는지를 판단하기 위한 이미지 처리부;를 더 포함할 수 있다.
일실시예에 따르면, 상기 제어부의 비교 결과 또는 상기 이미지 처리부의 판단 결과에 따라 상기 무인항공기의 충돌 가능성을 경보하기 위한 경보 알림부;를 더 포함할 수 있다.
일실시예에 따르면, 상기 무인항공기의 이동 경로상에 있는 상기 고정형 장애물을 기준으로 하여 주변 공간을 촬영하여 상기 장애물 이미지를 생성하기 위한 이미지 촬영부;를 더 포함할 수 있다.
일실시예에 따르면, 상기 무인항공기의 지상 관제를 위한 지상 제어 장치와 무선 통신을 통해 상호 연동하기 위한 항공기 통신부;를 더 포함할 수 있다.
상기 자세위치 측정부는, 상기 무인항공기 내에 탑재된 자세 방위 기준 시스템(AHRS)의 출력값을 변환하여 상기 3축 자세위치값을 측정할 수 있다.
상기 거리 측정부는, 상기 거리 측정값을 초음파, 레이저 및 적외선 중 어느 하나를 이용한 거리 측정 방식으로 측정할 수 있다.
상기 이미지 처리부는, 상기 장애물 이미지에 대한 윤곽선을 추출하여 상기 윤곽선 이미지를 생성하기 위한 윤곽선 추출부; 상기 윤곽선 이미지로부터 상기 고정형 장애물과 관련된 윤곽선을 선정한 후, 상기 선정된 윤곽선을 상기 고정형 장애물의 기본정보와 비교하여 상기 고정형 장애물의 실제 거리를 계산하기 위한 거리 판단부; 상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물 간 이격 거리를 일정하게 유지하면서, 상기 윤곽선 이미지의 영역에서 상기 이동형 장애물에 대한 이미지 거리 변화량 또는 중심점 위치 변화량을 확인하여 상기 이동형 장애물의 움직임을 추적하기 위한 영역 추적부; 및 상기 윤곽선 이미지의 영역 내부에서 상기 이동형 장애물의 크기 변경을 확인함에 따라 상기 이동형 장애물이 접근하는지를 판단하기 위한 비교 판단부;를 포함할 수 있다.
일실시예에 따르면, 상기 윤곽선 추출부에 의한 윤곽선 픽셀의 분류 오류를 제거하기 위해, 상기 윤곽선 이미지의 윤곽선 픽셀을 제거 또는 복원하기 위한 오류 제거부;를 더 포함할 수 있다.
상기 윤곽선 추출부는, 상기 장애물 이미지에 대해 필터링 및 이진화 과정을 수행하여 제1 처리 이미지를 생성하고, 상기 제1 처리 이미지에 에지 스캔 과정을 수행하여 제2 처리 이미지를 생성하며, 상기 제2 처리 이미지에 대해 명암 대비를 통해 추출된 윤곽선이 드러나는 상기 윤곽선 이미지를 생성할 수 있다.
한편, 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 방법은, 무인항공기의 3축 자세위치값을 측정하는 단계; 상기 3축 자세위치값에 대한 경로 오차값과 기 설정된 오차 기준값의 비교 결과에 따라, 상기 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정하는 단계; 및 상기 거리 측정값과 기 설정된 거리 기준값의 비교 결과에 따라 상기 고정형 장애물 사이의 이격 거리를 일정하게 유지하는 단계;를 포함할 수 있다.
일실시예에 따르면, 상기 유지 단계 이후에, 상기 고정형 장애물의 장애물 이미지에 대한 이미지 처리를 통해 윤곽선 이미지를 생성하는 단계; 상기 윤곽선 이미지로부터 상기 고정형 장애물과 관련된 윤곽선을 선정하는 단계; 상기 선정된 윤곽선을 상기 고정형 장애물의 기본정보와 비교하여 상기 고정형 장애물의 실제 거리를 계산하는 단계; 및 상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물과 일정한 거리를 유지하면서 이동형 장애물이 접근하는지를 판단하는 단계;를 더 포함할 수 있다.
상기 윤곽선 이미지를 생성하는 단계는, 상기 장애물 이미지에 대해 필터링 및 이진화 과정을 수행하여 제1 처리 이미지를 생성하는 단계; 상기 제1 처리 이미지에 에지 스캔 과정을 수행하여 제2 처리 이미지를 생성하는 단계; 및 상기 제2 처리 이미지에 대해 명암 대비를 통해 추출된 윤곽선이 드러나는 상기 윤곽선 이미지를 생성하는 단계;를 포함할 수 있다.
상기 이동형 장애물이 접근하는지를 판단하는 단계는, 상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물 간 이격 거리를 일정하게 유지하면서, 상기 윤곽선 이미지의 영역에서 상기 이동형 장애물에 대한 이미지 거리 변화량 또는 중심점 위치 변화량을 확인하여 상기 이동형 장애물의 움직임을 추적하는 단계; 및 상기 윤곽선 이미지의 영역 내부에서 상기 이동형 장애물의 크기 변경을 확인함에 따라 상기 이동형 장애물이 접근하는지를 판단하는 단계;를 포함할 수 있다.
상기 윤곽선 이미지를 생성하는 단계는, 상기 윤곽선 이미지의 윤곽선 픽셀의 분류 오류를 확인함에 따라, 상기 윤곽선 이미지의 윤곽선 픽셀을 제거 또는 복원하는 단계;를 포함할 수 있다.
본 발명은 고정형 장애물(예, 전선, 송전철탑, 항공장애구 등) 또는 이동형 장애물(예, 새, 드론, 풍선 등)와 무인항공기 사이에 일정한 거리를 유지함으로써 무인항공기의 장애물 충돌을 회피할 수 있다.
또한, 본 발명은 무인항공기를 이용하여 언제든지 위함한 시설물에 대한 점검 및 감시가 가능하므로, 전문 기술인력의 안전을 도모할 수 있다.
또한, 본 발명은 무인항공기를 이용한 관측이 가능하므로, 전문 기술인력, 시설비 및 유지비용이 상당히 발생하는 유인항공기 운영 비용보다 적은 비용으로 활용할 수 있다.
또한, 본 발명은 상용 디지털 및 CCD나 CMOS 등의 카메라를 한 대 또는 여러 대 이용하거나, 전방향 렌즈(omnidirectional lens)를 사용한 카메라를 이용하여 취득한 영상으로 장애물을 패턴 매칭에 의해 판별하고, 이 패턴의 확대/축소 작업을 통해 위험거리 이하이면 경보를 행하여 사고를 예방할 수 있으므로 무인항공기의 충돌을 사전에 방지할 수 있다. 이는 무인항공기에 대한 수리 및 대체 비용을 절감할 수 있으며, 충돌로 인한 손실을 방지하고, 항공기 추락으로 인한 지상의 피해를 줄일 수 있다.
또한, 본 발명은 영상정보를 3차원의 거리 정보로 변환하고 여기서 장애물의 위치를 판별할 수 있는 바, 간단한 방법을 통해 무인 항공기의 충돌을 예방할 수 있다.
도 1은 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 장치에 대한 도면,
도 2는 무인항공기에 장착된 이미지 촬영부를 나타낸 도면,
도 3은 상기 도 1의 무인항공기를 위한 지상 제어 시스템을 나타낸 도면,
도 4는 거리 측정부를 이용한 무인항공기의 실제 비행을 설명하는 도면,
도 5a는 본 발명의 일실시예에 따른 이미지 처리부의 상세 구성을 나타낸 도면,
도 5b는 상기 도 5a의 이미지 처리부에서 촬영된 장애물 이미지로부터 윤곽선을 추출하는 과정을 설명하는 도면,
도 5c는 이미지 처리 전과 후를 나타낸 도면,
도 5d는 거리 판단부에 의해 윤곽선 정보 확인을 나타내는 도면,
도 5e는 고정형 장애물의 실제 거리 계산을 설명하는 도면,
도 5f는 이동형 장애물의 크기 변경을 설명하는 도면,
도 6은 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 방법에 대한 도면이다.
도 2는 무인항공기에 장착된 이미지 촬영부를 나타낸 도면,
도 3은 상기 도 1의 무인항공기를 위한 지상 제어 시스템을 나타낸 도면,
도 4는 거리 측정부를 이용한 무인항공기의 실제 비행을 설명하는 도면,
도 5a는 본 발명의 일실시예에 따른 이미지 처리부의 상세 구성을 나타낸 도면,
도 5b는 상기 도 5a의 이미지 처리부에서 촬영된 장애물 이미지로부터 윤곽선을 추출하는 과정을 설명하는 도면,
도 5c는 이미지 처리 전과 후를 나타낸 도면,
도 5d는 거리 판단부에 의해 윤곽선 정보 확인을 나타내는 도면,
도 5e는 고정형 장애물의 실제 거리 계산을 설명하는 도면,
도 5f는 이동형 장애물의 크기 변경을 설명하는 도면,
도 6은 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 방법에 대한 도면이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공 되어지는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 1은 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 장치에 대한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 장치(이하 "장애물 충돌 회피 장치"라 함, 100)는, 무인항공기(Unmanned Aerial Vehicle: UAV)[원격조정기(Remote Piloted Vehicle: RPV) 포함]에 탑재되고, 다른 장애물과의 충돌을 감지 및 회피하기 위해 장애물을 검출하여 충돌 위험의 경고를 발생하고 비행을 제어할 수 있다.
무인항공기는 고정익 또는 회전익 중 어느 하나일 수 있지만, 여기서는 수직 이착륙, 호버링을 통해 사물 촬영에 적합한 회전익(즉, 무인헬기, 멀티콥터 등)이 바람직하다.
이러한 무인항공기는 송전/배전용 전력설비를 감시 및 점검을 위한 용도로 활용될 수 있다. 본 발명에서는 무인항공기의 송전/배전용 전력설비를 감시 및 점검하는 경우를 예를 들어 설명하기로 한다.
한편, 본 발명에서 '장애물'이라 함은 설명의 편의상, 송전/배전용 전력설비 구조물과 관련된 고정 상태의 장애물(이하 "고정형 장애물"이라 함)과, 송전/배전용 전력설비 구조물과 별개이며 고정형 장애물 주변을 비행중인 무인항공기에 접근하거나 멀어지는 이동 상태의 장애물(이하 "이동형 장애물"이라 함)을 구분하여 설명하기로 한다. 예를 들어, 고정형 장애물은 전선, 송전철탑, 항공장애구 등일 수 있고, 이동형 장애물은 새(bird), 드론(drone), 풍선(balloon), 비행선(airship), 애드벌룬(ad balloon) 등일 수 있다. 애드벌룬은 지표면 또는 건물에 줄에 연결되어 고정되지만, 이미 알려진 장애물이 아니라 임시적인 장애물이므로 이동형 장애물에 포함한다.
따라서, 장애물 충돌 회피 장치(100)는 장애물 즉, 고정형 장애물뿐만 아니라 이동형 장애물에 대해서도 무인항공기의 충돌을 회피할 수 있다.
이러한 장애물 충돌 회피 장치(100)는 자세위치 측정부(110), 거리 측정부(120), 이미지 처리부(130), 이미지 촬영부(140), 제어부(150), 전원 공급부(160), 경보 알림부(170), 항공기 통신부(180)를 포함한다.
특히, 제어부(150)는 자세위치 측정부(110), 거리 측정부(120), 이미지 처리부(130)와 연동함으로써, 고정형 장애물에 대한 충돌 회피 과정을 수행한 후 이동형 장애물에 대한 충돌 회피 과정을 수행한다.
먼저, 자세위치 측정부(110)는 무인항공기 내에 탑재된 자세 방위 기준 시스템(Attitude Heading Reference System: AHRS)을 기반으로, 무인항공기의 3축(X/Y/Z축) 자세위치값을 측정한다. 이때, 자세위치 측정부(110)는 AHRS의 출력값인 롤각(roll angle), 피치각(pitch angle), 요각(yaw angle)을 무인항공기의 3축 자세위치값으로 변환하여 측정한다.
여기서, AHRS는 무인항공기의 경우에 위성 및 관성항법 장치를 통해 GPS 기반으로 조종자가 설정한 경로, 고도, 속도로 이동하거나, 무인항공기 내에 탑재된 제어시스템에 의해 위치나 자세, 방향 등을 제어하기 위해 내장하고 있다.
이러한 AHRS는 지자기 센서(terrestrial magnetism sensor)를 장착하거나, 정밀한 자이로 센서(gyro sensor)에 의해 계산된 절대적인 요각(yaw angle)을 출력하여 무인항공기의 자세 및 방위 기준을 확인 가능하게 한다.
추가적으로, AHRS는 가속도계 3축(X/Y/Z축) 및 자이로 3축(X/Y/Z축)을 이용하여 센서 출력을 생성하는 센서들인 'INU'(Inertia Navigation Unit), 내부적으로 센서 혼합 알고리즘이 내장되어 롤각(roll angle), 피치각(pitch angle)과 초기 임의의 자세로부터 회전한 상대적 요각(yaw angle)을 출력하는 'ARS'(Attitude Refrence System)를 구비할 수 있다.
한편, 자세위치 측정부(110)는 측정된 무인항공기의 3축 자세위치값을 제어부(150)로 전송한다.
그런데, 무인항공기는 고정형 장애물과 충돌 회피를 위해 무인항공기의 이동 경로에 따라 기 설정된 목표기준 위치값에 해당되는 위치에 정확히 이동하면 고정형 장애물과 충돌을 회피할 수 있지만, 예상하기 어려운 방해요인(예, 돌풍, GPS 오차 등)이 발생할 수 있기 때문에 무인항공기의 실제 이동에 따른 경로 오차가 발생할 수 있다.
이에 따라, 제어부(150)는 무인항공기의 이동 경로에 따라 기 설정된 '목표기준 위치값' 대비 '무인항공기의 3축 자세위치값'에 대한 경로 오차값을 계산한다.
여기서, 경로 오차값은 무인항공기의 이동 경로에서 '목표기준 위치값'과 '실제이동 위치값' 사이의 거리로서, 기 설정된 이동 경로의 목표기준으로부터 무인항공기가 이격된 정도를 나타낸다.
그리고, 제어부(150)는 무인항공기의 고정형 장애물 충돌 회피를 위해, 기 설정된 '오차 기준값'과 '경로 오차값'을 상호 비교한다. 이를 위해, 오차 기준값은 이동 경로의 목표기준 위치값을 기준으로 오차범위를 형성하는 반경으로서, 5m로 설정될 수 있다.
즉, 제어부(150)는 경로 오차값이 오차 기준값을 초과하면, 무인항공기가 목표기준 위치값으로부터 이격된 정도가 오차범위를 벗어나기 때문에 무인항공기가 고정형 장애물과 충돌 가능성이 존재한다고 판단한다.
무인항공기는 고정형 장애물과 반대 방향에 위치하면 고정형 장애물과 충돌 가능성이 높지 않더라도, 그 반대의 경우 고정형 장애물과 근접한 상태이므로 고정형 장애물과 충돌 가능성이 존재한다고 판단한다. 이에, 제어부(150)는 경보 알림부(170)를 통해 무인항공기가 오차범위를 벗어나 비행중인 상태를 알려주거나, 충돌 가능성을 경보한다.
반면에, 제어부(150)는 경로 오차값이 오차 기준값을 초과하지 않으면, 무인항공기가 목표기준 위치값으로부터 이격된 정도가 오차범위 이내에 위치하므로 무인항공기가 목표기준 위치값을 따라 비행하는 것으로 판단한다.
다만, 무인항공기는 오차범위 이내에 위치하더라도 고정형 장애물을 향하는 위치에 있기 때문에 상대적으로 고정형 장애물에 근접할 수 있기 때문에, 고정형 장애물에 충돌 회피를 위한 이격 거리를 유지할 필요가 있다. 이에 대한 과정으로, 제어부(150)는 거리 측정부(120)와 연동하여 무인항공기의 충돌 회피 과정을 수행한다.
다음으로, 거리 측정부(120)는 무인항공기와 고정형 장애물 사이의 이격 거리를 측정한 결과인 거리 측정값을 제어부(150)로 전송한다. 여기서, 거리 측정부(120)는 초음파, 레이저, 적외선 등을 이용한 거리 측정 방식을 이용할 수 있다.
제어부(150)는 무인항공기의 고정형 장애물에 대한 충돌 회피를 위해, 기 설정된 '거리 기준값'과 거리 측정부(120)에 의해 측정된 '거리 측정값'을 상호 비교한다.
여기서, 거리 기준값은 무인항공기와 고정형 장애물 사이의 충돌 회피를 위한 이격 거리로서, 10m로 설정될 수 있다. 즉, 거리 기준값은 무인항공기가 고정형 장애물과 충돌을 회피하면서 안전하게 비행하기 위해 설정된 이격 거리로서, 고정형 장애물과 목표기준 위치값 사이에 설정되는 이격 거리일 수 있다.
구체적으로, 제어부(150)는 거리 측정값이 거리 기준값을 초과하지 않으면, 무인항공기와 고정형 장애물 간 거리가 가깝기 때문에 무인항공기가 고정형 장애물과 충돌 가능성이 높다고 판단한다.
이에, 제어부(150)는 경보 알림부(170)를 통해 충돌 가능성을 경보한다. 아울러, 제어부(150)는 비행 제어를 통해 무인항공기와 고정형 장애물 간 이격 거리를 일정하게 유지할 수 있다.
반면에, 제어부(150)는 거리 측정값이 거리 기준값을 초과하면, 무인항공기와 장애물 간 거리가 멀기 때문에 무인항공기가 고정형 장애물과 충돌 가능성이 높지 않다고 판단한다.
이에, 제어부(150)는 비행 제어를 통해 무인항공기와 고정형 장애물 사이의 이격 거리를 일정하게 유지할 수 있다.
다만, 무인항공기는 전술한 바와 같이 고정형 장애물과 충돌 가능성을 고려한 이후에, 고정형 장애물 주변에서 자신에게 근접하는 이동형 장애물이 존재할 수 있기 때문에 이동형 장애물에 대한 충돌 회피 과정을 수행할 필요가 있다. 이에 대한 과정으로, 제어부(150)는 이미지 처리부(130)와 연동하여 이동형 장애물에 대한 무인항공기의 충돌 회피 과정을 수행한다.
다음으로, 이미지 처리부(130)는 고정형 장애물의 장애물 이미지에 대한 이미지 처리를 통해 윤곽선 이미지를 생성한 후 고정형 장애물의 실제 거리를 계산한다. 이후, 이미지 처리부(130)는 고정형 장애물의 거리를 유지하면서 이동형 장애물에 대한 무인항공기의 충돌 회피 과정을 수행한다. 이와 같이, 이미지 처리부(130)는 무인항공기에 대해 고정형 장애물과 일정한 거리를 유지하면서, 이동형 장애물의 접근 여부 및 접근 속도를 판단하여 그 결과를 제어부(150)로 전달한다.
이미지 처리부(130)에 대한 자세한 설명은 후술할 도 5a 내지 도 5f를 참조하여 설명하기로 한다.
한편, 제어부(150)는 이미지 처리부(130)에 의해 이동형 장애물이 무인항공기로 접근한다고 판단되는 경우에, 경보 알림부(170)를 통해 충돌 가능성을 경보한다. 이때, 제어부(150)는 무인비행기가 이동형 장애물을 향하는 비행방향을 변경하는 비행제어를 수행할 수 있다.
이미지 촬영부(140)는 무인항공기의 이동 경로상에 있는 고정형 장애물을 기준으로 하여 주변 공간을 촬영하여 장애물 이미지를 생성한다. 이미지 촬영부(140)는 장애물 이미지를 이미지 처리부(130)로 전달한다.
이미지 촬영부(140)는 도 2를 참조하면, 무인항공기의 5방향(전/후/좌/우/아래)에 대해 이미지 촬영이 가능하므로, 전방향에서 장애물 이미지를 획득할 수 있다. 도 2는 무인항공기에 장착된 이미지 촬영부를 나타낸 도면이다.
또한, 이미지 촬영부(140)는 촬상소자(예, CCD 센서, CMOS 센서) 등에 의한 카메라 또는 전방향 렌즈(omnidirectional lens)를 이용하여 장애물 이미지를 촬영할 수 있다. 그리고, 이미지 촬영부(140)는 거리 측정부(120)를 하나의 모듈 내에 구성할 수 있다.
위에서 살펴본 바와 같이, 제어부(150)는 자세위치 측정부(110), 거리 측정부(120), 이미지 처리부(130)과 연동하여 고정형 장애물 및 이동형 장애물에 대한 무인항공기의 충돌 회피 과정을 수행한다.
제어부(150)는 고정형 장애물 및 이동형 장애물에 대한 충돌 가능성이 높은 경우에, 경보 알림부(170)를 통해 충돌 가능성을 경보한다. 이때, 제어부(150)는 무인항공기의 비행 경로를 변경하는 비행 제어를 수행하거나, 무인항공기의 이륙 위치로 자동으로 복귀시킬 수 있다.
또한, 제어부(150)는 자세위치 측정부(110), 거리 측정부(120), 이미지 처리부(130) 뿐만 아니라, 이미지 촬영부(140), 전원 공급부(160), 경보 알림부(170), 항공기 통신부(180)를 제어한다. 즉, 제어부(150)는 각 구성요소 간 또는 데이터 흐름을 제어하는 기능을 수행하고, 각 구성요소에서 고유 기능이 적절히 수행될 수 있도록 제어한다.
한편, 제어부(150)는 무인항공기의 동작상태 이상 또는 고장이 발생하는 경우에도 경보 알림부(170)를 통해 경보할 수 있다.
전원 공급부(160)는 장애물 충돌 회피 장치(100)의 각 구성요소에 전원을 공급한다. 즉, 전원 공급부(160)는 자세위치 측정부(110), 거리 측정부(120), 이미지 처리부(130), 이미지 촬영부(140), 항공기 통신부(180), 경보 알림부(170)에 전원을 공급한다.
전원 공급부(160)는 통상의 전원을 공급받아 각 구성요소가 요구하는 전원으로 변환하여 공급한다. 이때, 전원 공급부(160)는 충방전 배터리, 무정전 전원공급장치(UPS)가 구비될 수 있다.
경보 알림부(170)는 경보등 및 경보음을 발생시키는 구성이 구비될 수 있다. 특히, 경보 알림부(170)는 제어부(150)에 의해 경보등의 발광 여부 또는 발광 색상이 제어될 수 있는데, 무인항공기의 상태(정상 또는 고장 등)를 육안으로 확인 가능하게 한다.
항공기 통신부(180)는 지상 제어 장치(200)와 무선으로 양방향 통신하기 위한 통상적인 신호처리 과정을 수행한다. 이에 따라, 항공기 통신부(180)는 제어부(150)에 의해 생성된 신호를 지상 제어 장치(200)로 송신하고, 지상 제어 장치(200)로부터 전송된 신호를 수신한다.
도 3은 상기 도 1의 무인항공기를 위한 지상 제어 시스템을 나타낸 도면이다.
도 3을 참조하면, 지상 제어 장치(200)는 지상 통신부(210), 지상 관제부(220), 인터페이스부(230), 저장부(240)를 포함한다. 무인항공기는 지상 제어 장치(200)와 무선 통신을 통해 상호 연동하여 지상에서 관제되며, 지상 제어 장치(200)에 의해 제어되거나, 지상 제어 장치(200)로 관측 정보를 제공할 수 있다.
지상 제어 장치(200)는 휴대형 장치로 구현되어 현장에서 개별 무인항공기를 제어 가능한 형태로 제작되거나, 관제센터에 고정형 장치로 구현되어 다수의 무인기를 제어 가능한 형태로 제작될 수 있다.
지상 통신부(210)는 무인항공기의 항공기 통신부(180)와 무선으로 양방향 통신을 위한 통상적인 신호처리 과정을 수행한다.
지상 관제부(220)는 무인항공기를 제어하거나, 무인항공기로부터 전송된 데이터를 저장부(240)에 저장하여 관리한다.
인터페이스부(230)는 조종자에 의한 조작을 위한 사용자 인터페이스 환경으로서, 입력 기능(예, 키보드, 마우스, 터치패드, 터치스크린 등) 및 출력 기능(예, 디스플레이, 터치스크린, 스피커, 경고등 등)이 구비된다. 즉, 조종자는 인터페이스부(230)를 통해 무인항공기에 의해 수행된 관측정보를 확인하거나, 무인항공기의 비행제어를 수행할 수 있다.
도 4는 거리 측정부를 이용한 무인항공기의 실제 비행을 설명하는 도면이다.
무인항공기(10)는 기 설정된 이동 경로를 따라 순시점검을 실시한다. 도 4에서는 무인항공기(10)를 이용하여 송전철탑(11)의 가공선로(12)를 순시점검하는 경우를 나타낸다. 이때, 무인항공기(10)는 예상하기 어려운 방해 요인(예, 전자파 간섭, 기상재해, GPS 오차 등), 가공선로(12)의 늘어짐(처짐) 현상, 송전철탑(11)의 돌출부에 의한 오차 등에 의해 실제 이동에 따른 경로 오차가 발생할 수 있다.
이와 같이, 무인항공기(10)는 송전철탑(11)의 가공선로(12)를 순시점검할 때, 가공선로(12)의 위치를 기반으로 하는 목표기준 위치값을 미리 설정하여 자율비행 등을 실시할 수 있다.
하지만, 무인항공기(10)는 전술한 바와 같은 예측하기 곤란한 경로 오차가 발생할 수 있기 때문에, 가공선로(12)의 위치를 기반으로 하는 목표기준 위치값을 따라 비행하면서도 실제 이동에 따라 발생하는 경로 오차를 보정하여 비행할 필요가 있다.
이를 위해, 무인항공기(10)는 거리 측정부(120)를 이용하여 장애물과 일정하게 이격 거리를 유지하면서 비행할 수 있다. 도 4에서는 무인항공기(10)가 거리 측정부(120)를 이용하여 항공장애구(13)와 10m 정도의 이격 거리를 유지하면서 비행하는 경우를 나타낸다. 이처럼 무인항공기(10)는 실제 이동중에 경로 오차가 발생하더라도 가공선로(12)와 충돌을 방지할 수 있다.
도 5a는 본 발명의 일실시예에 따른 이미지 처리부의 상세 구성을 나타낸 도면이고, 도 5b는 상기 도 5a의 이미지 처리부에서 촬영된 장애물 이미지로부터 윤곽선을 추출하는 과정을 설명하는 도면이고, 도 5c는 장애물 이미지와 윤곽선 이미지를 나타낸 도면이다.
도 5a에 도시된 바와 같이, 이미지 처리부(130)는 윤곽선 추출부(131), 오류 제거부(132), 거리 판단부(133), 영역 추적부(134), 비교 판단부(135)를 포함한다.
윤곽선 추출부(131)는 이미지 촬영부(140)에 의해 촬영된 장애물 이미지에 대한 윤곽선을 추출하여 패턴화된 윤곽선 이미지를 생성한다.
도 5b를 참조하면, 윤곽선 추출부(131)는 이미지 촬영부(140)로부터 전달된 장애물 이미지(21)에 대해 필터링 및 이진화 과정(filtering & binary)을 수행하여 1차 처리 이미지(22)를 생성하고, 1차 처리 이미지(22)에 대해 에지 스캔 과정(edge scan)을 수행하여 2차 처리 이미지(23)를 생성한다.
그런 다음, 윤곽선 추출부(131)는 디지털 이미지 프로세싱(digital image processing) 알고리즘을 이용하여 2차 처리 이미지(23)에 대해 명암 대비를 통해 추출된 윤곽선이 드러나는 윤곽선 이미지(24)를 생성한다.
이때, 윤곽선 추출부(131)는 명암 대비 즉, 콘트라스트(contrast) 등의 이미지 처리 기법을 통해 블랙 영역(black area)에 대한 화이트 영역(white area)의 선명도(sharpness)를 판단하여 윤곽선을 추출한다. 즉, 윤곽선 추출부(131)는 2차 처리 이미지(23)에서 측정되는 빛의 세기(intensity) 또는 명암(contrast)를 기반으로 하는 경계를 검출한 후, 선명도(sharpness)를 계산하여 초점이 맞는 정도를 표시한다. 여기서, 경계값이 가장 작은 이미지가 가장 선명한 이미지이다.
이와 같이, 윤곽선 추출부(131)는 도 5c와 같이 장애물 이미지(25)에 대한 이미지 처리를 통해 윤곽선 이미지(26)를 생성할 수 있다. 윤곽선 이미지(26)는 블랙 영역에 대해 윤곽선으로서 화이트 영역이 나타난다.
그런데, 윤곽선 추출부(131)는 장애물 이미지의 이미지 처리 과정을 통해 윤곽선 픽셀을 구분하지 못하여 제거하거나, 윤곽선 픽셀이 아닌데도 윤곽선 픽셀로 분류할 수도 있다. 이 경우에, 오류 제거부(132)는 윤곽선 이미지에서 잘못 검출된 윤곽선 픽셀들을 제거하거나, 윤곽선 이미지에서 잘못 제거된 윤곽선 픽셀들을 복원한다. 이때, 오류 제거부(132)는 장애물 이미지의 앞뒤로 특정 개수의 프레임 이상으로 안정적인 이미지 분포 밀집도를 고려하여 윤곽선 추출부(131)에 의한 윤곽선 픽셀의 분류 오류를 제거한다.
거리 판단부(133)는 오류 제거부(132)를 통해 윤곽선 픽셀의 분류 오류가 제거된 윤곽선 이미지에 대해, 고정형 장애물의 기본정보(크기정보 등)를 비교하여 고정형 장애물의 실제 거리를 계산한다.
이하, 도 5c의 윤곽선 이미지(26)를 이용하여 고정형 장애물에 대한 거리를 판단하는 과정에 대해 상세히 설명한다. 여기서는 고정형 장애물로서 전선과 항공장애구를 적용한다.
먼저, 거리 판단부(133)는 윤곽선 이미지(26)의 선명도를 판단하여 초점이 잘 맞는 이미지를 선택한다. 이때, 거리 판단부(133)는 가장 초점이 잘 맞는 이미지 즉, 윤곽선의 두께가 가장 얇은 이미지를 선택한다. 이는 초점이 잘 맞지 않는 경우에 윤곽선의 경계값 변동이 크기 때문에, 윤곽선의 경계값 변동이 가장 작은 이미지를 선택하기 위함이다.
다음으로, 거리 판단부(133)는 선택된 윤곽선 이미지(26)로부터 고정형 장애물과 관련된 N(N은 자연수)개의 윤곽선을 선정한 후, 선정된 윤곽선에 대응되는 고정형 장애물(전선 또는 항공장애구)의 기본정보(즉, 크기, 폭, 두께 등)를 이용하여 고정형 장애물의 실제 거리를 계산할 수 있다.
예를 들어, 거리 판단부(133)는 고정형 장애물이 전선인 경우에, 선정된 전선 윤곽선의 폭과 기 저장되어 있는 전선 폭을 비교하여 전선의 실제 거리를 계산할 수 있고, 고정형 장애물이 항공장애구인 경우에 윤곽선으로 도시된 항공장애구의 크기와 기 저장되어 있는 항공장애구의 크기를 비교하여 항공장애구의 실제 거리를 계산할 수 있다.
여기서, 거리 판단부(133)는 도 5d와 같이 고정형 장애물의 윤곽선 정보를 확인할 수 있다. 도 5d는 거리 판단부에 의해 윤곽선 정보 확인을 나타내는 도면이다. 도 5d에서 (a)에서, 전선(31)은 윤곽선 이미지(30)에서 2줄의 평행선으로 윤곽선이 나타나며, 선명도 차이에 의해 윤곽선의 폭(width 1)이 확인된다. 마찬가지로, 도 5d에서 (b)에서, 항공장애구(32)는 윤곽선 이미지(30)에서 원형으로 윤곽선이 나타나며, 선명도 차이에 의해 윤곽선으로 도시된 항공장애구(32)의 크기(width 2)가 확인된다.
도 5d의 (a)는 전선(31)의 폭이 확인 가능한 상태로서, (b)에 비해 확대된 상태를 나타낸다. 그리고, 도 5d의 (a)가 (b)에 비해 확대되어 도시되어 있기 때문에, 도면상에 도시된 바와 달리 실제로 윤곽선으로 도시된 항공장애구(32)의 크기(width 2)는 전선(31)의 윤곽선 폭(width 1) 보다 넓다는 것을 당업자라면 쉽게 이해할 수 있을 것이다.
또한, 거리 판단부(133)는 도 5d와 같이 윤곽선 정보가 확인되면, 도 5e와 같은 관계를 통해 무인항공기에서 고정형 장애물의 실제 거리를 계산할 수 있다. 도 5e는 고정형 장애물의 실제 거리 계산을 설명하는 도면이다.
고정형 장애물의 실제 거리는 고정형 장애물의 실제 크기와 초점거리의 곱에 윤곽선 이미지의 영역 내부에서 고정형 장애물 윤곽선의 크기를 나누면 구할 수 있다.
영역 추적부(134)는 윤곽선 이미지의 영역에서 이동형 장애물에 대한 이미지 거리 변화량 또는 중심점 위치 변화량을 확인하여 이동형 장애물의 움직임을 추적한다.
즉, 영역 추적부(134)는 복수 프레임의 윤곽선 이미지의 영역에서 검출된 이동형 장애물의 거리 변화량 또는 위치 변화량이 커지면, 해당 이동형 장애물을 추적 물체로 등록하여 추적한다. 이때, 영역 추적부(134)는 매순간 프레임 정보를 갱신한다.
반면, 영역 추적부(134)는 복수 프레임의 윤곽선 이미지의 영역에서 검출된 이동형 장애물의 거리 변화량 또는 위치 변화량이 커지지 않으면, 해당 이동형 장애물을 추적 물체로 등록하지 않을 뿐 아니라 추적하지 않는다.
여기서, 영역 추적부(134)는 연속성을 갖는 프레임으로 이루어진 윤곽선 이미지를 선별하여 데이터 신뢰도를 향상시킨다.
아울러, 영역 추적부(134)는 거리 판단부(133)에 의해 계산된 고정형 장애물의 거리를 거리 기준값의 수준으로 유지한다. 즉, 영역 추적부(134)는 고정형 장애물에 대해 무인항공기의 충돌 회피를 위해 무인항공기와 고정형 장애물 간 이격 거리를 일정하게 유지한다.
이와 같이, 이동형 장애물에 대한 무인항공기의 충돌 회피 과정을 수행함에 있어서 고정형 장애물의 거리를 측정하는 방식은, 거리 측정부(120)를 이용하여 고정형 장애물의 거리를 측정하는 것이 아니라, 이미지 처리부(130) 자체에서 고정형 장애물의 거리를 측정하는 방식을 이용한다. 이는 고정형 장애물의 거리 측정과 이동형 장애물의 접근 여부 판단에 대해서 동일한 윤곽선 이미지 기반의 과정이므로, 무인항공기의 충돌 회피 과정의 오류 발생을 최소화할 수 있다.
비교 판단부(135)는 윤곽선 이미지로부터 이동형 장애물에 대한 시선각, 윤곽선 이미지의 영역 내부에서 이동형 장애물의 크기 변경(확대 또는 축소)을 확인하여 이동형 장애물이 접근하는지를 판단할 수 있다. 이때, 비교 판단부(135)는 이동형 장애물의 접근 여부와 접근 속도를 확인한다.
예를 들어, 비교 판단부(135)는 도 5f와 같이 연속성을 갖는 프레임으로 이루어진 윤곽선 이미지에서 제1 윤곽선 이미지(41)와 제2 윤곽선 이미지(42)를 서로 비교하여 이동형 장애물(45)이 크기 변경을 확인 가능하다. 도 5f는 이동형 장애물의 크기 변경을 설명하는 도면이다.
여기서, 고정형 장애물(43,44)은 크기 변화가 없지만, 이동형 장애물(45)은 무인항공기를 향해 접근하기 때문에 크기가 확대된다. 즉, 이동형 장애물(45)은 무인항공기와 거리가 가까워진다. 또한, 비교 판단부(135)는 이동형 장애물(45)의 크기 변화율을 확인하여 이동형 장애물(45)의 접근 속도를 파악할 수 있다.
한편, 비교 판단부(135)는 윤곽선 이미지에서 인식된 이동형 장애물을 분류하여 위험도별 이동형 장애물을 구분하거나, 이동형 장애물의 크기 변경에 따라 단계별 위험 상황을 구분할 수 있다.
도 6은 본 발명의 일실시예에 따른 무인항공기의 장애물 충돌 회피 방법에 대한 도면이다.
장애물 충돌 회피 장치(100)는 무인항공기의 3축 자세위치값을 측정하고, 무인항공기의 이동 경로에서 목표기준 위치값 대비 실제 이동에 따른 경로 오차값을 계산한다(S301).
이때, 장애물 충돌 회피 장치(100)는 경로 오차값이 기 설정된 오차 기준값을 초과하는지를 확인한다(S302). 즉, 장애물 충돌 회피 장치(100)는 경로 오차값이 오차 기준값을 초과하면(S301), 무인항공기의 고정형 장애물에 대한 충돌 가능성의 경보를 알려주고, 무인항공기의 비행 제어를 수행할 수 있다(S309). 반면에, 장애물 충돌 회피 장치(100)는 경로 오차값이 오차 기준값을 초과하지 않으면(S301), 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정한다(S303).
이후, 장애물 충돌 회피 장치(100)는 거리 측정값이 거리 기준값을 초과하는지를 확인한다(S304).
즉, 장애물 충돌 회피 장치(100)는 거리 측정값이 거리 기준값을 초과하지 않으면(S304), 무인항공기의 고정형 장애물에 대한 충돌 가능성의 경보를 알려주고, 무인항공기의 비행 제어를 수행할 수 있다(S309).
반면에, 장애물 충돌 회피 장치(100)는 거리 측정값이 거리 기준값을 초과하면(S304), 이미지 처리를 통한 고정형 장애물의 거리를 판단한다(S305). 이때, 장애물 충돌 회피 장치(100)는 고정형 장애물의 거리를 유지하면서 이동형 장애물을 추적한다(S306).
이후, 장애물 충돌 회피 장치(100)는 이동형 장애물의 크기가 변경하는지를 확인한다(S307).
이때, 장애물 충돌 회피 장치(100)는 이동형 장애물의 크기가 축소하면(S307), 이동형 장애물에 대한 추적을 해제한다(S308).
장애물 충돌 회피 장치(100)는 이동형 장애물의 크기가 확대하면(S307), 이동형 장애물에 대한 충돌 가능성의 경보를 알려주고, 무인항공기의 비행 제어를 수행할 수 있다(S309).
이상에서 설명된 본 발명의 실시예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그럼으로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
100 : 장애물 충돌 회피 장치
110 : 자세위치 측정부
120 : 거리 측정부 130 : 이미지 처리부
140 : 이미지 촬영부 150 : 제어부
160 : 전원 공급부 170 : 경보 알림부
180 : 항공기 통신부 200 : 지상 제어 장치
210 : 지상 통신부 220 : 지상 관제부
230 : 인터페이스부 240 : 저장부
120 : 거리 측정부 130 : 이미지 처리부
140 : 이미지 촬영부 150 : 제어부
160 : 전원 공급부 170 : 경보 알림부
180 : 항공기 통신부 200 : 지상 제어 장치
210 : 지상 통신부 220 : 지상 관제부
230 : 인터페이스부 240 : 저장부
Claims (15)
- 무인항공기의 3축 자세위치값을 측정하기 위한 자세위치 측정부;
상기 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정하기 위한 거리 측정부; 및
상기 3축 자세위치값에 대한 경로 오차값과 기 설정된 오차 기준값의 비교 결과에 따라, 상기 거리 측정값과 기 설정된 거리 기준값을 비교하여 상기 고정형 장애물 사이의 이격 거리를 일정하게 유지하기 위한 제어부;
를 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 1 항에 있어서,
상기 고정형 장애물의 장애물 이미지에 대한 이미지 처리를 통해 윤곽선 이미지를 생성하여 상기 고정형 장애물의 실제 거리를 계산하고, 상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물과 일정한 거리를 유지하면서 이동형 장애물이 접근하는지를 판단하기 위한 이미지 처리부;
를 더 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 1 항 또는 제 2 항에 있어서,
상기 제어부의 비교 결과 또는 상기 이미지 처리부의 판단 결과에 따라 상기 무인항공기의 충돌 가능성을 경보하기 위한 경보 알림부;
를 더 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 2 항에 있어서,
상기 무인항공기의 이동 경로상에 있는 상기 고정형 장애물을 기준으로 하여 주변 공간을 촬영하여 상기 장애물 이미지를 생성하기 위한 이미지 촬영부;
를 더 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 1 항에 있어서,
상기 무인항공기의 지상 관제를 위한 지상 제어 장치와 무선 통신을 통해 상호 연동하기 위한 항공기 통신부;
를 더 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 1 항에 있어서,
상기 자세위치 측정부는,
상기 무인항공기 내에 탑재된 자세 방위 기준 시스템(AHRS)의 출력값을 변환하여 상기 3축 자세위치값을 측정하는 무인항공기의 장애물 충돌 회피 장치.
- 제 1 항에 있어서,
상기 거리 측정부는,
상기 거리 측정값을 초음파, 레이저 및 적외선 중 어느 하나를 이용한 거리 측정 방식으로 측정하는 무인항공기의 장애물 충돌 회피 장치.
- 제 2 항에 있어서,
상기 이미지 처리부는,
상기 장애물 이미지에 대한 윤곽선을 추출하여 상기 윤곽선 이미지를 생성하기 위한 윤곽선 추출부;
상기 윤곽선 이미지로부터 상기 고정형 장애물과 관련된 윤곽선을 선정한 후, 상기 선정된 윤곽선을 상기 고정형 장애물의 기본정보와 비교하여 상기 고정형 장애물의 실제 거리를 계산하기 위한 거리 판단부;
상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물 간 이격 거리를 일정하게 유지하면서, 상기 윤곽선 이미지의 영역에서 상기 이동형 장애물에 대한 이미지 거리 변화량 또는 중심점 위치 변화량을 확인하여 상기 이동형 장애물의 움직임을 추적하기 위한 영역 추적부; 및
상기 윤곽선 이미지의 영역 내부에서 상기 이동형 장애물의 크기 변경을 확인함에 따라 상기 이동형 장애물이 접근하는지를 판단하기 위한 비교 판단부;
를 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 8 항에 있어서,
상기 윤곽선 추출부에 의한 윤곽선 픽셀의 분류 오류를 제거하기 위해, 상기 윤곽선 이미지의 윤곽선 픽셀을 제거 또는 복원하기 위한 오류 제거부;
를 더 포함하는 무인항공기의 장애물 충돌 회피 장치.
- 제 8 항에 있어서,
상기 윤곽선 추출부는,
상기 장애물 이미지에 대해 필터링 및 이진화 과정을 수행하여 제1 처리 이미지를 생성하고, 상기 제1 처리 이미지에 에지 스캔 과정을 수행하여 제2 처리 이미지를 생성하며, 상기 제2 처리 이미지에 대해 명암 대비를 통해 추출된 윤곽선이 드러나는 상기 윤곽선 이미지를 생성하는 무인항공기의 장애물 충돌 회피 장치.
- 무인항공기의 3축 자세위치값을 측정하는 단계;
상기 3축 자세위치값에 대한 경로 오차값과 기 설정된 오차 기준값의 비교 결과에 따라, 상기 무인항공기와 고정형 장애물 사이의 거리 측정값을 측정하는 단계; 및
상기 거리 측정값과 기 설정된 거리 기준값의 비교 결과에 따라 상기 고정형 장애물 사이의 이격 거리를 일정하게 유지하는 단계;
를 포함하는 무인항공기의 장애물 충돌 회피 방법.
- 제 11 항에 있어서,
상기 유지 단계 이후에, 상기 고정형 장애물의 장애물 이미지에 대한 이미지 처리를 통해 윤곽선 이미지를 생성하는 단계;
상기 윤곽선 이미지로부터 상기 고정형 장애물과 관련된 윤곽선을 선정하는 단계;
상기 선정된 윤곽선을 상기 고정형 장애물의 기본정보와 비교하여 상기 고정형 장애물의 실제 거리를 계산하는 단계; 및
상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물과 일정한 거리를 유지하면서 이동형 장애물이 접근하는지를 판단하는 단계;
를 더 포함하는 무인항공기의 장애물 충돌 회피 방법.
- 제 12 항에 있어서,
상기 윤곽선 이미지를 생성하는 단계는,
상기 장애물 이미지에 대해 필터링 및 이진화 과정을 수행하여 제1 처리 이미지를 생성하는 단계;
상기 제1 처리 이미지에 에지 스캔 과정을 수행하여 제2 처리 이미지를 생성하는 단계; 및
상기 제2 처리 이미지에 대해 명암 대비를 통해 추출된 윤곽선이 드러나는 상기 윤곽선 이미지를 생성하는 단계;
를 포함하는 무인항공기의 장애물 충돌 회피 방법.
- 제 12 항에 있어서,
상기 이동형 장애물이 접근하는지를 판단하는 단계는,
상기 고정형 장애물의 실제 거리를 이용하여 상기 고정형 장애물 간 이격 거리를 일정하게 유지하면서, 상기 윤곽선 이미지의 영역에서 상기 이동형 장애물에 대한 이미지 거리 변화량 또는 중심점 위치 변화량을 확인하여 상기 이동형 장애물의 움직임을 추적하는 단계; 및
상기 윤곽선 이미지의 영역 내부에서 상기 이동형 장애물의 크기 변경을 확인함에 따라 상기 이동형 장애물이 접근하는지를 판단하는 단계;
를 포함하는 무인항공기의 장애물 충돌 회피 방법.
- 제 12 항에 있어서,
상기 윤곽선 이미지를 생성하는 단계는,
상기 윤곽선 이미지의 윤곽선 픽셀의 분류 오류를 확인함에 따라, 상기 윤곽선 이미지의 윤곽선 픽셀을 제거 또는 복원하는 단계;
를 포함하는 무인항공기의 장애물 충돌 회피 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170084443A KR20190004176A (ko) | 2017-07-03 | 2017-07-03 | 무인항공기의 장애물 충돌 회피 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170084443A KR20190004176A (ko) | 2017-07-03 | 2017-07-03 | 무인항공기의 장애물 충돌 회피 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190004176A true KR20190004176A (ko) | 2019-01-11 |
Family
ID=65028280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170084443A KR20190004176A (ko) | 2017-07-03 | 2017-07-03 | 무인항공기의 장애물 충돌 회피 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190004176A (ko) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102115294B1 (ko) | 2020-02-28 | 2020-06-02 | 주식회사 파블로항공 | 무인항공기 충돌 회피 방법 |
| KR20200105126A (ko) * | 2019-02-28 | 2020-09-07 | 한국과학기술원 | 영상 처리를 기반으로 한 비행체의 충돌 방지 방법 |
| KR20210014288A (ko) * | 2019-07-30 | 2021-02-09 | 정일 | 레저용 유인드론 시스템과 그 운용방법 |
| KR20210037487A (ko) * | 2019-09-27 | 2021-04-06 | 조순식 | 충돌 방지 드론 제어 시스템 |
| KR20210065466A (ko) * | 2019-11-27 | 2021-06-04 | 김민호 | 에어분사 기반의 드론용 비행 장애물 회피기동 제어시스템 |
| KR102316012B1 (ko) * | 2020-05-26 | 2021-10-22 | (주)파이온시스템즈 | 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 |
| CN114924595A (zh) * | 2022-05-06 | 2022-08-19 | 华南师范大学 | 无人机群越障方法及控制系统、电子设备、存储介质 |
| CN115407799A (zh) * | 2022-09-06 | 2022-11-29 | 西北工业大学 | 一种用于垂直起降飞行器的飞行控制系统 |
| CN116311073A (zh) * | 2023-03-31 | 2023-06-23 | 江苏城乡建设职业学院 | 一种智能安防系统及运行方法 |
| KR102555897B1 (ko) * | 2022-09-27 | 2023-07-14 | 한화시스템 주식회사 | 도심 항공 모빌리티를 위한 비행체, 통제기 및 비행체의 운용 방법 |
| US11873124B2 (en) | 2022-01-17 | 2024-01-16 | Hyundai Motor Company | Aero wind power generation apparatus |
| CN117831353A (zh) * | 2024-03-06 | 2024-04-05 | 山东龙翼航空科技有限公司 | 一种高层消防救援无人机防撞预警方法 |
-
2017
- 2017-07-03 KR KR1020170084443A patent/KR20190004176A/ko unknown
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200105126A (ko) * | 2019-02-28 | 2020-09-07 | 한국과학기술원 | 영상 처리를 기반으로 한 비행체의 충돌 방지 방법 |
| KR20210014288A (ko) * | 2019-07-30 | 2021-02-09 | 정일 | 레저용 유인드론 시스템과 그 운용방법 |
| KR20210037487A (ko) * | 2019-09-27 | 2021-04-06 | 조순식 | 충돌 방지 드론 제어 시스템 |
| KR20210065466A (ko) * | 2019-11-27 | 2021-06-04 | 김민호 | 에어분사 기반의 드론용 비행 장애물 회피기동 제어시스템 |
| US11545041B2 (en) | 2020-02-28 | 2023-01-03 | Pablo Air Co., Ltd. | Method of avoiding collision of unmanned aerial vehicle |
| EP3872791A1 (en) | 2020-02-28 | 2021-09-01 | Pablo Air Co., Ltd. | Method of avoiding collision of unmanned aerial vehicle |
| KR102115294B1 (ko) | 2020-02-28 | 2020-06-02 | 주식회사 파블로항공 | 무인항공기 충돌 회피 방법 |
| KR102316012B1 (ko) * | 2020-05-26 | 2021-10-22 | (주)파이온시스템즈 | 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 |
| US11873124B2 (en) | 2022-01-17 | 2024-01-16 | Hyundai Motor Company | Aero wind power generation apparatus |
| CN114924595A (zh) * | 2022-05-06 | 2022-08-19 | 华南师范大学 | 无人机群越障方法及控制系统、电子设备、存储介质 |
| CN115407799A (zh) * | 2022-09-06 | 2022-11-29 | 西北工业大学 | 一种用于垂直起降飞行器的飞行控制系统 |
| KR102555897B1 (ko) * | 2022-09-27 | 2023-07-14 | 한화시스템 주식회사 | 도심 항공 모빌리티를 위한 비행체, 통제기 및 비행체의 운용 방법 |
| CN116311073A (zh) * | 2023-03-31 | 2023-06-23 | 江苏城乡建设职业学院 | 一种智能安防系统及运行方法 |
| CN117831353A (zh) * | 2024-03-06 | 2024-04-05 | 山东龙翼航空科技有限公司 | 一种高层消防救援无人机防撞预警方法 |
| CN117831353B (zh) * | 2024-03-06 | 2024-05-03 | 山东龙翼航空科技有限公司 | 一种高层消防救援无人机防撞预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190004176A (ko) | 무인항공기의 장애물 충돌 회피 장치 및 그 방법 | |
| US12116979B2 (en) | Unmanned aerial vehicle wind turbine inspection systems and methods | |
| US12066840B2 (en) | Method and system for providing route of unmanned air vehicle | |
| CN107871405B (zh) | 利用视觉信息进行空中碰撞威胁的检测与评估 | |
| US10377485B2 (en) | System and method for automatically inspecting surfaces | |
| KR101660456B1 (ko) | 태양광 발전 시스템용 감시 장치 | |
| US11827352B2 (en) | Visual observer for unmanned aerial vehicles | |
| EP3392153B1 (en) | Method and system for providing docking guidance to a pilot of a taxiing aircraft | |
| JP2006027448A (ja) | 無人飛行体を利用した空撮方法及びその装置 | |
| WO2017161563A1 (zh) | 飞行器的控制方法和装置 | |
| KR102335994B1 (ko) | 드론 감시를 위한 촬영 감시 장치들의 통합 제어 장치 | |
| KR20190000439A (ko) | 조류퇴치를 위한 무인비행체 및 그 운용방법 | |
| WO2022071893A1 (en) | A system for optimising runway capacity on an airport runway and a method thereof | |
| JP2020518500A (ja) | 乗り物監視システムおよび外部の物体を検知するための方法 | |
| JP7143103B2 (ja) | 経路表示装置 | |
| JP6775981B2 (ja) | 監視システム及び物体検知装置 | |
| JP7130409B2 (ja) | 管制装置 | |
| CN117897737A (zh) | 一种无人机监控方法、装置、无人机及监控设备 | |
| US20240096099A1 (en) | Intrusion determination device, intrusion detection system, intrusion determination method, and program storage medium | |
| KR102589828B1 (ko) | 도심 항공 모빌리티를 위한 통제 장치, 비행 장치 및 이륙 방법 | |
| JP7109963B2 (ja) | 経路評価装置 | |
| Nabandit et al. | Obstacle Detection and Avoidance based on 3D Stereoscopic Technique for Autonomous Drone | |
| JP6775980B2 (ja) | 監視システム及び物体検知装置 | |
| WO2021078663A1 (en) | Aerial vehicle detection |