KR101091107B1 - Assistance navigation equipment using vision sensor and GPS - Google Patents
Assistance navigation equipment using vision sensor and GPS Download PDFInfo
- Publication number
- KR101091107B1 KR101091107B1 KR1020100010041A KR20100010041A KR101091107B1 KR 101091107 B1 KR101091107 B1 KR 101091107B1 KR 1020100010041 A KR1020100010041 A KR 1020100010041A KR 20100010041 A KR20100010041 A KR 20100010041A KR 101091107 B1 KR101091107 B1 KR 101091107B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- aircraft
- outline
- flight
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 15
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 101000740587 Botryotinia fuckeliana Presilphiperfolan-8-beta-ol synthase Proteins 0.000 claims 1
- 101000581802 Homo sapiens Lithostathine-1-alpha Proteins 0.000 claims 1
- 102100027361 Lithostathine-1-alpha Human genes 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 241000405147 Hermes Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
임무 비행중 주 항법장치(GPS: 위성항법장치, INS: 관성항법장치)의 고장시 수평선 이미지를 획득하고, 상기 획득한 수평선 이미지를 영상 처리하여 비행체 자세(ROLL)를 제어함과 동시에 보조 GPS를 통하여 위치, 고도, 속도, 방향 등의 비행정보를 획득함으로써 비행체를 회수 지역까지 안전하게 유도할 수 있도록 한 보조항법장치가 개시된다.
개시된 보조항법장치는, 보조 GPS를 통해 비행정보를 획득하고, 비전 센서를 통해 획득한 수평선 이미지를 처리하여 비행체의 자세를 추정하고, 상기 추정한 정보를 기반으로 상기 비행체의 자세를 제어하여 비행체를 회수지역까지 안전하게 유도하는 비행 제어 장치를 구비한다.Acquire a horizon image in case of failure of the main navigation system (GPS: satellite navigation system, INS: inertial navigation system) during the flight, and control the aircraft posture (ROLL) by image processing the acquired horizon image. An auxiliary navigation apparatus is disclosed which can safely guide a vehicle to a recovery area by obtaining flight information such as position, altitude, speed, and direction.
The disclosed auxiliary navigation apparatus acquires flight information through an assisted GPS, estimates the attitude of the aircraft by processing a horizontal image obtained through the vision sensor, and controls the attitude of the vehicle based on the estimated information. It is equipped with a flight control device to guide safely to the recovery area.
Description
본 발명은 비전센서(vision sensor)와 GPS(위성항법장치)를 이용한 보조 항법장치(navigation equipment)에 관한 것으로서, 더욱 상세하게는 임무 비행중 주 항법장치(GPS: 위성항법장치, INS: 관성항법장치)의 고장시 비전센서를 통해 수평선 이미지를 획득하고, 상기 획득한 수평선 이미지를 영상 처리하여 비행체 자세(ROLL)를 제어함과 동시에 보조 GPS를 통하여 위치, 고도, 속도, 방향 등의 정보를 획득함으로써 비행체를 회수 지역까지 안전하게 유도할 수 있도록 한 비전센서와 ＧＰＳ를 이용한 보조항법장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to navigation equipment using a vision sensor and a GPS (satellite navigation device), and more particularly, a main navigation device (GPS: satellite navigation device, INS: inertial navigation device) during mission flight. In case of failure of the device), the horizon image is acquired through the vision sensor, and the acquired horizon image is processed to control the aircraft posture (ROLL) and the information such as the position, the altitude, the speed, the direction through the auxiliary GPS. The present invention relates to a secondary navigation system using a vision sensor and a GPS to safely guide a vehicle to a recovery area.
일반적으로 정찰용 무인항공기 시스템에 적용된 항법장치(INS/GPS)는 높은 신뢰도가 요구되는 장비로서, Shadow 200/Aerostar 등 저고도 무인항공기에는 MEMS 기술을 적용한 소형/다기능/통합형의 항법시스템에 개발되어 적용중이다.In general, the navigation system (INS / GPS) applied to the reconnaissance unmanned aerial vehicle system is a device that requires high reliability.It is developed and applied to the small / multi-functional / integrated navigation system using MEMS technology for low altitude unmanned aerial vehicles such as Shadow 200 / Aerostar. In the process.
또한, Predator, Hermes 등 중고도 무인기에도 복합형/이중화 항법시스템이 적용중이며, Honeywell 등의 유수 업체에서도 소형/다기능 형의 항법시스템을 개발하고 있다.In addition, hybrid / redundant navigation systems are being applied to high- and medium-sized drones such as Predator and Hermes, and leading companies such as Honeywell are developing small / multi-functional navigation systems.
그러나 INS/GPS와 같은 주 항법장치를 사용하는 무인항공기인 경우, 주 항법장치의 고장 시에 대한 별도의 대책(예를 들어, 보조/비상항법장치)이 강구되지 않은 상태이므로, 주 항법장치의 고장시 자세를 잃고 추락하거나 비행체의 회수가 불가능하다는 단점이 있다.However, in the case of an unmanned aerial vehicle using a main navigation system such as INS / GPS, no special measures (e.g., auxiliary / emergency navigation system) for failure of the main navigation system are taken. There is a drawback that you can lose your posture in case of a crash and you will not be able to recover the aircraft.
또한, 주 항법장치의 고장에 대비하여 항법장치를 이중화하는 경우도 있으나, 이는 장비의 구현 비용이 고가이고, 중량 및 부피 증가로 소형 무인항공기에는 장착이 어렵다는 단점이 있으며, 비행조건 등의 제약사항(수평비행시) 때문에 다양한 비행패턴 및 자세 등을 고려한 비상항법으로 사용하는 데 부적격하다는 단점이 있다.
In addition, there are cases in which the navigation system is doubled in preparation for the failure of the main navigation system, but this has the disadvantage of expensive equipment implementation and difficulty in mounting in a small unmanned aerial vehicle due to the increase in weight and volume. Because of (horizontal flight), it is inadequate for use as emergency navigation in consideration of various flight patterns and attitudes.
이에 본 발명은 상기와 같은 종래 무인항공기에 장착된 항법장치의 고장시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,Accordingly, the present invention has been proposed to solve all the problems that occur when the navigation system mounted on the conventional unmanned aerial vehicle as described above,
본 발명이 해결하고자 하는 과제는, 임무 비행중 주 항법장치(GPS: 위성항법장치, INS: 관성항법장치)의 고장시 비전센서를 통해 수평선 이미지를 획득하고, 상기 획득한 수평선 이미지를 영상 처리하여 비행체 자세(ROLL)를 제어함과 동시에 보조 GPS를 통하여 위치, 고도, 속도, 방향 등의 정보를 획득함으로써 비행체를 회수 지역까지 안전하게 유도할 수 있도록 한 비전센서와 ＧＰＳ를 이용한 보조항법장치를 제공하는 데 있다.The problem to be solved by the present invention, when the main navigation device (GPS: satellite navigation device, INS: inertial navigation device) during the flight of the mission to acquire a horizon image through the vision sensor, and the image obtained by processing the horizon image It provides the auxiliary navigation system using the vision sensor and the GPS to control the aircraft posture (ROLL) and to guide the aircraft safely to the recovery area by acquiring the information such as position, altitude, speed and direction through the auxiliary GPS. There is.
본 발명이 해결하고자 하는 다른 과제는, 주 항법장치의 고장시 대비하여 저가/소형의 보조 항법장치를 추가 장착하여 경제적 측면에서 비용 감소 효과를 얻고, 비행체의 안전 회수율을 높일 수 있도록 한 비전센서와 ＧＰＳ를 이용한 보조항법장치를 제공하는 데 있다.
Another problem to be solved by the present invention is to provide a low-cost / small auxiliary navigation system in addition to the failure of the main navigation system to obtain a cost reduction effect in terms of economics, and to increase the safety recovery rate of the aircraft and The present invention provides an auxiliary navigation apparatus using a GPS.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "비전센서와 ＧＰＳ를 이용한 보조항법장치"는,"Auxiliary navigation device using a vision sensor and the GPS" according to the present invention for solving the above problems,
보조 GPS를 통해 위치, 고도, 속도, 방향 등의 정보를 획득하고, 비전 센서를 통해 획득한 수평선 이미지를 처리하여 비행체의 자세(ROLL)를 추정하고, 상기 추정한 정보를 기반으로 상기 비행체의 자세를 제어하여 비행체를 회수지역까지 유도하는 비행 제어 장치를 포함하는 것을 특징으로 한다.Acquire information such as position, altitude, speed, and direction through auxiliary GPS, estimate the posture of the aircraft (ROLL) by processing the horizontal image acquired through the vision sensor, and posture of the vehicle based on the estimated information It characterized in that it comprises a flight control device to guide the aircraft to the recovery area by controlling the.
상기 비전센서는 비행체의 전방에 설치되어 비행체의 전방 영상을 획득하는 주/야간 겸용 전방주시 카메라인 것을 특징으로 한다.The vision sensor is installed in front of the vehicle, characterized in that the day / night combined forward vision camera to obtain a front image of the aircraft.
상기 비행 제어 장치는,The flight control device,
상기 비행체에 탑재된 주 항법장치 정상동작시 주항법장치로부터 비행정보를 획득하여 비행제어를 수행하고, 주 항법장치 고장시 전방주시 카메라의 영상을 처리하여 획득한 비행체 자세정보와 보조 GPS를 이용한 위치, 고도, 속도, 방향 등의 정보를 이용하여 동작하는 것을 특징으로 한다.In the normal operation of the main navigation device mounted on the aircraft, flight information is obtained from the navigation device and flight control is performed. , Using the information such as altitude, speed, direction.
상기 비행 제어 장치는,The flight control device,
입력 영상으로부터 수평선 이미지를 검출하고, 상기 검출한 수평선 이미지를 처리하여 비행체의 자세 정보를 추출하는 자동 수평선 검출 및 처리기와;An automatic horizon detection and processing unit for detecting a horizon image from an input image and processing the detected horizon image to extract attitude information of an aircraft;
상기 보조 GPS를 통해 획득한 위치, 고도, 속도, 방향에 대한 비행 정보와 상기 자동 수평선 검출 및 처리기를 통한 자세 정보를 기반으로 비행체의 선회/상승/하강시 자동 제어를 하여 상기 비행체의 유도 제어를 수행하는 비행 제어기를 포함한다.Induction control of the aircraft by automatic control during turning, rising and falling of the aircraft based on flight information on position, altitude, speed, and direction acquired through the auxiliary GPS and attitude information through the automatic horizon detection and processor. A flight controller to perform.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 입력 영상을 모폴로지(Mophological) 기법을 사용하여 이미지를 평활화하고 잡음을 제거하는 이미지 평활기를 더 포함한다.The input image may further include an image smoother for smoothing the image and removing noise by using a morphological technique.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 이미지 평활기에서 잡음이 제거된 이미지에서 각 채널별로 외곽선을 검출하고 확장연산(dilation)을 통하여 각 채널별 외곽선 지도(map)를 작성하는 외곽선 검출 및 지도 작성기를 더 포함한다.The image smoother further includes an edge detection and map generator for detecting an outline for each channel in the image from which the noise is removed and creating an outline map for each channel through expansion.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 외곽선 검출 및 지도 작성기에 의해 각 채널별로 작성된 외곽선 지도를 하나의 이미지로 병합하는 이미지 병합기를 더 포함한다.The apparatus may further include an image merger which merges the outline map created for each channel by the outline detection and map maker into one image.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 이미지 병합기를 통해 병합된 이미지의 각 채널별 외곽선 지도에 수평선에 관련된 정보를 마스크하여 수평선 정보를 검출하는 수평선 검출기를 더 포함한다.The apparatus further includes a horizontal line detector which detects horizontal line information by masking information related to the horizontal line on the outline map of each channel of the image merged through the image merger.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 수평선 검출기에서 검출한 수평선 정보를 확장연산하여 외곽선 정보를 추출하는 확장연산기를 더 포함한다.The apparatus may further include an expansion operator configured to extract the outline information by performing an extended operation on the horizon information detected by the horizon detector.
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 확장연산기에서 추출한 외곽선 정보를 허프 변환(Hough Transform)하여 수평선의 기울기 값(Roll) 정보를 산출하는 기울기 산출기와;A gradient calculator for calculating a gradient value (Roll) information of a horizontal line by Hough transforming the outline information extracted by the extension operator;
상기 자동 수평선 검출 및 처리기는,The automatic horizontal line detection and processor,
상기 기울기 산출기에서 산출한 기울기 값 정보를 기반으로 비행체 자세(Roll)를 추정하여 상기 비행 제어기에 제공하는 비행체 자세 추정기를 더 포함한다.
And a vehicle attitude estimator for estimating a vehicle attitude (Roll) based on the inclination value information calculated by the slope calculator and providing the vehicle attitude to the flight controller.
본 발명에 따르면, 주 항법장치 고장을 대비한 저가/소형의 보조 항법장치를 추가 장착함으로써, 경제적 측면에서 비용 감소 효과를 얻을 수 있으며, 비행체의 안전 회수율을 높일 수 있는 장점이 있다.
According to the present invention, by additionally equipped with a low-cost / small auxiliary navigation device for the main navigation device failure, it is possible to obtain a cost reduction effect in terms of economics, and to increase the safety recovery rate of the aircraft.
도 1은 본 발명에 따른 비전센서와 ＧＰＳ를 이용한 보조항법장치의 개념도.
도 2는 도 1의 보조항법장치의 실시 예 구성도.
도 3은 도 2의 자동 수평선 검출 및 처리기의 실시 예 구성도.1 is a conceptual diagram of an auxiliary navigation apparatus using a vision sensor and the GPS according to the present invention.
2 is a configuration diagram of an embodiment of the auxiliary navigation apparatus of FIG.
3 is an exemplary configuration diagram of the automatic horizontal line detection and processor of FIG. 2.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.Hereinafter, described in detail with reference to the accompanying drawings a preferred embodiment of the present invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
본 발명은 주/야 겸용 전방주시카메라를 통하여 입력된 실시간 영상을 처리하여 비행제어를 위한 비행체자세(Roll) 정보를 산출하고, 이를 기반으로 비행 제어기에서 선회/상승/하강 절차시 자동 제어를 수행하여, 일정 지점 또는 회수 지역으로 비행체 유도 제어를 수행하게 되는 것이며, 이하에서는 상기와 같은 본 발명의 개념에 대한 바람직한 실시 예를 설명한다.The present invention processes the real-time image input through the day and night forward vision camera to calculate the flight information (Roll) information for flight control, and based on this to perform automatic control during the turning / ascending / descending procedure in the flight controller By doing so, the vehicle guidance control to a certain point or recovery area, and will be described below in the preferred embodiment of the concept of the present invention as described above.
도 1은 본 발명에 따른 비전센서와 ＧＰＳ를 이용한 보조항법장치의 전체 개념도로서, 주 항법장치(100), 보조 GPS(200), 비행체(300), 비전 센서(400)로 이루어진다.1 is an overall conceptual diagram of an auxiliary navigation apparatus using a vision sensor and a GPS according to the present invention, and includes a
주 항법 장치(100)는 GPS(위성항법장치)와 INS(관성항법장치) 결합항법장치를 포함하고, 항법 정보를 생성하여 상기 비행체(300) 내의 비행 제어 장치(350)에 제공하는 기능을 한다.The
비전 센서(400)는 비행체(300)의 전방에 설치되어 비행체(300)의 전방 영상을 획득하는 주/야 겸용 전방주시 카메라(410)를 포함한다.The
비행 제어 장치(350)는 보조 GPS(200)를 통해 비행정보를 획득하고, 비전 센서(400)를 통해 획득한 수평선 이미지를 처리하여 비행체(300)의 자세를 추정하고, 상기 추정한 정보를 기반으로 상기 비행체(300)의 자세를 제어하여 비행체(300)를 회수지역까지 유도하는 기능을 수행한다.The
이러한 비행 제어 장치(350)는 도 2에 도시한 바와 같이, 상기 비행체(300)에 탑재된 주 항법장치(100)의 고장시 영상과 보조 GPS 정보를 이용하여 동작하게 되며, 입력 영상으로부터 수평선 이미지를 검출하고, 상기 검출한 수평선 이미지를 처리하여 비행체의 자세 정보를 추출하는 자동 수평선 검출 및 처리기(360)와; 상기 보조 GPS(200)를 통해 획득한 위치, 고도, 속도, 방향에 대한 비행 정보와 상기 자동 수평선 검출 및 처리기(360)를 통한 자세 정보를 기반으로 비행체의 선회/상승/하강시 자동 제어를 하여 상기 비행체의 유도 제어를 수행하는 비행 제어기(370)를 포함한다.As shown in FIG. 2, the
상기 자동 수평선 검출 및 처리기(360)는 도 3에 도시한 바와 같이, 입력 영상(image)을 모폴로지(Mophological) 기법을 사용하여 이미지를 평활화하고 잡음을 제거하는 이미지 평활기(361), 상기 이미지 평활기(361)에서 잡음이 제거된 이미지에서 각 채널별로 외곽선을 검출하고 확장연산(dilation)을 통하여 각 채널별 외곽선 지도(map)를 작성하는 외곽선 검출 및 지도 작성기(362), 상기 외곽선 검출 및 지도 작성기(362)에 의해 각 채널별로 작성된 외곽선 지도를 하나의 이미지로 병합하는 이미지 병합기(363), 상기 이미지 병합기(363)를 통해 병합된 이미지의 각 채널별 외곽선 지도에 수평선에 관련된 정보를 마스크하여 수평선 정보를 검출하는 수평선 검출기(364), 상기 수평선 검출기(364)에서 검출한 수평선 정보를 확장연산하여 외곽선 정보를 추출하는 확장연산기(365), 상기 확장연산기(365)에서 추출한 외곽선 정보를 허프 변환(Hough Transform)하여 수평선의 기울기 값(Roll) 정보를 산출하는 기울기 산출기(366), 상기 기울기 산출기(366)에서 산출한 기울기 값 정보를 기반으로 비행체 자세(Roll)를 추정하여 상기 비행 제어기(370)에 제공하는 비행체 자세 추정기(367)를 포함한다.As shown in FIG. 3, the automatic horizontal line detection and
이와 같이 구성된 본 발명은 주 항법장치(100) 정상 동작시에는 주 항법장치(100)의 비행정보를 사용하고, 주 항법장치(100)에 장애가 발생한 경우 활성화되어, 비행 제어 장치(350) 내의 자동 수평선 검출 및 처리기(360)에서 비전센서(400)의 주/야 겸용 전방 주시 카메라(410)를 통하여 획득한 영상에서 비행체의 자세 정보를 추출하게 된다.The present invention configured as described above uses the flight information of the
즉, 자동 수평선 검출 및 처리기(360)는 도 3에 도시한 바와 같이, 이미지 평활기(361)에서 입력 영상(image)을 모폴로지(Mophological) 기법을 사용하여 이미지를 평활화하고 잡음을 제거하게 된다.That is, as shown in FIG. 3, the automatic horizontal line detection and
외곽선 검출 및 지도 작성기(362)는 상기 이미지 평활기(361)에서 잡음이 제거된 이미지에서 각 채널별(R, G, B)로 외곽선(edge)을 검출하고 확장연산(dilation)을 통하여 각 채널별 외곽선 지도(map)를 작성하게 된다.An edge detection and
이미지 병합기(363)는 상기 외곽선 검출 및 지도 작성기(362)에 의해 각 채널별로 작성된 외곽선 지도를 하나의 이미지로 다시 병합하게 되며, 수평선 검출기(364)는 상기 이미지 병합기(363)를 통해 병합된 이미지의 각 채널별 외곽선 지도에 수평선에 관련된 정보를 마스크(mask)(또는, 필터링) 하여 수평선 정보를 검출하게 된다.The
확장연산기(365)는 상기 수평선 검출기(364)에서 검출한 수평선 정보를 확장연산하여 외곽선 정보를 추출하게 되고, 기울기 산출기(366)는 상기 확장연산기(365)에서 추출한 외곽선 정보를 허프 변환(Hough Transform)하여 수평선의 기울기 값(Roll) 정보를 산출하게 된다.The
이후 비행체 자세 추정기(367)는 상기 기울기 산출기(366)에서 산출한 기울기 값 정보를 기반으로 비행체 자세(Roll)를 추정하여 상기 비행 제어기(370)에 제공하게 된다.Thereafter, the
한편, 보조 항법 장치가 동작을 하면 보조 GPS(200)는 GPS를 통해 위치, 고도, 속도, 방향에 대한 비행 정보를 실시간으로 추출하게 되고, 이렇게 추출한 비행 정보를 상기 비행 제어기(370)에 전달한다.On the other hand, when the auxiliary navigation device operates, the
상기 비행 제어기(370)는 상기 자동 수평선 검출 및 처리기(360)를 통한 자세 정보와 상기 보조 GPS(200)를 통한 비행 정보를 기반으로 비행체의 선회/상승/하강시 자동 제어를 하여 상기 비행체(300)를 일정 지점 또는 회수 지역으로의 유도 제어를 수행하게 되는 것이다.The
여기서 비행체 자동 제어는 액추에이터(380)와 결합하여 이루어지게 된다. 자동 제어는 일반적으로, 보조익, 승강타, 방향타, 추력(쓰로틀) 및 스티어링(steering) 제어, 착륙시 강하각 추종 및 착지점으로의 자동 유도(수평/수직 방향), 그리고 강하 flare-touch 다운 등을 제어하는 기능을 의미한다. 비행체 자동 제어는 기존의 방법과 동일하게 이루어지므로, 자세한 설명은 생략한다.Herein, the automatic control of the vehicle is made in combination with the
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
The present invention is not limited to the above-described specific preferred embodiments, and various modifications can be made by any person having ordinary skill in the art without departing from the gist of the present invention claimed in the claims. Of course, such changes will fall within the scope of the claims.
본 발명은 무인 항공기(UAV: Unmaned Aircraft Vehicle)의 보조 항법에 적용할 수 있으며, KT-1, T-50 등의 훈련/전투기 등의 유인기 등에도 응용 적용이 가능하다.
The present invention can be applied to the auxiliary navigation of the unmanned aircraft vehicle (UAV), it is also applicable to the manned aircraft such as training / fighters such as KT-1, T-50.
100… 주 항법장치
200… 보조 GPS
300… 비행체
350… 비행 제어 장치
400… 비전센서100... Main navigation system
200 ... Secondary GPS
300 ... Aircraft
350... Flight control
400 ... Vision sensor
Claims (8)
상기 비행 제어 장치는,
입력 영상으로부터 수평선 이미지를 검출하고, 상기 검출한 수평선 이미지를 처리하여 비행체의 자세 정보를 추출하는 자동 수평선 검출 및 처리기와;
상기 보조 GPS를 통해 획득한 위치, 고도, 속도, 방향에 대한 비행 정보와 상기 자동 수평선 검출 및 처리기를 통한 자세 정보를 기반으로 비행체의 선회/상승/하강시 자동 제어를 하여 상기 비행체의 유도 제어를 수행하는 비행 제어기를 포함하는 것을 특징으로 하는 비전센서와 ＧＰＳ를 이용한 보조항법장치.
Acquisition of flight information through auxiliary GPS, estimation of the attitude of the aircraft by processing the horizontal image acquired through the vision sensor, and control of the attitude of the vehicle based on the estimated information to guide the aircraft to the recovery area. Including a control unit,
The flight control device,
An automatic horizon detection and processing unit for detecting a horizon image from an input image and processing the detected horizon image to extract attitude information of an aircraft;
Induction control of the aircraft by automatic control during turning, rising and falling of the aircraft based on flight information on position, altitude, speed, and direction acquired through the auxiliary GPS and attitude information through the automatic horizon detection and processor. A secondary navigation device using a vision sensor and the GPS, characterized in that it comprises a flight controller to perform.
상기 입력 영상을 모폴로지(Mophological) 기법을 사용하여 이미지를 평활화하고 잡음을 제거하는 이미지 평활기;
상기 이미지 평활기에서 잡음이 제거된 이미지에서 각 채널별로 외곽선을 검출하고 확장연산(dilation)을 통하여 각 채널별 외곽선 지도(map)를 작성하는 외곽선 검출 및 지도 작성기를 포함하는 것을 특징으로 하는 비전센서와 ＧＰＳ를 이용한 보조항법장치.
The method of claim 4, wherein the automatic horizon detection and processing unit,
An image smoother for smoothing an image and removing noise by using a morphological technique for the input image;
The vision sensor includes an edge detection and a map maker for detecting an outline of each channel in the image from which the noise is removed from the image smoother and creating an outline map for each channel through expansion. Auxiliary navigation device using the and PSPS.
상기 외곽선 검출 및 지도 작성기에 의해 각 채널별로 작성된 외곽선 지도를 하나의 이미지로 병합하는 이미지 병합기를 더 포함하는 것을 특징으로 하는 비전센서와 ＧＰＳ를 이용한 보조항법장치.
The method of claim 5, wherein the automatic horizon detection and processing unit,
And an image merger for merging the outline maps created for each channel by the outline detection and map maker into a single image.
상기 이미지 병합기를 통해 병합된 이미지의 각 채널별 외곽선 지도에 수평선에 관련된 정보를 마스크하여 수평선 정보를 검출하는 수평선 검출기;
상기 수평선 검출기에서 검출한 수평선 정보를 확장연산하여 외곽선 정보를 추출하는 확장연산기를 더 포함하는 것을 특징으로 하는 비전센서와 ＧＰＳ를 이용한 보조항법장치.
The method of claim 6, wherein the automatic horizon detection and processing unit,
A horizontal line detector which detects horizontal line information by masking information related to a horizontal line on an outline map for each channel of the image merged through the image merger;
And an extended operator for extracting outline information by expanding the horizontal line information detected by the horizontal line detector.
상기 확장연산기에서 추출한 외곽선 정보를 허프 변환(Hough Transform)하여 수평선의 기울기 값(Roll) 정보를 산출하는 기울기 산출기와;
상기 기울기 산출기에서 산출한 기울기 값 정보를 기반으로 비행체 자세(Roll)를 추정하여 상기 비행 제어기에 제공하는 비행체 자세 추정기를 더 포함하는 것을 특징으로 하는 비전센서와 ＧＰＳ를 이용한 보조항법장치.The method of claim 7, wherein the automatic horizon detection and processing unit,
A gradient calculator for calculating a gradient value (Roll) information of a horizontal line by Hough transforming the outline information extracted by the extension operator;
And a vehicle attitude estimator for estimating a vehicle attitude (Roll) based on the inclination value information calculated by the tilt calculator and providing the vehicle to the flight controller.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100010041A KR101091107B1 (en) | 2010-02-03 | 2010-02-03 | Assistance navigation equipment using vision sensor and GPS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100010041A KR101091107B1 (en) | 2010-02-03 | 2010-02-03 | Assistance navigation equipment using vision sensor and GPS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110090326A KR20110090326A (en) | 2011-08-10 |
| KR101091107B1 true KR101091107B1 (en) | 2011-12-09 |
Family
ID=44928127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100010041A KR101091107B1 (en) | 2010-02-03 | 2010-02-03 | Assistance navigation equipment using vision sensor and GPS |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101091107B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015026018A1 (en) * | 2013-08-23 | 2015-02-26 | 한국항공우주연구원 | Apparatus for charging and housing unmanned vertical takeoff and landing aircraft and method for same |
| CN105388908A (en) * | 2015-12-11 | 2016-03-09 | 国网四川省电力公司电力应急中心 | Machine vision-based unmanned aerial vehicle positioned landing method and system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102014869B1 (en) * | 2017-12-26 | 2019-08-27 | 세종대학교산학협력단 | System and method for autonomous landing of rotor type unmanned areial vehicle |
-
2010
- 2010-02-03 KR KR1020100010041A patent/KR101091107B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015026018A1 (en) * | 2013-08-23 | 2015-02-26 | 한국항공우주연구원 | Apparatus for charging and housing unmanned vertical takeoff and landing aircraft and method for same |
| US9701425B2 (en) | 2013-08-23 | 2017-07-11 | Korea Aerospace Research Institute | Apparatus and method of charging and housing of unmanned vertical take-off and landing (VTOL) aircraft |
| CN105388908A (en) * | 2015-12-11 | 2016-03-09 | 国网四川省电力公司电力应急中心 | Machine vision-based unmanned aerial vehicle positioned landing method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110090326A (en) | 2011-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104340371B (en) | Autonomous and automatic landing concept and system | |
| US9939818B2 (en) | Method and system for automatic autonomous landing of an aircraft | |
| KR101157484B1 (en) | Uav automatic recovering method | |
| JP4253239B2 (en) | Navigation system using image recognition | |
| US20160093225A1 (en) | Landing system for an aircraft | |
| US10935987B2 (en) | Landing site localization for dynamic control of an aircraft toward a landing site | |
| US20160086497A1 (en) | Landing site tracker | |
| KR20140052978A (en) | Control computer for an unmanned vehicle | |
| US11320269B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| US11467607B2 (en) | Method and device for controlling trajectory of a follower aircraft | |
| JP2007245797A (en) | Flight control device and flight vehicle furnished with flight control device | |
| KR101091107B1 (en) | Assistance navigation equipment using vision sensor and GPS | |
| CN112198902A (en) | Unmanned aerial vehicle landing control method and system, storage medium and electronic equipment | |
| Mathisen et al. | Autonomous ballistic airdrop of objects from a small fixed-wing unmanned aerial vehicle | |
| CN113156990A (en) | System and method for assisting landing of a vertical take-off and landing vehicle | |
| CN112965513A (en) | Unmanned aerial vehicle landing control method and system, storage medium and electronic equipment | |
| EP3276306A1 (en) | Navigating an unmanned aerial vehicle | |
| CN112797982A (en) | Unmanned aerial vehicle autonomous landing measurement method based on machine vision | |
| WO2020209915A3 (en) | Systems and methods for delivery using unmanned aerial vehicles | |
| Gonçalves et al. | Vision-based Autonomous Approach and Landing for an Aircraft using a Direct Visual Tracking Method. | |
| US20220227479A1 (en) | Flying body, control method, and program | |
| WO2014074080A1 (en) | Landing assistance method for aircrafts | |
| FR3033903A1 (en) | NAVIGATION ASSISTANCE SYSTEM FOR AN AIRCRAFT WITH HIGH HEAD DISPLAY SCREEN AND CAMERA. | |
| KR20180116026A (en) | Method and Device for Observation Location Recognition of Unmaned Aerial Vehicle | |
| JPWO2019038927A1 (en) | Aircraft, air vehicle control device, air vehicle control method and air vehicle control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141201 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151202 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20171204 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20181204 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20191203 Year of fee payment: 9 |