KR102162055B1 - Intelligent Accelerator for UAV - Google Patents

Intelligent Accelerator for UAV Download PDF

Info

Publication number
KR102162055B1
KR102162055B1 KR1020190171857A KR20190171857A KR102162055B1 KR 102162055 B1 KR102162055 B1 KR 102162055B1 KR 1020190171857 A KR1020190171857 A KR 1020190171857A KR 20190171857 A KR20190171857 A KR 20190171857A KR 102162055 B1 KR102162055 B1 KR 102162055B1
Authority
KR
South Korea
Prior art keywords
data
unmanned aerial
aerial vehicle
interface
accelerator
Prior art date
Application number
KR1020190171857A
Other languages
Korean (ko)
Inventor
이상설
장성준
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190171857A priority Critical patent/KR102162055B1/en
Application granted granted Critical
Publication of KR102162055B1 publication Critical patent/KR102162055B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided is an intelligent acceleration processing apparatus for an unmanned aerial vehicle. According to an embodiment of the present invention, the intelligent acceleration processing apparatus for an unmanned aerial vehicle includes: an interface communication-connected to sensors, a controller and a memory of the unmanned aerial vehicle; and an accelerator receiving sensor data and position data from the sensors through the interface and matching a feature point extracted from the sensor data with the position data to store the same in the memory through the interface. Therefore, the intelligent acceleration processing apparatus for an unmanned aerial vehicle can process the sensor data of the unmanned aerial vehicle at a high speed and control the flight of the unmanned aerial vehicle when automatic returns or obstacle avoidance are required.

Description

무인기용 지능형 가속처리장치{Intelligent Accelerator for UAV}Intelligent Accelerator for UAV {Intelligent Accelerator for UAV}

본 발명은 신호처리용 SoC 기술에 관한 것으로, 더욱 상세하게는 무인기의 센서 데이터들을 고속으로 처리하고, 필요에 따라 무인기의 비행을 제어하는 지능형 가속처리장치에 관한 것이다.The present invention relates to SoC technology for signal processing, and more particularly, to an intelligent acceleration processing device that processes sensor data of an unmanned aerial vehicle at high speed and controls the flight of an unmanned aerial vehicle as necessary.

종래의 무인기 제어 기술은 사용자의 컨트롤 신호에 의하여 제어하는 것이 대부분이다. 지능형 비행이라고 하는 제어 기술은 다양한 센서(GPS, 고도계, 가속도 센서 등)의 데이터를 활용하여 기체의 호버링(현재 위치 정지, 고도 유지 등)을 하거나, 착륙하는데 주로 이용된다.Most of the conventional UAV control technology is controlled by a control signal from a user. The control technology called intelligent flight is mainly used to hover the aircraft (stop the current position, maintain altitude, etc.) or land using data from various sensors (GPS, altimeter, acceleration sensor, etc.).

사용자 신호에 의한 제어는, 근거리일 경우에는 WiFi, RF 등을 이용하고, 원거리일 경우 LTE, 5G 등의 이동통신을 이용하고 있다.Control by a user signal uses WiFi, RF, etc. in the case of a short distance, and mobile communication such as LTE and 5G in the case of a long distance.

원점 회귀는 시작점과 문제가 발생한 시점의 GPS 정보를 이용하여 무인기의 이동 방향을 결정하게 되는데, 이는 GPS 및 제어 신호가 정상적일 경우에는 문제가 없으나, 해당 신호가 약하거나 아예 없는 경우에는 무인기 자체의 제어기로부터 입력 신호를 실시간으로 처리하여 원점 회귀를 하여야 한다.The origin regression determines the direction of movement of the drone by using the GPS information of the starting point and the point in which the problem occurred. This is fine if the GPS and control signals are normal, but if the signal is weak or not at all, the drone itself The input signal from the controller must be processed in real time to perform the origin return.

하지만, GPS가 없는 상황(GPS 교란시, 교각 등과 같은 신호 장애물이 있을 경우)에서는, 원점으로 돌아오는 것뿐만 아니라 호버링 유지도 어려운 상태가 된다.However, in a situation where there is no GPS (when there is a signal obstacle such as a GPS disturbance or a pier), it becomes difficult not only to return to the origin but also to maintain hovering.

이를 위해, 대형의 무인기의 경우에는 이를 위한 대용량 연산처리 장치 및 보조 센서 등을 활용하고 있다. 하지만, 작은 시스템의 경우에는 해당 연산 처리 장치를 설치하기 어려우며, 다른 인터페이스나 메인 프로세서의 활용 보다는 기장착된 하드웨어에서 데이터의 처리가 필요한 경우도 발생할 수 있다. To this end, in the case of a large unmanned aerial vehicle, a large-capacity processing unit and an auxiliary sensor are used for this. However, in the case of a small system, it is difficult to install the corresponding processing unit, and there may be cases where data processing is required in pre-installed hardware rather than utilizing other interfaces or main processors.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 무인기의 센서 데이터들을 고속으로 처리하고, 필요에 따라 무인기의 비행을 제어하는 지능형 가속처리장치를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide an intelligent acceleration processing device that processes sensor data of an unmanned aerial vehicle at high speed and controls the flight of an unmanned aerial vehicle as necessary.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 무인기용 가속처리장치는, 무인기의 센서들, 제어기 및 메모리와 통신 연결되는 인터페이스; 인터페이스를 통해 센서들로부터 센서 데이터와 위치 데이터를 입력받고, 센서 데이터에서 추출한 특징점을 위치 데이터와 매칭하여 인터페이스를 통해 메모리에 저장하는 가속기;를 포함한다.In accordance with an embodiment of the present invention for achieving the above object, an acceleration processing apparatus for an unmanned aerial vehicle includes: an interface communicating with sensors, a controller, and a memory of the unmanned aerial vehicle; And an accelerator that receives sensor data and location data from sensors through an interface, matches the feature points extracted from the sensor data with the location data, and stores them in a memory through the interface.

가속기는, 인터페이스를 통해 입력되는 센서 데이터에서 특징점을 추출하고, 추출된 특징점과 동일한 특징점에 매칭된 위치 데이터를 메모리에서 검색하여, 회기 경로를 생성할 수 있다.The accelerator may extract a feature point from sensor data input through an interface, retrieve position data matched with the same feature point as the extracted feature point from a memory, and generate a regression path.

가속기는, 인터페이스를 통해 위치 데이터가 입력되지 않는 경우에, 회기 경로를 생성할 수 있다.The accelerator may generate a regression path when position data is not input through the interface.

가속기는, 회기 경로에 따른 이동을 위한 제어 신호를 생성하여 인터페이스를 통해 제어기에 전달할 수 있다.The accelerator may generate a control signal for movement along the regression path and transmit it to the controller through the interface.

제어 신호는, 이동할 좌표를 상대 좌표로 나타낼 수 있다.The control signal may represent coordinates to be moved as relative coordinates.

가속기는, 특징점이 검색되지 않으면, 선회 비행하도록 제어기를 제어할 수 있다.The accelerator may control the controller to fly orbit if the feature point is not found.

본 발명의 실시예에 따른 무인기용 가속처리장치는, 인터페이스를 통해 입력되는 암호화된 데이터를 복호화하고, 코덱에서 압축된 데이터를 암호화하는 암/복호부; 및 암/복호부에서 복호화된 데이터들을 압축해제하고, 가속기에서 처리된 데이터들을 압축하여 암/복호부로 전달하는 코덱;을 더 포함할 수 있다.An acceleration processing apparatus for an unmanned aerial vehicle according to an embodiment of the present invention includes: an encryption/decryption unit that decrypts encrypted data input through an interface and encrypts data compressed by a codec; And a codec that decompresses the data decoded by the encryption/decoder, compresses the data processed by the accelerator, and delivers the compressed data to the encryption/decoder.

한편, 본 발명의 다른 실시예에 따른, 무인기용 데이터 처리방법은, 센서들로부터 센서 데이터와 위치 데이터를 입력받는 단계; 및 센서 데이터에서 추출한 특징점을 위치 데이터와 매칭하여 저장하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, a data processing method for an unmanned aerial vehicle includes receiving sensor data and location data from sensors; And matching and storing the feature points extracted from the sensor data with the location data.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 무인기의 센서 데이터들을 고속으로 처리하고, 자동 회귀나 장애물 회피 등이 필요한 경우 무인기의 비행을 제어할 수 있게 된다.As described above, according to embodiments of the present invention, it is possible to process the sensor data of the unmanned aerial vehicle at high speed and control the flight of the unmanned aerial vehicle when automatic regression or obstacle avoidance is required.

특히, 본 발명의 실시예들에 따르면, 다양한 입력 센서 데이터와 영상과의 상관관계를 저장하는 하드웨어 가속 장치를 사용하여 저용량의 저장공간에 이동 경로 저장 및 현재위치 추정이 기가능하고, 소형의 무인기에도 적용 가능한 제어 신호 및 상대적 위치 추정을 사용하여 메모리 공간 및 하드웨어 가속기의 저전력화가 가능하다.In particular, according to embodiments of the present invention, it is possible to store a movement path and estimate a current position in a low-capacity storage space by using a hardware acceleration device that stores correlations between various input sensor data and images, and a small unmanned aerial vehicle It is possible to reduce the power of the memory space and the hardware accelerator by using the control signal and relative position estimation applicable to.

도 1은 본 발명의 일 실시예에 따른 무인기용 지능형 가속처리장치의 개요,
도 2는 무인기 시스템의 구성,
도 3은, 도 2에 도시된 가속처리장치의 구성,
도 4는 무결성 체크 루틴,
도 5는 무인기 시스템에서 영상 특징점 추출 개념,
도 6은 가속처리장치(140)에 의해 저장되는 특징점들을 시각화한 도면,
도 7은 무인기의 자율 항법,
도 8은 무인기의 원점 회기 경로,
도 9는 무인기의 제어 신호,
도 10은 평시 가속처리장치로 전달되는 데이터,
도 11은 충돌 회피를 위해 가속처리장치에서 비행 제어기로 전달되는 제어 신호이다.1 is an overview of an intelligent acceleration processing apparatus for an unmanned aerial vehicle according to an embodiment of the present invention,
2 is a configuration of an unmanned aerial vehicle system,
3 is a configuration of the acceleration processing apparatus shown in FIG. 2,
4 is an integrity check routine,
5 is a concept of image feature point extraction in an unmanned aerial vehicle system,
6 is a diagram for visualizing feature points stored by the acceleration processing device 140;
7 is an autonomous navigation of the unmanned aerial vehicle,
8 is an origin regression path of the unmanned aerial vehicle,
9 is a control signal of the unmanned aerial vehicle,
10 is data transmitted to the normal acceleration processing device,
11 is a control signal transmitted from the acceleration processing device to the flight controller for collision avoidance.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 무인기용 지능형 가속처리장치의 개요를 설명하기 위한 도면이다. 본 발명의 실시예에 따른 무인기용 지능형 가속처리장치는, 지능형 자율항법비행 및 SLAM과 같은 자동 비행 기술을 적용하기 위한 하드웨어 가속기이다.1 is a view for explaining an overview of an intelligent acceleration processing apparatus for an unmanned aerial vehicle according to an embodiment of the present invention. An intelligent acceleration processing device for an unmanned aerial vehicle according to an embodiment of the present invention is a hardware accelerator for applying automatic flight technologies such as intelligent autonomous navigation and SLAM.

본 발명의 실시예에 따른 무인기용 지능형 가속처리장치는, 하드웨어 플랫폼 기반 고속신호처리가 가능하여, 센서(GPS/INS, 카메라 영상, Lidar, 대기센서) 데이터 퓨전, 무인기의 비행 제어, GPS-free 상황에서의 자동회귀 제어, 자동회귀를 위한 고속 영상분석 및 장애물 검출/추적/회피 비행 제어 등을 수행할 수 있다.The intelligent acceleration processing device for an unmanned aerial vehicle according to an embodiment of the present invention is capable of high-speed signal processing based on a hardware platform, so that sensor (GPS/INS, camera image, lidar, atmospheric sensor) data fusion, flight control of the unmanned aerial vehicle, and GPS-free It can perform automatic return control in situations, high-speed image analysis for automatic return, and obstacle detection/tracking/avoidance flight control.

도 2는 무인기 시스템의 구성을 도시한 도면이다. 도시된 바와 같이, 무인기 시스템은, 센서들(110), 비행 제어기(120), 메모리(130) 및 가속처리장치(140)를 포함하여 구성된다.2 is a diagram showing the configuration of an unmanned aerial vehicle system. As shown, the unmanned aerial vehicle system includes sensors 110, flight controller 120, memory 130, and acceleration processing device 140.

센서들(110)은 GPS 모듈, 카메라, 레이더, 라이다, 대기 센서 등을 포함하여 구성되며, 생성된 센서 데이터들을 메모리(130)에 저장한다.The sensors 110 include a GPS module, a camera, a radar, a lidar, an atmospheric sensor, and the like, and store the generated sensor data in the memory 130.

비행 제어기(120)는 센서들(110)에 저장되어 있는 센서 데이터들을 기초로, 무인기의 비행 동작을 제어한다.The flight controller 120 controls the flight operation of the UAV based on sensor data stored in the sensors 110.

가속처리장치(140)는 센서 데이터를 가공하여 메모리(130)에 저장하고, GPS 연결 상태가 좋지 않은 경우 메모리(130)에 저장된 센서 데이터를 기반으로 회귀 경로를 생성하고, 생성된 회귀 경로에 따라 자동 회귀가 이루어지도록 비행 제어기(120)를 제어한다.The acceleration processing device 140 processes the sensor data and stores it in the memory 130, and when the GPS connection is not good, generates a regression path based on the sensor data stored in the memory 130, and generates a regression path according to the generated regression path. Controls the flight controller 120 so that automatic regression is made.

또한, 가속처리장치(140)는 센서 데이터로부터 장애물을 검출/추적하고 이를 회피하기 위해 비행 제어기(120)를 제어할 수도 있다.In addition, the acceleration processing device 140 may control the flight controller 120 to detect/track an obstacle from sensor data and avoid it.

도 3은, 도 2에 도시된 가속처리장치(140)의 상세 블럭도이다. 가속처리장치(140)는 도 3에 도시된 바와 같이, 인터페이스(141), 암/복호부(142), 무손실 코덱(143) 및 가속기(144)를 포함하여 구성된다.3 is a detailed block diagram of the acceleration processing apparatus 140 shown in FIG. 2. As shown in FIG. 3, the acceleration processing apparatus 140 includes an interface 141, an encryption/decoder 142, a lossless codec 143, and an accelerator 144.

인터페이스(141)는 무인기 시스템의 다른 구성들인 센서들(110), 비행 제어기(120) 및 메모리(130)와 통신 연결을 위한 통신 수단이다.The interface 141 is a communication means for communication connection with sensors 110, flight controller 120, and memory 130, which are other components of the UAV system.

암/복호부(142)는 인터페이스(141)를 통해 전달할 데이터를 암호화하고, 인터페이스(141)를 통해 수신되는 암호화된 데이터는 복호화한다.The encryption/decryption unit 142 encrypts data to be transmitted through the interface 141, and decrypts the encrypted data received through the interface 141.

무인기 시스템 내부의 통신에서는 특성상 데이터 전송 케이블에서의 데이터 손실이 발생하게 되는 바 이를 위한 무결성 체크 및 외부 컨트롤러와의 통신에서 중요 데이터의 보안을 위한 암호화 프로세스를 포함한다.In the communication inside the unmanned aerial vehicle system, data loss occurs in the data transmission cable due to its characteristics. This includes an integrity check for this and an encryption process for security of important data in communication with an external controller.

도 4에는 체크섬을 활용하여 데이터의 무결성을 체크하는 루틴을 예시하였다. 데이터 보안의 경우, 레저용 무인기에서는 크게 문제되지 않지만, 방제나 군용 무인기에서는 보안이 중요한 요소이므로 이같은 데이터 보호 수단이 반드시 필요하다.4 illustrates a routine for checking the integrity of data using a checksum. In the case of data security, it is not a big problem for recreational drones, but since security is an important factor in control or military drones, such data protection measures are indispensable.

무손실 코덱(143)은 인터페이스(141)를 통해 전달할 데이터를 무손실 코딩하여 압축하고, 인터페이스(141)를 통해 수신되는 압축된 데이터는 무손실 디코딩하여 압축해제한다.The lossless codec 143 losslessly codes and compresses data to be transmitted through the interface 141, and decompresses the compressed data received through the interface 141 by lossless decoding.

무인기 시스템 내에서 전달되는 데이터의 용량이 큰 경우, 메모리(130)에 데이터를 읽고 쓰는데 많은 시간이 소요되기 때문에, 이를 방지하기 위한 기술 구성에 해당한다.When the amount of data transmitted in the unmanned aerial vehicle system is large, since it takes a lot of time to read and write data to the memory 130, it corresponds to a technology configuration for preventing this.

가속기(144)는 무인기 시스템에서 생성되는 센서 데이터들에 대해 필요한 가속 연산을 수행하여 저장하고, 이동 경로와 상황에 따른 적응적 제어를 수행하는 하드웨어 구성이다.The accelerator 144 is a hardware component that performs and stores necessary acceleration calculations on sensor data generated by the unmanned aerial vehicle system, and performs adaptive control according to a movement path and a situation.

특히, 가속기(144)는 인터페이스(141)를 통해 메모리(130)로부터 영상 데이터와 GPS 데이터를 읽어와, 영상 데이터에서 특징점들을 추출하고, 추출된 특징점들을 GPS 데이터와 매칭하여 인터페이스(141)를 통해 메모리(130)에 저장한다.In particular, the accelerator 144 reads image data and GPS data from the memory 130 through the interface 141, extracts feature points from the image data, and matches the extracted feature points with the GPS data through the interface 141. It is stored in the memory 130.

가속기(144)로 데이터가 입력되는 과정에서 복호화/압축해제가 수행되고, 가속기(144)에서 데이터가 출력되는 과정에서 압축/암호화가 수행되지만, 이해와 설명의 편의를 위해 이를 일일이 언급하지는 않겠다.Decoding/decompression is performed in the process of inputting data to the accelerator 144, and compression/encryption is performed in the process of outputting data from the accelerator 144, but for convenience of understanding and explanation, it will not be mentioned individually.

도 5에는 무인기 시스템의 가속기(144)가 영상 특징점을 추출하여 GPS 데이터와 저장하고, 이를 활용할 수 있음을 개념적으로 나타내었다. 한편, 특징점은 영상이 아닌 다른 센서 데이터로부터 추가로 추출하는 것으로 구현할 수도 있다.FIG. 5 conceptually shows that the accelerator 144 of the unmanned aerial vehicle system extracts image feature points, stores it with GPS data, and utilizes it. Meanwhile, the feature point may be implemented by additionally extracting from sensor data other than an image.

한편, 특징점들을 모두 저장한다면, 메모리(130)에서 데이터 입출력에 많은 시간이 소요되어 실시간 동작을 어렵게 하는 바, 주요 특징점들만을 선별하여 저장하는 것으로 구현가능하다.On the other hand, if all of the feature points are stored, a lot of time is required for data input and output from the memory 130, making real-time operation difficult, and thus, it is possible to select and store only the main feature points.

이를 테면, 도 6에 도시된 바와 같이, 특징점의 변화가 일정 역치 이상 발생한 경우(빨간색)에만, 특징점으로 설정/취급하여 해당 특징점과 GPS 데이터 만을 저장할 수 있다.For example, as shown in FIG. 6, only when a change in a feature point occurs above a certain threshold (in red), it is possible to store only the corresponding feature point and GPS data by setting/handling it as a feature point.

Full-HD(1920x1080x24bits) 영상에 대해 1024개의 특징점을 저장한다고 하면, 특징점 데이터는 1024x24bits 이므로, 영상 데이터 대비 0.05% 만을 저장하게 된다.If 1024 feature points are stored for a Full-HD (1920x1080x24bits) image, since the feature point data is 1024x24bits, only 0.05% of the image data is stored.

한편, GPS 수신 상태가 양호한 경우에는 문제가 없지만, GPS 수신 상태가 불량한 경우 무인기는 통제 불능 상태에 빠지게 되어, 출발 지점으로 자동 회귀하여야 한다(도 7).On the other hand, if the GPS reception condition is good, there is no problem, but if the GPS reception condition is poor, the unmanned aerial vehicle falls into a state of out of control, and it must automatically return to the starting point (FIG. 7).

이를 위해, 가속기(144)는 인터페이스(141)를 통해 수신되는 현재 영상에서 특징점을 추출하고, 추출된 특징점에 매칭되어 있는 GPS 정보를 메모리(130)에서 검색하고, 이를 이용하여 무인기의 회기 경로를 생성한다. GPS 수신 상태가 불량하면, 가속기(144)는 영상 기반으로 회기 경로를 생성하는 것이다.To this end, the accelerator 144 extracts a feature point from the current image received through the interface 141, searches the GPS information matching the extracted feature point in the memory 130, and uses this to find the regression route of the unmanned aerial vehicle. Generate. If the GPS reception condition is poor, the accelerator 144 generates a regression path based on the image.

가속기(144)는 회기 경로에 따른 이동을 위한 제어 신호를 생성하여 인터페이스(141)를 통해 비행 제어기(120)에 전달한다. 이때, 제어 신호에서 회기 경로에 따라 이동할 좌표 정보는 상대 좌표로 표현한다.The accelerator 144 generates a control signal for movement according to the regression path and transmits it to the flight controller 120 through the interface 141. In this case, coordinate information to be moved according to the regression path in the control signal is expressed as relative coordinates.

도 8은 무인기의 원점 회기 경로를 생성한 결과를 나타내었다. 여기서, 상대 좌표라 함은, 위치 추정 1~6번 사이에 현재 향하는 방향의 x,y 좌표간의 상대 좌표를 이야기 한다. 전체 영역에서 이동 거리 및 좌표 설정시 거리에 따라 표현형이 커지는 것을 방지하기 위해, 근접 특징점 간의 상대 좌표를 설정하여 전체 map 대비 상대적으로 이동하는 벡터 정보로 표현하는 것이다.8 shows the result of generating the origin regression path of the unmanned aerial vehicle. Here, the relative coordinates refer to the relative coordinates between the x and y coordinates of the current direction between position estimation 1-6. In order to prevent the expression type from increasing according to the distance when the moving distance and coordinates are set in the entire area, the relative coordinates between adjacent feature points are set and expressed as vector information that moves relative to the entire map.

절대 좌표계로 처리할 경우, 무인기에서는 단위가 cm 단위로 표시되므로, 거리가 수십~수백 Km로 멀어지면 그만큼 데이터 표현에 많은 자료형을 사용해야 한다. 이 때문에, 본 발며의 실시예에서는 각 특징점 마다의 상대 좌표를 이용한다.In the case of processing with an absolute coordinate system, the unit is displayed in cm on the drone, so if the distance increases to tens to hundreds of Km, many data types must be used for data representation. For this reason, in the embodiment of the present invention, the relative coordinates for each feature point are used.

한편, 현재 영상에서 추출된 특징점에 매칭되어 있는 GPS 정보가 메모리(130)에서 검색되지 않는 경우, 가속기(144)는 무인기가 반경을 늘여가면서 선회 비행하도록 비행 제어기(120)를 제어한다. 이는, 선회 반경은 특징점을 검색할 때까지 늘여간다.On the other hand, when the GPS information matched with the feature point extracted from the current image is not retrieved from the memory 130, the accelerator 144 controls the flight controller 120 so that the UAV increases its radius and makes a turning flight. This means that the turning radius increases until a feature point is searched.

또한, 가속기(144)는 영상에서 장애물을 검출/추적/회피 비행 제어를 수행하는데, 영상 데이터에서 장애물을 검출하고, 회피 경로를 생성하여 회피 경로에 따른 이동을 위한 제어 신호를 생성하여 인터페이스(141)를 통해 비행 제어기(120)에 전달한다.In addition, the accelerator 144 detects/tracks/avoidance flight control of an obstacle in the image. It detects the obstacle in the image data, generates an avoidance path, and generates a control signal for movement along the avoidance path, and the interface 141 ) Through the flight controller 120.

도 9에는 무인기의 제어 신호들을 예시하였고, 도 10에는 평시에 가속처리장치(140)로 전달되는 데이터들을 예시하였으며, 도 11에는 충돌 회피를 위해 가속처리장치(140)가 비행 제어기(120)를 제어하기 위한 제어 신호를 예시하였다.9 illustrates the control signals of the unmanned aerial vehicle, and FIG. 10 illustrates data transmitted to the acceleration processing unit 140 in peacetime, and in FIG. 11, the acceleration processing unit 140 uses the flight controller 120 to avoid collision. A control signal for controlling is illustrated.

한편, 도 11에 도시된 제어 신호는 자동 회기를 위한 제어 신호로도 사용가능하다.Meanwhile, the control signal shown in FIG. 11 can also be used as a control signal for automatic regression.

지금까지, 무인기용 지능형 가속처리장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, the intelligent acceleration processing device for the unmanned aerial vehicle has been described in detail with reference to a preferred embodiment.

위 실시예에서는, 하드웨어 플랫폼 기반 고속신호처리가 가능하여, 센서 데이터 퓨전, 무인기의 비행 제어, GPS-free 상황에서의 자동 회귀 제어, 자동 회귀를 위한 고속 영상분석 및 장애물 검출/추적/회피 비행 제어 등을 수행할 수 있는 무인기용 지능형 가속처리장치를 제시하였다.In the above embodiment, hardware platform-based high-speed signal processing is possible, so that sensor data fusion, flight control of unmanned aerial vehicles, automatic regression control in GPS-free situations, high-speed image analysis for automatic regression, and obstacle detection/tracking/avoidance flight control An intelligent accelerator processing device for unmanned aerial vehicles that can perform such tasks is presented.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present disclosure may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. Also, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

110 : 센서
120 : 비행 제어기
130 : 메모리
140 : 가속처리장치
141 : 인터페이스
142 : 암/복호부
143 : 무손실 코덱
144 : 가속기110: sensor
120: flight controller
130: memory
140: acceleration processing device
141: interface
142: Cancer/decryption unit
143: lossless codec
144: accelerator

Claims (8)

무인기의 센서들, 제어기 및 메모리와 통신 연결되는 인터페이스;
인터페이스를 통해 센서들로부터 센서 데이터와 위치 데이터를 입력받고, 센서 데이터 중 영상 데이터에서 추출한 영상 특징점을 위치 데이터와 매칭하여 인터페이스를 통해 메모리에 저장하는 가속기;를 포함하고,
가속기는,
인터페이스를 통해 입력되는 센서 데이터 중 영상 데이터에서 영상 특징점을 추출하고, 추출된 영상 특징점과 동일한 영상 특징점에 매칭된 위치 데이터를 메모리에서 검색하여 현재 좌표를 파악하고, 회기 경로를 생성하는 것을 특징으로 하는 무인기용 가속처리장치.
An interface that is communicatively connected with sensors, a controller, and a memory of the UAV;
Including; an accelerator that receives sensor data and location data from sensors through an interface, matches an image feature point extracted from the image data among the sensor data with the location data, and stores it in a memory through the interface,
The accelerator,
Characterized in that an image feature point is extracted from image data among sensor data input through the interface, and position data matched to the same image feature point as the extracted image feature point is retrieved from the memory to determine the current coordinates, and a regression path is generated. Accelerated processing device for unmanned aerial vehicles.
 삭제delete 청구항 1에 있어서,
가속기는,
인터페이스를 통해 위치 데이터가 입력되지 않는 경우에, 회기 경로를 생성하는 것을 특징으로 하는 무인기용 가속처리장치.
The method according to claim 1,
The accelerator,
An acceleration processing apparatus for an unmanned aerial vehicle, comprising generating a regression path when position data is not input through the interface.
 청구항 1에 있어서,
가속기는,
회기 경로에 따른 이동을 위한 제어 신호를 생성하여 인터페이스를 통해 제어기에 전달하는 것을 특징으로 하는 무인기용 가속처리장치.
The method according to claim 1,
The accelerator,
An acceleration processing device for an unmanned aerial vehicle, characterized in that generating a control signal for movement along a regression path and transmitting it to a controller through an interface.
 청구항 4에 있어서,
제어 신호는,
이동할 좌표를 상대 좌표로 나타내는 것을 특징으로 하는 무인기용 가속처리장치.
The method of claim 4,
The control signal is,
An acceleration processing apparatus for an unmanned aerial vehicle, characterized in that the coordinates to be moved are represented by relative coordinates.
 청구항 1에 있어서,
가속기는,
영상 특징점이 검색되지 않으면, 선회 비행하도록 제어기를 제어하는 것을 특징으로 하는 무인기용 가속처리장치.
The method according to claim 1,
The accelerator,
If the image feature point is not searched, the acceleration processing apparatus for the unmanned aerial vehicle, characterized in that controlling the controller to fly orbit.
 청구항 1에 있어서,
인터페이스를 통해 입력되는 암호화된 데이터를 복호화하고, 코덱에서 압축된 데이터를 암호화하는 암/복호부;
암/복호부에서 복호화된 데이터들을 압축해제하고, 가속기에서 처리된 데이터들을 압축하여 암/복호부로 전달하는 코덱;을 더 포함하는 것을 특징으로 하는 무인기용 가속처리장치.
The method according to claim 1,
An encryption/decryption unit that decrypts the encrypted data input through the interface and encrypts the data compressed by the codec;
And a codec for decompressing the data decoded by the encryption/decoder, compressing the data processed by the accelerator, and transmitting the compressed data to the encryption/decoder.
 센서들로부터 센서 데이터와 위치 데이터를 입력받는 단계; 및
센서 데이터 중 영상 데이터에서 추출한 영상 특징점을 위치 데이터와 매칭하여 저장하는 단계; 및
입력되는 센서 데이터 중 영상 데이터에서 영상 특징점을 추출하고, 추출된 영상 특징점과 동일한 영상 특징점에 매칭된 위치 데이터를 메모리에서 검색하여 현재 좌표를 파악하고, 회기 경로를 생성하는 단계;를 포함하는 것을 특징으로 하는 무인기용 데이터 처리방법.
Receiving sensor data and location data from sensors; And
Matching and storing the image feature points extracted from the image data among the sensor data with the location data; And
And extracting an image feature point from the image data among the input sensor data, searching the memory for location data matched with the image feature point identical to the extracted image feature point to determine current coordinates, and generating a regression path; Data processing method for unmanned aerial vehicles.
KR1020190171857A 2019-12-20 2019-12-20 Intelligent Accelerator for UAV KR102162055B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190171857A KR102162055B1 (en) 2019-12-20 2019-12-20 Intelligent Accelerator for UAV

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190171857A KR102162055B1 (en) 2019-12-20 2019-12-20 Intelligent Accelerator for UAV

Publications (1)

Publication Number Publication Date
KR102162055B1 true KR102162055B1 (en) 2020-10-06

Family

ID=72826443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190171857A KR102162055B1 (en) 2019-12-20 2019-12-20 Intelligent Accelerator for UAV

Country Status (1)

Country Link
KR (1) KR102162055B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616784B1 (en) * 2022-12-21 2023-12-27 한국건설기술연구원 Drone movement path generation system and method for bridge inspection

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995362B1 (en) * 2010-06-18 2010-11-19 주식회사 네스앤텍 Flight altitude control system of pilotless aircraft
KR20120124894A (en) * 2011-05-06 2012-11-14 경상대학교산학협력단 Flight data saving apparatus and method the same
US20150160658A1 (en) * 2012-10-22 2015-06-11 Bcb International Ltd. Micro unmanned aerial vehicle and method of control therefor
KR101662071B1 (en) * 2016-03-29 2016-10-05 수자원기술 주식회사 Drinking Water Facilities Monitering System by Using Drone and Method thereof
KR20170034503A (en) * 2015-09-21 2017-03-29 숭실대학교산학협력단 Apparatus and method for controlling unmanned aerial vehicle
CN107065925A (en) * 2017-04-01 2017-08-18 成都通甲优博科技有限责任公司 A kind of unmanned plane makes a return voyage method and device
KR20170111921A (en) * 2016-03-30 2017-10-12 팅크웨어(주) Method and system for controlling unmanned air vehicle
KR20190024495A (en) * 2017-08-30 2019-03-08 주식회사 호그린에어 Black box system for unmanned aerial vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995362B1 (en) * 2010-06-18 2010-11-19 주식회사 네스앤텍 Flight altitude control system of pilotless aircraft
KR20120124894A (en) * 2011-05-06 2012-11-14 경상대학교산학협력단 Flight data saving apparatus and method the same
US20150160658A1 (en) * 2012-10-22 2015-06-11 Bcb International Ltd. Micro unmanned aerial vehicle and method of control therefor
KR20170034503A (en) * 2015-09-21 2017-03-29 숭실대학교산학협력단 Apparatus and method for controlling unmanned aerial vehicle
KR101662071B1 (en) * 2016-03-29 2016-10-05 수자원기술 주식회사 Drinking Water Facilities Monitering System by Using Drone and Method thereof
KR20170111921A (en) * 2016-03-30 2017-10-12 팅크웨어(주) Method and system for controlling unmanned air vehicle
CN107065925A (en) * 2017-04-01 2017-08-18 成都通甲优博科技有限责任公司 A kind of unmanned plane makes a return voyage method and device
KR20190024495A (en) * 2017-08-30 2019-03-08 주식회사 호그린에어 Black box system for unmanned aerial vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616784B1 (en) * 2022-12-21 2023-12-27 한국건설기술연구원 Drone movement path generation system and method for bridge inspection

Similar Documents

Publication Publication Date Title
US8855846B2 (en) System and method for onboard vision processing
US7911497B2 (en) Method and apparatus for video on demand
EP3494364A1 (en) Mobile platform eg drone / uav performing localization and mapping using video
US20200317339A1 (en) Wireless communication relay system using unmanned device and method therefor
Richardson et al. Automated vision‐based recovery of a rotary wing unmanned aerial vehicle onto a moving platform
EP3333085B1 (en) Object detection system
US11410299B2 (en) System and method for counteracting unmanned aerial vehicles
KR102386831B1 (en) System and method for processing unmanned flight vehicle leaving formation in cluster flight
US20190158754A1 (en) System and method for automated tracking and navigation
CN106325300A (en) Remote condition monitoring and controlling system of unmanned aerial vehicle based on GSM-4G communication
KR102162055B1 (en) Intelligent Accelerator for UAV
US11741702B2 (en) Automatic safe-landing-site selection for unmanned aerial systems
EP3799009A1 (en) System and method for counteracting unmanned aerial vehicles
EP4184450A2 (en) Horizon detection to support an aircraft on a mission in an environment
CN111785096A (en) Spacecraft safety protection method, equipment and computer readable storage medium
JP7058296B2 (en) Controls, programs, and systems
CN114423678A (en) Mobile body, system, program, and control method
US11948468B2 (en) Conflict detection and avoidance for a robot with right-of-way rule compliant maneuver selection
US20230306715A1 (en) System and method for detecting and recognizing small objects in images using a machine learning algorithm
CN113721664B (en) Unmanned system of air-ground cooperation
EP4250251A1 (en) System and method for detecting and recognizing small objects in images using a machine learning algorithm
US20240119849A1 (en) Collision avoidance system and method
WO2023082283A1 (en) Obstacle avoidance method and apparatus for movable platform, movable platform, and storage medium
KR102289743B1 (en) Apparatus and method for searching a target using a plurality of unmanned aerial vehicles
US20230027435A1 (en) Systems and methods for noise compensation of radar signals

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant