KR20220135446A - Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle - Google Patents

Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle Download PDF

Info

Publication number
KR20220135446A
KR20220135446A KR1020210041124A KR20210041124A KR20220135446A KR 20220135446 A KR20220135446 A KR 20220135446A KR 1020210041124 A KR1020210041124 A KR 1020210041124A KR 20210041124 A KR20210041124 A KR 20210041124A KR 20220135446 A KR20220135446 A KR 20220135446A
Authority
KR
South Korea
Prior art keywords
aerial vehicle
unmanned aerial
posture
information
estimating
Prior art date
Application number
KR1020210041124A
Other languages
Korean (ko)
Inventor
최상혁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210041124A priority Critical patent/KR20220135446A/en
Publication of KR20220135446A publication Critical patent/KR20220135446A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • B64C2201/12—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

A method and system for accurately estimating the position of an EO/IR (Electro-Optical and Infrared Sensors) device using an unmanned aerial vehicle are disclosed. The method for estimating the position of an EO/IR device may include the steps of: controlling Pan and Tilt (PT) of the EO/IR device so that an unmanned aerial vehicle in flight comes to the center of an image displayed on an image display of the EO/IR device; moving the unmanned aerial vehicle to receive PT information of EO/IR devices corresponding to different positions of the unmanned aerial vehicle; and estimating the position of the EO/IR device based on the PT information of the EO/IR device corresponding to the different positions of the unmanned aerial vehicle.

Description

무인 비행 장치를 이용하여 EO/IR 장치의 자세를 추정하는 방법 및 시스템{METHOD AND SYSTEM FOR ESTIMATING THE ATTITUDE OF AN EO/IR DEVICE USING AN UNMANNED AERIAL VEHICLE}Method and system for estimating attitude of EO/IR device using unmanned aerial vehicle

본 발명은 EO/IR 장치의 자세 추정 방법 및 시스템에 관한 것으로, 보다 구체적으로는 무인 비행 장치를 이용하여 EO/IR 장치의 자세를 정밀하게 추정하는 기술에 관한 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for estimating the posture of an EO/IR device, and more particularly, to a method and system for estimating the posture of an EO/IR device precisely using an unmanned aerial vehicle.

안티 드론 시스템의 이종 센서의 연동은 프라이머리 센서(primary sensor) 가 탐지한 표적 정보를 세컨더리 센서(secondary sensor)로 전달함으로써, 사용자의 개입없이 자동으로 세컨더리 센서가 표적을 지향하는 기술이다.Interworking of heterogeneous sensors of the anti-drone system is a technology that automatically directs the secondary sensor to the target without user intervention by transmitting target information detected by the primary sensor to the secondary sensor.

이때, 프라이머리 센서로는 표적의 거리를 정확히 추정하는 레이더가 사용되고, 세컨더리 센서로는 표적이 위치한 고각, 방위각을 정확히 추정하는 EO/IR 광학 장치가 사용되고 있다.In this case, a radar for accurately estimating the distance of the target is used as the primary sensor, and an EO/IR optical device for accurately estimating the elevation and azimuth angles at which the target is located is used as the secondary sensor.

또한, 이종 센서 연동을 위해서는 연동할 장치들의 설치 위치와 자세 정보가 필요하다. 설치 위치는 GPS 수신기를 활용해 쉽게 측정이 가능하며, 안티 드론 시스템의 경우 매우 정확한 연동 정확도를 필요로 하기 때문에 보정 정보를 추가로 수신하는 RTK-GPS 수신기를 사용하여 장치의 설치 위치를 측정할 수 있다.In addition, for interworking with heterogeneous sensors, information on installation positions and postures of devices to be interlocked are required. The installation position can be easily measured using a GPS receiver, and since anti-drone systems require very accurate linkage accuracy, an RTK-GPS receiver that additionally receives correction information can be used to measure the installation position of the device. have.

종래의 안티 드론 시스템에서 EO/IR 장치의 자세 추정에 사용되는 장치는 IMU(Inertial measurement unit) 센서라고 불리는 전자 나침반이다. IMU 센서는 자신의 x축, y축, z축이 동쪽, 북쪽, 지구 중력 반대방향(하늘방향)에 대하여 얼마나 틀어져 있는지를 roll, pitch, yaw angle data로 제공할 수 있다. 다만, IMU 센서는 지자기 센서를 포함하고 있으므로, 자기장 왜곡을 발생 시키는 원인인 금속류, 고전류, 자석, 모터류 등으로부터 멀리 배치하여야만 정확한 자세 정보를 측정할 수 있다. In the conventional anti-drone system, a device used for estimating the attitude of the EO/IR device is an electronic compass called an Inertial Measurement Unit (IMU) sensor. The IMU sensor can provide roll, pitch, and yaw angle data to show how much its x-axis, y-axis, and z-axis are misaligned with respect to the east, north, and directions opposite to Earth's gravity (sky direction). However, since the IMU sensor includes a geomagnetic sensor, accurate posture information can be measured only when placed away from metals, high currents, magnets, motors, etc., which are causes of magnetic field distortion.

그러나, 안티 드론 시스템은 보통 높은 건물의 옥상이나 철제 구조물 위에 설치 되기 때문에, IMU 센서로는 정확한 자세 정보를 얻을 수 없다. 그리고, 정확한 자세 정보가 없는 경우, 이종 센서 연동 과정에서 연동 정확도가 현저히 떨어지는 단점이 있다.However, since the anti-drone system is usually installed on the roof of a high building or on a steel structure, accurate attitude information cannot be obtained with the IMU sensor. And, when there is no accurate posture information, there is a disadvantage in that the interlocking accuracy is significantly lowered in the interworking process of the heterogeneous sensors.

따라서, IMU 센서와 달리 주변 환경의 영향 없이 EO/IR 광학 장치의 자세를 정확히 추정해내는 방법이 요청되고 있다.Therefore, unlike the IMU sensor, a method for accurately estimating the posture of the EO/IR optical device without the influence of the surrounding environment has been requested.

본 발명은 GPS tracker를 임무 장비로 탑재한 무인 비행 장치를 활용하여 EO/IR 장치의 자세를 정확히 추정하는 방법 및 시스템을 제공한다.The present invention provides a method and system for accurately estimating the posture of an EO/IR device by using an unmanned aerial vehicle equipped with a GPS tracker as mission equipment.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법은 비행 중인 무인 비행 장치가 EO/IR(Electro-Optical and Infrared Sensors) 장치의 영상 전시기에 표시된 영상의 중심에 오도록 EO/IR 장치의 PT(Pan and tilt)를 제어하는 단계; 상기 무인 비행 장치를 이동시켜서 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 수신하는 단계; 및 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 기초로 EO/IR 장치의 자세를 추정하는 단계를 포함할 수 있다.The method of estimating the posture of the EO/IR device according to an embodiment of the present invention is a method of estimating the posture of the EO/IR device so that the unmanned aerial vehicle in flight is at the center of the image displayed on the image display of the EO/IR (Electro-Optical and Infrared Sensors) device. controlling PT (Pan and Tilt); Receiving PT information of the EO / IR device corresponding to each of the different positions of the unmanned aerial vehicle by moving the unmanned aerial vehicle; and estimating the posture of the EO/IR device based on PT information of the EO/IR device corresponding to different positions of the unmanned aerial vehicle.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법은 상기 PT를 제어하는 단계가 수행되기 전에 상기 EO/IR 장치의 자세를 프리 세트로 설정하는 단계; 및 상기 EO/IR 장치의 위치를 수신하는 단계를 더 포함할 수 있다.The method for estimating the posture of the EO/IR device according to an embodiment of the present invention includes the steps of setting the posture of the EO/IR device to a preset before the step of controlling the PT is performed; and receiving the location of the EO/IR device.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법의 상기 EO/IR 장치의 자세를 추정하는 단계는, 상기 무인 비행 장치의 위경도(LLH: Latitude-Longitude-Height) 좌표와 상기 EO/IR 장치의 위경도(LLH) 좌표를 동북상(ENU: East-North-Up) 좌표로 변환하는 단계; 상기 PT 정보를 이용해 PT 회전 행렬 처리를 수행하는 단계; 및 PT 회전 행렬 처리에 따라 결정된 정밀 자세 추정 수식에 무인 비행 장치의 동북상(ENU) 좌표 및 상기 EO/IR 장치의 동북상(ENU) 좌표를 적용하여 상기 EO/IR 장치의 정밀 자세를 추정하는 단계를 포함할 수 있다.The step of estimating the attitude of the EO / IR device of the attitude estimation method of the EO / IR device according to an embodiment of the present invention comprises: Latitude-Longitude-Height (LLH) coordinates of the unmanned aerial vehicle and the EO / Converting the latitude and longitude (LLH) coordinates of the IR device into East-North-Up (ENU) coordinates; performing PT rotation matrix processing using the PT information; And to estimate the precise posture of the EO / IR device by applying the northeast (ENU) coordinates of the unmanned aerial vehicle and the northeast (ENU) coordinates of the EO / IR device to the precise posture estimation formula determined according to the PT rotation matrix processing may include steps.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법의 상기 EO/IR 장치의 자세를 추정하는 단계는, 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들의 개수가 임계값을 초과하는 경우에 수행될 수 있다.The step of estimating the attitude of the EO/IR device of the method for estimating the attitude of the EO/IR device according to an embodiment of the present invention includes the PT of the EO/IR device corresponding to different positions of the unmanned aerial vehicle. This may be performed when the number of pieces of information exceeds a threshold.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법의 상기 EO/IR 장치의 PT 정보들을 수신하는 단계는, 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들의 개수가 임계값 이하인 경우, 상기 무인 비행 장치의 위치를 이동 시킨 후, 이동한 무인 비행 장치의 위치에 따라 제어된 PT 정보를 수신하는 EO/IR 장치의 자세 추정 방법.The step of receiving the PT information of the EO/IR device of the method for estimating the posture of the EO/IR device according to an embodiment of the present invention includes: EO/IR device corresponding to different positions of the unmanned aerial vehicle. When the number of PT information is less than or equal to a threshold value, after moving the location of the unmanned aerial vehicle, the posture estimation method of the EO/IR device receives the PT information controlled according to the moved location of the unmanned aerial vehicle.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템은 비행 중인 무인 비행 장치가 영상 전시기에 표시된 영상의 중심에 오도록 PT를 제어하는 EO/IR 장치; 및 상기 무인 비행 장치를 이동시켜서 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 수신하며, 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 기초로 EO/IR 장치의 자세를 추정하는 정밀 자세 측정 장치를 포함할 수 있다.The posture estimation system of the EO/IR device according to an embodiment of the present invention includes: an EO/IR device for controlling the PT so that the unmanned aerial vehicle in flight is at the center of the image displayed on the video display; And by moving the unmanned aerial vehicle to receive the PT information of the EO / IR device corresponding to each of the different positions of the unmanned aerial vehicle, EO / IR corresponding to each of the different positions of the unmanned aerial vehicle and a precision posture measuring device for estimating the posture of the EO/IR device based on the PT information of the device.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템의 상기 정밀 자세 측정 장치는, 상기 무인 비행 장치의 위경도(LLH) 좌표와 상기 EO/IR 장치의 위경도(LLH) 좌표를 동북상(ENU) 좌표로 변환하고, 무인 비행 장치 지향을 위한 PT 정보를 이용해 PT 회전 행렬 처리를 수행하며, PT 회전 행렬 처리에 따라 결정된 정밀 자세 추정 수식에 무인 비행 장치의 동북상(ENU) 좌표 및 상기 EO/IR 장치의 동북상(ENU) 좌표를 적용하여 상기 EO/IR 장치의 정밀 자세를 추정할 수 있다.The precision posture measuring device of the posture estimation system of the EO/IR device according to an embodiment of the present invention is the latitude and longitude (LLH) coordinates of the unmanned aerial vehicle and the latitude and longitude (LLH) coordinates of the EO/IR device. It converts to ENU coordinates, performs PT rotation matrix processing using PT information for UAV orientation, and adds the Northeast (ENU) coordinates and The precise posture of the EO/IR device may be estimated by applying the upper northeast (ENU) coordinates of the EO/IR device.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템의 상기 정밀 자세 측정 장치는, 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들의 개수가 임계값을 초과하는 경우, EO/IR 장치의 자세를 추정할 수 있다.In the precision posture measuring device of the posture estimation system of the EO/IR device according to an embodiment of the present invention, the number of PT information of the EO/IR device corresponding to different positions of the unmanned aerial vehicle is a threshold value. If , the posture of the EO/IR device can be estimated.

본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템의 상기 정밀 자세 측정 장치는, 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들의 개수가 임계값 이하인 경우, 상기 무인 비행 장치에게 위치 이동을 요청하고, 상기 무인 비행 장치가 위치를 이동한 경우, 이동한 무인 비행 장치의 위치에 따라 제어된 PT 정보를 수신할 수 있다.In the precision posture measuring device of the posture estimation system of the EO/IR device according to an embodiment of the present invention, the number of PT information of the EO/IR device corresponding to different positions of the unmanned aerial vehicle is a threshold value. In the following cases, the unmanned aerial vehicle may request a location movement, and when the unmanned aerial vehicle moves its location, it is possible to receive PT information controlled according to the moved location of the unmanned aerial vehicle.

본 발명의 일실시예에 의하면, GPS tracker를 임무 장비로 탑재한 무인 비행 장치를 활용하여 EO/IR 장치의 자세를 정확히 추정할 수 있다.According to an embodiment of the present invention, the posture of the EO/IR device can be accurately estimated by using an unmanned aerial vehicle equipped with a GPS tracker as mission equipment.

도 1은 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템을 도시한 도면이다.
도 2는 도 1의 정밀 자세 측정 장치에 포함된 메모리의 상세 구성을 도시한 도면이다.
도 3은 도 1의 정밀 자세 측정 장치에 포함된 프로세서의 상세 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법을 도시한 플로우차트이다.
도 5는 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템의 동작을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법에서 EO/IR 장치의 자세 추정 과정을 도시한 플로우차트이다.1 is a diagram illustrating a posture estimation system of an EO/IR device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a detailed configuration of a memory included in the precision posture measuring device of FIG. 1 .
3 is a diagram illustrating a detailed configuration of a processor included in the precision posture measuring device of FIG. 1 .
4 is a flowchart illustrating a posture estimation method of an EO/IR device according to an embodiment of the present invention.
5 is a diagram illustrating an operation of a posture estimation system of an EO/IR device according to an embodiment of the present invention.
6 is a flowchart illustrating a posture estimation process of the EO/IR device in the method of estimating the posture of the EO/IR device according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used for the purpose of description only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템을 도시한 도면이다.1 is a diagram illustrating a posture estimation system of an EO/IR device according to an embodiment of the present invention.

EO/IR 장치의 자세 추정 시스템은 도 1에 도시된 바와 같이 무인 비행 장치(110), 정밀 자세 측정 장치(120), 및 EO/IR 장치(130)를 포함할 수 있다.The posture estimation system of the EO/IR device may include an unmanned aerial vehicle 110 , a precision posture measurement device 120 , and an EO/IR device 130 as shown in FIG. 1 .

무인 비행 장치(110)는 통신 인터페이스(111), 정밀 자세 측정 MC(112), GPS/IMU 센서(130), 및 비행 제어기(114)를 포함할 수 있다.The unmanned aerial vehicle 110 may include a communication interface 111 , a precision posture measurement MC 112 , a GPS/IMU sensor 130 , and a flight controller 114 .

통신 인터페이스(111)는 정밀 자세 측정 장치(120), 및 EO/IR 장치(130)와 자세 추정에 필요한 데이터를 송수신할 수 있다. The communication interface 111 may transmit/receive data required for posture estimation with the precision posture measuring device 120 and the EO/IR device 130 .

정밀 자세 측정 MC(mission computer) (112)는 GPS tracker 임무 장비 구현을 위하여 무인 비행 장치(110)에 탑재될 수 있다. 정밀 자세 측정 MC(112)는 GPS/IMU 센서(113)가 측정한 위치가 포함된 위치 정보를 통신 인터페이스(111)를 통해 정밀자세 측정 장치(120)로 전송할 수 있다.Precision posture measurement MC (mission computer) 112 may be mounted on the unmanned aerial vehicle 110 for the implementation of the GPS tracker mission equipment. The precise posture measurement MC 112 may transmit position information including the position measured by the GPS/IMU sensor 113 to the precise posture measurement device 120 through the communication interface 111 .

GPS/IMU 센서(113)는 GPS(global positioning system) 및 관성 측정 장치(IMU: Inertial Measurement Unit)를 이용하여 무인 비행 장치(110)의 위치를 측정할 수 있다.The GPS/IMU sensor 113 may measure the position of the unmanned aerial vehicle 110 using a global positioning system (GPS) and an inertial measurement unit (IMU).

비행 제어기(114)는 무인 비행 장치(110)의 비행을 제어할 수 있다. 예를 들어, 비행 제어기(114)는 무인 비행 장치(110)의 비행에 필요한 FC(flight controller)를 포함할 수 있다.The flight controller 114 may control the flight of the unmanned aerial vehicle 110 . For example, the flight controller 114 may include a flight controller (FC) necessary for the flight of the unmanned aerial vehicle 110 .

정밀 자세 측정 장치(120)는 통신 인터페이스(121), 프로세서(122), 메모리(123), 및 사용자 인터페이스(124)를 포함할 수 있다.The precision posture measuring apparatus 120 may include a communication interface 121 , a processor 122 , a memory 123 , and a user interface 124 .

통신 인터페이스(121)는 무인 비행 장치(110)로부터 위치 정보를 수신하고, EO/IR 장치(130)로부터 표적 지향을 위한 PT(Pan and Tilt) 정보를 수신할 수 있다.The communication interface 121 may receive location information from the unmanned aerial vehicle 110 , and may receive Pan and Tilt (PT) information for target targeting from the EO/IR device 130 .

메모리(123)는 통신 인터페이스(121)가 수신한 정보를 저장할 수 있다. 이때, 메모리(123)는 무인 비행 장치(110)의 위도, 경도, 고도 값과 이 위치를 지향하기 위한 Pan and Tilt 정보 pair 형태로 정보를 저장할 수 있다.The memory 123 may store information received by the communication interface 121 . At this time, the memory 123 may store the latitude, longitude, and altitude values of the unmanned aerial vehicle 110 and information in the form of a Pan and Tilt information pair for oriented to this location.

사용자 인터페이스(124)는 사용자로부터 EO/IR 장치(130)가 설치된 위치를 입력받을 수 있다. 또한, 실시예에 따라서는 정밀 자세 측정 장치(120)가 사용자 인터페이스(124)를 포함하지 않고, EO/IR 장치(130)로부터 EO/IR 장치(130)가 설치된 위치를 입력받을 수도 있다.The user interface 124 may receive an input of a location where the EO/IR device 130 is installed from the user. In addition, according to an embodiment, the precise posture measuring device 120 does not include the user interface 124 , and may receive an input of a location where the EO/IR device 130 is installed from the EO/IR device 130 .

프로세서(122)는 메모리(123)에 저장된 정보들을 이용하여 정밀 자세 추정을 수행할 수 있다. 프로세서(122)의 상세 구성 및 프로세서(122)가 정밀 자세 추정을 수행하는 과정은 이하 도 3을 참조하여 상세히 설명한다. The processor 122 may perform precise posture estimation using information stored in the memory 123 . A detailed configuration of the processor 122 and a process in which the processor 122 performs precise posture estimation will be described in detail below with reference to FIG. 3 .

EO/IR(Electro-Optical and Infrared Sensors) 장치(130)는 프리 세트(preset) 자세를 추정해야 하는 대상이며, 추정된 EO/IR 장치(130)의 자세에 대한 자세 정보는 다른 센서와의 연동에 사용될 수 있다.The EO/IR (Electro-Optical and Infrared Sensors) device 130 is a target for estimating a preset posture, and the estimated posture information on the posture of the EO/IR device 130 is linked with other sensors can be used for

EO/IR 장치(130)는 통신 인터페이스(131), 카메라(132), 모터(133), PT 제어기(134), 및 영상 전시기(135)를 포함할 수 있다.The EO/IR device 130 may include a communication interface 131 , a camera 132 , a motor 133 , a PT controller 134 , and an image display 135 .

카메라(132)는 무인 비행 장치(110)의 영상을 촬영할 수 있다.The camera 132 may take an image of the unmanned aerial vehicle 110 .

모터(133)는 카메라(132)가 무인 비행 장치(110)가 위치한 방향을 향하도록 방위각 방향으로 회전(PAN)시키거나 고각 방향으로 회전(TILT) 시킬 수 있다. 예를 들어, 모터(133)는 PAN/TILT모터일 수 있다.The motor 133 may rotate (PAN) in an azimuth direction or rotate (TILT) in an elevation direction so that the camera 132 faces the direction in which the unmanned aerial vehicle 110 is located. For example, the motor 133 may be a PAN/TILT motor.

영상 전시기(135)는 카메라(132)가 촬영한 무인 비행 장치(110)의 영상을 표시할 수 있다.The video display 135 may display an image of the unmanned aerial vehicle 110 photographed by the camera 132 .

PT 제어기(134)는 무인 비행 장치(110)가 영상 전시기(135)에 표시되는 영상의 중앙에 오도록 모터(130)의 PT(Pan and tilt)를 제어할 수 있다. 이때, EO/IR 장치(130)가 프리 세트(preset) 자세에서 무인 비행 장치(110)를 영상 전시기(135)에 표시되는 영상의 중심으로 지향하기 위해 제어된 PT값이 PT 정보로 정의될 수 있다.The PT controller 134 may control the PT (Pan and tilt) of the motor 130 so that the unmanned aerial vehicle 110 comes to the center of the image displayed on the image display 135 . At this time, the PT value controlled in order for the EO/IR device 130 to direct the unmanned aerial vehicle 110 to the center of the image displayed on the image display 135 in the preset posture is defined as PT information. can

그리고, 통신 인터페이스(131)는 정밀자세 측정 장치(120)로 PT 정보를 전송할 수 있다.In addition, the communication interface 131 may transmit PT information to the precise posture measuring device 120 .

EO/IR 장치의 자세 추정 시스템은 GPS tracker를 임무 장비로 탑재한 무인 비행 장치(110)를 활용하여 EO/IR 장치(130)의 자세를 정확히 추정할 수 있다.The posture estimation system of the EO/IR device may accurately estimate the posture of the EO/IR device 130 by using the unmanned aerial vehicle 110 equipped with a GPS tracker as mission equipment.

이때, EO/IR 장치의 자세 추정 시스템은 장비 주변의 환경적 요인과 무관하게 EO/IR장치의 자세 정보를 획득할 수 있으며, roll, pitch, yaw 자세 추정 오차 0.5도 이내로 매우 정확할 수 있다.In this case, the posture estimation system of the EO/IR device can acquire the posture information of the EO/IR device regardless of environmental factors around the equipment, and can be very accurate within 0.5 degrees of roll, pitch, and yaw posture estimation error.

도 2는 도 1의 정밀 자세 측정 장치에 포함된 메모리의 상세 구성을 도시한 도면이다.FIG. 2 is a diagram illustrating a detailed configuration of a memory included in the precision posture measuring device of FIG. 1 .

정밀 자세 측정 장치(120)의 메모리(123)는 측정 data 저장용 메모리(210), ENU 좌표 처리 메모리(220), PT 회전 행렬 처리 메모리(230) 및 정밀 자세 추정 처리용 메모리(240) 중 적어도 하나를 포함할 수 있으며, 각각의 메모리에 저장되는 정보의 타입 및 일례는 도 2에 도시된 바와 같을 수 있다.The memory 123 of the precision posture measurement device 120 includes at least one of a memory 210 for storing measurement data, an ENU coordinate processing memory 220, a PT rotation matrix processing memory 230, and a memory 240 for precision posture estimation processing. It may include one, and an example and type of information stored in each memory may be as shown in FIG. 2 .

도 3은 도 1의 정밀 자세 측정 장치에 포함된 프로세서의 상세 구성을 도시한 도면이다.3 is a diagram illustrating a detailed configuration of a processor included in the precision posture measuring device of FIG. 1 .

정밀 자세 측정 장치(120)의 프로세서는 도 3에 도시된 바와 같이 ENU 좌표 처리부(310), PT 회전 행렬 처리부(320), 및 정밀 자세 추정 계산부(330)를 포함할 수 있다.The processor of the precise posture measuring apparatus 120 may include an ENU coordinate processing unit 310 , a PT rotation matrix processing unit 320 , and a precise posture estimation calculation unit 330 as shown in FIG. 3 .

ENU 좌표 처리부(310)는 무인 비행 장치(110)의 위경도(LLH: Latitude-Longitude-Height) 좌표와 EO/IR 장치(130)의 위경도(LLH) 좌표를 동북상(ENU: East-North-Up) 좌표로 변환할 수 있다.The ENU coordinate processing unit 310 calculates the latitude-Longitude-Height (LLH) coordinates of the unmanned aerial vehicle 110 and the latitude and longitude (LLH) coordinates of the EO/IR device 130 to the northeast (ENU: East-North). -Up) can be converted to coordinates.

구체적으로 ENU 좌표 처리부(310)는 도 2의 측정 data 저장용 메모리(231)에 저장된 무인 비행 장치(110)의 좌표와 EO/IR 장치의 LLH좌표(위도, 고도, 경도)를 이용해 ENU 좌표 처리를 수행할 수 있다. 그리고, ENU 좌표 처리부(310)는 ENU 좌표 처리를 수행하여 계산된 무인 비행 장치(110)의 동북상(ENU) 좌표 및 EO/IR 장치(130)의 동북상(ENU) 좌표를 ENU좌표 처리 메모리(220)에 저장할 수 있다.Specifically, the ENU coordinate processing unit 310 processes the ENU coordinates using the coordinates of the unmanned aerial vehicle 110 stored in the memory 231 for storing the measurement data of FIG. 2 and the LLH coordinates (latitude, altitude, longitude) of the EO/IR device. can be performed. Then, the ENU coordinate processing unit 310 performs the ENU coordinate processing to calculate the northeast (ENU) coordinates of the unmanned aerial vehicle 110 and the northeast (ENU) coordinates of the EO/IR device 130 in the ENU coordinate processing memory. (220) can be stored.

ENU 좌표 처리부(310)가 ENU좌표 계산하는 과정에서의 기준점은 EO/IR 장치(130)의 설치 위치일 수 있다. 그리고, ENU 좌표 처리부(310)는 ENU좌표(xi)를 계산한 후, ENU좌표의 norm 값을 y축 값으로 하는 mi vector를 생성하여 ENU좌표와 pair로 저장할 수 있다. 예를 들어, ENU좌표(xi)와 mi vector는 수학식 1과 같이 정의될 수 있다.The reference point in the process of calculating the ENU coordinates by the ENU coordinate processing unit 310 may be an installation location of the EO/IR device 130 . Then, the ENU coordinate processing unit 310 may calculate the ENU coordinate (xi), generate a mi vector using the norm value of the ENU coordinate as the y-axis value, and store it as a pair with the ENU coordinate. For example, the ENU coordinate (xi) and the mi vector may be defined as in Equation 1.

Figure pat00001
Figure pat00001

PT 회전 행렬 처리부(320)는 측정 data 저장용 메모리(210)에 저장된 무인 비행 장치(110) 지향을 위한 PT 정보를 이용하여 PT 회전 행렬 처리를 수행할 수 있다. 이때, PT 회전 행렬 처리부(320)는 PT 회전 행렬 처리에 따른 결과를 PT 회전 행렬 처리 메모리(230)에 저장할 수 있다. 예를 들어, PT 회전 행렬 처리부(320)는 수학식 2와 같은 matrix R을 이용하여 PT 회전 행렬 처리를 수행할 수 있다.PT rotation matrix processing unit 320 PT rotation matrix processing may be performed using PT information for orientation of the unmanned aerial vehicle 110 stored in the memory 210 for storing measurement data. In this case, the PT rotation matrix processing unit 320 may store a result of the PT rotation matrix processing in the PT rotation matrix processing memory 230 . For example, the PT rotation matrix processing unit 320 may perform the PT rotation matrix processing using the matrix R as in Equation (2).

Figure pat00002
Figure pat00002

다음으로, PT 회전 행렬 처리부(320)는 PT 회전 행렬 처리의 결과에 기초하여 정밀 자세 추정 수식을 결정할 수 있다. 예를 들어, 정밀 자세 추정을 위한 수식은 수학식 3일 수 있다.Next, the PT rotation matrix processing unit 320 may determine a precise posture estimation equation based on the result of the PT rotation matrix processing. For example, the equation for precise posture estimation may be Equation 3.

Figure pat00003
Figure pat00003

이때, M matrix는 EO/IR 장치(130)의 프리 세트(preset) 자세 (roll, pitch, yaw)에 의해 생성되는 매트릭스이며, 변수일 수 있다. 또한, X와 Y matrix는 무인 비행 장치(110)와 EO/IR 장치(130)의 측정값 들로 구성한 데이터들일 수 있다.In this case, the M matrix is a matrix generated by a preset posture (roll, pitch, yaw) of the EO/IR device 130 and may be a variable. In addition, the X and Y matrix may be data composed of measurement values of the unmanned aerial vehicle 110 and the EO/IR device 130 .

정밀 자세 추정 계산부(330)는 PT 회전 행렬 처리에 따라 결정된 정밀 자세 추정 수식에 무인 비행 장치(110)의 동북상(ENU) 좌표 및 EO/IR 장치(130)의 동북상(ENU) 좌표를 적용하여 EO/IR 장치(130)의 정밀 자세를 추정할 수 있다.The precise posture estimation calculation unit 330 calculates the northeast upper (ENU) coordinates of the unmanned aerial vehicle 110 and the northeast upper (ENU) coordinates of the EO/IR device 130 in the precise posture estimation formula determined according to the PT rotation matrix processing. By applying it, the precise posture of the EO/IR device 130 may be estimated.

정밀 자세 추정 계산부(330)는 수학식 3을 만족하는 r, p, y를 추정함으로써 EO/IR 장치(130)의 프리 세트(preset) 위치를 정확하게 확인할 수 있다. 수학식 3의 해를 찾는 방법은 다양한 방법이 존재할 수 있다. 예를 들어, 정밀 자세 추정 계산부(330)는 수학식 4와 같이 수학식 3의 양변에 X 의 역행렬을 곱하는 LS (least square) 방법으로 수학식 3의 해를 찾을 수 있다.The precise posture estimation calculation unit 330 may accurately determine a preset position of the EO/IR device 130 by estimating r, p, and y satisfying Equation (3). There may be various methods for finding the solution of Equation (3). For example, the precision posture estimation calculator 330 may find the solution of Equation 3 by using the least square (LS) method of multiplying both sides of Equation 3 by the inverse matrix of X as in Equation 4 .

Figure pat00004
Figure pat00004

정밀 자세 추정 계산부(330)는 수학식 4를 이용하여 M을 결정하고, 결정한 M의 구조를 활용하여 EO/IR 장치(130)의 r, p, y를 계산할 수 있다. The precise posture estimation calculator 330 may determine M using Equation 4 and calculate r, p, y of the EO/IR device 130 by using the determined structure of M.

LS 방법에 따라 M 매트릭스를 결정한 경우, M 매트릭스의 2행 3열은 p에 의한 값만 존재하므로 정밀 자세 추정 계산부(330)는 M 매트릭스의 2행 3열에 기초하여 p 값을 계산할 수 있다. 그리고, 정밀 자세 추정 계산부(330)는 M 매트릭스의 2행1열과 2행 2열에 기초하여 y를 계산하고, M 매트릭스의 1행 3열과 3행 3열을 이용해 r를 계산할 수 있다.When the M matrix is determined according to the LS method, since only values by p exist in the second row and third column of the M matrix, the precision posture estimation calculator 330 may calculate the p value based on the second row and third column of the M matrix. In addition, the precise posture estimation calculator 330 may calculate y based on 2nd row, 1st column and 2nd row 2nd column of the M matrix, and calculate r using the 1st row 3rd column and 3rd row and 3rd column of the M matrix.

또한, 정밀 자세 추정 계산부(330)는 gradient-descent method와 같은 iterative method를 활용해 더 정확한 r, p, y를 계산할 수도 있다. 그리고, 정밀자세 측정 장치(200)의 메모리(123)의 용량이 충분한 경우, 도 2에 도시된 바와 같이 gradient descent method 수행을 위한 정밀 자세 추정 처리용 메모리(240)를 포함함으로써, 정밀 자세 추정 계산부(330)가 더 정확한 추정을 위한 알고리즘을 수행할 수 있다.Also, the precise posture estimation calculator 330 may calculate more accurate r, p, and y by using an iterative method such as a gradient-descent method. And, when the memory 123 of the precise posture measuring apparatus 200 has sufficient capacity, as shown in FIG. 2 , the precision posture estimation is calculated by including a memory 240 for precision posture estimation processing for performing the gradient descent method as shown in FIG. 2 . Unit 330 may perform an algorithm for more accurate estimation.

도 4는 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법을 도시한 플로우차트이다.4 is a flowchart illustrating a posture estimation method of an EO/IR device according to an embodiment of the present invention.

단계(410)에서 EO/IR 장치(130)는 사용자가 원하는 방향으로 자세를 변경할 수 있다. 그리고, 정밀 자세 측정 장치(120)는 변경된 EO/IR 장치(130)의 자세를 프리 세트(preset)로 설정할 수 있다.In step 410 , the EO/IR device 130 may change the posture in a direction desired by the user. In addition, the precise posture measuring apparatus 120 may set the changed posture of the EO/IR device 130 as a preset.

단계(420)에서 정밀 자세 측정 장치(120)는 EO/IR 장치(130)의 위치를 수신할 수 있다. 이때, 사용자는 EO/IR 장치(130)의 위치(위도, 고도, 경도)를 GPS 센서로 측정하고, 측정한 EO/IR 장치(130)의 위치를 사용자 인터페이스(124)를 통하여 정밀 자세 측정 장치(120)에 입력할 수 있다. 또한, 무인 비행 장치(110)는 일정 거리를 이동한 후, 호버링하여 위치를 유지할 수 있다.In step 420 , the precision posture measuring device 120 may receive the position of the EO/IR device 130 . At this time, the user measures the position (latitude, altitude, longitude) of the EO/IR device 130 with a GPS sensor, and the measured position of the EO/IR device 130 is measured by the user interface 124 through the precision posture measurement device. (120) can be entered. In addition, the unmanned aerial vehicle 110 may maintain a position by hovering after moving a predetermined distance.

단계(430)에서 EO/IR 장치(130)의 PT제어기(134)는 비행 중인 무인 비행 장치(110)가 EO/IR 장치(130)의 영상 전시기(135)에 표시된 영상의 중심에 오도록 모터(133)의 PT(Pan and tilt)를 제어할 수 있다.In step 430 , the PT controller 134 of the EO/IR device 130 moves the motor so that the unmanned aerial vehicle 110 in flight is at the center of the image displayed on the image display 135 of the EO/IR device 130 . (133) PT (Pan and tilt) can be controlled.

단계(440)에서 정밀 자세 측정 장치(120)는 무인 비행 장치(110)로부터 무인 비행 장치(111)가 현재 호버링 중인 위치를 나타내는 위치 정보(위도, 경도, 고도)를 수신할 수 있다.In step 440 , the precision posture measuring device 120 may receive location information (latitude, longitude, and altitude) indicating a location where the unmanned aerial vehicle 111 is currently hovering from the unmanned aerial vehicle 110 .

단계(450)에서 정밀 자세 측정 장치(120)는 EO/IR 장치(130)로부터 단계(430)에서 제어된 PT의 값이 포함된 현재 PT 정보를 수신할 수 있다.In operation 450 , the precise posture measuring apparatus 120 may receive current PT information including the value of the PT controlled in operation 430 from the EO/IR apparatus 130 .

단계(460)에서 정밀 자세 측정 장치(120)는 단계(440)에서 수신한 위치 정보의 개수, 및 단계(450)에서 수신한 현재 PT 정보의 개수가 임계값을 초과하였는지 여부를 확인할 수 있다. 위치 정보의 개수, 및 현재 PT 정보의 개수가 임계값을 초과한 경우, 정밀 자세 측정 장치(120)는 단계(480)을 수행할 수 있다. 또한, 위치 정보의 개수, 및 현재 PT 정보의 개수가 임계값 이하인 경우, 정밀 자세 측정 장치(120)는 단계(470)을 수행할 수 있다.In operation 460 , the precise posture measuring apparatus 120 may determine whether the number of position information received in operation 440 and the number of current PT information received in operation 450 exceed a threshold value in operation 460 . When the number of position information and the number of current PT information exceed the threshold value, the precise posture measuring apparatus 120 may perform step 480 . Also, when the number of position information and the number of current PT information are equal to or less than the threshold value, the precise posture measuring apparatus 120 may perform step 470 .

단계(470)에서 정밀 자세 측정 장치(120)는 무인 비행 장치(110)에게 위치 이동을 요청할 수 있다. 그리고, 무인 비행 장치(110)는 요청에 따라 위치를 이동한 후, 이동한 위치에서 호버링하여 위치를 유지할 수 있다. In step 470 , the precision posture measuring device 120 may request the unmanned aerial vehicle 110 to move its position. In addition, the unmanned aerial vehicle 110 may move a position according to a request, and then hover at the moved position to maintain the position.

정밀 자세 측정 장치(120)는 도 4에 도시된 바와 같이 무인 비행 장치(110)를 반복하여 이동시켜서 무인 비행 장치(110)의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치(130)의 PT 정보들을 수신할 수 있다.The precision posture measuring device 120 repeatedly moves the unmanned aerial vehicle 110 as shown in FIG. PT information may be received.

단계(480)에서 정밀 자세 측정 장치(120)는 단계(430) 내지 단계(470)을 반복하여 수집한 무인 비행 장치(110)의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치(130)의 PT들을 기초로 EO/IR 장치(130)의 자세를 추정할 수 있다.In step 480, the precision posture measurement device 120 is an EO/IR device 130 corresponding to different positions of the unmanned aerial vehicle 110 collected by repeating steps 430 to 470. The posture of the EO/IR device 130 may be estimated based on the PTs of .

도 5는 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 시스템의 동작을 도시한 도면이다.5 is a diagram illustrating an operation of a posture estimation system of an EO/IR device according to an embodiment of the present invention.

먼저, 무인 비행 장치(110)는 위치(510)에서 호버링하고, EO/IR 장치(130)는 도 5에 도시된 바와 같이 영상 전시기(135)에 표시된 영상의 중심에 무인 비행 장치(110)가 표시되도록 EO/IR 장치(130)의 PT를 제어할 수 있다. 그리고, 정밀 자세 측정 장치(120)는 무인 비행 장치(110)로부터 위치(510)를 나타내는 위치 정보를 수신하고, EO/IR 장치(130)로부터 제어된 PT의 값이 포함된 현재 PT 정보를 수신할 수 있다.First, the unmanned aerial vehicle 110 hovers at a position 510 , and the EO / IR device 130 is located at the center of the image displayed on the image display 135 as shown in FIG. 5 . The PT of the EO/IR device 130 may be controlled so that . Then, the precision posture measurement device 120 receives the location information indicating the location 510 from the unmanned aerial vehicle 110 , and receives the current PT information including the PT value controlled from the EO/IR device 130 . can do.

다음으로, 무인 비행 장치(110)는 위치(520)로 이동하여 호버링할 수 있다. 이때, EO/IR 장치(130)는 위치(520)로 이동한 무인 비행 장치(110)가 영상 전시기(135)에 표시된 영상의 중심에 표시되도록 EO/IR 장치(130)의 PT를 제어할 수 있다. 그리고, 정밀 자세 측정 장치(120)는 무인 비행 장치(110)로부터 위치(520)를 나타내는 위치 정보를 수신하고, EO/IR 장치(130)로부터 제어된 PT의 값이 포함된 현재 PT 정보를 수신할 수 있다.Next, the unmanned aerial vehicle 110 may move to the position 520 and hover. At this time, the EO/IR device 130 controls the PT of the EO/IR device 130 so that the unmanned aerial vehicle 110 moved to the position 520 is displayed at the center of the image displayed on the image display 135. can Then, the precision posture measurement device 120 receives the location information indicating the location 520 from the unmanned aerial vehicle 110 , and receives the current PT information including the value of the PT controlled from the EO/IR device 130 . can do.

그 다음으로, 무인 비행 장치(110)는 일정 시간 간격으로 위치(530), 위치(540), 위치(550), 위치(560), 위치(570), 위치(580), 및 위치(590)로 이동하여 호버링할 수 있다.Next, at regular time intervals, the unmanned aerial vehicle 110 performs a position 530 , a position 540 , a position 550 , a position 560 , a position 570 , a position 580 , and a position 590 . You can move to and hover.

무인 비행 장치(110)의 위치가 변경될 때마다 EO/IR 장치(130)는 해당 위치로 이동한 무인 비행 장치(110)가 영상 전시기(135)에 표시된 영상의 중심에 표시되도록 EO/IR 장치(130)의 PT를 제어할 수 있다. 그리고, 정밀 자세 측정 장치(120)는 무인 비행 장치(110)로부터 해당 위치를 나타내는 위치 정보를 수신하고, EO/IR 장치(130)로부터 제어된 PT의 값이 포함된 현재 PT 정보를 수신할 수 있다.Whenever the location of the unmanned aerial vehicle 110 is changed, the EO/IR device 130 EO/IR so that the unmanned aerial vehicle 110 moved to the corresponding position is displayed at the center of the image displayed on the video display 135 . It is possible to control the PT of the device 130 . In addition, the precision posture measuring device 120 may receive location information indicating a corresponding location from the unmanned aerial vehicle 110 , and receive current PT information including the value of the PT controlled from the EO/IR device 130 . have.

이때, 무인 비행 장치(110)이 호버링하는 위치들 간의 간격이 증가할수록 정밀 자세 측정 장치(120)가 추정하는 EO/IR 장치(130)의 자세의 정밀도도 증가할 수 있다.In this case, as the distance between positions at which the unmanned aerial vehicle 110 hovers increases, the precision of the posture of the EO/IR device 130 estimated by the precision posture measuring device 120 may also increase.

도 6은 본 발명의 일실시예에 따른 EO/IR 장치의 자세 추정 방법에서 EO/IR 장치의 자세 추정 과정을 도시한 플로우차트이다. 도 6에 도시된 단계(610) 내지 단계(630)는 도 4의 단계(480)에 포함될 수 있다.6 is a flowchart illustrating a posture estimation process of the EO/IR device in the method of estimating the posture of the EO/IR device according to an embodiment of the present invention. Steps 610 to 630 shown in FIG. 6 may be included in step 480 of FIG. 4 .

단계(610)에서 정밀 자세 측정 장치(120)는 무인 비행 장치(110)의 위경도(LLH) 좌표와 EO/IR 장치(130)의 위경도(LLH) 좌표를 동북상(ENU) 좌표로 변환할 수 있다.In step 610, the precision posture measurement device 120 converts the latitude and longitude (LLH) coordinates of the unmanned aerial vehicle 110 and the latitude and longitude (LLH) coordinates of the EO/IR device 130 into northeasterly (ENU) coordinates. can do.

단계(620)에서 정밀 자세 측정 장치(120)는 단계(450)에서 수신한 현재 PT 정보를 이용해 PT 회전 행렬 처리를 수행할 수 있다.In step 620, the precision posture measuring device 120 is PT rotation matrix processing may be performed using the current PT information received in step 450 .

단계(630)에서 정밀 자세 측정 장치(120)는 단계(620)의 PT 회전 행렬 처리에 따라 결정된 정밀 자세 추정 수식에 단계(610)에서 변환된 무인 비행 장치(110)의 동북상(ENU) 좌표 및 EO/IR 장치(130)의 동북상(ENU) 좌표를 적용하여 EO/IR 장치(130)의 정밀 자세를 추정할 수 있다.In step 630, the precision posture measuring device 120 is By applying the northeasterly (ENU) coordinates of the unmanned aerial vehicle 110 converted in step 610 and the northeasterly (ENU) coordinates of the EO/IR device 130 to the precise posture estimation formula determined according to the PT rotation matrix processing, A precise posture of the EO/IR device 130 may be estimated.

본 발명은 GPS tracker를 임무 장비로 탑재한 무인 비행 장치(110)를 활용하여 EO/IR 장치(130)의 자세를 정확히 추정할 수 있다.The present invention can accurately estimate the posture of the EO/IR device 130 by using the unmanned aerial vehicle 110 equipped with a GPS tracker as mission equipment.

한편, 본 발명에 따른 EO/IR 장치의 자세 추정 장치 또는 EO/IR 장치의 자세 추정 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.On the other hand, the attitude estimation apparatus of the EO/IR device or the attitude estimation method of the EO/IR device according to the present invention is written as a program that can be executed on a computer, and can also be used in various recording media such as magnetic storage media, optical reading media, digital storage media, etc. can be implemented.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented for processing by, or controlling the operation of, a data processing device, eg, a programmable processor, computer, or number of computers, in a computer program product, eg, a machine-readable storage device (computer readable available medium) as a computer program tangibly embodied in it. A computer program, such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be written as a standalone program or in a module, component, subroutine, or computing environment. may be deployed in any form, including as other units suitable for use in A computer program may be deployed to be processed on one computer or multiple computers at one site or to be distributed across multiple sites and interconnected by a communications network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from either read-only memory or random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include one or more mass storage devices for storing data, for example magnetic, magneto-optical disks, or optical disks, receiving data from, sending data to, or both. may be combined to become Information carriers suitable for embodying computer program instructions and data are, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, Compact Disk Read Only Memory (CD-ROM). ), an optical recording medium such as a DVD (Digital Video Disk), a magneto-optical medium such as a floppy disk, a ROM (Read Only Memory), a RAM , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. Processors and memories may be supplemented by, or included in, special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체를 모두 포함할 수 있다.Also, the computer-readable medium may be any available medium that can be accessed by a computer, and may include any computer storage medium.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While this specification contains numerous specific implementation details, these are not to be construed as limitations on the scope of any invention or claim, but rather as descriptions of features that may be specific to particular embodiments of particular inventions. should be understood Certain features that are described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Furthermore, although features operate in a particular combination and may be initially depicted as claimed as such, one or more features from a claimed combination may in some cases be excluded from the combination, the claimed combination being a sub-combination. or a variant of a sub-combination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although acts are depicted in the figures in a particular order, it should not be understood that such acts must be performed in the specific order or sequential order shown or that all depicted acts must be performed in order to obtain desirable results. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of the various device components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and devices described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

110: 무인 비행 장치
120: 정밀 자세 측정 장치
130: EO/IR 장치110: unmanned aerial vehicle
120: precision posture measurement device
130: EO/IR device

Claims (1)

비행 중인 무인 비행 장치가 EO/IR(Electro-Optical and Infrared Sensors) 장치의 영상 전시기에 표시된 영상의 중심에 오도록 EO/IR 장치의 PT(Pan and tilt)를 제어하는 단계;
상기 무인 비행 장치를 이동시켜서 상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 수신하는 단계; 및
상기 무인 비행 장치의 서로 다른 위치들에 각각에 대응하는 EO/IR 장치의 PT 정보들을 기초로 EO/IR 장치의 자세를 추정하는 단계
를 포함하는 EO/IR 장치의 자세 추정 방법.
controlling the PT (Pan and Tilt) of the EO/IR device so that the unmanned aerial vehicle in flight is centered on the image displayed on the image display of the EO/IR (Electro-Optical and Infrared Sensors) device;
Receiving PT information of the EO / IR device corresponding to each of the different positions of the unmanned aerial vehicle by moving the unmanned aerial vehicle; and
estimating the posture of the EO/IR device based on PT information of the EO/IR device corresponding to different positions of the unmanned aerial vehicle, respectively
A method of estimating posture of an EO/IR device comprising a.
KR1020210041124A 2021-03-30 2021-03-30 Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle KR20220135446A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210041124A KR20220135446A (en) 2021-03-30 2021-03-30 Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041124A KR20220135446A (en) 2021-03-30 2021-03-30 Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
KR20220135446A true KR20220135446A (en) 2022-10-07

Family

ID=83595865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041124A KR20220135446A (en) 2021-03-30 2021-03-30 Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle

Country Status (1)

Country Link
KR (1) KR20220135446A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101974A (en) 2021-12-29 2023-07-07 주식회사 휴인스 integrated image providing device for micro-unmanned aerial vehicles

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101974A (en) 2021-12-29 2023-07-07 주식회사 휴인스 integrated image providing device for micro-unmanned aerial vehicles

Similar Documents

Publication Publication Date Title
CN107727079B (en) Target positioning method of full-strapdown downward-looking camera of micro unmanned aerial vehicle
CN109596118B (en) Method and equipment for acquiring spatial position information of target object
CN104316060B (en) The spacecrafts rendezvous method and device of space non-cooperative target
EP3454008B1 (en) Survey data processing device, survey data processing method, and survey data processing program
EP3158412B1 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
US9791278B2 (en) Navigating with star tracking sensors
CN105184776A (en) Target tracking method
CN110221625B (en) Autonomous landing guiding method for precise position of unmanned aerial vehicle
WO2016187758A1 (en) Sensor fusion using inertial and image sensors
EP3158417A1 (en) Sensor fusion using inertial and image sensors
CN111338383A (en) Autonomous flight method and system based on GAAS and storage medium
Kan et al. Development of drone capable of autonomous flight using GPS
US20120203519A1 (en) Method for calculating a navigation phase in a navigation system involving terrain correlation
US11768487B2 (en) Motion tracking interface for planning travel path
JP2022015978A (en) Unmanned aircraft control method, unmanned aircraft, and unmanned aircraft control program
KR20220135446A (en) Method and system for estimating the attitude of an eo/ir device using an unmanned aerial vehicle
US20210229810A1 (en) Information processing device, flight control method, and flight control system
KR101821992B1 (en) Method and apparatus for computing 3d position of target using unmanned aerial vehicles
KR101340158B1 (en) Method and computer-readable recording medium for calibrating position of a target using a fixed target for unmanned aerial vehicle
JP7253411B2 (en) Distance estimation device and distance estimation system
KR101862065B1 (en) Vision-based wind estimation apparatus and method using flight vehicle
CN113721188B (en) Multi-unmanned aerial vehicle self-positioning and target positioning method under refusing environment
CN114897942A (en) Point cloud map generation method and device and related storage medium
GB2573090A (en) Calibration of object position-measuring apparatus