KR101418110B1 - Apparatus for compensating infra-red image - Google Patents
Apparatus for compensating infra-red image Download PDFInfo
- Publication number
- KR101418110B1 KR101418110B1 KR1020140013591A KR20140013591A KR101418110B1 KR 101418110 B1 KR101418110 B1 KR 101418110B1 KR 1020140013591 A KR1020140013591 A KR 1020140013591A KR 20140013591 A KR20140013591 A KR 20140013591A KR 101418110 B1 KR101418110 B1 KR 101418110B1
- Authority
- KR
- South Korea
- Prior art keywords
- infrared image
- movement amount
- steering apparatus
- motion information
- correcting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 적외선 영상을 보정하는 방법에 관한 것이다. 보다 상세하게는, 적외선 영상에서 잡음 패턴을 제거하여 적외선 영상의 불균일성을 보정하는 방법에 관한 것이다.The present invention relates to a method of correcting an infrared image. More particularly, the present invention relates to a method for correcting non-uniformity of an infrared image by removing a noise pattern from an infrared image.
적외선 카메라는 센서 특성상 영상에 고정 형태의 잡음 패턴(영상의 불균일성)이 나타나고, 이는 화질 저하의 주요 원인이 되고 있다. 특히 항공 촬영용 적외선 카메라의 경우 지속적인 운용이 가능해야 하며, 무게 및 전력 소모 등에 제한 요소가 많이 존재한다.In infrared cameras, fixed pattern noise patterns (image non-uniformity) appear on the image due to the characteristics of the sensor, which is a main cause of deterioration of image quality. Especially, infrared camera for aerial photographing should be able to operate continuously, and there are many limitations on weight and power consumption.
이러한 제약 상황을 극복하고 균일한 적외선 영상을 획득하기 위해 종래에는 불균일 보정 기법(Nonuniformity Correction)이 널리 사용되고 있다. 그러나 종래의 불균일 보정 기법은 영상 처리를 기반으로 하기 때문에 연산량과 메모리 사용량이 높아 낮은 사양의 임베디드 시스템에서는 사용이 어려운 문제점이 있다.In order to overcome such a constraint and obtain a uniform infrared image, a nonuniformity correction technique is widely used. However, since the conventional non-uniformity correction method is based on image processing, it has a problem of being difficult to use in a low-specification embedded system because of high computation amount and memory usage.
한국공개특허 제2007-0048961호는 디스플레이 화면의 불균일을 보정하는 방법에 대하여 기술하고 있다. 그러나 이 방법도 영상 처리를 기반으로 하기 때문에 전술한 문제점을 해결할 수가 없다.Korean Patent Publication No. 2007-0048961 describes a method of correcting unevenness of a display screen. However, since this method is also based on image processing, the aforementioned problems can not be solved.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 조종사가 직접 입력하는 조종 장치의 방향값을 수신하여 이를 움직임 정도로 예측하고 이를 기반으로 적외선 영상의 불균일성을 보정하는 적외선 영상 보정 방법을 제안함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide an infrared image correction method for correcting non-uniformity of an infrared image based on prediction of a direction value of a steering apparatus directly input by a pilot, The purpose.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 적외선 영상 획득부; 미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 움직임 정보 생성부; 상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 이동량 산출부; 및 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 적외선 영상 보정부를 포함하는 것을 특징으로 하는 적외선 영상 보정 장치를 제안한다.According to an aspect of the present invention, there is provided an infrared image acquiring apparatus including: an infrared image acquiring unit acquiring an infrared image including a target in a flying object; A motion information generation unit for generating motion information of a steering apparatus that controls the air vehicle from a first predetermined point in time to a second point in time when the infrared image is acquired; A movement amount calculating unit for calculating a movement amount of the target based on the motion information of the control device; And an infrared image correcting unit for correcting the infrared image based on the movement amount of the target.
바람직하게는, 상기 움직임 정보 생성부는, 상기 조종 장치에 대한 터치를 센싱하는 터치 센싱부; 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 이동 방향 측정부; 및 상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 평행 이동량 산출부를 포함한다.Preferably, the motion information generating unit includes: a touch sensing unit sensing a touch of the control device; A movement direction measurement unit that measures a movement direction of the steering apparatus when a touch to the steering apparatus is sensed; And a parallel movement amount of the infrared image obtained at the second time point with respect to the infrared image acquired at the first time point on the basis of the movement direction of the steering apparatus and generates the parallel movement amount as motion information of the steering apparatus And a parallel movement amount calculating unit.
바람직하게는, 상기 움직임 정보 생성부는, 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 상기 조종 장치에 대한 터치가 센싱되지 않으면 상기 알고리즘을 중지시키는 알고리즘 실행부를 더 포함한다.Preferably, the motion information generating unit executes an algorithm for generating motion information of the steering apparatus when a touch to the steering apparatus is sensed, and if the touch is not sensed for a predetermined time, And an algorithm execution unit for stopping the algorithm.
바람직하게는, 상기 평행 이동량 산출부는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출한다.Preferably, the parallel movement amount calculating unit calculates the parallel movement amount in real time based on the moving direction of the steering apparatus using a lookup table (LUT).
바람직하게는, 상기 평행 이동량 산출부는 상기 적외선 영상의 화면 갱신률, 상기 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출한다.Preferably, the translational movement calculating unit may calculate at least one of a screen update rate of the infrared image, a field of view (FOV) of the infrared image acquiring unit, and a rotational angular velocity of a gimbal to control the movement of the infrared image acquiring unit And calculates the parallel movement amount based on the moving direction of the steering apparatus.
바람직하게는, 상기 적외선 영상 보정부는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정한다.Preferably, the infrared image correction unit corrects the infrared image based on the movement amount of the target, which is estimated by comparing the infrared image with a previous image acquired before the infrared image, when the motion information of the steering apparatus is not acquired, do.
바람직하게는, 상기 적외선 영상 보정 장치는 원격 조종되는 무인 비행체에 장착된다.Preferably, the infrared image correction apparatus is mounted on a remote controlled unmanned aerial vehicle.
또한 본 발명은 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 단계; 미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 단계; 상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 단계; 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 단계; 및 상기 적외선 영상이 보정될 때마다 상기 적외선 영상을 상기 조종 장치를 제어하는 자가 확인 가능하도록 표시하는 단계를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법을 제안한다.According to another aspect of the present invention, there is provided a method of acquiring an infrared image, Generating motion information of a steering apparatus that controls the air vehicle from a first predetermined point in time to a second point in time when the infrared image is acquired; Calculating a movement amount of the target based on motion information of the control device; Correcting the infrared image based on a movement amount of the target; And displaying the infrared image so that the infrared image can be confirmed by the controller of the control apparatus whenever the infrared image is corrected.
바람직하게는, 상기 움직임 정보를 생성하는 단계는, 상기 조종 장치에 대한 터치를 센싱하는 단계; 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 단계; 및 상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계를 포함한다.Advantageously, the step of generating the motion information comprises: sensing a touch to the steering apparatus; Measuring a moving direction of the steering apparatus when a touch on the steering apparatus is sensed; And a parallel movement amount of the infrared image obtained at the second time point with respect to the infrared image acquired at the first time point on the basis of the movement direction of the steering apparatus and generates the parallel movement amount as motion information of the steering apparatus .
바람직하게는, 상기 움직임 정보를 생성하는 단계는 상기 터치를 센싱하는 단계와 상기 이동 방향을 측정하는 단계 사이에, 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 상기 조종 장치에 대한 터치가 센싱되지 않으면 상기 알고리즘을 중지시키는 단계를 더 포함한다.Preferably, the generating of the motion information includes executing an algorithm for generating motion information of the steering apparatus, when a touch to the steering apparatus is sensed, between sensing the touch and measuring the direction of movement And stopping the algorithm if a touch to the steerable device is not sensed for a predetermined period of time.
바람직하게는, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출한다.Preferably, the step of generating the parallel movement amount as motion information of the steering apparatus calculates the parallel movement amount in real time based on a moving direction of the steering apparatus using a lookup table (LUT).
바람직하게는, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 상기 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출한다.Preferably, the step of generating the parallel movement amount as the motion information of the steering apparatus includes the step of updating the screen update rate of the infrared image, the FOV (Field Of View) of the infrared image acquiring unit, and the gimbal Gimbal) and the moving direction of the steering apparatus.
바람직하게는, 상기 적외선 영상을 보정하는 단계는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정한다.Preferably, the step of correcting the infrared image may include a step of correcting the infrared image based on the movement amount of the target, which is estimated by comparing the infrared image with a previous image acquired before the infrared image, Correct the image.
바람직하게는, 상기 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행된다.Preferably, the infrared image correction method is performed using a remote controlled unmanned aerial vehicle.
본 발명은 조종사가 직접 입력하는 조종 장치의 방향값을 수신하여 이를 움직임 정도로 예측하고 이를 기반으로 적외선 영상의 불균일성을 보정함으로써 다음 효과를 얻을 수 있다.The present invention can obtain the following effects by receiving a direction value of a steering apparatus directly input by a pilot and predicting the direction value thereof as a degree of motion and correcting non-uniformity of the infrared image based thereon.
첫째, 영상 처리 기법처럼 불균일 보정의 효율성이 우수하면서도 연산량과 메모리 사용량을 획기적으로 저감시킬 수 있다.First, the efficiency of nonuniformity correction is excellent as in the image processing technique, but the computation amount and memory usage can be drastically reduced.
둘째, 낮은 사양의 임베디드 시스템에 적용 가능하다.Second, it is applicable to low-specification embedded systems.
도 1은 본 발명의 일실시예에 따른 항공 촬영용 적외선 광학 장비의 불균일 보정 장치를 개략적으로 도시한 개념도이다.
도 2는 도 1의 장치를 이용한 적외선 영상의 불균일 보정 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 장치를 개략적으로 도시한 블록도이다.
도 4는 도 3에 도시된 움직임 정보 생성부의 내부 구성을 세부적으로 도시한 블록도이다.
도 5는 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 방법을 개략적으로 도시한 흐름도이다.1 is a conceptual diagram schematically showing an apparatus for correcting a non-uniformity of an infrared optical equipment for aerial photographing according to an embodiment of the present invention.
2 is a flowchart schematically showing a method of correcting irregularity of an infrared image using the apparatus of FIG.
3 is a block diagram schematically illustrating an infrared image correction apparatus according to a preferred embodiment of the present invention.
4 is a block diagram showing in detail the internal structure of the motion information generating unit shown in FIG.
5 is a flowchart schematically illustrating an infrared image correction method according to a preferred embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
본 발명은 항공 촬영용 적외선 광학 장비의 불균일 보정 기법에 관한 것이다. 본 발명은 종래 불균일 보정 기법처럼 영상 불균일 보정에 대한 효율성이 우수하면서도 연산량과 메모리 사용량을 획기적으로 저감시킨다. 이하 본 발명에 대하여 자세하게 설명한다.The present invention relates to non-uniform correction techniques for infrared optical equipment for aerial photography. The present invention greatly improves the efficiency of image nonuniformity correction, such as the conventional nonuniformity correction technique, but drastically reduces computation and memory usage. Hereinafter, the present invention will be described in detail.
도 1은 본 발명의 일실시예에 따른 항공 촬영용 적외선 광학 장비의 불균일 보정 장치를 개략적으로 도시한 개념도이다.1 is a conceptual diagram schematically showing an apparatus for correcting a non-uniformity of an infrared optical equipment for aerial photographing according to an embodiment of the present invention.
지상에서 조종사가 비행체(140)를 움직이거나 카메라의 각도를 조정하기 위해 조종 장치(110)를 움직이게 되면, 이 움직임에 대한 제어 신호가 무선 혹은 유선의 통신을 통해 비행체(140)의 무선 신호 수신 모듈(120)로 전달된다. 상기에서 조종 장치(110)로 조이스틱, HOTAS 등을 이용할 수 있다.When the pilot moves the
비행체(140)의 무선 신호 수신 모듈(120)에서는 이 조종 장치(110)의 움직임 신호를 수신하여, 카메라(미도시)나 비행체(140)의 자세 제어 모듈(130)에 전달함과 동시에 적외선 카메라 모듈(150)에도 이동 정보를 직렬 통신 채널 또는 1553B 통신 채널을 통해 전송해준다.The wireless signal receiving module 120 of the
적외선 카메라 모듈(160)은 수신된 조종 장치(110)의 이동량 정보를 내부 LUT(Look-Up Table)의 매칭 작업을 통해 카메라 프레임 이동 정보로 환산하여 변환시켜 준다.The infrared camera module 160 converts the movement amount information of the received
이후 불균일 보정 모듈(160)은 획득된 프레임 사이의 움직임 정보를 이용하여 불균일 보정 계수 생성 후 영상을 실시간으로 보정 수행한다. 입력 영상(161)은 보정 전 영상을 의미하고, 보정 영상(162)은 보정 후 영상을 의미한다.Then, the non-uniformity correction module 160 corrects the image in real time after generating the non-uniformity correction coefficient using the motion information between the obtained frames. The
도 2는 도 1의 장치를 이용한 적외선 영상의 불균일 보정 방법을 개략적으로 도시한 흐름도이다. 도 2의 예시에서는 조종 장치로 조이스틱(Joystick)을 이용한다.2 is a flowchart schematically showing a method of correcting irregularity of an infrared image using the apparatus of FIG. In the example of FIG. 2, a joystick is used as a steering device.
본 발명에서는 종래 많은 연산량과 시간 지연(Delay)을 유발시켰던 Registration 부분(움직임 예측 부분)을 연산을 통해 카메라에서 산출하지 않고, 조종사가 카메라를 움직이기 위해 사용하는 입력 장치(조이스틱, 혹은 Hotas)의 움직임을 통신을 통해 직접 수신하여 움직임 방향을 예측할 수 있도록 한다.In the present invention, the input part (joystick, or Hotas) used by the pilot to move the camera without calculating the Registration part (motion prediction part) which caused the large amount of computation and time delay (Delay) Motion can be directly received through communication to predict motion direction.
본 발명에서 제안하는 움직임 예측 방법은 조종사가 직접 입력하는 조종 장치(조이스틱 혹은 Hotas)의 방향값을 수신하여 이를 움직임 정도로 예측하여 사용한다. 즉, 스틱이 중앙에 위치하고 있을 때의 값을 0으로 설정하고 좌/우측 최대 이동량을 [-1, 1], 상/하 방향 최대값을 [1, -1]로 설정하고, 스틱의 움직임 정도를 직렬 시리얼 통신 혹은 1553B(MIL-STD-1553B) 인터페이스 등을 통해 카메라에 전송한다.The motion prediction method proposed by the present invention receives the direction value of the steering apparatus (joystick or Hotas) directly input by the pilot and predicts the motion value to the degree of motion. That is, the value when the stick is located at the center is set to 0, the left / right maximum movement amount is set to [-1, 1], the maximum value in the up / down direction is set to [1, -1] To the camera through a serial serial communication or 1553B (MIL-STD-1553B) interface.
조이스틱 이동량에 대응하는 픽셀의 움직임 이동량은 영상의 화면 갱신률(Hz), 카메라 광학계의 시계(FOV; Field of View), 카메라 구동 김발의 이동 각가속도 등에 따라 가변적으로 변경될 수 있으므로 각 상황에 맞는 변화량을 실험적인 방법을 통해 사전에 측정하여 Look-up Table(LUT)로 저장하여 사용하도록 한다.The movement amount of the pixel corresponding to the moving amount of the joystick can be variably changed depending on the image update rate (Hz) of the image, the clock (FOV; Field of View) of the camera optical system, Is measured in advance through an experimental method and stored as a look-up table (LUT).
먼저 조종사 혹은 카메라 촬영자에 의한 조이스틱의 이동을 모니터링을 하다가 움직임이 감지되면 파라미터 값 갱신을 위한 알고리즘이 동작 시작되며, 움직임이 없을 시에는 불필요한 파라미터 값 갱신 및 연산을 줄이기 위해 동작을 정지시킨다(S210).First, the motion of the joystick is monitored by the pilot or the camera photographer. When motion is detected, the algorithm for updating the parameter value starts to operate. When there is no motion, the operation is stopped to reduce unnecessary parameter value update and calculation (S210) .
조이스틱 이동량 수신부는 실제 조종자가 스틱을 움직인 이동량을 [-1, 1] 범위의 값으로 상/하, 좌/우 위치값을 수신한다(S220).The joystick movement amount receiving unit receives the left / right position value up / down to a value in the range of [-1, 1] (S220).
영상 이동량 산출부는 조이스틱의 이동량 대비 실제 영상 프레임이 몇 픽셀만큼 이동했는지 이동량 LUT를 매칭하여 값을 꺼내온다(S230).The image movement amount calculation unit retrieves a value by matching the movement amount LUT with how many pixels the actual image frame moved relative to the movement amount of the joystick (S230).
이동량 전송부는 상기에서 산출된 영상 프레임 이동량을 직렬 시리얼 통신, 혹은 1553B 인터페이스를 통해 불균일 보정 파라미터 값 갱신 알고리즘에 전달한다(S240).The movement amount transfer unit transfers the calculated image frame movement amount to the non-uniformity correction parameter value update algorithm through the serial serial communication or the 1553B interface at step S240.
본 발명은 NUC 알고리즘을 이용하여 적외선 영상의 불균일성을 보정할 수 있다. NUC 알고리즘에 따르면, 입력된 적외선 영상에 Gain을 곱해주고, Offset 값은 더해주는 과정을 통해 불균일성이 보정된다. Gain과 Offset 값은 영상의 변화에 따라 LMS(Least Mean Square) 알고리즘을 통해 연속해서 갱신된다. LMS 알고리즘의 입력으로 사용되는 Desired Response는 본 발명의 경우 도 2에 도시된 바와 같이 사용자의 조이스틱 이동 방향에 맞게 스케일링된 프레임 간의 이동량을 통해 찾아지게 된다. LUT을 통해 매칭된 프레임 이동량이 산출되면, 픽셀 좌표 이동을 통해 Desired Response 신호를 생성한다. 이 신호가 LMS 알고리즘의 입력으로 사용된다.The present invention can correct the non-uniformity of the infrared image using the NUC algorithm. According to the NUC algorithm, non-uniformity is corrected by multiplying the inputted infrared image by Gain and adding Offset value. Gain and Offset values are continuously updated by the LMS (Least Mean Square) algorithm according to the change of the image. The Desired Response used as an input of the LMS algorithm is found through the amount of movement between frames scaled according to the direction of movement of the user's joystick, as shown in FIG. When the matched frame movement amount is calculated through the LUT, a Desired Response signal is generated through pixel coordinate movement. This signal is used as input to the LMS algorithm.
그런데 도 1 및 도 2를 참조하여 설명한 움직임 예측 방법이 조종 장치의 움직임이 정상적으로 센싱되지 않음 등을 이유로 구현 불가능한 경우, 본 발명에서는 Global Motion Estimation 방법을 대신 이용할 수 있다. 이 방법은 연속된 두 프레임 영상 데이터의 Cross-Power Spectrum 분석을 통해 Correlation이 최대가 되는 지점을 찾아 움직임 정도를 수식으로 계산하여 찾아내는 방법을 말한다. 이하 이에 대해 간략하게 설명한다.However, if the motion estimation method described with reference to FIGS. 1 and 2 can not be implemented due to the fact that the motion of the steering apparatus is not normally sensed, the global motion estimation method may be used instead. In this method, cross-power spectral analysis of two consecutive frames of image data is used to find the point at which the correlation is maximized and to calculate the degree of motion by expressions. Hereinafter, this will be briefly described.
연속된 영상 Frame f1(x,y)와 f2(x,y) 사이에 x, y 좌표축을 따라서 평행 이동만이 존재한다고 가정하면, f2(x,y)=f1(x-x0,y-y0)의 식으로 표현될 수 있다.Assuming that a series of image Frame f 1 (x, y) and f 2 (x, y) in the x, y coordinate axes the thus translation only exist between, f 2 (x, y) = f 1 (xx 0, yy 0 ).
이를 Fourier Shift Theorem을 기반으로 하는 Normalized Cross-Power Spectrum 산출 공식에 적용하면 다음과 같다.This is applied to the Normalized Cross-Power Spectrum calculation formula based on the Fourier Shift Theorem.
상기에서 F1(u,v)는 f1(x,y)의 푸리에 변환(Fourier Transform)을 의미하고, F2(u,v)는 f2(x,y)의 푸리에 변환(Fourier Transform)을 의미한다. 그리고 (u,v)는 푸리에 도메인 코디네이트(Fourier Domain Coordinate)를 의미한다.F 1 (u, v) is f 1 means a Fourier transform (Fourier Transform) of the (x, y) and, F 2 (u, v) are converted (Fourier Transform) Fourier of f 2 (x, y) in the . And (u, v) means Fourier Domain Coordinate.
단순 평행 이동 관계의 두 영상은 Exponential term을 사용해 표현 가능해진다. 이를 Inverse FFT를 이용해 두 평행 이동 정도를 나타내는 d값을 구해보면 다음과 같다.Two images in a simple parallel translation relation can be expressed using an exponential term. The inverse FFT is used to obtain the d value indicating the degree of two parallel movements.
즉, 다음과 같은 관계식이 구해진다.That is, the following relationship is obtained.
상기에서 di는 이전 영상에 대비할 때 현재 영상의 x축 방향 평행 이동량을 의미하고, dj는 이전 영상에 대비할 때 현재 영상의 y축 방향 평행 이동량을 의미한다.In the above equation, d i denotes the parallel movement amount of the current image in the x-axis direction, and d j denotes the parallel movement amount in the y-axis direction of the current image in contrast to the previous image.
상기의 과정을 통해서 두 개의 연속된 영상 프레임들 간 Overlap 영역 내의 움직임 방향과 크기 정도를 산출해낼 수 있으며, n-1번째 영상에 Registration을 통해 산출한 움직임 방향을 반영하여 n번째 프레임을 추정해낼 수 있다. Registration은 연산을 통해 두 프레임 사이의 움직임 방향을 산출해내는 과정을 말하며, 상기에 적용할 경우 n-1번째 영상에서 움직임을 추출하여 그 움직임만큼 픽셀을 이동시켜 움직임을 반영한다.Through the above process, it is possible to calculate the motion direction and size in the overlapped region between two consecutive image frames, and to estimate the n-th frame by reflecting the motion direction calculated through Registration to the (n-1) have. Registration is a process of calculating the direction of motion between two frames through an operation. When applied to the above, motion is extracted from the (n-1) th image and the motion is reflected by moving the pixel by the motion.
추정된 영상은 LMS(Least Mean Squere) 알고리즘에 Desired Response로 입력하고 실제 출력된 현재 프레임과의 차이를 Error 값으로 사용하여 불균일 보정을 위한 Gain과 Offset 값을 갱신해주게 된다.The estimated image is input to the LMS (Least Mean Squee) algorithm in Desired Response, and the difference between the actual output frame and the current output frame is used as an error value to update the gain and offset values for nonuniformity correction.
Global Motion Estimation 기반 방법은 Registration 과정에 FFT와 IFFT를 사용하여 주파수 영역으로의 변조와 시간 영역으로의 복조 과정이 사용된다. 이는 임베디드 환경에서 연산량과 메모리 영역 사용의 증가를 가져올 뿐만 아니라 소모 전력의 증가로 이어질 수 있다. 따라서 본 발명에서 상기한 방법은 조종 장치의 움직임이 정상적으로 센싱되지 않을 때에 국한적으로 사용되며, 상기에 따른 연산은 비행체 내 적외선 영상 보정 장치에서 직접 수행하지 않고, 무선 신호 수신 모듈을 통해 서버로 관련 정보를 전송하고 그 결과를 수신받는 것이 바람직하다.The global motion estimation based method uses the FFT and IFFT in the registration process and the modulation to the frequency domain and the demodulation to the time domain are used. This can lead to an increase in the amount of computation and memory space in the embedded environment as well as an increase in power consumption. Therefore, the above-described method of the present invention is used only when the motion of the control device is not normally sensed, and the calculation according to the above is not directly performed in the infrared image correction device in the air body, It is desirable to transmit the information and receive the results.
이상 도 1 및 도 2를 참조하여 설명한 본 발명은 조이스틱의 이동량을 적외선 카메라부에도 전달해주는 작업만으로 종래의 불균일 보정 알고리즘을 그대로 적용이 가능하다. 또한 LUT의 구성에 필요한 메모리 용량 외에 추가적인 메모리 사용이 필요하지 않다. 또한 종래의 방법에서 영상의 이동량(displacement)을 산출하는 데에 추가적인 많은 연산량이 소모되었으나, 제안된 방법을 통해 LUT 매칭 외에 별다른 연산이 필요하지 않다.The present invention described with reference to FIGS. 1 and 2 can apply the conventional nonuniformity correction algorithm as it is by merely transmitting the movement amount of the joystick to the infrared camera unit. In addition, there is no need to use additional memory in addition to the amount of memory required to configure the LUT. Also, in the conventional method, a large amount of computation has been consumed in calculating the displacement of the image, but it requires no computation other than the LUT matching through the proposed method.
이상 설명한 본 발명은 적외선 센서를 이용한 감시 정찰 분야에 적용될 수 있다. 구체적으로, 본 발명은 방송 촬영용 비행체 탑재 적외선 카메라 분야, 주/야간 감시용 CCTV 시스템 분야, 조이스틱을 이용한 원격 무인 헬리콥터 영상 촬영 분야 등에 적용될 수 있다.The present invention described above can be applied to a surveillance and reconnaissance field using an infrared sensor. Specifically, the present invention can be applied to a field of infrared camera equipped with aerial bodies for broadcasting, a CCTV system for day / night surveillance, and a remote unmanned helicopter imaging using a joystick.
이상 도 1 및 도 2를 참조하여 설명한 본 발명의 일실시예를 기초로 본 발명의 바람직한 실시예를 구성해본다. 도 3은 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 장치를 개략적으로 도시한 블록도이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of the present invention will be described based on an embodiment of the present invention described with reference to FIGS. 3 is a block diagram schematically illustrating an infrared image correction apparatus according to a preferred embodiment of the present invention.
도 3에 따르면, 적외선 영상 보정 장치(300)는 적외선 영상 획득부(310), 움직임 정보 생성부(320), 이동량 산출부(330), 적외선 영상 보정부(340), 전원부(350) 및 주제어부(360)를 포함한다.3, the infrared
전원부(350)는 적외선 영상 보정 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(360)는 적외선 영상 보정 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.The power supply unit 350 performs a function of supplying power to the respective components constituting the infrared
적외선 영상 획득부(310)는 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 기능을 수행한다.The infrared image acquiring unit 310 acquires an infrared image including a target from a flight object.
움직임 정보 생성부(320)는 미리 정해진 제1 시점부터 적외선 영상 획득부(310)에 의해 적외선 영상이 획득되는 제2 시점까지 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 기능을 수행한다.The motion
움직임 정보 생성부(320)는 도 4에 도시된 바와 같이 터치 센싱부(321), 이동 방향 측정부(322) 및 평행 이동량 산출부(323)를 포함할 수 있다. 도 4는 도 3에 도시된 움직임 정보 생성부의 내부 구성을 세부적으로 도시한 블록도이다.4, the motion
터치 센싱부(321)는 조종 장치에 대한 터치를 센싱하는 기능을 수행한다.The
이동 방향 측정부(322)는 조종 장치에 대한 터치가 센싱되면 조종 장치의 이동 방향을 측정하는 기능을 수행한다.The moving
평행 이동량 산출부(323)는 조종 장치의 이동 방향을 기초로 제1 시점에 획득된 적외선 영상에 대한 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 이 평행 이동량을 조종 장치의 움직임 정보로 생성하는 기능을 수행한다.The parallel movement
평행 이동량 산출부(323)는 룩업 테이블(LUT)을 이용하여 조종 장치의 이동 방향을 기초로 평행 이동량을 실시간으로 산출할 수 있다.The parallel movement
평행 이동량 산출부(323)는 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 조종 장치의 이동 방향을 기초로 평행 이동량을 산출할 수 있다.The parallel movement
본 발명에서 제안하는 불균일 보정 방법은 기본적으로 사용자가 조이스틱 등을 통하여 입력하는 이동 방향을 활용하여 수식 계산을 통하지 않고 영상 프레임의 이동량을 산출하는데 그 이점이 있다.The non-uniformity correction method proposed by the present invention is basically advantageous in that the movement amount of an image frame is calculated without using a formula calculation by utilizing a moving direction input by a user through a joystick or the like.
다만, 이 영상 프레임의 이동량은 모든 시스템에 동일할 수가 없고, 시스템의 특징에 의존적으로 변화하게 된다. 즉, 화면 갱신률, 카메라의 FOV, 그리고 짐벌의 구동 각가속도 등의 팩터에 의해 동일한 조이스틱 이동량이 입력된다고 하더라도 프레임 이동량은 달라질 수 있음을 의미한다.However, the movement amount of the image frame can not be the same for all the systems, and it changes depending on the characteristics of the system. That is, even if the same joystick movement amount is inputted by factors such as the screen update rate, the FOV of the camera, and the driving angular acceleration of the gimbals, the frame movement amount can be changed.
여기서 화면 갱신률은 1초에 몇 프레임의 영상이 출력되는가에 대한 수치이며, 이는 프레임 이동량(displacement)와 반비례 관계에 있다(화면 갱신률이 커질 수록 동일한 조이스틱 이동량의 입력에 대해 실제 픽셀 및 프레임 이동량은 작은 값이 출력된다).Here, the screen refresh rate is a numerical value of how many frames of an image are output per second, which is inversely proportional to the displacement of the frame (as the refresh rate increases, the actual pixel and frame movement amount A small value is output).
카메라 FOV 역시 Displacement와 반비례 관계에 있다(카메라 FOV가 작을 수록 동일한 조이스틱 이동량 입력에도 큰 프레임 이동량이 출력된다).The camera FOV is also inversely related to the displacement (the smaller the camera FOV is, the larger the frame shift is output for the same joystick movement input).
짐벌의 구동 각가속도는 displacement와 비례 관계에 놓이게 된다(각가속도가 클수록 동일한 조이스틱 이동량에도 큰 프레임 이동량이 생성된다).The driving angular acceleration of the gimbals is proportional to the displacement (the larger the angular acceleration, the larger the frame movement amount is generated in the same joystick movement amount).
결론적으로 [-1, 1] 범위에서 입력되는 조이스틱의 이동량을 m이라고 설정하면, 이때의 displacement, D값은 다음의 관계식이 성립된다.As a result, if the movement amount of the joystick inputted in the range of [-1, 1] is set to m, the following relation is established between the displacement and the D value at this time.
상기에서, σ(시그마)는 짐벌의 구동 각가속도, h는 화면 갱신률, f는 카메라의 FOV, α(알파)는 비례 상수가 되어 각 팩터들에 대한 단위 보정 및 실험을 통해 보정할 수 있는 파라미터가 된다.(Sigma) is the driving angular acceleration of the gimbals, h is the screen update rate, f is the FOV of the camera, and alpha (alpha) is a proportional constant and is a parameter .
한편 움직임 정보 생성부(320)는 알고리즘 실행부(324)를 더 포함할 수 있다.Meanwhile, the motion
알고리즘 실행부(324)는 조종 장치에 대한 터치가 센싱되면 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 조종 장치에 대한 터치가 센싱되지 않으면 알고리즘을 중지시키는 기능을 수행한다.The algorithm executing unit 324 executes the algorithm for generating the motion information of the steering apparatus when the touch of the steering apparatus is sensed and stops the algorithm if the touch for the steering apparatus is not sensed for a predetermined time.
다시 도 3을 참조하여 설명한다.Referring back to FIG.
이동량 산출부(330)는 움직임 정보 생성부(320)에 의해 생성된 조종 장치의 움직임 정보를 기초로 타겟의 이동량을 산출하는 기능을 수행한다.The movement
적외선 영상 보정부(340)는 이동량 산출부(330)에 의해 산출된 타겟의 이동량을 기초로 적외선 영상을 보정하는 기능을 수행한다.The infrared image correction unit 340 performs a function of correcting the infrared image based on the movement amount of the target calculated by the movement
적외선 영상 보정부(340)는 조종 장치의 움직임 정보가 획득되지 못하면 적외선 영상과 이 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 타겟의 이동량을 기초로 적외선 영상을 보정할 수 있다.The infrared image correcting unit 340 may correct the infrared image based on the movement amount of the target estimated by comparing the infrared image and the previous image obtained before the infrared image if motion information of the control device is not obtained.
이상 설명한 적외선 영상 보정 장치(300)는 원격 조종되는 무인 비행체에 장착될 수 있다.The infrared ray
다음으로 도 3에서 설명한 적외선 영상 보정 장치(300)의 작동 방법에 대하여 설명한다. 도 5는 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 방법을 개략적으로 도시한 흐름도이다. 이하 설명은 도 3 내지 도 5를 참조한다.Next, an operation method of the infrared ray
먼저 적외선 영상 획득부(310)가 비행체에서 타겟을 포함하는 적외선 영상을 획득한다(S510).First, the infrared image obtaining unit 310 obtains an infrared image including the target from the air vehicle (S510).
이후 움직임 정보 생성부(320)가 미리 정해진 제1 시점부터 적외선 영상이 획득되는 제2 시점까지 비행체를 조종하는 조종 장치의 움직임 정보를 생성한다(S520).Thereafter, the motion
S520 단계는 다음과 같이 세분되어 수행될 수 있다.Step S520 can be performed in the following subdivision.
먼저 터치 센싱부(321)가 조종 장치에 대한 터치를 센싱한다.First, the
조종 장치에 대한 터치가 센싱되면, 알고리즘 실행부(324)가 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 조종 장치에 대한 터치가 센싱되지 않으면 알고리즘을 중지시킨다.When a touch on the control device is sensed, the algorithm executing section 324 executes an algorithm for generating motion information of the control device, and stops the algorithm if the touch to the control device is not sensed for a predetermined time.
이후 이동 방향 측정부(322)가 조종 장치의 이동 방향을 측정한다.Thereafter, the moving
이후 평행 이동량 산출부(323)가 조종 장치의 이동 방향을 기초로 제1 시점에 획득된 적외선 영상에 대한 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 이 평행 이동량을 조종 장치의 움직임 정보로 생성한다.The parallel
S520 단계 이후 이동량 산출부(330)가 조종 장치의 움직임 정보를 기초로 타겟의 이동량을 산출한다(S530).After step S520, the movement
이후 적외선 영상 보정부(340)가 타겟의 이동량을 기초로 적외선 영상을 보정한다(S540).Thereafter, the infrared image correcting unit 340 corrects the infrared image based on the movement amount of the target (S540).
이후 디스플레이부(미도시)가 적외선 영상이 보정될 때마다 적외선 영상을 조종 장치를 제어하는 자가 확인 가능하도록 표시한다(S550).Thereafter, the display unit (not shown) displays the infrared image so that the controller can check the infrared image every time the infrared image is corrected (S550).
이상 설명한 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행될 수 있다.The infrared image correction method described above can be performed using a remote controlled unmanned aerial vehicle.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (7)
미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 단계;
상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 단계;
상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 단계; 및
상기 적외선 영상이 보정될 때마다 상기 적외선 영상을 상기 조종 장치를 제어하는 자가 확인 가능하도록 표시하는 단계
를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법.Acquiring an infrared image including a target from a flight object;
Generating motion information of a steering apparatus that controls the air vehicle from a first predetermined point in time to a second point in time when the infrared image is acquired;
Calculating a movement amount of the target based on motion information of the control device;
Correcting the infrared image based on a movement amount of the target; And
Displaying the infrared image so that the infrared image can be confirmed by the controllable user each time the infrared image is corrected
And correcting the infrared image.
상기 움직임 정보를 생성하는 단계는,
상기 조종 장치에 대한 터치를 센싱하는 단계;
상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 단계; 및
상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계
를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법.The method according to claim 1,
Wherein the step of generating the motion information comprises:
Sensing a touch to the steering apparatus;
Measuring a moving direction of the steering apparatus when a touch on the steering apparatus is sensed; And
Calculating a parallel movement amount of the infrared image obtained at the second time point with respect to the infrared image acquired at the first time point based on the movement direction of the steering apparatus and generating the parallel movement amount as motion information of the steering apparatus
And correcting the infrared image.
상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출하는 것을 특징으로 하는 적외선 영상 보정 방법.3. The method of claim 2,
Wherein the step of generating the parallel movement amount as motion information of the steering apparatus calculates the parallel movement amount in real time based on a moving direction of the steering apparatus using a lookup table (LUT).
상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 상기 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출하는 것을 특징으로 하는 적외선 영상 보정 방법.3. The method of claim 2,
The step of generating the parallel movement amount as the motion information of the steering apparatus includes the steps of: generating a screen update rate of the infrared image, an FOV (Field Of View) of the infrared image acquiring unit, and a rotation of the gimbal controlling the movement of the infrared image acquiring unit. Wherein the controller calculates the parallel movement amount based on at least one of angular velocity and angular velocity and the moving direction of the steering apparatus.
상기 적외선 영상을 보정하는 단계는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 것을 특징으로 하는 적외선 영상 보정 방법.The method according to claim 1,
The step of correcting the infrared image may include correcting the infrared image based on the amount of movement of the target estimated by comparing the infrared image with a previous image obtained before the infrared image if motion information of the control device is not obtained And the infrared image correction method.
상기 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행되는 것을 특징으로 하는 적외선 영상 보정 방법.The method according to claim 1,
Wherein the infrared image correction method is performed using a remote controlled unmanned aerial vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140013591A KR101418110B1 (en) | 2014-02-06 | 2014-02-06 | Apparatus for compensating infra-red image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140013591A KR101418110B1 (en) | 2014-02-06 | 2014-02-06 | Apparatus for compensating infra-red image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101418110B1 true KR101418110B1 (en) | 2014-08-06 |
Family
ID=51748710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140013591A Active KR101418110B1 (en) | 2014-02-06 | 2014-02-06 | Apparatus for compensating infra-red image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101418110B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101955498B1 (en) * | 2018-07-19 | 2019-03-08 | 엘아이지넥스원 주식회사 | Infrared image correction apparatus using neural network structure and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235663A (en) * | 1992-12-07 | 1994-08-23 | Hughes Aircraft Co | Method and device for compensating for nonuniformity of wide dynamic range for planar array of infrared-ray focal point |
| JPH0965208A (en) * | 1995-08-25 | 1997-03-07 | Fujitsu Ltd | Infrared imaging device |
| JPH1149100A (en) * | 1997-08-05 | 1999-02-23 | Mitsubishi Electric Corp | Apron monitor |
-
2014
- 2014-02-06 KR KR1020140013591A patent/KR101418110B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235663A (en) * | 1992-12-07 | 1994-08-23 | Hughes Aircraft Co | Method and device for compensating for nonuniformity of wide dynamic range for planar array of infrared-ray focal point |
| JPH0965208A (en) * | 1995-08-25 | 1997-03-07 | Fujitsu Ltd | Infrared imaging device |
| JPH1149100A (en) * | 1997-08-05 | 1999-02-23 | Mitsubishi Electric Corp | Apron monitor |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101955498B1 (en) * | 2018-07-19 | 2019-03-08 | 엘아이지넥스원 주식회사 | Infrared image correction apparatus using neural network structure and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10394107B2 (en) | Gimbal control method, gimbal control apparatus, and gimbal | |
| US10771699B2 (en) | Systems and methods for rolling shutter correction | |
| CN108351574B (en) | System, method and apparatus for setting camera parameters | |
| WO2019095453A1 (en) | Unmanned aerial vehicle fixed-point hovering system and method | |
| WO2016106715A1 (en) | Selective processing of sensor data | |
| US20160328882A1 (en) | Pass-through display of captured imagery | |
| CN113316755B (en) | Environmental model maintenance using event-based visual sensors | |
| US20180284256A1 (en) | Information processing apparatus, information processing method and program | |
| EP3674210A1 (en) | Movable object control method, device and system | |
| EP3479353A1 (en) | Systems and methods for identifying pose of cameras in a scene | |
| US10969946B2 (en) | Methods, devices, and systems for controlling movement of a moving object | |
| KR101407723B1 (en) | Apparatus for compensating infra-red image | |
| JP2016110142A (en) | Adjusting head-up display (hud) based on light sensing | |
| US20200154032A1 (en) | Systems and methods for automatic detection and correction of luminance variations in images | |
| US11624660B1 (en) | Dynamic radiometric thermal imaging compensation | |
| US20180284257A1 (en) | Information processing apparatus, information processing method and program | |
| KR101418110B1 (en) | Apparatus for compensating infra-red image | |
| JP2016072786A (en) | Overhead image display system, terminal device, and program thereof | |
| US10638098B2 (en) | Surveillance method | |
| CN105262982B (en) | robot control system | |
| JP6773213B2 (en) | Information processing equipment, information processing methods and information processing programs | |
| EP4397989A1 (en) | Position estimation system and position estimation method | |
| JP7049858B2 (en) | Moving object tracking device and its program | |
| JP7112714B2 (en) | Monitoring system using monitoring device, monitoring program and flying object | |
| WO2018179403A1 (en) | Information-processing device, information-processing method, and information-processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140206 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20140219 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20140206 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20140325 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140703 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140703 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170529 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170529 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180515 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180515 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200604 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210511 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230411 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240418 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250318 Start annual number: 12 End annual number: 12 |