KR101418110B1 - 적외선 영상 보정 방법 - Google Patents

적외선 영상 보정 방법 Download PDF

Info

Publication number
KR101418110B1
KR101418110B1 KR1020140013591A KR20140013591A KR101418110B1 KR 101418110 B1 KR101418110 B1 KR 101418110B1 KR 1020140013591 A KR1020140013591 A KR 1020140013591A KR 20140013591 A KR20140013591 A KR 20140013591A KR 101418110 B1 KR101418110 B1 KR 101418110B1
Authority
KR
South Korea
Prior art keywords
infrared image
movement amount
steering apparatus
motion information
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140013591A
Other languages
English (en)
Inventor
김신욱
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020140013591A priority Critical patent/KR101418110B1/ko
Application granted granted Critical
Publication of KR101418110B1 publication Critical patent/KR101418110B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 조종사가 직접 입력하는 조종 장치의 방향값을 수신하여 이를 움직임 정도로 예측하고 이를 기반으로 적외선 영상의 불균일성을 보정하는 적외선 영상 보정 방법을 제안한다. 본 발명에 따른 적외선 영상 보정 방법은 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 단계; 미리 정해진 제1 시점부터 적외선 영상이 획득되는 제2 시점까지 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 단계; 조종 장치의 움직임 정보를 기초로 타겟의 이동량을 산출하는 단계; 타겟의 이동량을 기초로 적외선 영상을 보정하는 단계; 및 적외선 영상이 보정될 때마다 적외선 영상을 조종 장치를 제어하는 자가 확인 가능하도록 표시하는 단계를 포함한다.

Description

적외선 영상 보정 방법 {Apparatus for compensating infra-red image}
본 발명은 적외선 영상을 보정하는 방법에 관한 것이다. 보다 상세하게는, 적외선 영상에서 잡음 패턴을 제거하여 적외선 영상의 불균일성을 보정하는 방법에 관한 것이다.
적외선 카메라는 센서 특성상 영상에 고정 형태의 잡음 패턴(영상의 불균일성)이 나타나고, 이는 화질 저하의 주요 원인이 되고 있다. 특히 항공 촬영용 적외선 카메라의 경우 지속적인 운용이 가능해야 하며, 무게 및 전력 소모 등에 제한 요소가 많이 존재한다.
이러한 제약 상황을 극복하고 균일한 적외선 영상을 획득하기 위해 종래에는 불균일 보정 기법(Nonuniformity Correction)이 널리 사용되고 있다. 그러나 종래의 불균일 보정 기법은 영상 처리를 기반으로 하기 때문에 연산량과 메모리 사용량이 높아 낮은 사양의 임베디드 시스템에서는 사용이 어려운 문제점이 있다.
한국공개특허 제2007-0048961호는 디스플레이 화면의 불균일을 보정하는 방법에 대하여 기술하고 있다. 그러나 이 방법도 영상 처리를 기반으로 하기 때문에 전술한 문제점을 해결할 수가 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 조종사가 직접 입력하는 조종 장치의 방향값을 수신하여 이를 움직임 정도로 예측하고 이를 기반으로 적외선 영상의 불균일성을 보정하는 적외선 영상 보정 방법을 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 적외선 영상 획득부; 미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 움직임 정보 생성부; 상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 이동량 산출부; 및 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 적외선 영상 보정부를 포함하는 것을 특징으로 하는 적외선 영상 보정 장치를 제안한다.
바람직하게는, 상기 움직임 정보 생성부는, 상기 조종 장치에 대한 터치를 센싱하는 터치 센싱부; 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 이동 방향 측정부; 및 상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 평행 이동량 산출부를 포함한다.
바람직하게는, 상기 움직임 정보 생성부는, 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 상기 조종 장치에 대한 터치가 센싱되지 않으면 상기 알고리즘을 중지시키는 알고리즘 실행부를 더 포함한다.
바람직하게는, 상기 평행 이동량 산출부는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출한다.
바람직하게는, 상기 평행 이동량 산출부는 상기 적외선 영상의 화면 갱신률, 상기 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출한다.
바람직하게는, 상기 적외선 영상 보정부는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정한다.
바람직하게는, 상기 적외선 영상 보정 장치는 원격 조종되는 무인 비행체에 장착된다.
또한 본 발명은 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 단계; 미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 단계; 상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 단계; 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 단계; 및 상기 적외선 영상이 보정될 때마다 상기 적외선 영상을 상기 조종 장치를 제어하는 자가 확인 가능하도록 표시하는 단계를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법을 제안한다.
바람직하게는, 상기 움직임 정보를 생성하는 단계는, 상기 조종 장치에 대한 터치를 센싱하는 단계; 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 단계; 및 상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계를 포함한다.
바람직하게는, 상기 움직임 정보를 생성하는 단계는 상기 터치를 센싱하는 단계와 상기 이동 방향을 측정하는 단계 사이에, 상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 상기 조종 장치에 대한 터치가 센싱되지 않으면 상기 알고리즘을 중지시키는 단계를 더 포함한다.
바람직하게는, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출한다.
바람직하게는, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 상기 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출한다.
바람직하게는, 상기 적외선 영상을 보정하는 단계는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정한다.
바람직하게는, 상기 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행된다.
본 발명은 조종사가 직접 입력하는 조종 장치의 방향값을 수신하여 이를 움직임 정도로 예측하고 이를 기반으로 적외선 영상의 불균일성을 보정함으로써 다음 효과를 얻을 수 있다.
첫째, 영상 처리 기법처럼 불균일 보정의 효율성이 우수하면서도 연산량과 메모리 사용량을 획기적으로 저감시킬 수 있다.
둘째, 낮은 사양의 임베디드 시스템에 적용 가능하다.
도 1은 본 발명의 일실시예에 따른 항공 촬영용 적외선 광학 장비의 불균일 보정 장치를 개략적으로 도시한 개념도이다.
도 2는 도 1의 장치를 이용한 적외선 영상의 불균일 보정 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 장치를 개략적으로 도시한 블록도이다.
도 4는 도 3에 도시된 움직임 정보 생성부의 내부 구성을 세부적으로 도시한 블록도이다.
도 5는 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 방법을 개략적으로 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명은 항공 촬영용 적외선 광학 장비의 불균일 보정 기법에 관한 것이다. 본 발명은 종래 불균일 보정 기법처럼 영상 불균일 보정에 대한 효율성이 우수하면서도 연산량과 메모리 사용량을 획기적으로 저감시킨다. 이하 본 발명에 대하여 자세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 항공 촬영용 적외선 광학 장비의 불균일 보정 장치를 개략적으로 도시한 개념도이다.
지상에서 조종사가 비행체(140)를 움직이거나 카메라의 각도를 조정하기 위해 조종 장치(110)를 움직이게 되면, 이 움직임에 대한 제어 신호가 무선 혹은 유선의 통신을 통해 비행체(140)의 무선 신호 수신 모듈(120)로 전달된다. 상기에서 조종 장치(110)로 조이스틱, HOTAS 등을 이용할 수 있다.
비행체(140)의 무선 신호 수신 모듈(120)에서는 이 조종 장치(110)의 움직임 신호를 수신하여, 카메라(미도시)나 비행체(140)의 자세 제어 모듈(130)에 전달함과 동시에 적외선 카메라 모듈(150)에도 이동 정보를 직렬 통신 채널 또는 1553B 통신 채널을 통해 전송해준다.
적외선 카메라 모듈(160)은 수신된 조종 장치(110)의 이동량 정보를 내부 LUT(Look-Up Table)의 매칭 작업을 통해 카메라 프레임 이동 정보로 환산하여 변환시켜 준다.
이후 불균일 보정 모듈(160)은 획득된 프레임 사이의 움직임 정보를 이용하여 불균일 보정 계수 생성 후 영상을 실시간으로 보정 수행한다. 입력 영상(161)은 보정 전 영상을 의미하고, 보정 영상(162)은 보정 후 영상을 의미한다.
도 2는 도 1의 장치를 이용한 적외선 영상의 불균일 보정 방법을 개략적으로 도시한 흐름도이다. 도 2의 예시에서는 조종 장치로 조이스틱(Joystick)을 이용한다.
본 발명에서는 종래 많은 연산량과 시간 지연(Delay)을 유발시켰던 Registration 부분(움직임 예측 부분)을 연산을 통해 카메라에서 산출하지 않고, 조종사가 카메라를 움직이기 위해 사용하는 입력 장치(조이스틱, 혹은 Hotas)의 움직임을 통신을 통해 직접 수신하여 움직임 방향을 예측할 수 있도록 한다.
본 발명에서 제안하는 움직임 예측 방법은 조종사가 직접 입력하는 조종 장치(조이스틱 혹은 Hotas)의 방향값을 수신하여 이를 움직임 정도로 예측하여 사용한다. 즉, 스틱이 중앙에 위치하고 있을 때의 값을 0으로 설정하고 좌/우측 최대 이동량을 [-1, 1], 상/하 방향 최대값을 [1, -1]로 설정하고, 스틱의 움직임 정도를 직렬 시리얼 통신 혹은 1553B(MIL-STD-1553B) 인터페이스 등을 통해 카메라에 전송한다.
조이스틱 이동량에 대응하는 픽셀의 움직임 이동량은 영상의 화면 갱신률(Hz), 카메라 광학계의 시계(FOV; Field of View), 카메라 구동 김발의 이동 각가속도 등에 따라 가변적으로 변경될 수 있으므로 각 상황에 맞는 변화량을 실험적인 방법을 통해 사전에 측정하여 Look-up Table(LUT)로 저장하여 사용하도록 한다.
먼저 조종사 혹은 카메라 촬영자에 의한 조이스틱의 이동을 모니터링을 하다가 움직임이 감지되면 파라미터 값 갱신을 위한 알고리즘이 동작 시작되며, 움직임이 없을 시에는 불필요한 파라미터 값 갱신 및 연산을 줄이기 위해 동작을 정지시킨다(S210).
조이스틱 이동량 수신부는 실제 조종자가 스틱을 움직인 이동량을 [-1, 1] 범위의 값으로 상/하, 좌/우 위치값을 수신한다(S220).
영상 이동량 산출부는 조이스틱의 이동량 대비 실제 영상 프레임이 몇 픽셀만큼 이동했는지 이동량 LUT를 매칭하여 값을 꺼내온다(S230).
이동량 전송부는 상기에서 산출된 영상 프레임 이동량을 직렬 시리얼 통신, 혹은 1553B 인터페이스를 통해 불균일 보정 파라미터 값 갱신 알고리즘에 전달한다(S240).
본 발명은 NUC 알고리즘을 이용하여 적외선 영상의 불균일성을 보정할 수 있다. NUC 알고리즘에 따르면, 입력된 적외선 영상에 Gain을 곱해주고, Offset 값은 더해주는 과정을 통해 불균일성이 보정된다. Gain과 Offset 값은 영상의 변화에 따라 LMS(Least Mean Square) 알고리즘을 통해 연속해서 갱신된다. LMS 알고리즘의 입력으로 사용되는 Desired Response는 본 발명의 경우 도 2에 도시된 바와 같이 사용자의 조이스틱 이동 방향에 맞게 스케일링된 프레임 간의 이동량을 통해 찾아지게 된다. LUT을 통해 매칭된 프레임 이동량이 산출되면, 픽셀 좌표 이동을 통해 Desired Response 신호를 생성한다. 이 신호가 LMS 알고리즘의 입력으로 사용된다.
그런데 도 1 및 도 2를 참조하여 설명한 움직임 예측 방법이 조종 장치의 움직임이 정상적으로 센싱되지 않음 등을 이유로 구현 불가능한 경우, 본 발명에서는 Global Motion Estimation 방법을 대신 이용할 수 있다. 이 방법은 연속된 두 프레임 영상 데이터의 Cross-Power Spectrum 분석을 통해 Correlation이 최대가 되는 지점을 찾아 움직임 정도를 수식으로 계산하여 찾아내는 방법을 말한다. 이하 이에 대해 간략하게 설명한다.
연속된 영상 Frame f1(x,y)와 f2(x,y) 사이에 x, y 좌표축을 따라서 평행 이동만이 존재한다고 가정하면, f2(x,y)=f1(x-x0,y-y0)의 식으로 표현될 수 있다.
이를 Fourier Shift Theorem을 기반으로 하는 Normalized Cross-Power Spectrum 산출 공식에 적용하면 다음과 같다.
Figure 112014011786417-pat00001
상기에서 F1(u,v)는 f1(x,y)의 푸리에 변환(Fourier Transform)을 의미하고, F2(u,v)는 f2(x,y)의 푸리에 변환(Fourier Transform)을 의미한다. 그리고 (u,v)는 푸리에 도메인 코디네이트(Fourier Domain Coordinate)를 의미한다.
단순 평행 이동 관계의 두 영상은 Exponential term을 사용해 표현 가능해진다. 이를 Inverse FFT를 이용해 두 평행 이동 정도를 나타내는 d값을 구해보면 다음과 같다.
Figure 112014011786417-pat00002
즉, 다음과 같은 관계식이 구해진다.
Figure 112014011786417-pat00003
상기에서 di는 이전 영상에 대비할 때 현재 영상의 x축 방향 평행 이동량을 의미하고, dj는 이전 영상에 대비할 때 현재 영상의 y축 방향 평행 이동량을 의미한다.
상기의 과정을 통해서 두 개의 연속된 영상 프레임들 간 Overlap 영역 내의 움직임 방향과 크기 정도를 산출해낼 수 있으며, n-1번째 영상에 Registration을 통해 산출한 움직임 방향을 반영하여 n번째 프레임을 추정해낼 수 있다. Registration은 연산을 통해 두 프레임 사이의 움직임 방향을 산출해내는 과정을 말하며, 상기에 적용할 경우 n-1번째 영상에서 움직임을 추출하여 그 움직임만큼 픽셀을 이동시켜 움직임을 반영한다.
추정된 영상은 LMS(Least Mean Squere) 알고리즘에 Desired Response로 입력하고 실제 출력된 현재 프레임과의 차이를 Error 값으로 사용하여 불균일 보정을 위한 Gain과 Offset 값을 갱신해주게 된다.
Global Motion Estimation 기반 방법은 Registration 과정에 FFT와 IFFT를 사용하여 주파수 영역으로의 변조와 시간 영역으로의 복조 과정이 사용된다. 이는 임베디드 환경에서 연산량과 메모리 영역 사용의 증가를 가져올 뿐만 아니라 소모 전력의 증가로 이어질 수 있다. 따라서 본 발명에서 상기한 방법은 조종 장치의 움직임이 정상적으로 센싱되지 않을 때에 국한적으로 사용되며, 상기에 따른 연산은 비행체 내 적외선 영상 보정 장치에서 직접 수행하지 않고, 무선 신호 수신 모듈을 통해 서버로 관련 정보를 전송하고 그 결과를 수신받는 것이 바람직하다.
이상 도 1 및 도 2를 참조하여 설명한 본 발명은 조이스틱의 이동량을 적외선 카메라부에도 전달해주는 작업만으로 종래의 불균일 보정 알고리즘을 그대로 적용이 가능하다. 또한 LUT의 구성에 필요한 메모리 용량 외에 추가적인 메모리 사용이 필요하지 않다. 또한 종래의 방법에서 영상의 이동량(displacement)을 산출하는 데에 추가적인 많은 연산량이 소모되었으나, 제안된 방법을 통해 LUT 매칭 외에 별다른 연산이 필요하지 않다.
이상 설명한 본 발명은 적외선 센서를 이용한 감시 정찰 분야에 적용될 수 있다. 구체적으로, 본 발명은 방송 촬영용 비행체 탑재 적외선 카메라 분야, 주/야간 감시용 CCTV 시스템 분야, 조이스틱을 이용한 원격 무인 헬리콥터 영상 촬영 분야 등에 적용될 수 있다.
이상 도 1 및 도 2를 참조하여 설명한 본 발명의 일실시예를 기초로 본 발명의 바람직한 실시예를 구성해본다. 도 3은 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 장치를 개략적으로 도시한 블록도이다.
도 3에 따르면, 적외선 영상 보정 장치(300)는 적외선 영상 획득부(310), 움직임 정보 생성부(320), 이동량 산출부(330), 적외선 영상 보정부(340), 전원부(350) 및 주제어부(360)를 포함한다.
전원부(350)는 적외선 영상 보정 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(360)는 적외선 영상 보정 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.
적외선 영상 획득부(310)는 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 기능을 수행한다.
움직임 정보 생성부(320)는 미리 정해진 제1 시점부터 적외선 영상 획득부(310)에 의해 적외선 영상이 획득되는 제2 시점까지 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 기능을 수행한다.
움직임 정보 생성부(320)는 도 4에 도시된 바와 같이 터치 센싱부(321), 이동 방향 측정부(322) 및 평행 이동량 산출부(323)를 포함할 수 있다. 도 4는 도 3에 도시된 움직임 정보 생성부의 내부 구성을 세부적으로 도시한 블록도이다.
터치 센싱부(321)는 조종 장치에 대한 터치를 센싱하는 기능을 수행한다.
이동 방향 측정부(322)는 조종 장치에 대한 터치가 센싱되면 조종 장치의 이동 방향을 측정하는 기능을 수행한다.
평행 이동량 산출부(323)는 조종 장치의 이동 방향을 기초로 제1 시점에 획득된 적외선 영상에 대한 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 이 평행 이동량을 조종 장치의 움직임 정보로 생성하는 기능을 수행한다.
평행 이동량 산출부(323)는 룩업 테이블(LUT)을 이용하여 조종 장치의 이동 방향을 기초로 평행 이동량을 실시간으로 산출할 수 있다.
평행 이동량 산출부(323)는 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 조종 장치의 이동 방향을 기초로 평행 이동량을 산출할 수 있다.
본 발명에서 제안하는 불균일 보정　방법은 기본적으로　사용자가 조이스틱 등을 통하여 입력하는 이동 방향을 활용하여 수식 계산을 통하지 않고 영상 프레임의 이동량을 산출하는데 그 이점이 있다.
다만, 이　영상 프레임의 이동량은 모든 시스템에 동일할 수가 없고, 시스템의 특징에 의존적으로 변화하게 된다. 즉, 화면 갱신률, 카메라의 FOV, 그리고 짐벌의 구동 각가속도 등의 팩터에 의해 동일한 조이스틱 이동량이 입력된다고 하더라도 프레임 이동량은 달라질 수 있음을 의미한다.
여기서 화면 갱신률은 1초에 몇 프레임의 영상이 출력되는가에 대한 수치이며, 이는　프레임 이동량(displacement)와 반비례 관계에 있다(화면 갱신률이 커질 수록 동일한 조이스틱 이동량의 입력에 대해 실제 픽셀 및 프레임 이동량은 작은 값이 출력된다).
카메라 FOV 역시 Displacement와 반비례 관계에 있다(카메라 FOV가 작을 수록 동일한 조이스틱 이동량 입력에도 큰 프레임 이동량이 출력된다).
짐벌의　구동 각가속도는 displacement와 비례 관계에 놓이게 된다(각가속도가 클수록 동일한 조이스틱 이동량에도 큰 프레임 이동량이 생성된다).
결론적으로 [-1, 1] 범위에서 입력되는 조이스틱의 이동량을 m이라고 설정하면, 이때의 displacement,　D값은 다음의 관계식이 성립된다.
Figure 112014011786417-pat00004
상기에서,　σ(시그마)는 짐벌의 구동 각가속도, h는 화면 갱신률, f는 카메라의 FOV, α(알파)는 비례 상수가 되어 각 팩터들에 대한 단위 보정 및　실험을 통해　보정할 수 있는 파라미터가 된다.
한편 움직임 정보 생성부(320)는 알고리즘 실행부(324)를 더 포함할 수 있다.
알고리즘 실행부(324)는 조종 장치에 대한 터치가 센싱되면 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 조종 장치에 대한 터치가 센싱되지 않으면 알고리즘을 중지시키는 기능을 수행한다.
다시 도 3을 참조하여 설명한다.
이동량 산출부(330)는 움직임 정보 생성부(320)에 의해 생성된 조종 장치의 움직임 정보를 기초로 타겟의 이동량을 산출하는 기능을 수행한다.
적외선 영상 보정부(340)는 이동량 산출부(330)에 의해 산출된 타겟의 이동량을 기초로 적외선 영상을 보정하는 기능을 수행한다.
적외선 영상 보정부(340)는 조종 장치의 움직임 정보가 획득되지 못하면 적외선 영상과 이 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 타겟의 이동량을 기초로 적외선 영상을 보정할 수 있다.
이상 설명한 적외선 영상 보정 장치(300)는 원격 조종되는 무인 비행체에 장착될 수 있다.
다음으로 도 3에서 설명한 적외선 영상 보정 장치(300)의 작동 방법에 대하여 설명한다. 도 5는 본 발명의 바람직한 실시예에 따른 적외선 영상 보정 방법을 개략적으로 도시한 흐름도이다. 이하 설명은 도 3 내지 도 5를 참조한다.
먼저 적외선 영상 획득부(310)가 비행체에서 타겟을 포함하는 적외선 영상을 획득한다(S510).
이후 움직임 정보 생성부(320)가 미리 정해진 제1 시점부터 적외선 영상이 획득되는 제2 시점까지 비행체를 조종하는 조종 장치의 움직임 정보를 생성한다(S520).
S520 단계는 다음과 같이 세분되어 수행될 수 있다.
먼저 터치 센싱부(321)가 조종 장치에 대한 터치를 센싱한다.
조종 장치에 대한 터치가 센싱되면, 알고리즘 실행부(324)가 조종 장치의 움직임 정보를 생성하는 알고리즘을 실행시키며, 미리 정해진 시간동안 조종 장치에 대한 터치가 센싱되지 않으면 알고리즘을 중지시킨다.
이후 이동 방향 측정부(322)가 조종 장치의 이동 방향을 측정한다.
이후 평행 이동량 산출부(323)가 조종 장치의 이동 방향을 기초로 제1 시점에 획득된 적외선 영상에 대한 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 이 평행 이동량을 조종 장치의 움직임 정보로 생성한다.
S520 단계 이후 이동량 산출부(330)가 조종 장치의 움직임 정보를 기초로 타겟의 이동량을 산출한다(S530).
이후 적외선 영상 보정부(340)가 타겟의 이동량을 기초로 적외선 영상을 보정한다(S540).
이후 디스플레이부(미도시)가 적외선 영상이 보정될 때마다 적외선 영상을 조종 장치를 제어하는 자가 확인 가능하도록 표시한다(S550).
이상 설명한 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행될 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 비행체에서 타겟을 포함하는 적외선 영상을 획득하는 단계;
    미리 정해진 제1 시점부터 상기 적외선 영상이 획득되는 제2 시점까지 상기 비행체를 조종하는 조종 장치의 움직임 정보를 생성하는 단계;
    상기 조종 장치의 움직임 정보를 기초로 상기 타겟의 이동량을 산출하는 단계;
    상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 단계; 및
    상기 적외선 영상이 보정될 때마다 상기 적외선 영상을 상기 조종 장치를 제어하는 자가 확인 가능하도록 표시하는 단계
    를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법.
  2. 제 1 항에 있어서,
    상기 움직임 정보를 생성하는 단계는,
    상기 조종 장치에 대한 터치를 센싱하는 단계;
    상기 조종 장치에 대한 터치가 센싱되면 상기 조종 장치의 이동 방향을 측정하는 단계; 및
    상기 조종 장치의 이동 방향을 기초로 상기 제1 시점에 획득된 적외선 영상에 대한 상기 제2 시점에 획득된 적외선 영상의 평행 이동량을 산출하며, 상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계
    를 포함하는 것을 특징으로 하는 적외선 영상 보정 방법.
  3. 삭제
  4. 제 2 항에 있어서,
    상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 룩업 테이블(LUT)을 이용하여 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 실시간으로 산출하는 것을 특징으로 하는 적외선 영상 보정 방법.
  5. 제 2 항에 있어서,
    상기 평행 이동량을 상기 조종 장치의 움직임 정보로 생성하는 단계는 상기 적외선 영상의 화면 갱신률, 적외선 영상 획득부의 FOV(Field Of View), 및 상기 적외선 영상 획득부의 움직임을 제어하는 짐벌(Gimbal)의 회전 각가속도 중 적어도 하나와 상기 조종 장치의 이동 방향을 기초로 상기 평행 이동량을 산출하는 것을 특징으로 하는 적외선 영상 보정 방법.
  6. 제 1 항에 있어서,
    상기 적외선 영상을 보정하는 단계는 상기 조종 장치의 움직임 정보가 획득되지 못하면 상기 적외선 영상과 상기 적외선 영상보다 이전에 획득된 이전 영상을 비교하여 추정한 상기 타겟의 이동량을 기초로 상기 적외선 영상을 보정하는 것을 특징으로 하는 적외선 영상 보정 방법.
  7. 제 1 항에 있어서,
    상기 적외선 영상 보정 방법은 원격 조종되는 무인 비행체를 이용하여 수행되는 것을 특징으로 하는 적외선 영상 보정 방법.
KR1020140013591A 2014-02-06 2014-02-06 적외선 영상 보정 방법 Active KR101418110B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013591A KR101418110B1 (ko) 2014-02-06 2014-02-06 적외선 영상 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013591A KR101418110B1 (ko) 2014-02-06 2014-02-06 적외선 영상 보정 방법

Publications (1)

Publication Number Publication Date
KR101418110B1 true KR101418110B1 (ko) 2014-08-06

Family

ID=51748710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013591A Active KR101418110B1 (ko) 2014-02-06 2014-02-06 적외선 영상 보정 방법

Country Status (1)

Country Link
KR (1) KR101418110B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235663A (ja) * 1992-12-07 1994-08-23 Hughes Aircraft Co 赤外線焦点平面アレイの広いダイナミック範囲の不均一性補償方法および装置
JPH0965208A (ja) * 1995-08-25 1997-03-07 Fujitsu Ltd 赤外線映像装置
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235663A (ja) * 1992-12-07 1994-08-23 Hughes Aircraft Co 赤外線焦点平面アレイの広いダイナミック範囲の不均一性補償方法および装置
JPH0965208A (ja) * 1995-08-25 1997-03-07 Fujitsu Ltd 赤外線映像装置
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US10394107B2 (en) Gimbal control method, gimbal control apparatus, and gimbal
US10771699B2 (en) Systems and methods for rolling shutter correction
JP7161410B2 (ja) シーンにおけるカメラの姿勢を特定するシステム及び方法
US11024082B2 (en) Pass-through display of captured imagery
JP6596745B2 (ja) 対象物体を撮像するシステム
WO2019095453A1 (zh) 一种无人机定点悬停系统和方法
US10969946B2 (en) Methods, devices, and systems for controlling movement of a moving object
EP3674210A1 (en) Movable object control method, device and system
JP2016525842A (ja) カメラ動き予測及び修正のための方法
CA2999697A1 (en) Information processing apparatus, information processing method and program
JP2016110142A (ja) 光センシングに基づくヘッドアップディスプレイ（ｈｕｄ）の調節
US11272105B2 (en) Image stabilization control method, photographing device and mobile platform
KR101407723B1 (ko) 적외선 영상 보정 장치
CN111052726A (zh) 用于自动检测和校正图像中的亮度变化的系统和方法
US11624660B1 (en) Dynamic radiometric thermal imaging compensation
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机
KR101418110B1 (ko) 적외선 영상 보정 방법
JP6422077B2 (ja) 俯瞰画像表示システム、端末装置、及びそのプログラム
CN105262982B (zh) 机器人控制系统
JP6895853B2 (ja) マルチエージェント制御システムおよび方法
WO2018179402A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20250267365A1 (en) High-quality video stabilization specifically for the drone
US20250130304A1 (en) Position estimation system and position estimation method
CN116184812A (zh) 一种信号补偿方法、电子设备及介质
JP7049858B2 (ja) 動体追尾装置及びそのプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20180515

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 13