KR102343348B1 - 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102343348B1
KR102343348B1 KR1020210100133A KR20210100133A KR102343348B1 KR 102343348 B1 KR102343348 B1 KR 102343348B1 KR 1020210100133 A KR1020210100133 A KR 1020210100133A KR 20210100133 A KR20210100133 A KR 20210100133A KR 102343348 B1 KR102343348 B1 KR 102343348B1
Authority
KR
South Korea
Prior art keywords
image data
similarity
infrared image
infrared
tracking target
Prior art date
Application number
KR1020210100133A
Other languages
English (en)
Inventor
전현호
김대환
임현자
김춘호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210100133A priority Critical patent/KR102343348B1/ko
Application granted granted Critical
Publication of KR102343348B1 publication Critical patent/KR102343348B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H04N5/35536—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 위하여, 비행체에 구비된 적외선 영상 센서를 이용하여 상기 적외선 영상 센서의 노출 시간에 기초하여 적외선 영상 데이터를 획득하는 단계와, 시계열에 따라 연속적으로 획득되는 상기 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 상기 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 상기 복수의 이미지 데이터를 정렬하는 단계와, 미리 학습된 딥러닝 네트워크에 상기 복수의 이미지 데이터를 입력하여 상기 복수의 이미지 데이터 사이의 유사도를 분석하는 단계와, 상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경하는 단계를 포함하는, 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 제공한다.

Description

적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램{Method of acquiring infrared image data, apparatus for acquiring infrared image data, and computer program for the method}
본 발명의 실시예들은 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것으로서, 더 상세하게는 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.
딥러닝 네트워크의 학습 성능을 높이기 위해서는 많은 양의 데이터가 요구된다. 가시광 영상의 경우 공개된 데이터들이 많이 존재하고 촬영이 간편하기 때문에 학습 데이터 구축에 어려움이 적다. 그러나 적외선 영상의 경우 상대적으로 공개된 데이터의 양이 적고, 카메라 및 냉각 시스템을 포함한 적외선 촬영 환경 구축에 드는 비용이 크다. 따라서 적외선 영상의 경우 한 장씩 촬영하여 데이터를 모으는 방법보다는 동영상 형태로 촬영하여 딥러닝 네트워크 학습용 데이터 세트를 구축하는 것이 일반적이다.
기존의 적외선 영상 획득 방법에 관련한 기술의 경우, 동적 범위(Dynamic range)를 일정한 값으로 설정하고 적외선 영상 신호를 검출하였다. 이러한 방법은 간편하지만, 적외선 영상 데이터의 프레임 사이의 유사도가 높아 데이터 중복성이 높기 때문에 획득한 데이터 전체를 학습에 활용하지 않고 샘플링하여 사용하게 된다.
그러나 이러한 종래의 적외선 영상 데이터 획득 방법은 획득한 전체 데이터에 비하여 실제 학습에 활용되는 데이터의 수는 적다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 관점에 따르면, 컴퓨팅 장치에 의해 수행되는 적외선 영상 데이터 획득 방법에 있어서, 비행체에 구비된 적외선 영상 센서를 이용하여 상기 적외선 영상 센서의 노출 시간에 기초하여 적외선 영상 데이터를 획득하는 단계와, 시계열에 따라 연속적으로 획득되는 상기 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 상기 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 상기 복수의 이미지 데이터를 정렬하는 단계와, 미리 학습된 딥러닝 네트워크에 상기 복수의 이미지 데이터를 입력하여 상기 복수의 이미지 데이터 사이의 유사도를 분석하는 단계와, 상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경하는 단계를 포함하는, 적외선 영상 데이터 획득 방법이 제공된다.
상기 적외선 영상 데이터를 획득하는 단계는, 상기 노출 시간의 변경에 기초하여 서로 상이한 동적 범위(Dynamic range)를 갖는 상기 복수의 이미지 데이터를 획득하는 단계일 수 있다.
상기 복수의 이미지 데이터를 정렬하는 단계는, 상기 복수의 이미지 데이터에 포함된 표적을 식별하는 단계와, 상기 복수의 이미지 데이터 각각에서 식별된 상기 표적의 위치 변화를 판단하는 단계와, 상기 표적의 상기 위치 변화에 기초하여 상기 복수의 이미지 데이터의 정렬값을 계산하는 단계와, 상기 복수의 이미지 데이터의 상기 정렬값에 기초하여 상기 복수의 이미지 데이터를 정렬하는 단계를 포함할 수 있다.
상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계를 더 포함하고, 상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는, 시계열에 따라 연속적으로 획득되는 제1 이미지 데이터 및 제2 이미지 데이터에 포함된 상기 추적 표적을 식별하는 단계일 수 있다.
상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는, 상기 제1 이미지 데이터의 상기 유사도를 확인하는 단계와, 상기 제1 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하는 단계와, 상기 제2 이미지 데이터의 상기 유사도를 확인하는 단계와, 상기 제2 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하는 단계를 포함할 수 있다.
상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는, 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 확인하는 단계와, 상기 복수의 이미지 데이터의 개수가 미리 결정된 N개에 해당할 때마다 상기 적외선 영상 센서의 노출 시간을 기본 노출 시간으로 변경하여 상기 복수의 이미지 데이터를 획득하는 단계와, 상기 복수의 이미지 데이터에 포함된 상기 추적 표적을 식별하는 단계를 포함할 수 있다.
상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는, 상기 제1 이미지 데이터에 포함된 상기 추적 표적의 식별 여부를 판단하는 단계와, 상기 추적 표적의 식별에 실패한 경우, 상기 제1 이미지 데이터 내에서 식별되는 식별 표적 중 상기 추적 표적과의 유사도가 가장 높은 유사 표적을 검출하는 단계와, 상기 유사 표적을 시계열에 따라 추적하는 단계를 포함할 수 있다.
상기 복수의 이미지 데이터 사이의 유사도를 분석하는 단계는, 상기 복수의 이미지 데이터 각각에 대하여 상기 미리 학습된 딥러닝 네트워크의 특징 맵을 확인하는 단계와, 상기 복수의 이미지 데이터 각각의 상기 특징 맵을 서로 내적하여 유사도 값을 산출하는 단계와, 상기 유사도 값에 기초하여 상기 복수의 이미지 데이터 사이의 유사도를 판단하는 단계를 포함할 수 있다.
상기 노출 시간을 변경하는 단계는, 상기 유사도 값을 확인하는 단계와, 상기 유사도 값이 미리 결정된 임계값 이상에 해당되어 유사도가 높음으로 판단된 경우, 상기 적외선 영상 센서에 대하여 노출 시간 변경 신호를 생성하는 단계와, 상기 노출 시간 변경 신호를 상기 적외선 영상 센서로 송신하는 단계를 포함할 수 있다.
본 발명의 일 관점에 따르면, 컴퓨터를 이용하여 상술한 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램이 제공된다.
본 발명의 일 관점에 따르면, 비행체에 구비되어 노출 시간에 기초하여 적외선 영상 데이터를 획득하는 적외선 영상 센서와, 시계열에 따라 연속적으로 획득되는 상기 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 상기 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 상기 복수의 이미지 데이터를 정렬하고, 미리 학습된 딥러닝 네트워크에 상기 복수의 이미지 데이터를 입력하여 상기 복수의 이미지 데이터 사이의 유사도를 분석하며, 상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경하는 프로세서를 포함하는, 적외선 영상 데이터 획득 장치가 제공된다.
상기 프로세서는, 상기 노출 시간의 변경에 기초하여 서로 상이한 동적 범위(Dynamic range)를 갖는 상기 복수의 이미지 데이터를 획득할 수 있다.
상기 복수의 이미지 데이터는 상기 복수의 이미지 데이터의 정렬값에 기초하여 정렬되고, 상기 정렬값은 상기 복수의 이미지 데이터에 포함된 표적의 위치 변화에 기초하여 계산되고, 상기 위치 변화는 상기 복수의 이미지 데이터 각각에서 식별된 상기 표적에 대하여 판단될 수 있다.
상기 프로세서는, 상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하고, 상기 추적 표적은 시계열에 따라 연속적으로 획득되는 제1 이미지 데이터 및 제2 이미지 데이터에 대하여 식별될 수 있다.
상기 프로세서는, 상기 제1 이미지 데이터의 상기 유사도를 확인하고, 상기 제1 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하며, 상기 제2 이미지 데이터의 상기 유사도를 확인하고, 상기 제2 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별할 수 있다.
상기 프로세서는, 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 확인하고, 상기 복수의 이미지 데이터의 개수가 미리 결정된 N개에 해당할 때마다 상기적외선 영상 센서의 노출 시간을 기본 노출 시간으로 변경하여 상기 복수의 이미지 데이터를 획득하고, 상기 복수의 이미지 데이터에 포함된 상기 추적 표적을 식별할 수 있다.
상기 프로세서는, 상기 제1 이미지 데이터에 포함된 상기 추적 표적의 식별 여부를 판단하고, 상기 추적 표적의 식별에 실패한 경우, 상기 제1 이미지 데이터 내에서 식별되는 식별 표적 중 상기 추적 표적과의 유사도가 가장 높은 유사 표적을 검출하고, 상기 유사 표적을 시계열에 따라 추적할 수 있다.
상기 복수의 이미지 데이터 사이의 유사도는, 상기 복수의 이미지 데이터 사이의 유사도 값에 기초하여 판단되고, 상기 유사도 값은 상기 복수의 이미지 데이터 각각의 상기 미리 학습된 딥러닝 네트워크의 특징 맵을 서로 내적하여 산출될 수 있다.
상기 프로세서는, 상기 유사도 값을 확인하고, 상기 유사도 값이 미리 결정된 임계값 이상에 해당되어 유사도가 높음으로 판단된 경우, 상기 적외선 영상 센서에 대하여 노출 시간 변경 신호를 생성하고, 상기 노출 시간 변경 신호를 상기 적외선 영상 센서로 송신할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 비행체에서 영상 획득시 효과적으로 영상 데이터를 획득할 수 있는 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치의 프로세서 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이다.
도 6 내지 도 8은 본 발명의 또 다른 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명이 이하의 실시예들에 한정되는 것은 아니며, 다양한 형태로 구현될 수 있다.
이하의 실시예에서, 제1 이나 제2 등의 용어는 한정적인 의미가 아니라, 일 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 그리고 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하의 실시예에서, 영역, 구성 요소, 부, 블록 또는 모듈 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈 등이 개재되어 있는 경우도 포함한다. 그리고 영역, 구성 요소, 부, 블록 또는 모듈 등이 연결되었다고 할 때, 영역, 구성 요소, 부, 블록 또는 모듈들이 직접적으로 연결된 경우뿐만 아니라 영역, 구성요소, 부, 블록 또는 모듈들 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈들이 개재되어 간접적으로 연결된 경우도 포함한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치의 구성 및 동작을 설명하기 위한 도면이고, 도 2는 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치의 프로세서 구성을 설명하기 위한 도면이다.
먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치(100)는 메모리(110), 프로세서(120), 통신 모듈(130) 및 적외선 영상 센서(140)를 포함할 수 있다. 하지만 본 발명은 이에 한정되지 않으며, 적외선 영상 데이터 획득 장치(100)는 다른 구성요소를 더 포함할 수도 있고 일부 구성요소가 생략될 수도 있다. 적외선 영상 데이터 획득 장치(100)의 일부 구성요소는 복수의 장치로 분리될 수도 있고, 복수개의 구성요소들이 하나의 장치로 병합될 수도 있다.
메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 적외선 영상 데이터 획득 장치(100)를 제어하기 위한 프로그램 코드 및 미리 학습된 딥러닝 네트워크가 일시적 또는 영구적으로 저장될 수 있다.
프로세서(120)는 적외선 영상 센서(140)로부터 시계열에 따라 연속적으로 획득되는 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 복수의 이미지 데이터를 정렬하고, 미리 학습된 딥러닝 네트워크에 복수의 이미지 데이터를 입력하여 복수의 이미지 데이터 사이의 유사도를 분석하며, 유사도에 기초하여 적외선 영상 센서의 노출 시간을 변경할 수 있다.
통신 모듈(130)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 적외선 영상 데이터 획득 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(130)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(130)을 통해 적외선 영상 데이터 획득 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(130)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠나 파일 등은 영상 데이터 획득 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
또한, 통신 모듈(130)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.
적외선 영상 센서(140)는 적외선 영상 데이터를 획득하는 센서일 수 있다. 또한, 적외선 영상 센서(140)는 비행체에 구비될 수 있다. 이 경우, 적외선 영상 센서(140)는 비행체에 탑재되어 적외선 영상 데이터를 촬영하고, 촬영된 적외선 영상 데이터를 획득할 수 있다. 또한, 적외선 영상 센서(140)는 적외선 영상 획득을 위한 노출 시간이 변경될 수 있다. 예컨대, 노출 시간은 적외선 영상 센서의 적분 시간을 나타낼 수 있다. 또한, 적외선 영상 센서(140)는 노출 시간의 변경에 따라 동적 범위(Dynamic range)가 변조(shifting)될 수 있다. 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는, 노출 시간의 변경에 따라 표적에 대하여 다양한 밝기의 적외선 영상 데이터를 획득할 수 있는 효과가 있다.
또한, 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 입출력 인터페이스를 포함할 수 있다. 입출력 인터페이스는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 적외선 영상 데이터 획득 장치(100)의 프로세서(120)는 메모리(110)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 외부 서버가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스를 통해 디스플레이에 표시될 수 있다.
또한, 다른 실시예들에서 적외선 영상 데이터 획득 장치(100)는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하 도 2를 참조하여 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치(100)의 프로세서(120)의 내부 구성에 대하여 상세히 검토한다. 후술되는 프로세서(120)는 이해의 용이를 위하여 도 1에 도시된 적외선 영상 데이터 획득 장치(100)의 프로세서(120)임을 가정하고 설명한다.
본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치(100)의 프로세서(120)는 이미지 데이터 정렬부(121), 유사도 분석부(122) 및 노출 시간 변경부(123)를 포함한다. 몇몇 실시예에 따라 프로세서(120)의 구성요소들은 선택적으로 프로세서(120)에 포함되거나 제외될 수도 있다. 또한, 몇몇 실시예에 따라 프로세서(120)의 구성요소들은 프로세서(120)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(120) 및 프로세서(120)의 구성요소들은 도 3의 적외선 영상 데이터 획득 방법이 포함하는 단계들(S110 내지 S140)을 수행하도록 적외선 영상 데이터 획득 장치(100)를 제어할 수 있다. 예를 들어, 프로세서(120) 및 프로세서(120)의 구성요소들은 메모리(110)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(120)의 구성요소들은 적외선 영상 데이터 획득 장치(100)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(120)에 의해 수행되는 프로세서(120)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(120)의 내부 구성 및 구체적인 동작에 대해서는 도 3의 적외선 영상 데이터 획득 방법의 순서도를 참조하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이고, 도 4는 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 방법을 설명하기 위한 도면이다. 또한, 도 5는 본 발명의 다른 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이다.
먼저, 도 3을 참조하면, 단계 S110에서, 적외선 영상 데이터 획득 장치(100)는 비행체에 구비된 적외선 영상 센서를 이용하여 적외선 영상 센서의 노출 시간에 기초하여 적외선 영상 데이터를 획득한다.
적외선 영상 데이터 획득 장치(100)는 노출 시간의 변경에 기초하여 서로 상이한 동적 범위(Dynamic range)를 갖는 복수의 이미지 데이터를 획득할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치(100)는 표적에 대하여 다양한 밝기의 적외선 영상 데이터를 획득할 수 있다. 복수의 이미지 데이터는 적외선 영상 데이터에서 프레임 단위로 획득된 이미지 데이터들일 수 있다.
단계 S120에서, 적외선 영상 데이터 획득 장치(100)는 시계열에 따라 연속적으로 획득되는 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 복수의 이미지 데이터를 정렬한다.
예를 들어, 도 4에 도시된 바와 같이, 적외선 영상 데이터 획득 장치(100)는 비행체에 구비된 적외선 영상 센서(140)를 이용하여 비행중 적외선 영상을 촬영할 수 있다. 예컨대, 적외선 영상 데이터 획득 장치(100)는 딥러닝 네트워크 학습용 데이터의 확보를 위해서 데이터를 확보하고자하는 표적에 대하여 비행중 적외선 영상을 촬영할 수 있다. 이 경우, 비행체의 흔들림 또는 진동으로 인하여 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터들은 서로 공간적으로 정렬되지 않을 수 있다. 예컨대, 복수의 이미지 데이터들은 적외선 영상 데이터의 프레임 단위의 연속적인 이미지 데이터들일 수 있다.
적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터들 사이의 유사도를 판단하기에 앞서서, 비행체의 흔들림 또는 진동으로 인한 공간적 비정렬 상태에 대하여 비행체 이동에 따른 영향을 최소화하기 위해 복수의 이미지 데이터들을 정렬할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치(100)는 연속적으로 서로 인접한 이미지 데이터들을 정렬하기 위해서 영상 특징점 매칭, 영상 블록 매칭, 비행체의 자세 정보 변화량을 활용한 영상 매칭, 딥러닝을 활용한 매칭 등 다양한 방법을 이용할 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 적외선 영상 데이터 획득 장치(100)는 연속적으로 서로 인접한 이미지 데이터들을 정렬하기 위해서 하드웨어의 스펙에 따라 실시간성을 보장할 수 있는 다양한 방법들을 이용할 수 있다.
적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터에 포함된 표적을 식별하고, 복수의 이미지 데이터 각각에서 식별된 표적의 위치 변화를 판단하고, 표적의 위치 변화에 기초하여 복수의 이미지 데이터의 정렬값을 계산하고, 복수의 이미지 데이터의 정렬값에 기초하여 복수의 이미지 데이터를 정렬할 수 있다. 예를 들어, 도 4 (a)에 도시된 바와 같이, 시계열에 따라 연속적인 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2)는 표적(t)에 대하여 공간적으로 정렬되지 않을 수 있다.
이 경우, 도 4 (b)에 도시된 바와 같이, 적외선 영상 데이터 획득 장치(100)는 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2)에 포함된 표적(t)을 식별하고, 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2) 각각에서 식별된 표적(t)의 위치 변화를 판단할 수 있다. 예를 들어, 위치 변화는 공간적으로 정렬된 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2) 사이에서 표적(t)의 위치 변화에 따라 거리 데이터로 산출될 수 있다.
또한, 적외선 영상 데이터 획득 장치(100)는 산출된 표적(t)의 위치 변화에 기초하여 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2)의 정렬값을 계산할 수 있다. 예컨대, 정렬값은 산출된 거리 데이터로 가로 x값과 세로 y값을 갖는 데이터일 수 있다.
또한, 적외선 영상 데이터 획득 장치(100)는 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2)의 정렬값에 기초하여 제1 이미지 데이터(i1)와 제2 이미지 데이터(i2)를 정렬할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치(100)는 제1 이미지 데이터(i1)를 기준으로 제2 이미지 데이터(i2)를 정렬값만큼 이동하여 표적(t)의 공간을 정렬시킬 수 있다. 예컨대, 적외선 영상 데이터 획득 장치(100)는 제1 이미지 데이터(i1)를 기준으로 제2 이미지 데이터(i2)를 가로 x값과 세로 y값만큼 이동하여 표적(t)의 공간을 정렬시킬 수 있다.
단계 S130에서, 적외선 영상 데이터 획득 장치(100)는 미리 학습된 딥러닝 네트워크에 복수의 이미지 데이터를 입력하여 복수의 이미지 데이터 사이의 유사도를 분석한다.
도 3 및 도 5를 함께 참조하면, 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는, 단계 S210에서, N+1번째 이미지 데이터를 수신하고, 단계 S220에서, N번째 이미지 데이터와 N+1번째 이미지 데이터를 정렬하고, 단계 S230에서, N번째 이미지 데이터와 N+1번째 이미지 데이터 사이의 유사도를 판단할 수 있다. 예를 들어, 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 실시간으로 입력되는 복수의 이미지 데이터를 수신할 수 있다. 또한, N번째 이미지 데이터의 저장 여부를 결정한 이후, N+1번째 이미지 데이터에 대하여, N+1번째 이미지 데이터의 저장 여부에 대한 판단을 할 수 있다. 이 경우, N번째 이미지 데이터는 적외선 영상 데이터 획득 장치의 버퍼에 저장될 수 있다.
본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터 각각에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵을 확인하고, 복수의 이미지 데이터 각각의 상기 특징 맵을 서로 내적하여 유사도 값을 산출하고, 유사도 값에 기초하여 복수의 이미지 데이터 사이의 유사도를 판단할 수 있다.
본 발명의 일 실시예에 따른 복수의 이미지 데이터 사이의 유사도는, 복수의 이미지 데이터 사이의 유사도 값에 기초하여 판단되고, 유사도 값은 복수의 이미지 데이터 각각의 미리 학습된 딥러닝 네트워크의 특징 맵을 서로 내적하여 산출될 수 있다.
본 발명에 따른 딥러닝 네트워크는 비행체에 구비된 적외선 영상 센서를 이용하여 기존에 획득된 적외선 영상 데이터에 의하여 미리 학습될 수 있다. 예를 들어, 본 발명에 따른 딥러닝 네트워크는 CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 또는 ANN(Artificial Neural Network)일 수 있다. 다만, 본 발명의 딥러닝 네트워크는 상기 예시에 한정되는 것은 아니며, 다양한 형태의 인공 신경망으로 구현될 수 있다.
또한, 본 발명에 따른 미리 학습된 딥러닝 네트워크는 시계열에 따라 연속적으로 획득되는 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 특징을 추출하는 특징 맵(Feature map)을 생성할 수 있다. 예를 들어, 특징 맵은 복수의 이미지 데이터들의 특징을 벡터로 모델링한 데이터일 수 있다. 예컨대, 본 발명에 따른 미리 학습된 딥러닝 네트워크는 합성곱을 이용하여 특징 맵을 생성할 수 있다.
본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터들에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵을 이용하여 유사도를 판단할 수 있다. 구체적으로, 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터를 미리 학습된 딥러닝 네트워크에 각각 입력하여 각각의 특징 맵을 추출할 수 있다. 그리고, 적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터에 대하여 추출된 각각의 특징 맵을 서로 내적하여 유사도를 산출할 수 있다. 예를 들어, 유사도를 계산하기 위해 코사인 유사도(cosine similarity)가 사용될 수 있다. 예를 들어, 벡터 공간(vector space)에 존재하는 두 벡터의 내적을 코사인 값을 이용해서 측정할 수 있고, 측정된 결과값을 이용하여 유사도를 판단할 수 있다. 예컨대, 특징 맵은 이미지 데이터의 각 픽셀들의 정보를 벡터로 모델링한 데이터일 수 있다. 이 경우, 특징 맵의 내적 결과 값이 큰 경우 복수의 이미지 데이터 사이에 유사한 특징이 많은 것을 의미하므로, 복수의 이미지 데이터들이 서로 유사하다고 판단될 수 있다.
단계 S240에서, 본 발명에 따른 적외선 영상 데이터 획득 장치(100)는 N번째 이미지 데이터와 N+1번째 이미지 데이터 사이의 유사도가 미리 결정된 임계값 T 이상인지 여부를 판단할 수 있다. 예를 들어, 유사도는 N번째 이미지 데이터와 N+1번째 이미지 데이터에 대하여 추출된 각각의 특징 맵을 서로 내적하여 산출된 유사도 값일 수 있다.
단계 S140에서, 적외선 영상 데이터 획득 장치(100)는 상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경한다.
본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치(100)는, 복수의 이미지 데이터들 사이의 유사도가 미리 결정된 임계값 T 이상인 경우, 단계 S250에서, N번째 이미지 데이터와 N+1번째 이미지 데이터 사이의 유사도를 높음으로 판단할 수 있다. 그리고, 적외선 영상 데이터 획득 장치(100)는 적외선 영상 센서에 대하여 노출 시간 변경 신호를 생성하고, 생성된 노출 시간 변경 신호를 적외선 영상 센서로 송신하여 적외선 영상 센서의 노출 시간을 변경할 수 있다. 예컨대, 적외선 영상 데이터 획득 장치(100)는 N+1번째 이미지 데이터를 버퍼에 저장할 수 있다.
또한, 적외선 영상 데이터 획득 장치(100)는 복수의 이미지 데이터들 사이의 유사도가 미리 결정된 임계값 T 미만인 경우, 단계 S260에서, N번째 이미지 데이터와 N+1번째 이미지 데이터 사이의 유사도를 낮음으로 판단할 수 있다. 그리고, 적외선 영상 데이터 획득 장치(100)는, 단계 S260에서, N+1번째 이미지 데이터를 저장할 수 있다. 예컨대, 적외선 영상 데이터 획득 장치(100)는 N+1번째 이미지 데이터를 메모리에 저장할 수 있다.
도 6 내지 도 8은 본 발명의 또 다른 실시예에 따른 적외선 영상 데이터 획득 방법을 보여주는 순서도이다.
먼저, 도 6을 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치는 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적할 수 있다.
단계 S310에서, 적외선 영상 데이터 획득 장치는 시계열에 따라 연속적인 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다. 여기서, 제1 이미지 데이터 및 제2 이미지 데이터는 적외선 영상 센서에 의하여 획득되는 적외선 영상 데이터일 수 있다. 이 경우, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 이전 이미지 데이터를 버퍼에 미리 저장할 수 있다.
단계 S320에서, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도를 확인할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵을 확인하고, 미리 저장된 이전 프레임의 이미지 데이터에 대한 특징 맵과, 제1 이미지 데이터의 특징 맵을 서로 내적하여 유사도 값을 산출하고, 유사도 값에 기초하여 제1 이미지 데이터의 유사도를 판단할 수 있다.
단계 S330에서, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도에 기초하여 추적 표적을 식별할 수 있다. 구체적으로, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도 판단에 따라서 추적 표적을 식별할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도가 높음으로 판단된 경우에만 추적 표적을 식별할 수 있다.
단계 S340에서, 적외선 영상 데이터 획득 장치는 제2 이미지 데이터의 유사도를 확인할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제2 이미지 데이터에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵을 확인하고, 제1 이미지 데이터의 특징 맵과, 제2 이미지 데이터의 특징 맵을 서로 내적하여 유사도 값을 산출하고, 유사도 값에 기초하여 제2 이미지 데이터의 유사도를 판단할 수 있다.
단계 S350에서, 적외선 영상 데이터 획득 장치는 제2 이미지 데이터의 유사도에 기초하여 추적 표적을 식별할 수 있다. 구체적으로, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도 판단에 따라서 추적 표적을 식별할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제2 이미지 데이터의 유사도가 높음으로 판단된 경우에만 추적 표적을 식별할 수 있다.
본 발명에 따라 획득되는 영상은 유사도에 기초하여 노출 시간이 변경되므로, 이전 영상 대비 영상의 밝기가 상이하여 안정적인 표적 추적에 어려움을 겪을 수 있다. 따라서, 매 프레임의 이미지 데이터 마다 추적을 수행하지 않고, 유사도가 높은 이미지 데이터가 입력된 경우 표적 추적을 수행하여 표적 추적의 실패를 방지할 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치는 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적할 수 있다.
단계 S410에서, 적외선 영상 데이터 획득 장치는 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 확인할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 카운트하여 버퍼에 저장할 수 있다.
단계 S420에서, 적외선 영상 데이터 획득 장치는 복수의 이미지 데이터의 개수가 미리 결정된 N개에 해당할 때마다 적외선 영상 센서의 노출 시간을 기본 노출 시간으로 변경하여 복수의 이미지 데이터 획득할 수 있다. 예를 들어, 기본 노출 시간은 표적에 대하여 미리 설정된 노출 시간일 수 있다.
단계 S430에서, 적외선 영상 데이터 획득 장치는 복수의 이미지 데이터에 포함된 추적 표적을 식별할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 N개의 이미지 데이터 마다 추적 표적을 식별할 수 있다.
장기간 유사도가 낮은 영상을 입력 받을 경우, 표적 추적에 문제가 발생할 수 있다. 즉, 장기간 유사도가 낮은 영상을 입력 받을 경우 표적을 식별하지 못하여 표적 추적에 문제가 발생할 수 있다. 이 경우, 본 발명에 따른 적외선 영상 데이터 획득 장치는 미리 결정된 N개의 이미지 데이터 마다 기본으로 설정된 노출 시간으로 영상을 획득하여 표적 추적에 실패하는 문제를 방지할 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 데이터 획득 장치는 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적할 수 있다.
단계 S510에서, 적외선 영상 데이터 획득 장치는 시계열에 따라 연속적인 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다. 여기서, 제1 이미지 데이터 및 제2 이미지 데이터는 적외선 영상 센서에 의하여 획득되는 적외선 영상 데이터일 수 있다.
단계 S520에서, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터에 포함된 추적 표적의 식별 여부를 판단할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터의 유사도가 높은 경우에만 추적 표적을 식별할 수 있다. 또한, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터를 정렬하기 위하여 추적 표적의 위치 변화를 산출하고자 할 때 추적 표적의 식별 여부를 판단할 수 있다. 이 경우, 추적 표적의 위치 변화를 산출하지 못하는 경우 추적 표적의 식별에 실패한 것으로 판단될 수 있다.
단계 S530에서, 적외선 영상 데이터 획득 장치는 추적 표적의 식별에 실패한 경우, 제1 이미지 데이터 내에서 식별되는 식별 표적 중 추적 표적과의 유사도가 가장 높은 유사 표적을 검출할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 제1 이미지 데이터 내에서 식별되는 식별 표정들의 특징을 추출하고, 추적 표적과의 특징과 비교하여, 식별 표적 중 추적 표적과의 유사도가 가장 높은 유사 표적을 검출할 수 있다.
단계 S540에서, 적외선 영상 데이터 획득 장치는 유사 표적을 시계열에 따라 추적할 수 있다. 예를 들어, 적외선 영상 데이터 획득 장치는 유사 표적을 제2 이미지 데이터에서 식별할 수 있다.
본 발명에 따르면, 표적 추적에 실패한 경우, 유사도 분석 방법을 이용하여 추적 표적과 가장 유사한 유사 표적을 현재 영상 내에서 검출하고 이를 다음 영상 내에서 검출할 수 있다.
본 발명에 따르면, 연속된 프레임의 이미지 데이터 사이의 유사한 데이터 중복성을 줄임으로써, 더욱 다양한 학습용 적외선 영상 데이터를 확보할 수 있는 효과가 있다. 이는 많은 비용과 시간이 요구되는 비행체 탑재 적외선 영상 획득 시험의 효율을 높일 수 있다. 또한, 딥러닝 네트워크의 측면에서도 다양한 배경 및 표적의 형상을 학습하게 되므로 예측 정확도를 높일 수 있다.
이상에서 설명된 장치 및/또는 시스템은, 하드웨어 구성요소, 소프트웨어 구성요소 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction) 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 적외선 영상 데이터 획득 장치
110: 메모리
120: 프로세서
130: 통신 모듈
140: 적외선 영상 센서

Claims (19)

  1. 비행체에 구비된 적외선 영상 센서를 이용하여 상기 적외선 영상 센서의 노출 시간에 기초하여 적외선 영상 데이터를 획득하는 단계;
    시계열에 따라 연속적으로 획득되는 상기 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 상기 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 상기 복수의 이미지 데이터를 정렬하는 단계;
    미리 학습된 딥러닝 네트워크에 상기 복수의 이미지 데이터를 입력하여 상기 복수의 이미지 데이터 사이의 유사도를 분석하는 단계; 및
    상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경하는 단계를 포함하고,
    상기 복수의 이미지 데이터 사이의 유사도를 분석하는 단계는,
    상기 복수의 이미지 데이터 각각에 대하여 상기 미리 학습된 딥러닝 네트워크의 특징 맵을 확인하는 단계;
    상기 복수의 이미지 데이터 각각의 상기 특징 맵을 서로 내적하여 유사도 값을 산출하는 단계; 및
    상기 유사도 값에 기초하여 상기 복수의 이미지 데이터 사이의 유사도를 판단하는 단계를 포함하는,
    적외선 영상 데이터 획득 방법.
  2. 제1 항에 있어서,
    상기 적외선 영상 데이터를 획득하는 단계는, 상기 노출 시간의 변경에 기초하여 서로 상이한 동적 범위(Dynamic range)를 갖는 상기 복수의 이미지 데이터를 획득하는 단계인, 적외선 영상 데이터 획득 방법.
  3. 제1 항에 있어서,
    상기 복수의 이미지 데이터를 정렬하는 단계는,
    상기 복수의 이미지 데이터에 포함된 표적을 식별하는 단계;
    상기 복수의 이미지 데이터 각각에서 식별된 상기 표적의 위치 변화를 판단하는 단계;
    상기 표적의 상기 위치 변화에 기초하여 상기 복수의 이미지 데이터의 정렬값을 계산하는 단계; 및
    상기 복수의 이미지 데이터의 상기 정렬값에 기초하여 상기 복수의 이미지 데이터를 정렬하는 단계를 포함하는, 적외선 영상 데이터 획득 방법.
  4. 제1 항에 있어서,
    상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계를 더 포함하고,
    상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는,
    시계열에 따라 연속적으로 획득되는 제1 이미지 데이터 및 제2 이미지 데이터에 포함된 상기 추적 표적을 식별하는 단계인, 적외선 영상 데이터 획득 방법.
  5. 제4 항에 있어서,
    상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는,
    상기 제1 이미지 데이터의 상기 유사도를 확인하는 단계;
    상기 제1 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하는 단계;
    상기 제2 이미지 데이터의 상기 유사도를 확인하는 단계; 및
    상기 제2 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하는 단계를 포함하는, 적외선 영상 데이터 획득 방법.
  6. 제4 항에 있어서,
    상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는,
    시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 확인하는 단계;
    상기 복수의 이미지 데이터의 개수가 미리 결정된 N개에 해당할 때마다 상기 적외선 영상 센서의 노출 시간을 기본 노출 시간으로 변경하여 상기 복수의 이미지 데이터를 획득하는 단계; 및
    상기 복수의 이미지 데이터에 포함된 상기 추적 표적을 식별하는 단계를 포함하는, 적외선 영상 데이터 획득 방법.
  7. 제4 항에 있어서,
    상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하는 단계는,
    상기 제1 이미지 데이터에 포함된 상기 추적 표적의 식별 여부를 판단하는 단계;
    상기 추적 표적의 식별에 실패한 경우, 상기 제1 이미지 데이터 내에서 식별되는 식별 표적 중 상기 추적 표적과의 유사도가 가장 높은 유사 표적을 검출하는 단계; 및
    상기 유사 표적을 시계열에 따라 추적하는 단계를 포함하는, 적외선 영상 데이터 획득 방법.
  8. 삭제
  9. 제1 항에 있어서,
    상기 노출 시간을 변경하는 단계는,
    상기 유사도 값을 확인하는 단계;
    상기 유사도 값이 미리 결정된 임계값 이상에 해당되어 유사도가 높음으로 판단된 경우, 상기 적외선 영상 센서에 대하여 노출 시간 변경 신호를 생성하는 단계; 및
    상기 노출 시간 변경 신호를 상기 적외선 영상 센서로 송신하는 단계를 포함하는, 적외선 영상 데이터 획득 방법.
  10. 컴퓨팅 장치를 이용하여 제1 항 내지 제7 항 및 제9 항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.
  11. 비행체에 구비되어 노출 시간에 기초하여 적외선 영상 데이터를 획득하는 적외선 영상 센서; 및
    시계열에 따라 연속적으로 획득되는 상기 적외선 영상 데이터의 복수의 이미지 데이터에 대하여 상기 복수의 이미지 데이터 사이의 영상 매칭을 이용하여 상기 복수의 이미지 데이터를 정렬하고, 미리 학습된 딥러닝 네트워크에 상기 복수의 이미지 데이터를 입력하여 상기 복수의 이미지 데이터 사이의 유사도를 분석하며, 상기 유사도에 기초하여 상기 적외선 영상 센서의 상기 노출 시간을 변경하는 프로세서를 포함하고,
    상기 복수의 이미지 데이터 사이의 유사도는, 상기 복수의 이미지 데이터 사이의 유사도 값에 기초하여 판단되고,
    상기 유사도 값은 상기 복수의 이미지 데이터 각각의 상기 미리 학습된 딥러닝 네트워크의 특징 맵을 서로 내적하여 산출되는,
    적외선 영상 데이터 획득 장치.
  12. 제11 항에 있어서,
    상기 프로세서는, 상기 노출 시간의 변경에 기초하여 서로 상이한 동적 범위(Dynamic range)를 갖는 상기 복수의 이미지 데이터를 획득하는, 적외선 영상 데이터 획득 장치.
  13. 제11 항에 있어서,
    상기 복수의 이미지 데이터는 상기 복수의 이미지 데이터의 정렬값에 기초하여 정렬되고,
    상기 정렬값은 상기 복수의 이미지 데이터에 포함된 표적의 위치 변화에 기초하여 계산되고,
    상기 위치 변화는 상기 복수의 이미지 데이터 각각에서 식별된 상기 표적에 대하여 판단되는, 적외선 영상 데이터 획득 장치.
  14. 제11 항에 있어서,
    상기 프로세서는, 상기 복수의 이미지 데이터에 포함된 추적 표적을 시계열에 따라 추적하고,
    상기 추적 표적은 시계열에 따라 연속적으로 획득되는 제1 이미지 데이터 및 제2 이미지 데이터에 대하여 식별되는, 적외선 영상 데이터 획득 장치.
  15. 제14 항에 있어서,
    상기 프로세서는, 상기 제1 이미지 데이터의 상기 유사도를 확인하고, 상기 제1 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하며, 상기 제2 이미지 데이터의 상기 유사도를 확인하고, 상기 제2 이미지 데이터의 유사도 판단에 따라서 상기 추적 표적을 식별하는, 적외선 영상 데이터 획득 장치.
  16. 제14 항에 있어서,
    상기 프로세서는, 시계열에 따라 연속적으로 획득되는 복수의 이미지 데이터의 개수를 확인하고, 상기 복수의 이미지 데이터의 개수가 미리 결정된 N개에 해당할 때마다 상기적외선 영상 센서의 노출 시간을 기본 노출 시간으로 변경하여 상기 복수의 이미지 데이터를 획득하고, 상기 복수의 이미지 데이터에 포함된 상기 추적 표적을 식별하는, 적외선 영상 데이터 획득 장치.
  17. 제14 항에 있어서,
    상기 프로세서는, 상기 제1 이미지 데이터에 포함된 상기 추적 표적의 식별 여부를 판단하고, 상기 추적 표적의 식별에 실패한 경우, 상기 제1 이미지 데이터 내에서 식별되는 식별 표적 중 상기 추적 표적과의 유사도가 가장 높은 유사 표적을 검출하고, 상기 유사 표적을 시계열에 따라 추적하는, 적외선 영상 데이터 획득 장치.
  18. 삭제
  19. 제11 항에 있어서,
    상기 프로세서는, 상기 유사도 값을 확인하고, 상기 유사도 값이 미리 결정된 임계값 이상에 해당되어 유사도가 높음으로 판단된 경우, 상기 적외선 영상 센서에 대하여 노출 시간 변경 신호를 생성하고, 상기 노출 시간 변경 신호를 상기 적외선 영상 센서로 송신하는, 적외선 영상 데이터 획득 장치.
KR1020210100133A 2021-07-29 2021-07-29 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 KR102343348B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210100133A KR102343348B1 (ko) 2021-07-29 2021-07-29 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210100133A KR102343348B1 (ko) 2021-07-29 2021-07-29 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102343348B1 true KR102343348B1 (ko) 2021-12-24

Family

ID=79176222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210100133A KR102343348B1 (ko) 2021-07-29 2021-07-29 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102343348B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630373A (zh) * 2023-07-19 2023-08-22 江南大学 基于风格重校准和改进孪生网络的红外弱小目标跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824607B1 (ko) * 2017-08-11 2018-03-14 엘아이지넥스원 주식회사 적외선 영상 보정 방법
KR101919847B1 (ko) * 2018-01-18 2018-11-19 주식회사 뷰노 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
KR101939765B1 (ko) * 2018-08-30 2019-01-17 엘아이지넥스원 주식회사 적외선 영상 획득 장치 및 그 방법
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
KR20190108218A (ko) * 2018-03-13 2019-09-24 동국대학교 산학협력단 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법
KR20200140713A (ko) * 2019-06-06 2020-12-16 삼성전자주식회사 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
KR102230797B1 (ko) * 2020-09-23 2021-03-22 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824607B1 (ko) * 2017-08-11 2018-03-14 엘아이지넥스원 주식회사 적외선 영상 보정 방법
KR101919847B1 (ko) * 2018-01-18 2018-11-19 주식회사 뷰노 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
KR20190108218A (ko) * 2018-03-13 2019-09-24 동국대학교 산학협력단 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
KR101939765B1 (ko) * 2018-08-30 2019-01-17 엘아이지넥스원 주식회사 적외선 영상 획득 장치 및 그 방법
KR20200140713A (ko) * 2019-06-06 2020-12-16 삼성전자주식회사 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
KR102230797B1 (ko) * 2020-09-23 2021-03-22 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630373A (zh) * 2023-07-19 2023-08-22 江南大学 基于风格重校准和改进孪生网络的红外弱小目标跟踪方法
CN116630373B (zh) * 2023-07-19 2023-09-22 江南大学 基于风格重校准和改进孪生网络的红外弱小目标跟踪方法

Similar Documents

Publication Publication Date Title
JP6673508B2 (ja) 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Jose et al. Face recognition based surveillance system using facenet and mtcnn on jetson tx2
US9697420B2 (en) Information processing system, information processing method, and computer-readable recording medium
CN105051754B (zh) 用于通过监控系统检测人的方法和装置
US9373174B2 (en) Cloud based video detection and tracking system
US9959651B2 (en) Methods, devices and computer programs for processing images in a system comprising a plurality of cameras
CN110956647B (zh) 基于行为动线模型的视频中对象行为动态追踪系统及方法
CN112183166A (zh) 确定训练样本的方法、装置和电子设备
US20200219269A1 (en) Image processing apparatus and method, and image processing system
US11928813B2 (en) Method and system for detecting change to structure by using drone
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR102343348B1 (ko) 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN113095199B (zh) 一种高速行人识别方法及装置
CN102456127A (zh) 头部姿态估计设备和方法
US11132778B2 (en) Image analysis apparatus, image analysis method, and recording medium
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
CN114170642A (zh) 图像检测的处理方法、装置、设备及存储介质
WO2018037891A1 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体
KR102555845B1 (ko) 지능형 cctv 및 이를 이용하는 감시시스템
KR20230134846A (ko) 멀티스케일 객체탐지 장치 및 방법
KR102301785B1 (ko) 얼굴 연속 인증을 위한 방법 및 장치
KR102302745B1 (ko) 영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN111238829A (zh) 移动状态的确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant