KR20180096101A - 지능형 적외선 대역 영상 융합 장치 및 방법 - Google Patents

Abstract

본 발명은 지능형 적외선 대역 영상 융합 장치 및 방법을 개시한다. 본 발명의 지능형 적외선 대역 영상 융합 장치는, 적어도 하나의 영상을 포함하는 입력 정보를 획득하는 입력부; 미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부; 상기 입력된 영상에 포함된 표적을 검출하는 검출부; 및 상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성하는 융합부를 포함한다. 본 발명에 따르면, 새로운 영상 융합 방법을 통해 객체를 효과적으로 검출할 수 있으므로, 항공 영상, 탐색기 영상, 의료 영상과 같이 실시간성 및 정확성이 요구되는 표적 검출 시스템에 유리하다.

Description

지능형 적외선 대역 영상 융합 장치 및 방법{Apparatus and Method for Intelligent Infrared Image Fusion}

본 발명은 적외선 대역의 영상을 융합하는 장치 및 방법에 관한 것이다.

기존에는 식별하고자 하는 표적의 특성을 부각시키기 위하여 각기 다른 특성을 갖는 복수개의 영상을 융합하여, 표적 영상을 재구성하는 방식을 이용하였다.

또한, 종래에는 영상 중에서 표적 객체만을 부각시키는 것이 아니라, 영상 전체를 융합하는 방식이거나, 또는 표적을 부각시키기 위해서는 별도로 표적을 지정해주는 절차가 필요하였다.

이처럼 사용자가 관심을 갖는 표적 객체에 대한 판단은, 기계가 스스로 해줄 수 없어, 사용자가 별도로 개입을 해야하는 한계가 있었다. 그렇기 때문에 항공 영상 등 많은 객체들이 존재하고 끊임없이 객체 영상이 획득되는 영상의 경우, 종래 기술에 의하면 관심의 대상이 되는 표적이 부각되는 완전히 자동화된 영상을 얻는 것은 불가능하였다.

대한민국등록특허 제1658474호

본 발명에서는 영상에 포함된 중요한 객체인, 식별 대상이 되는 표적을 부각시키기 위한 자동화된 영상 융합을 통해, 자동화된 방식으로 표적을 스스로 판단함에 있어서 표적에 대한 식별력을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 적외선 대역의 영상 융합 장치는, 적어도 하나의 영상을 포함하는 입력 정보를 획득하는 입력부; 미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부; 상기 입력된 영상에 포함된 표적을 검출하는 검출부; 및 상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성하는 융합부를 포함한다.

본 발명에서 상기 영상은 적외선 대역의 영상과, 가시광 대역의 영상을 포함할 수 있다.

본 발명에서 상기 학습부는 미리 마련된 트레이닝 영상들을 저장하는 표적 템플릿 데이터베이스; 및 상기 트레이닝 영상들에 대하여 미리 결정된 특징값들을 기준으로 상기 트레이닝 영상들에 대한 딥러닝을 수행하여 상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성을 결정하는 딥러닝 수행부를 더 포함한다.

본 발명에서 상기 검출부는 상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성값을 이용하여, 상기 입력된 영상에서 관심이 대상이 되는 표적을 검출할 수 있다.

본 발명의 또 다른 목적을 달성하기 위한 적외선 대역의 영상 융합 방법은, 적어도 하나의 영상을 포함하는 입력 정보를 획득하는 단계; 미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부에 의하여 제공되는 상기 표적에 대한 일반화된 특성값을 이용하여, 상기 입력된 영상에 포함된 표적을 검출하는 단계; 및 상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성하는 융합 단계를 포함한다.

본 발명에 따르면 트레이닝 영상으로 부터 획득된 표적의 특징에 대한 일반화된 특성값을 이용하여 입력영상으로 부터 표적을 효과적으로 검출할 수 있고, 이를 이용하여 표적이 강조된 영상을 융합할 수 있다. 이 때문에 본 발명은 높은 프레임율에 따라 영상을 실시간으로 획득하는 항공기, 감시정찰기, 탐색기, 의료장치 분야에서 획득된 영상으로 부터 관심 대상이 되는 표적이 강조된 영상을 재구성에 매우 유리하다.

도 1은 본 발명의 일 실시예에 따른 적외선 대역 영상 융합 장치의 블록도이다.
도 2는 본 발명의 또 다른 일 실시예에 따른 적외선 대역 영상 융합 방법의 흐름도이다.

첨부된 도면들을 참조하여 본 발명을 일 실시예에 따라 상세히 설명한다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 본 발명의 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라 질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.

나아가, 도면들 중 참조번호 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 따라서 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 적외선 대역 영상 융합 장치를 나타내는 블록도이다. 도 1에 도시된 적외선 대역 영상 융합 장치(1)는 학습부(10), 입력부(20), 검출부(30) 및 융합부(40)를 포함한다.

본 실시예의 적외선 대역 영상 융합 장치(1)는 표적 특성을 보다 부각시키기 위하여 각기 다른 특성을 가진 여러 영상을 융합한다. 일반적인 영상 융합 장치와의 차이점은 학습기와 검출기를 포함하는 것이다. 이들의 조합을 통해 자동화된 표적의 융합이 가능하기 때문이다.

또한, 사용자가 관심을 갖는 '표적'에 대한 정의가 필요한데, 만약 기존의 방법에 따라 영상의 모든 객체를 부각시키게 되면 '표적'이 묻히기 때문에 융합의 효과가 없어진다. 따라서, 정확히 '표적' 객체만 부각되도록 융합 할 필요가 있다.

본 실시예에서는 자동화된 영상 융합을 위해 기계가 스스로 표적을 판단하여 융합을 통해 부각시키는 방법을 제안한다. 본 실시예에 따른 적외선 대역 영상 융합 장치는 방위산업 탐색기, 감시정찰 분야, 의료 영상분석 분야에 사용되기 적합하다.

학습부(10)는 미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행한다. 학습부(10)는 표적 템플릿 데이터베이스(12)와, 딥러닝 수행부(14)를 포함할 수 있다.

표적 템플릿 데이터베이스(12)는 학습을 위한 복수의 트레이닝 영상들을 저장한다. 도 1에 도시된 바와 같이 본 실시예에서 표적은 예를 들어, 각종 탱크의 영상들일 수 있다.

표적 템플릿 데이터베이스(12)는 미리 마련된 트레이닝 영상들을 저장한다.

표적 템플릿 데이터베이스(12)는 관심 대상이되는 표적들에 대하여 미리 획득된 다수의 영상들을 저장한 것이다. 영상들은 가시광 영상, 적외선 영상을 포함할 수 있다. 영상에 포함된 표적 객체에 대하여는 미리 식별정보가 부여될 수 있다.

딥러닝 수행부(14)는 미리 결정된 특징값들을 기준으로 상기 트레이닝 영상들에 대한 딥러닝을 수행하여 상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성을 결정한다. 표적 템플릿 데이터베이스(12)에 저장된 상기 트레이닝 영상들에 대한 지도 학습을 수행한다. 지도 학습은 딥러닝 기반으로 수행되며, 일반적인 학습기와 같이 영상 전체에 대한 학습을 수행하는 것이 아니라, 사용자가 관심을 가질 수 있는 일부의 표적 객체에 대하여만 딥러닝을 수행하는 것이 바람직하다.

도 1에 도시된 바와 같이, 딥러닝 수행부(14)는 학습의 결과 표적 객체가 탱크인 경우 "탱크"에 대한 일반화된 특성을 생성한다. 일반적인 학습부는 영상에 대한 학습의 결과로서 픽셀값에 대한 일반화만 수행하나, 본 실시예에서는 픽셀 뿐만 아니라, 온도, 적외선 신호를 포함하는 특성에 따른 일반화를 수행할 수 있다.

본 실시예에서 딥러닝 수행부(14)는 표적의 식별력을 향상시키기 위하여 미리 특성이 지정되는데, 특성은 예를 들어 센서에 따른 온도 분포의 특징, 표적의 크기 및 형태, 표적의 색상, 표적의 움직임 및 이동 특성을 포함할 수 있다.

딥러닝 수행부(14)는 반복적인 학습과 시행착오를 통해 표적의 식별력이 개선되었을 경우의 보상, 오인식되었을 경우의 벌칙의 피드백을 통해, 표적에 대한 인지 성능을 개선시킬 수 있다.

본 실시예에서 딥러닝 수행부에 따른 학습과 일반적인 학습의 차이점은, 트레이닝 영상 전체에 대한 학습이 아니라, 일부의 표적에 대하여만 학습을 수행한다는 것이다. 예를 들어, 표적이 탱크인 경우 탱크에 대한 일반화된 특성을 결정할 수 있다. 보통의 학습이라면, 학습의 결과로서 픽셀값에 대한 일반화가 수행될 수 있겠지만, 본 발명에서는 픽셀값 뿐만 아니라, 온도, 적외선 신호를 포함하는 성분들(특징값)에 대한 일반화를 통해 일반화된 특성을 결정할 수 있다.

입력부(20)는 표적을 검출/융합하고자 하는 적어도 하나의 영상을 포함하는 입력 정보를 입력 받는다. 여기에서 영상은 적외선 카메라로 획득된 적외선 영상과, 일반 카메라로 획득된 가시광 영상을 포함할 수 있다.

또한, 온도에 대한 분포특성을 알 수 있는 열영상을 더욱 포함할 수 있다. 입력 정보는 영상이 획득되는 시간, 공간, 온도, 운동량, 운동방향을 포함하는 환경 정보를 더욱 포함할 수 있다.

검출부(30)는 상기 입력된 영상에 포함된 표적을 검출한다. 검출부(30)는 상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성값을 이용하여, 상기 입력된 영상에서 관심이 대상이 되는 표적을 검출할 수 있다.

보다 구체적으로, 검출부(30)는 학습부(10)로부터 표적과 관련된 일반화된 특성값을 전달 받는다. 검출기는 획득된 입력 영상을 트레이닝 영상과 블록 매칭(Block Matching)을 수행하되, 입력 영상에 포함되는 표적 객체를 중심으로 매칭함으로써 표적을 정확하게 검출할 수 있다. 전경에 해당할 수 있는 객체의 경우, 배경에 비하여 높은 유사도를 보일 수 있으므로, 이를 이용하여 전방에 위치한 표적 객체를 용이하게 검출할 수 있다.

일반적인 검출부와의 차별점은, 일반적인 영상 검출 장치는 입력 영상에서 픽셀값을 기반으로 객체를 검출하지만, 본 실시에의 검출부(30)는 픽셀값은 물론, 온도와 적외선 신호를 고려하여 표적을 검출한다는 점에서 구별될 수 있다. 이를 통해 획득된 영상에서 배경과 구별되며, 또한 데이터베이스에 저장된 표적에 해당하는 객체 영상이 획득되었을 경우 이에 대한 검출의 정확성을 향상시킬 수 있다.

검출부(30)에 의하여 수행된 검출 결과, 도 1에 도시된 바와 같이 주파수 대역별로 다른 객체 검출 결과를 보일 수 있다. 또한, 검출부는 센서 종류에 따라 다른 객체 검출 결과를 갖는 영상을 출력할 수 있다. 이러한 검출 결과는 다시 학습부(10)에 피드백되고, 학습부(10)는 검출의 정확성을 향상시키기 위한 학습을 다시 수행한다.

융합부(40)는 상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성한다. 특히 융합부(40)는 대역별로 객체가 다르게 검출된 영상을 입력 받고, 입력된 영상을 이용하여 융합 영상을 생성한다. 검출부(30)에서 전달되는 영상에는 표적에 대한 경계가 구별되는데, 융합부(40)는 검출부(30)에서 제공하는 표적에 대한 검출 결과를 이용하여 영상을 융합한다.

본 실시예에서 융합부(40)는 검출부(30)에서 전달되는 영상을 융합하되, 배경 영역으로 부터 표적 영역이 잘 구별되는 방향으로 영상을 융합한다. 또한, 융합부(40)는 융합 알고리즘을 수행할 수 있는데, 학습부(10)로부터 표적의 특성이 잘 드러나도록 특성값들의 가중치를 적응적으로 조절함으로써, 각 센서에 따라 획득되는 영상에 다른 가중치를 부여하는 방식으로 영상 융합을 수행할 수 있다.

도 2는 본 발명의 또 다른 일 실시예에 따른 지능형 적외선 대역 영상 융합 방법을 나타내는 흐름도이다. 도 2에 도시된 영상 융합 방법은, 도 1의 영상 융합 장치(10)에서 시계열적으로 수행되는 하기의 단계들을 포함할 수 있다. 도 1과 관련되어 중복된 설명은 이하 생략한다.

S110단계에서, 학습부(10)는 트레레닝 영상들에 대한 학습을 수행한다. 특히, 학습부(10)는 트레이닝 표적의 일부에 대한 딥러닝을 수행하되, 픽셀, 적외선, 온도 등의 특성값을 이용한 학습을 통해, 표적에 대한 일반화된 특성값을 미리 생성한다.

S120단계에서, 입력부(20)는 가시광 카메라(미도시), 적외선 카메라(미도시)를 통해 획득된 영상들을 입력 받는다. 또한, 입력부(20)는 영상 뿐만 아니라, 각종 센서를 통해서 획득되는 환경 정보를 입력 정보로서 더욱 획득할 수 있다.

S130단계에서, 검출부(30)는 미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부에 의하여 제공되는 상기 표적에 대한 일반화된 특성값을 이용하여, 상기 입력된 영상에 포함된 표적을 검출한다.

S140단계에서, 융합부(40)는 상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성한다.

상술한 본 발명의 영상 융합 장치 및 방법은 미리 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로 프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.

본 발명의 또 다른 일 실시예로서, 본 발명은 상술한 지능형 적외선 영상 융합 방법을 컴퓨터에서 수행하기 위하여 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 영상 융합 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시 스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게추론될 수 있을 것이다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

1. 적어도 하나의 영상을 포함하는 입력 정보를 획득하는 입력부;
   미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부;
   상기 입력된 영상에 포함된 표적을 검출하는 검출부; 및
   상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성하는 융합부를 포함하는 영상 융합 장치.
2. 제1항에 있어서,
   상기 영상은 적외선 대역의 영상과, 가시광 대역의 영상을 포함하는 것을 특징으로 하는 영상 융합 장치.
3. 제1항에 있어서, 상기 학습부는
   미리 마련된 트레이닝 영상들을 저장하는 표적 템플릿 데이터베이스; 및
   상기 트레이닝 영상들에 대하여 미리 결정된 특징값들을 기준으로 상기 트레이닝 영상들에 대한 딥러닝을 수행하여 상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성값을 결정하는 딥러닝 수행부를 더 포함하는 것을 특징으로 하는 영상 융합 장치.
4. 제3항에 있어서, 상기 검출부는
   상기 트레이닝 영상들에 포함된 표적에 대한 일반화된 특성값을 이용하여,
   상기 입력된 영상에서 관심이 대상이 되는 표적을 검출하는 것을 특징으로 하는 영상 융합 장치.
5. 적어도 하나의 영상을 포함하는 입력 정보를 획득하는 단계;
   미리 마련된 트레이닝 영상들을 이용하여 관심 대상이 되는 표적에 대한 특징 분석을 수행하는 학습부에 의하여 제공되는 상기 표적에 대한 일반화된 특성값을 이용하여, 상기 입력된 영상에 포함된 표적을 검출하는 단계; 및
   상기 영상에 포함된 표적이 강조되도록 상기 영상을 재구성하는 융합 단계를 포함하는 영상 융합 방법.

Images