KR102086067B1 - 융합 영상 생성장치 및 방법 - Google Patents

융합 영상 생성장치 및 방법 Download PDF

Info

Publication number
KR102086067B1
KR102086067B1 KR1020190050167A KR20190050167A KR102086067B1 KR 102086067 B1 KR102086067 B1 KR 102086067B1 KR 1020190050167 A KR1020190050167 A KR 1020190050167A KR 20190050167 A KR20190050167 A KR 20190050167A KR 102086067 B1 KR102086067 B1 KR 102086067B1
Authority
KR
South Korea
Prior art keywords
feature
image
feature block
target
fusion
Prior art date
Application number
KR1020190050167A
Other languages
English (en)
Inventor
장현성
하남구
이승하
박성순
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020190050167A priority Critical patent/KR102086067B1/ko
Application granted granted Critical
Publication of KR102086067B1 publication Critical patent/KR102086067B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 융합 영상 생성장치는, 서로 다른 파장 대역의 제1 영상 및 제2 영상을 획득하는 영상 획득부, 상기 영상 획득부로부터 획득된 제1 영상 및 제2 영상을 전달 받는 입력부, 상기 제1 영상 및 제2 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제1 영상에 대한 제1 특징 블록 및 상기 제2 영상에 대한 제2 특징 블록을 생성하는 특징 블록 생성부, 검출하고자 하는 표적을 부각시키기 위해 상기 특징 블록 생성부에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 융합하는 특징 블록 융합부 및 상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 융합 영상을 출력하는 출력부를 포함할 수 있다.

Description

융합 영상 생성장치 및 방법 {Apparatus and method for generating fusion image}
본 발명은 융합 영상 생성장치 및 방법에 관한 것이다. 본 발명의 융합 영상 생성장치 및 방법은 탐색기 및 전자광학 감시정찰 시스템에 적용될 수 있다.
표적에 대한 영상을 수집 및 활용하기 위해, 영상에서 표적 특성을 보다 부각시키기 위해서 각기 다른 특성을 가진 여러 영상을 융합시켜야 할 필요가 있다. 만약, 영상의 모든 객체를 부각시키게 되면 표적이 묻히기 때문에 융합의 효과가 사라지게 된다. 따라서, 정확히 표적 객체만 부각되도록 융합해야 한다.
종래의 융합기술은 영상 전체를 융합하는 방식을 이용하거나, 사람이 직접 표적을 지정하여, 지정된 표적을 부각시키는 융합방법을 이용하여 왔다. 즉, 종래에는 융합 영상에서 사용자가 분석하고자 하는 표적 객체에 대한 판단은 기계가 스스로 할 수 없어 사람이 직접 지정해주어야 했고, 이에 따라 항공영상 등 많은 객체가 존재하고 끊임없이 획득되는 영상에 대해 표적만이 부각된 자동화된 융합이 불가능했다.
또한, 융합을 위해 SVD나 역행렬 등 복잡한 연산으로 인한 시간소모로 인해 실시간 융합이 어려운 단점이 있다. 또한, 추정을 기반으로 사람이 만들어낸 융합식은 일부 조건에서만 효과적일 수 있으므로, 상기 융합식은 모든 상황에서 잘 적용되지 않는다. 따라서 실세계의 복잡한 상황을 모두 고려하는데 한계가 있었다.
한국 공개 특허 제10-2017-0112857호 (공개)
상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 융합 영상 생성장치 및 방법은 추적하고자 하는 표적만이 부각되는 자동화된 융합 영상 생성장치 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 융합 영상 생성장치는, 서로 다른 파장 대역의 제1 영상 및 제2 영상을 획득하는 영상 획득부, 상기 영상 획득부로부터 획득된 제1 영상 및 제2 영상을 전달 받는 입력부, 상기 제1 영상 및 제2 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제1 영상에 대한 제1 특징 블록 및 상기 제2 영상에 대한 제2 특징 블록을 생성하는 특징 블록 생성부, 검출하고자 하는 표적을 부각시키기 위해 상기 특징 블록 생성부에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 융합하는 특징 블록 융합부 및 상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 융합 영상을 출력하는 출력부를 포함할 수 있다.
또한, 상기 특징 블록 생성부는, 컨볼루션 레이어를 이용하여 상기 제1 영상에 대하여 컨볼루션 연산함에 따라 배경 영역이 제외된 상기 표적의 영역만을 남기기 위한 상기 제1 특징 블록을 생성하는 제1 특징 블록 생성부 및 컨볼루션 레이어를 이용하여 상기 제2 영상에 대하여 컨볼루션 연산함에 따라 상기 배경 영역과 상기 표적의 영역을 모두 보존하되, 상기 표적에 대하여 가시성을 향상시키기 위한 상기 제2 특징 블록을 생성하는 제2 특징 블록 생성부를 포함할 수 있다.
또한, 상기 제1 특징 블록 생성부 또는 제2 특징 블록 생성부는, ⅰ) 상기 제1 영상 또는 제2 영상에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 특징 맵을 생성하는 컨볼루션 필터; ⅱ) 상기 생성된 컨볼루션 특징 맵을 미리 정해진 함수에 따라 매핑하는 활성화 함수 매핑부; 및 ⅲ) 상기 미리 정해진 함수에 따라 매핑된 상기 컨볼루션 특징 맵의 크기를 리사이징(resizing)하는 풀링 레이어를 포함할 수 있다.
또한, 상기 특징 블록 생성부는, 상기 제1 특징 블록을 생성하기 위해 상기 제1 영상을 인코딩하여 제1 대상 특징 맵을 생성하고, 상기 제2 특징 블록을 생성하기 위해 상기 제2 영상을 인코딩하여 제2 대상 특징 맵을 생성할 수 있고, 상기 제1 대상 특징 맵 또는 상기 제2 대상 특징 맵은, 색상 모델(RGB), 색 온도(color temperature), 및 적외선 파장을 기준으로 각각 추출되는 특징벡터 값들을 포함하는 서로 다른 특징정보들을 포함할 수 있다.
또한, 상기 특징 블록 융합부는, 상기 특징 블록 생성부에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 융합하기 위하여 수행되는 텐서곱(tensor product)을 위한 인코딩을 수행하는 인코딩부 및 상기 인코딩된 제1 특징 블록 및 제2 특징 블록을 이용하여 융합 연산을 통해 융합함으로써 융합 특징 블록을 생성하는 융합 처리부를 더 포함할 수 있다.
또한, 상기 특징 블록 생성부에 의해 생성된 상기 제1 특징 블록 또는 제2 특징 블록을 기반으로 검출함에 따라 상기 검출하고자 하는 표적의 검출여부를 판단하는 검출부를 더 포함할 수 있다.
또한, 상기 검출부는, 상기 제1 특징 블록 또는 제2 특징 블록을 검출하여 판단된 상기 표적의 검출여부에 따라, 상기 표적이 검출되지 아니하면 이후 동작진행을 중단시킬 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 융합 영상 생성방법은, 서로 다른 파장 대역의 제1 영상 및 제2 영상을 획득하는 단계, 상기 영상 획득부로부터 획득된 제1 영상 및 제2 영상을 전달 받는 단계, 상기 제1 영상 및 제2 영상을 컨볼루션 연산함에 따라 필터링하여 상기 제1 영상에 대한 제1 특징 블록 및 상기 제2 영상에 대한 제2 특징 블록을 생성하는 단계, 검출하고자 하는 표적을 부각시키기 위해 상기 특징 블록 생성부에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 융합하는 단계 및 상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 융합 영상을 출력하는 단계를 포함할 수 있다.
또한, 상기 제1 특징 블록 및 제2 특징 블록을 생성하는 단계는, 컨볼루션 레이어를 이용하여 상기 제1 영상에 대하여 컨볼루션 연산함에 따라 배경 영역이 제외된 상기 표적의 영역만을 남기기 위한 상기 제1 특징 블록을 생성하는 단계 및 컨볼루션 레이어를 이용하여 상기 제2 영상에 대하여 컨볼루션 연산함에 따라 상기 배경 영역과 상기 표적의 영역을 모두 보존하되, 상기 표적에 대하여 가시성을 향상시키기 위한 상기 제2 특징 블록을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 제1 특징 블록 및 제2 특징 블록을 생성하는 단계는, 상기 제1 특징 블록을 생성하기 위해 상기 제1 영상을 인코딩하여 제1 대상 특징 맵을 생성하는 단계, 및 상기 제2 특징 블록을 생성하기 위해 상기 제2 영상을 인코딩하여 제2 대상 특징 맵을 생성하는 단계를 더 포함할 수 있고, 상기 제1 대상 특징 맵 또는 상기 제2 대상 특징 맵은, 색상 모델(RGB), 색 온도(color temperature), 및 적외선 파장을 기준으로 각각 추출되는 특징벡터 값들을 포함하는 서로 다른 특징정보들을 포함할 수 있다.
본 발명의 실시예에 따른 융합 영상 생성장치 및 방법은 표적만을 두드러지게 표현한 영상을 융합에 사용함으로써, 표적이 부각된 융합 영상을 생성할 수 있어, 이를 통해 표적을 용이하게 탐지, 식별, 및 추적 할 수 있는 효과가 있다.
또한, 영상의 픽셀뿐만 아니라 온도 및 적외선 신호를 함께 사용하여 딥러닝 융합 네트워크를 구성함으로써 더욱 신뢰성 있는 표적 특징을 생성할 수 있다. 즉, 영상밝기가 변경되어 영상 일부가 사라지더라도 온도나 적외선 신호성분이 표적 특징을 나타낼 수 있게 되어, 표적이 부각된 영상으로 변환하는데 효과적이다.
도1은 본 발명의 일 실시예에 따른 융합 영상 생성장치의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 실시예에 따라 획득되는 영상들을 나타낸 예시도이다.
도3은 본 발명의 일 실시예에 따른 특징 블록 생성부의 제1 특징 블록 생성부 또는 제2 특징 블록 생성부가 수행하는 동작에 대하여 설명하기 위해 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 특징 블록 융합부가 수행하는 동작을 설명하기 위해 도시한 참고도이다.
도5는 학습된 네트워크를 통해 입력 영상들을 융합하여 융합 영상을 생성하는 융합 영상 생성장치의 구성을 개략적으로 도시한 블록도이다.
도6은 본 발명의 특징 블록 생성부의 구성을 개략적으로 나타낸 참고도이다.
도7은 본 발명의 일 실시예에 따른 융합 영상 생성방법을 시간의 흐름에 따라 도시한 흐름도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
이하에서는 본 발명의 실시예에 따른 융합 영상 생성장치의 구성을 관련된 도면을 참조하여 상세히 설명한다. 본 발명의 실시예에 따른 융합 영상 생성장치는 표적만을 융합에 사용함으로써 표적을 두드러지게 표현하는 융합 영상을 생성할 수 있다.
도1은 본 발명의 일 실시예에 따른 융합 영상 생성장치의 구성을 개략적으로 도시한 블록도이다. 보다 구체적으로는, 도1은 상술한 바와 같은 표적을 두드러지게 표현하는 우수한 성능의 융합 영상을 생성시키기 위해 융합 영상 생성장치의 학습 단계에서의 구성을 나타낸 것이다. 이와 같은 본 발명의 융합 영상 생성장치는 탐색기에 적용될 수 있으며, 탐색기에 탑재하여 실시간으로 입력 받는 영상을 이용하여 표적을 두드러지게 표현하는 융합 영상을 생성함에 따라 표적을 보다 잘 검출 및 탐색할 수 있도록 학습 영상을 기반으로 미리 학습할 수 있다.
도1을 참고하면, 본 발명의 실시예에 따른 학습단계에서의 융합 영상 생성장치(100)는 입력부(110), 특징 블록 생성부(120), 특징 블록 융합부(130), 손실 값 계산부(140)를 포함하여 구성될 수 있다. 본 발명의 또 다른 실시예에 의한 학습 단계에서의 융합 영상 생성장치(100)는 출력부(150)를 더욱 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 입력부(110)는 서로 다른 파장 대역의 제1 영상들 및 제2 영상들을 입력 받을 수 있다. 여기서, 상기 제1 영상들과 제2 영상들 은 동일 객체에 대한 영상이지만, 서로 다른 파장 대역에서 획득된 영상들이며, 제1 영상들 및 제2 영상들 각각은 동일한 객체에 대한 영상이되, 서로 다른 센서로부터 획득된 영상들일 수 있다. 예를 들어, 제1 영상들 및 제2 영상들은 일반 카메라로 획득된 가시광 영상(RGB 영상), 적외선 카메라로 획득된 적외선 영상, 및 열화상 카메라로 획득된 열 영상으로 구성된 3장의 영상들을 각각 포함할 수 있다. 즉, 제1 영상들은 제1 파장 대역에서 획득된 가시광 영상, 적외선 영상 및 열화상 영상을 포함하고, 제2 영상들은 제2 파장 대역에서 획득된 가시광 영상, 적외선 영상 및 열화상 영상을 포함한다.
도2는 본 발명의 실시예에 따라 획득되는 영상들을 나타낸 예시도이다.
예컨대, 본 발명의 입력부(110)는 외부의 영상 획득장치들로부터 획득된 영상들을 입력 받을 수 있고, 상기 영상 획득장치는 RGB 카메라(예를 들어, CCD 카메라, 적외선 카메라, 열화상 카메라(예를 들어, LWIR 카메라) 등으로 구현될 수 있다. 도1의 입력부(110)가 입력 받는 영상은 학습 영상이다.
또한, 입력부(110)는 입력되는 입력 영상들과 함께 상기 입력 영상이 획득된 시간, 공간, 온도, 운동량, 운동방향을 포함하는 환경 정보를 더욱 포함할 수 있다.
또한, 도1에서의 융합 영상 생성장치(100)는 입력부 대신 영상 데이터베이스(DB)로 구현되어, 미리 획득된 영상들이 저장되어 있고, 특징 블록 생성부(120)는 상기 영상 데이터베이스에 저장된 영상들을 이용하여 융합 영상 생성장치(100)를 학습시키는 것일 수 있다. 이하, 학습단계에서의 융합 영상 생성장치는 입력부(110)를 포함하여 동작을 수행하는 것으로 예시하여 설명한다.
이때, 입력부(110)로 입력되는 제1 영상 및 제2 영상은 하나의 동일영상에 대해 픽셀, 온도, 적외선 신호에 대한 정보를 포함하고 있을 수 있다.
본 발명의 실시예에 따른 특징 블록 생성부(120)는 서로 다른 파장 대역의 제1 영상 및 제2 영상을 컨볼루션(convolution) 연산함에 따라 필터링하여 제1 영상에 대한 제1 특징 블록 및 제2 영상에 대한 제2 특징 블록을 생성할 수 있다.
본 실시예에서 특징 블록 생성부(120)는 표적의 식별력을 향상시키기 위하여 미리 특성이 지정되는데, 특성은 예를 들어 센서에 따른 온도 분포의 특징, 표적의 크기 및 형태, 표적의 색상, 표적의 움직임 및 이동 특성을 포함할 수 있다.
특징 블록 생성부(120)는 반복적인 학습과 시행착오를 통해 표적의 식별력이 개선되었을 경우와, 오인식 되었을 경우에 따른 피드백을 통해, 표적에 대한 인지 성능을 개선시킬 수 있다.
본 실시예에서 특징 블록 생성부(120)에 따른 학습과 일반적인 학습의 차이점은, 학습 영상 전체에 대한 학습이 아니라, 일부의 표적에 대하여만 학습을 수행한다는 것이다. 예를 들어, 표적이 탱크인 경우 탱크에 대한 일반화된 특성을 결정할 수 있다. 보통의 학습이라면, 학습의 결과로서 픽셀값에 대한 일반화가 수행될 수 있겠지만, 본 발명에서는 픽셀값뿐만 아니라, 온도, 적외선 신호를 포함하는 성분들(특징값)에 대한 일반화를 통해 일반화된 특성을 결정할 수 있다. 여기서, 상기 온도란 열화상 영상에서의 각 지점에 대한 표면 온도값을 의미한다.
특징 블록 생성부(120)는 제1 특징 블록 생성부 및 제2 특징 블록 생성부를 더 포함할 수 있다.
본 발명의 실시예에 따른 제1 특징 블록 생성부는 컨볼루션 레이어를 이용하여 제1 영상에 대하여 컨볼루션 연산함에 따라 배경 영역이 제외된 표적의 영역만을 남기기 위한 제1 특징 블록을 생성할 수 있고, 제2 특징 블록 생성부는 컨볼루션 레이어를 이용하여 제2 영상에 대하여 컨볼루션 연산함에 따라 배경 영역과 표적이 위치하는 표적 영역을 모두 보존하되, 표적에 대한 가시성을 향상시키기 위한 제2 특징 블록을 생성할 수 있다.
여기서, 본 발명의 특징 블록 생성부는 상기 입력부(110)로부터 입력된 영상에 대한 특징 블록을 생성하기 위하여 먼저 특징 맵을 생성하는 인코딩을 수행할 수 있다. 즉, 제1 특징 블록 생성부는 제1 영상들을 기반으로 제1 대상 특징 맵을 생성하고, 제2 특징 블록 생성부는 제2 영상들을 기반으로 제2 대상 특징 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 제1 대상 특징 맵과 제2 대상 특징 맵은 색상 모델(RGB), 표면 온도(surface temperature), 및 적외선 파장을 기준으로 하여 각각 추출되는 특징벡터 값들로 이루어진 특징정보(예를 들어, 특징행렬)를 포함할 수 있다.
보다 구체적인 실시예로는, 제1 대상 특징 맵과 제2 대상 특징 맵은 색상 모델 중 Red를 기준으로 하는 특징 맵, Green을 기준으로 하는 특징 맵, Blue를 기준으로 하는 특징 맵, 표면 온도를 기준으로 하는 특징 맵, 적외선 파장신호를 기준으로 하는 특징 맵, 이렇게 5개의 특징 맵을 각각 포함할 수 있다. 예컨대, 본 발명의 제1 대상 특징 맵과 제2 대상 특징 맵은 5 X 480 X 640의 크기로 마련될 수 있다. 이는 480 X 640 크기의 영상과 5개의 특징 맵이 합쳐진 크기임을 의미한다. 그러나, 본 발명의 제1 대상 특징 맵과 제2 대상 특징 맵의 크기는 이에 한정되지 않고, 획득되는 영상의 크기 및 환경에 따라 달라질 수 있다.
도3은 본 발명의 일 실시예에 따른 특징 블록 생성부의 제1 특징 블록 생성부 또는 제2 특징 블록 생성부가 수행하는 동작에 대하여 설명하기 위해 도시한 도면이다. 본 발명에서 제1 특징 블록 생성부와 제2 특징 블록 생성부의 동작수행 단계는 실질적으로 동일할 수 있다. 이해의 편의를 위해 이하에서는 제1 특징 블록 생성부가 제1 특징 블록을 생성하는 것으로 예시하여 설명한다.
도3의 (a)는 상기 5 X 480 X 640의 크기인 제1 특징 블록을 컨볼루션 연산을 통해 필터링 하기 위한 컨볼루션 필터들(200)이다. 본 발명의 일 실시예에 따른 특징 블록 생성부는 복수개의 컨볼루션 필터를 이용하여 상기 제1 특징 블록을 컨볼루션 연산할 수 있다. 예컨대, 본 발명의 특징 블록 생성부는 16개(202 내지 208)의 컨볼루션 필터들을 이용하여, 도2의 (b)와 같이 제1 특징 블록에 컨볼루션 연산을 수행할 수 있다. 이때, 본 발명의 컨볼루션 필터 각각은 제1 특징 블록의 크기를 고려한 5 X 3 X 3 크기로 구현될 수 있다.
도3의 (c)는 16개의 컨볼루션 필터들(200)과 제1 특징 블록의 컨볼루션 연산을 통해 생성된 16개의 컨볼루션 변환된 특징 맵(220)들을 나타낸 것이다. 도3의 (d)는 이와 같은 16개의 컨볼루션 변환된 특징 맵(220)들이 결합된 하나의 제1 특징 블록을 나타낸 것이다. 일 실시예에 따른 제1 특징 블록의 크기는 16 X 480 X 640일 수 있다.
다시 도1을 참조하면, 특징 블록 생성부(120)는 전술한 바와 같은 동작을 통해 제1 특징 블록 및 제2 특징 블록을 생성할 수 있다. 보다 구체적으로는, 특징 블록 생성부(120)는 영상 내 배경영역은 사라지고, 검출하고자 하는 표적의 영역만이 남겨진 제1 특징 블록과, 영상 내 배경영역과 표적의 영역이 모두 남아있지만, 원 영상에 비해 가시성이 비교적 향상된 제2 특징 블록을 생성할 수 있다.
그리고, 본 발명의 실시예에 따른 특징 블록 융합부(130)는 이렇게 생성된 제1 특징 블록 및 제2 특징 블록을 융합할 수 있다.
도4는 본 발명의 일 실시예에 따른 특징 블록 융합부가 수행하는 동작을 설명하기 위해 도시한 참고도이다. 본 발명의 실시예에 따른 특징 블록 융합부는 인코딩부 및 융합 처리부를 더 포함하여 구성될 수 있다.
도4의 참조번호 310은 인코딩부의 동작을 개략적으로 나타낸 것이다. 본 발명의 실시예에 따른 인코딩부는 특징 블록 생성부에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 융합하기 위하여 수행되는 텐서곱(tensor product)을 위한 인코딩을 수행할 수 있다.
일 실시예에 따른 인코딩부는 16 X 3 X 3의 커널(kernel)을 이용하여 16 X 480 X 640 인코딩 특징 맵을 생성할 수 있다. 인코딩부는 이와 같은 동작을 3번 수행함에 따라 최종 인코딩 특징 맵(311, 312)을 생성한다.
그리고, 본 발명의 융합 처리부는 참조번호 320과 같이, 상기 인코딩부에 의해 인코딩된 두 개의 인코딩 특징 맵(311, 312)을 이용하여 융합 연산을 통해 두 특징 맵을 융합함으로써 융합 특징 블록을 생성할 수 있다. 일 실시예에 따른 융합 연산은 상기 인코딩된 두 개의 인코딩 특징 맵을 병합(concatenate)하는 연산을 통해 수행될 수 있다.
예컨대, 융합 처리부는 상기 16 X 480 X 640 크기의 인코딩된 제1 인코딩 특징 맵(311)과, 16 X 480 X 640 크기의 인코딩된 제2 인코딩 특징 맵(312)을 병합하는 융합 연산을 통해 융합하여, 32 X 480 X 640 크기의 융합 특징 블록을 생성할 수 있다.
그리고, 융합 처리부는 참조번호 330과 같이 상기 생성된 융합 특징 블록을 디코딩할 수 있다. 일 실시예에 따른 융합 처리부는 32 X 3 X 3 크기의 커널 32개를 이용하여 상기 융합 특징 블록을 필터링(331, 332)하고, 이후 32 X 3 X 3 크기의 커널 3개를 이용하여 입력부로 입력된 입력 영상 크기에 따른 3개의 채널의 융합 영상으로 디코딩할 수 있다.
이에 따라, 본 발명의 실시예에 따른 출력부(150)는 도4의 참조번호 340과 같이, 상기 융합 처리부에 의해 디코딩된 융합 영상을 출력할 수 있다.
다시 도1을 참조하면, 본 발명의 학습 단계에서의 융합 영상 생성장치(100)는 손실 값 계산부(140)를 통해 상기 특징 블록 융합부(130)에 의해 디코딩된 융합 영상을 토대로 융합의 정도를 수치화할 수 있도록 상기 디코딩된 융합 영상의 손실 값을 계산하여, 계산 결과에 따라 상기 특징 블록 생성부의 컨볼루션 필터의 가중치의 변경 여부를 결정할 수 있다.
아래 <수학식1>은 본 발명의 융합 영상 생성장치의 비지도 학습을 위한 손실 값 계산방법을 나타낸다.
Figure 112019044255330-pat00001
여기서, ZF는 융합 영상에 대한 텐서값이고, Zu는 입력 영상에 대한 텐서값이며, λ는 하이퍼파라미터로 실험적으로 구해지는 상수값이고, x, y는 해당 픽셀의 위치(예를 들어, 표적객체의 일 지점)이고, u는 융합출력(최종출력영상)이며, frgb는 입력 중 RGB값이다. 여기서, 텐서값은 contrast 정보를 표현한다.
손실 값 계산부(140)에 의해 계산된 손실 값에 따라, 특징 블록 생성부(120)는 컨볼루션 필터의 가중치의 변경여부를 결정할 수 있다. 예컨대, 특징 블록 생성부는 상기 계산된 손실 값이 큰 경우에 상기 컨볼루션 필터의 가중치를 변경하고, 손실 값이 작은 경우에는 컨볼루션 필터의 가중치를 변경하지 않는다.
이와 같은 반복적인 특징 블록 생성부, 특징 블록 융합부, 그리고 손실 값 계산부의 동작에 따라 도1과 같은 융합 영상 생성장치(100)는 비지도 기계 학습을 통해 표적이 부각된 융합 영상을 생성할 수 있는 신경망 레이어들의 필터 가중치와 관련된 셋팅을 완료할 수 있다.
일 예로, 학습단계에서의 융합 영상 생성장치(100)는 출력부(150)를 포함하여 구성될 수도 있지만, 출력부 없이도 구성될 수 있다.
이하에서는, 도1과 같은 융합 영상 생성장치(100)를 통해 학습된 네트워크를 이용하여 트레이닝 영상이 아닌 실제 영상 획득부에 의해 획득된 영상을 기반으로 딥러닝 융합하여 융합 영상을 생성하는 융합 영상 생성장치에 대하여 설명한다.
도5는 학습된 네트워크를 통해 입력 영상들을 융합하여 융합 영상을 생성하는 융합 영상 생성장치(400)의 구성을 개략적으로 도시한 블록도이다.
도5를 참조하면, 본 발명의 융합 영상 생성장치(400)는 입력부(410), 특징 블록 생성부(420), 검출부(430), 특징 블록 융합부(440) 및 출력부(450)를 포함하여 구성될 수 있다. 여기서, 입력부(410), 특징 블록 생성부(420), 특징 블록 융합부(440) 및 출력부(450)의 동작은 도1의 학습단계에서의 융합 영상 생성장치의 입력부(110), 특징 블록 생성부(120), 특징 블록 융합부(130) 및 출력부(150)의 동작과 실질적으로 동일한 동작을 수행하기에, 여기서는 상세한 설명은 생략하도록 한다.
먼저, 입력부(410)는 서로 다른 파장 대역의 제1 영상들 및 제2 영상들을 입력 받을 수 있다. 예컨대, 본 발명의 입력부(110)는 외부의 영상 획득장치로부터 획득된 영상을 입력 받을 수도 있고, 본 발명의 융합 영상 생성장치(400)는 영상 획득부를 더 포함하여, 영상 획득부로부터 획득된 영상들을 이용하여 융합 영상을 생성하도록 구현될 수도 있다. 여기서, 상기 제1 영상들과 제2 영상들은 동일 객체에 대한 영상이지만, 서로 다른 파장 대역에서 획득된 영상들이며, 제1 영상들 및 제2 영상들 각각은 동일한 객체에 대한 영상이되, 서로 다른 센서로부터 획득된 영상들일 수 있다. 예를 들어, 제1 영상들 및 제2 영상들은 일반 카메라로 획득된 가시광 영상(RGB 영상), 적외선 카메라로 획득된 적외선 영상, 및 열화상 카메라로 획득된 열 영상으로 구성된 3장의 영상들을 포함할 수 있다. 즉, 본 발명의 입력부(410)는 외부의 영상 획득부들로부터 획득된 영상들을 입력 받을 수 있고, 상기 영상 획득부들은 CCD 카메라, 적외선 카메라, 열화상 카메라 등으로 구현될 수 있다.
그리고, 특징 블록 생성부(420)는 서로 다른 파장 대역의 제1 영상들 및 제2 영상들을 컨볼루션(convolution) 연산함에 따라 필터링하여 제1 영상들에 대한 제1 특징 블록 및 제2 영상들에 대한 제2 특징 블록을 생성할 수 있다. 도5에 따른 융합 영상 생성장치(400)의 특징 블록 생성부(420)는 도1과 같은 학습단계에서 반복적인 비지도 기계 학습을 통해 학습된 결과에 따라 정해진 필터 계수들을 기반으로 제1 영상들 및 제2 영상들을 필터링 하여 제1 특징 블록 및 제2 특징 블록을 생성할 수 있다.
이와 같은 도5의 특징 블록 생서부의 상세한 구성을 보다 상세하게 설명하기 위해 도6을 참고한다. 도6은 본 발명의 특징 블록 생성부의 구성을 개략적으로 나타낸 참고도이다. 본 발명의 특징 블록 생성부는 컨볼루션 레이어, 활성화 함수 매핑부 및 풀링 레이어를 더 포함할 수 있다. 제1 특징 블록과 제2 특징 블록의 생성 방법이 실질적으로 동일한 바, 도6에서도 제1 특징 블록의 생성 과정에 대하여만 예시하여 설명한다.
본 발명의 실시예에 따른 컨볼루션 레이어는, 도3에서 설명한 바와 같은 컨볼루션 필터(200)를 이용하여 제1 영상에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 특징 맵인 제1 특징 블록을 추출할 수 있다.
그리고, 본 발명의 실시예에 따른 활성화 함수 매핑부는 활성화 함수인 ReLU(Rectified Linear Unit)일 수 있다. 활성화 함수 매핑부(ReLU)는 상기 컨볼루션 레이어를 통해 추출된 제1 특징 블록을 미리 정해진 함수에 따라 매핑함으로써, 상기 컨볼루션 특징 맵이 선형화하여 활성화된 제1 특징 블록을 산출할 수 있다.
이때, 본 발명의 검출부(430)가 특징 블록 생성부(420)로부터 생성된 특징 블록을 통해 검출하고자 하는 표적이 존재하는지 여부를 확인하기 위해, 특징 블록 생성부(420)는 도6과 같이 컨볼루션 필터 및 활성화 함수 매핑부를 포함하는 복수개의 컨볼루션 레이어 및 풀링 레이어를 이용할 수 있다.
본 발명의 실시예에 따른 풀링(pooling) 레이어는, 상기 활성화 함수 매핑부(ReLU)를 통해 미리 정해진 함수에 따라 매핑된 컨볼루션 특징 맵의 크기를 리사이징(resizing)할 수 있다. 본 발명의 풀링 레이어는 맥스 풀링(max pooling) 알고리즘에 따라 상기 활성화 함수 매핑부를 통해 출력된 컨볼루션 특징 맵의 크기를 리사이징 할 수 있다.
일 실시예인 도4에 따르면, 본 발명의 특징 블록 생성부는 2개의 컨볼루션 필터와 활성화 함수 매핑부 그리고, 풀링 레이어의 반복적인 동작을 통해 최종적으로 256 X 40 X 30 크기의 제1 특징 블록을 생성할 수 있다.
이렇게, 특징 블록 생성부(420)가 복수개의 컨볼루션 레이어 및 풀링 레이어를 이용하여 반복적인 컨볼루션 연산을 수행하게 될수록 추적하고자 하는 표적이 보다 잘 검출될 수 있는 효과가 있다.
그리고, 본 발명의 실시예에 따른 검출부(430)는 전술한 바와 같은 특징 블록 생성부(420)에 의해 생성된 제1 특징 블록 및 제2 특징 블록을 기반으로 검출하여, 표적의 검출여부를 확인할 수 있다.
보다 구체적으로 설명하면, 본 발명의 검출부(430)는 데이터베이스에 미리 저장되어 있는 검출하고자 하는 적어도 하나의 표적 유형에 대한 특징값(특징벡터 또는 특징행렬)과 상기 제1 특징 블록 및 제2 특징 블록의 객체에 대한 특징값을 비교함으로써, 상기 제1 및 제2 특징 블록의 객체가 검출 및 추적하고자 하는 표적이 맞는지 확인할 수 있다.
상기와 같은 방법으로 만약 검출부(430)가 제1 특징 블록 및 제2 특징 블록을 검출한 결과, 추적하고자 하는 표적이 검출되지 않았다면, 이후 동작진행을 중단시킬 수 있다. 이와 반대로, 검출부(430)가 제1 특징 블록 및 제2 특징 블록을 검출한 결과, 상기 표적이 검출되었다면, 본 발명의 특징 블록 융합부(440)는 이후 동작을 계속해서 진행한다.
본 발명의 실시예에 따른 특징 블록 융합부(440)는 특징 블록 융합부(420)에서 생성된 제1 특징 블록 및 제2 특징 블록을 융합할 수 있다. 본 발명의 일 실시예에 따르면, 특징 블록 융합부(440)는 특징 블록 생성부(420)의 특징 블록 생성과정에서 풀링 레이어에 의해 특징 블록의 사이즈가 리사이징 되기 전 컨볼루션 레이어만을 통과한 제1 특징 블록 및 제2 특징 블록을 이용하여 융합시킬 수 있다.
예컨대, 도6을 참고하면, 본 발명의 특징 블록 융합부(440)는 16 X 480 X 640 크기의 제1 특징 블록 및 제2 특징 블록을 융합시킨다. 도5의 특징 블록 융합부(440)의 동작 원리는 도1에서의 특징 블록 융합부(130)의 동작과 실질적으로 동일하므로 여기서는 자세한 설명한 생략한다.
이에 따라, 본 발명의 실시예에 따른 출력부(450)는 특징 블록 융합부(440)에 의해 디코딩된 융합 영상을 출력할 수 있다.
도7은 본 발명의 일 실시예에 따른 융합 영상 생성방법을 시간의 흐름에 따라 도시한 흐름도이다.
먼저, S61 단계에서 본 발명의 입력부는 서로 다른 파장의 제1 영상들 및 제2 영상들을 입력 받는다.
그리고, S62 단계에서 본 발명의 특징 블록 생성부는 제1 영상들 및 제2 영상들 각각을 이용하여 제1 특징 블록 및 제2 특징 블록을 생성한다.
그리고, S63 단계에서 본 발명의 특징 블록 융합부는 특징 블록 생성부에 의해 생성된 상기 제1 특징 블록 및 제2 특징 블록을 융합한다.
마지막으로, S64 단계에서 본 발명의 출력부는 특징 블록 융합부에 의해 융합된 제1 특징 블록 및 제2 특징 블록의 융합 결과에 따라 생성된 융합 영상을 출력한다.
상술한 바와 같은 본 발명의 융합 영생 생성방법은 도1 내지 도6을 참고하여 융합 영상 생성장치를 설명하는 부분에서 상세하게 설명하였으므로, 여기서는 생략한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 컬러(RGB) 영상, 적외선 영상 및 열 영상을 포함하는 제1 학습 영상들 및 제2 학습 영상들을 획득하는 영상 획득부;
    상기 영상 획득부로부터 획득된 제1 학습 영상들 및 제2 학습 영상들을 전달 받는 입력부;
    제1 컨볼루션 레이어를 이용하여 상기 제1 학습 영상들에 대하여 컨볼루션 연산함에 따라 배경 영역이 제외된 검출하고자 하는 표적의 영역만을 남긴 제1 특징 블록, 및 제2 컨볼루션 레이어를 이용하여 상기 제2 학습 영상들에 대하여 컨볼루션 연산함에 따라 상기 배경 영역과 상기 표적의 영역을 모두 보존하되, 상기 표적에 대한 가시성을 향상시킨 제2 특징 블록을 생성하는 특징 블록 생성부;
    상기 특징 블록 생성부에 의해 생성된 상기 제1 특징 블록 또는 제2 특징 블록을 기반으로 검출함에 따라 상기 검출하고자 하는 표적의 검출여부를 판단하는 검출부;
    상기 특징 블록 생성부에 의해 생성된 상기 제1 특징 블록 및 제2 특징 블록을 융합하기 위해 수행되는 텐서곱을 위한 인코딩을 복수번 수행하여 제1 인코딩 특징 맵 및 제2 인코딩 특징 맵을 생성하고, 상기 제1 인코딩 특징 맵 및 제2 인코딩 특징 맵을 융합하여 검출하고자 하는 표적을 부각시키기 위한 융합 특징 블록을 생성하는 특징 블록 융합부;
    상기 특징 블록 융합부에 의해 상기 제1 특징 블록 및 제2 특징 블록이 융합된 결과에 따른 손실값을 계산하는 손실값 계산부; 및
    상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 융합 영상을 출력하는 출력부;를 포함하되,
    상기 손실값 계산부는, 상기 융합 영상에 대한 텐서값, 상기 입력부가 전달받은 제1 학습 영상들 및 제2 학습 영상들에 대한 텐서값 및 상기 융합 영상의 적어도 하나의 픽셀값을 파라미터로 하는 수식을 기초로 상기 손실값을 계산하는 것을 특징으로 하는 융합 영상 생성장치.
  2. 삭제
  3. 제1항에 있어서, 상기 특징 블록 생성부는,
    ⅰ) 상기 제1 학습 영상들 또는 상기 제2 학습 영상들에 대하여 컨볼루션 연산을 수행함에 따라 컨볼루션 특징 맵을 생성하는 컨볼루션 필터; ⅱ) 상기 생성된 컨볼루션 특징 맵을 미리 정해진 함수에 따라 매핑하는 활성화 함수 매핑부; 및 ⅲ) 상기 미리 정해진 함수에 따라 매핑된 상기 컨볼루션 특징 맵의 크기를 리사이징(resizing)하는 풀링 레이어;를 포함하는 것을 특징으로 하는 융합 영상 생성장치.
  4. 제1항에 있어서,
    상기 특징 블록 생성부는, 상기 제1 특징 블록을 생성하기 위해 상기 제1 학습 영상들을 인코딩하여 제1 대상 특징 맵을 생성하고, 상기 제2 특징 블록을 생성하기 위해 상기 제2 학습 영상들을 인코딩하여 제2 대상 특징 맵을 생성하며,
    상기 제1 대상 특징 맵 또는 상기 제2 대상 특징 맵은, 색상 모델(RGB), 색 온도(color temperature), 및 적외선 파장을 기준으로 각각 추출되는 특징벡터 값들을 포함하는 서로 다른 특징정보들을 포함하는 것을 특징으로 하는 융합 영상 생성장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 검출부는, 상기 제1 특징 블록 또는 제2 특징 블록을 검출하여 판단된 상기 표적의 검출여부에 따라, 상기 표적이 검출되지 아니하면 이후 동작진행을 중단시키는 것을 특징으로 하는 융합 영상 생성장치.
  8. 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 융합 영상 생성방법으로서,
    상기 프로세서가 컬러(RGB) 영상, 적외선 영상 및 열 영상을 포함하는 제1 학습 영상들 및 제2 학습 영상들을 획득하는 단계;
    획득된 상기 제1 학습 영상들 및 제2 학습 영상들을 전달 받는 단계;
    제1 컨볼루션 레이어를 이용하여 상기 제1 학습 영상들에 대하여 컨볼루션 연산함에 따라 배경 영역이 제외된 검출하고자 하는 표적의 영역만을 남긴 제1 특징 블록, 및 제2 컨볼루션 레이어를 이용하여 상기 제2 학습 영상들에 대하여 컨볼루션 연산함에 따라 상기 배경 영역과 상기 표적의 영역을 모두 보존하되, 상기 표적에 대한 가시성을 향상시킨 제2 특징 블록을 생성하는 단계;
    생성된 상기 제1 특징 블록 또는 제2 특징 블록을 기반으로 검출함에 따라 상기 검출하고자 하는 표적의 검출여부를 판단하는 단계;
    생성된 상기 제1 특징 블록 및 제2 특징 블록을 융합하기 위해 수행되는 텐서곱을 위한 인코딩을 복수번 수행하여 제1 인코딩 특징 맵 및 제2 인코딩 특징 맵을 생성하고, 상기 제1 인코딩 특징 맵 및 제2 인코딩 특징 맵을 융합하여 검출하고자 하는 표적을 부각시키기 위한 융합 특징 블록을 생성하는 단계;
    상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 손실값을 계산하는 단계; 및
    상기 제1 특징 블록 및 제2 특징 블록을 융합한 결과에 따른 융합 영상을 출력하는 단계;를 포함하되,
    상기 손실값을 계산하는 단계는, 상기 융합 영상에 대한 텐서값, 상기 제1 학습 영상들 및 제2 학습 영상들에 대한 텐서값 및 상기 융합 영상의 적어도 하나의 픽셀값을 파라미터로 하는 수식을 기초로 상기 손실값을 계산하는 것을 특징으로 하는 융합 영상 생성방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 제1 특징 블록 및 제2 특징 블록을 생성하는 단계는, 상기 제1 특징 블록을 생성하기 위해 상기 제1 학습 영상들을 인코딩하여 제1 대상 특징 맵을 생성하는 단계, 및 상기 제2 특징 블록을 생성하기 위해 상기 제2 학습 영상들을 인코딩하여 제2 대상 특징 맵을 생성하는 단계를 더 포함하고,
    상기 제1 대상 특징 맵 또는 상기 제2 대상 특징 맵은, 색상 모델(RGB), 색 온도(color temperature), 및 적외선 파장을 기준으로 각각 추출되는 특징벡터 값들을 포함하는 서로 다른 특징정보들을 포함하는 것을 특징으로 하는 융합 영상 생성방법.
KR1020190050167A 2019-04-30 2019-04-30 융합 영상 생성장치 및 방법 KR102086067B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190050167A KR102086067B1 (ko) 2019-04-30 2019-04-30 융합 영상 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190050167A KR102086067B1 (ko) 2019-04-30 2019-04-30 융합 영상 생성장치 및 방법

Publications (1)

Publication Number Publication Date
KR102086067B1 true KR102086067B1 (ko) 2020-03-06

Family

ID=69802678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190050167A KR102086067B1 (ko) 2019-04-30 2019-04-30 융합 영상 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR102086067B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114403A1 (ko) * 2020-11-24 2022-06-02 서강대학교 산학협력단 세그먼트 핑거프린트 생성 방법 및 이를 이용한 비디오 부분 복사 검출 장치
KR20220076247A (ko) * 2020-11-30 2022-06-08 연세대학교 산학협력단 멀티모달 융합 기반 감정 인식 장치 및 방법
CN116719082A (zh) * 2023-04-25 2023-09-08 中国地质大学（北京） 深地不良地质多源信息融合与原位立体透视系统及方法
WO2023221013A1 (zh) * 2022-05-19 2023-11-23 中国科学院深圳先进技术研究院 基于特征融合的小目标检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054325A (ko) * 2010-11-19 2012-05-30 국방과학연구소 영상 표적 추출 시스템, 장치 및 방법
KR20160131261A (ko) * 2015-05-06 2016-11-16 한화테크윈 주식회사 관심 영역을 감시하는 방법
KR20170112857A (ko) 2016-03-25 2017-10-12 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR20180096101A (ko) * 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 지능형 적외선 대역 영상 융합 장치 및 방법
CN109272024A (zh) * 2018-08-29 2019-01-25 昆明理工大学 一种基于卷积神经网络的图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054325A (ko) * 2010-11-19 2012-05-30 국방과학연구소 영상 표적 추출 시스템, 장치 및 방법
KR20160131261A (ko) * 2015-05-06 2016-11-16 한화테크윈 주식회사 관심 영역을 감시하는 방법
KR20170112857A (ko) 2016-03-25 2017-10-12 한국과학기술원 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR20180096101A (ko) * 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 지능형 적외선 대역 영상 융합 장치 및 방법
CN109272024A (zh) * 2018-08-29 2019-01-25 昆明理工大学 一种基于卷积神经网络的图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lee, Yongwoo, Toan Duc Bui, and Jitae Shin. Pedestrian Detection based on Deep Fusion Network using Feature Correlation. 2018 APSIPA ASC. IEEE, 2018.* *
Zhang, Yu, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation. Infrared Physics & Technology 83. 2017.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114403A1 (ko) * 2020-11-24 2022-06-02 서강대학교 산학협력단 세그먼트 핑거프린트 생성 방법 및 이를 이용한 비디오 부분 복사 검출 장치
KR20220076247A (ko) * 2020-11-30 2022-06-08 연세대학교 산학협력단 멀티모달 융합 기반 감정 인식 장치 및 방법
WO2023221013A1 (zh) * 2022-05-19 2023-11-23 中国科学院深圳先进技术研究院 基于特征融合的小目标检测方法、装置、设备及存储介质
CN116719082A (zh) * 2023-04-25 2023-09-08 中国地质大学（北京） 深地不良地质多源信息融合与原位立体透视系统及方法

Similar Documents

Publication Publication Date Title
KR102086067B1 (ko) 융합 영상 생성장치 및 방법
US11810272B2 (en) Image dehazing and restoration
JP6586430B2 (ja) 車両位置の推定
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
KR102059011B1 (ko) 딥러닝을 기반으로 하는 융합 영상 생성장치 및 방법
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
WO2010043771A1 (en) Detecting and tracking objects in digital images
CN114821488B (zh) 基于多模态网络的人群计数方法、系统及计算机设备
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
Cavigelli et al. Computationally efficient target classification in multispectral image data with Deep Neural Networks
JP2019220174A (ja) 人工ニューラルネットワークを用いた画像処理
Wang et al. Tirdet: Mono-modality thermal infrared object detection based on prior thermal-to-visible translation
KR20190134920A (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
CN116486431A (zh) 基于目标感知融合策略的rgb-t多光谱行人检测方法
JP7351358B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
KR102224218B1 (ko) 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치
KR101976959B1 (ko) 영상 기반의 홍수 탐지 방법
Jöchl et al. Deep Learning Image Age Approximation-What is More Relevant: Image Content or Age Information?
Agarwal et al. Specular reflection removal in cervigrams
KR102675970B1 (ko) 촬영 대상의 정보를 분석하기 위한 방법
CN118212231B (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant