KR102438776B1 - 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법 - Google Patents

객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102438776B1
KR102438776B1 KR1020220069582A KR20220069582A KR102438776B1 KR 102438776 B1 KR102438776 B1 KR 102438776B1 KR 1020220069582 A KR1020220069582 A KR 1020220069582A KR 20220069582 A KR20220069582 A KR 20220069582A KR 102438776 B1 KR102438776 B1 KR 102438776B1
Authority
KR
South Korea
Prior art keywords
image
hyperspectral image
loss function
band
determining
Prior art date
Application number
KR1020220069582A
Other languages
English (en)
Inventor
김호성
백정현
이재규
이건수
조동현
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020220069582A priority Critical patent/KR102438776B1/ko
Application granted granted Critical
Publication of KR102438776B1 publication Critical patent/KR102438776B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

본 개시는 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치에 관한 것이다. 본 개시에 따르면, 파장 대역 결정 장치는 다중 채널의 초분광 이미지를 압축하여 가중 평균 이미지 생성하도록 구성되는 채널 샘플러, 상기 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성하도록 구성되는 디코더, 및 상기 초분광 이미지와 상기 복원 초분광 이미지에 기반하여 손실 함수를 결정하도록 구성되는 판별기를 포함하고, 상기 채널 샘플러는 상기 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 결정할 수 있다.

Description

객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING A WAVELENGTH BAND USED FOR OBJECT DETECTION}
본 개시(disclosure)는 일반적으로 객체 검출을 위한 파장 대역 결정 시스템에 관한 것으로, 보다 구체적으로 다중 채널의 초분광 이미지(hyperspectral image)로부터 객체 검출을 위한 최적의 파장 대역을 선정하기 위한 장치 및 방법에 관한 것이다.
객체 검출 기술은 이미지 내에서 목표로 하는 객체를 찾아내고 종류를 식별하는 기술을 지시한다. 객체 검출 기술은 컴퓨터 비전 분야에서 핵심적인 문제 중 하나로서 수많은 분야에서 이용되기 때문에, 빠르고 좋은 객체 검출 장치에 관한 기술 연구가 진행되고 있다.
머신 러닝(machine learning)을 기반으로 하는 객체 검술 기술은 입력 이미지에 존재하는 객체의 영역을 찾아내는 로컬리제이션(localization)과 객체가 사전에 미리 정의된 종류 목록들 중에서 어떠한 종류에 속하는지 여부를 판별하는 분류(classification)를 진행한다. 여기서, 객체 검출 장치는 객체의 영역과 종류를 판단하기 위하여 손실 함수를 이용할 수 있다. 손실 함수는 실제 값과 예측 값의 차이를 수치화하는 함수이며, 객체 검출 장치는 손실 함수를 줄여 나가도록 학습됨으로써 객체를 보다 정밀하게 검출할 수 있다.
적외선 초분광 이미지는 가시광선 영역의 RGB(red green blue) 이미지에 없는 열 정보를 제공하기 때문에 보안, 의학, 통신, 천문학 및 지질학 등의 수많은 분야에 활용되고 있다. 특히, 어두운 밤과 같이 가시광선으로 판단이 불가한 환경에서, 객체 검출 장치는 초분광 이미지를 분석함으로써 객체를 탐지할 수 있다. 그러나, 초분광 이미지는 데이터가 크고 대역들이 인접해 있기 때문에 중복된 정보를 많이 포함하고 있으며, 그에 따라 초분광 이미지는 머신 러닝에 기반한 객체 검출 장치에 적용되기 어려운 문제가 있었다. 이러한 문제를 보완하고 효율성을 향상시키기 위하여, 초분광 이미지의 파장 대역들 중에서 객체의 검출에 큰 영향을 미치는 일부 파장 대역을 선택하여 이용하는 방법에 관한 연구가 활발히 진행되고 있다.
전술한 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술을 지시하지 않는다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는 객체 검출을 위한 파장 대역을 결정하는 시스템에 있어서, 객체 검출에 이용되는 최적의 파장 대역을 선정하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 다중 채널의 초분광 이미지에 관하여, 심층 학습 기반으로 데이터를 압축하여 단일 채널의 가중 평균 이미지를 생성하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 단일 채널의 가중 평균 이미지를 복원하여 다중 채널의 복원 초분광 이미지를 생성하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 입력된 초분광 이미지와 복원 초분광 이미지를 구별하여 손실 함수를 결정하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는 손실 함수를 이용하여 초분광 이미지의 파장 대역들 각각에 대응되는 가중치들을 갱신함으로써, 객체 검출 성능에 가장 큰 영향을 미치는 파장 대역을 결정하기 위한 장치 및 방법을 제공한다.
본 개시의 다양한 실시 예들에 따르면, 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치는 다중 채널의 초분광 이미지(hyperspectral image)를 압축하여 가중 평균 이미지 생성하도록 구성되는 채널 샘플러, 상기 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성하도록 구성되는 디코더, 및 상기 초분광 이미지와 상기 복원 초분광 이미지에 기반하여 손실 함수를 결정하도록 구성되는 판별기를 포함하고, 상기 채널 샘플러는 상기 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 채널 샘플러는 상기 초분광 이미지의 채널들 각각에 상기 가중치들을 적용하여, 단일 채널의 가중 평균 이미지를 생성할 수 있다.
다른 일 실시 예에 따르면, 상기 복원 초분광 이미지의 채널의 수는 상기 초분광 이미지의 채널의 수와 동일할 수 있다.
다른 일 실시 예에 따르면, 상기 판별기는 상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 교차 엔트로피를 이용하여 제1 손실 함수를 결정하고, 상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 평균 제곱 오차를 이용하여 제2 손실 함수를 결정하고, 상기 제1 손실 함수와 상기 제2 손실 함수를 더하여 손실 함수를 결정할 수 있다.
다른 일 실시 예에 따르면, 상기 채널 샘플러는 상기 손실 함수에 기반하여, 상기 가중치들을 갱신할 수 있다.
다른 일 실시 예에 따르면, 상기 채널 샘플러는 상기 초분광 이미지의 파장 대역 중 적어도 하나의 파장 대역을 제거할 수 있다.
다른 일 실시 예에 따르면, 상기 채널 샘플러는 추가 초분광 이미지를 획득하고, 상기 가중치들의 크기 순서에 기반하여 상기 파장 대역들 중 적어도 일부 파장 대역에 관한 부분 가중치 밴드를 선택하고, 상기 부분 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 가중 평균 이미지를 생성하고, 상기 부분 가중치 밴드는 상기 가중치 밴드에 포함될 수 있다.
다른 일 실시 예에 따르면, 상기 채널 샘플러는 추가 초분광 이미지를 획득하고, 상기 가중치 밴드로부터 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성하고, 상기 제1 분할 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하고, 상기 제2 분할 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성하고, 상기 제1 분할 가중치 밴드와 상기 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치의 동작 방법은 다중 채널의 초분광 이미지(hyperspectral image)를 압축하여 가중 평균 이미지 생성하는 단계, 상기 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성하는 단계, 상기 초분광 이미지와 상기 복원 초분광 이미지에 기반하여 손실 함수를 결정하는 단계, 및 상기 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 결정하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 가중 평균 이미지 생성하는 단계는 상기 초분광 이미지의 채널들 각각에 상기 가중치들을 적용하여, 단일 채널의 가중 평균 이미지를 생성하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 손실 함수를 결정하는 단계는 상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 교차 엔트로피를 이용하여 제1 손실 함수를 결정하는 단계, 상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 평균 제곱 오차를 이용하여 제2 손실 함수를 결정하는 단계, 및 상기 제1 손실 함수와 상기 제2 손실 함수를 더하여 손실 함수를 결정하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 상기 가중치 밴드 결정하는 단계는 상기 손실 함수에 기반하여, 상기 가중치들을 갱신하는 단계를 포함할 수 있다.
다른 일 실시 예에 따르면, 파장 대역 결정 장치의 동작 방법은 추가 초분광 이미지를 획득하는 단계, 상기 가중치들의 크기 순서에 기반하여 상기 파장 대역들 중 적어도 일부 파장 대역에 관한 부분 가중치 밴드를 선택하는 단계, 및 상기 부분 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 가중 평균 이미지를 생성하는 단계를 더 포함하고, 상기 부분 가중치 밴드는 상기 가중치 밴드에 포함될 수 있다.
다른 일 실시 예에 따르면, 파장 대역 결정 장치의 동작 방법은 추가 초분광 이미지를 획득하는 단계, 상기 가중치 밴드로부터 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성하는 단계, 상기 제1 분할 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하는 단계, 상기 제2 분할 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성하는 단계, 및 상기 제1 분할 가중치 밴드와 상기 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명의 다양한 각각의 측면들 및 특징들은 첨부된 청구항들에서 정의된다. 종속 청구항들의 특징들의 조합들(combinations)은, 단지 청구항들에서 명시적으로 제시되는 것뿐만 아니라, 적절하게 독립항들의 특징들과 조합될 수 있다.
또한, 본 개시에 기술된 임의의 하나의 실시 예(any one embodiment) 중 선택된 하나 이상의 특징들은 본 개시에 기술된 임의의 다른 실시 예 중 선택된 하나 이상의 특징들과 조합될 수 있으며, 이러한 특징들의 대안적인 조합이 본 개시에 논의된 하나 이상의 기술적 문제를 적어도 부분적으로 경감시키거나, 본 개시로부터 통상의 기술자에 의해 식별될 수 있는(discernable) 기술적 문제를 적어도 부분적으로 경감시키고, 나아가 실시 예의 특징들(embodiment features)의 이렇게 형성된 특정한 조합(combination) 또는 순열(permutation)이 통상의 기술자에 의해 양립 불가능한(incompatible) 것으로 이해되지만 않는다면, 그 조합은 가능하다.
본 개시에 기술된 임의의 예시 구현(any described example implementation)에 있어서 둘 이상의 물리적으로 별개의 구성 요소들은 대안적으로, 그 통합이 가능하다면 단일 구성 요소로 통합될 수도 있으며, 그렇게 형성된 단일한 구성 요소에 의해 동일한 기능이 수행된다면, 그 통합은 가능하다. 반대로, 본 개시에 기술된 임의의 실시 예(any embodiment)의 단일한 구성 요소는 대안적으로, 적절한 경우, 동일한 기능을 달성하는 둘 이상의 별개의 구성 요소들로 구현될 수도 있다.
본 발명의 특정 실시 예들(certain embodiments)의 목적은 종래 기술과 관련된 문제점 및/또는 단점들 중 적어도 하나를, 적어도 부분적으로, 해결, 완화 또는 제거하는 것에 있다. 특정 실시 예들(certain embodiments)은 후술하는 장점들 중 적어도 하나를 제공하는 것을 목적으로 한다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은 객체 검출을 위한 파장 대역을 결정하는 시스템에 있어서, 객체 검출에 이용되는 최적의 파장 대역을 선정할 수 있게 한다.
또한, 본 개시의 다양한 실시 예들에 따른 장치 및 방법은 머신 러닝에 기반하여 초분광 이미지의 파장 대역들 각각에 대응되는 가중치들을 결정함으로써, 객체 검출 성능에 가장 큰 영향을 미치는 파장 대역을 결정할 수 있게 한다.
또한, 본 개시의 다양한 실시 예들에 따른 장치 및 방법은 파장 대역을 결정함으로써, 객체 검출 장치의 객체 검출 성능을 향상시킬 수 있게 한다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시 예들에 따른 객체 검출을 위한 파장 대역 결정 시스템에서, 파장 대역 결정 장치의 구성을 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 파장 대역 결정 장치의 학습 과정에 관한 모식도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 채널 샘플러의 네트워크 구조을 예시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 디코더의 네트워크 구조를 예시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 판별기의 네트워크 구조를 예시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 파장 대역 결정을 위한 가중치 밴드의 일 예를 도시한다.
도 7은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 일부 파장 대역을 이용하여 가중 평균 이미지를 생성하는 방법에 관한 모식도를 도시한다.
도 8은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 파장 대역을 분할하여 가중 평균 이미지를 생성하는 방법에 관한 모식도를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 손실 함수에 따른 가중 평균 이미지의 일 예를 도시한다.
도 10은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템에서, 파장 대역 결정 장치의 동작 방법에 관한 흐름도를 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 본 개시는 객체 검출을 위한 파장 대역 결정 시스템에서 파장 대역을 결정하기 위한 장치 및 방법에 관한 것이다. 구체적으로, 본 개시는 머신 러닝(machine learning)에 기반하여 다중 채널의 초분광 이미지(hyperspectral image)로부터 객체 검출을 위한 최적의 파장 대역을 선정하기 위한 기술을 설명한다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 명세서에 개시된 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 어떤 요소가 다른 요소와 "연결"되어 있다고 기술될 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 요소를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라 또 다른 요소를 더 포함할 수 있는 것을 의미한다.
일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용되었으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다.
또한, 본 개시에서 이미지는 평면 또는 공간에 배열된 광선, 혹은 매체에 의해 정보를 시각으로 포착하도록 구상화한 영상을 지시한다. 본 개시의 일 실시 예에 따르면, 이미지는 정지 영상, 및 동영상을 포함할 수 있다.
이하에서 사용되는 '장치'의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 본 개시에 따르면, 파장 대역 결정 장치(101), 객체 검출 장치(103) 각각은 적어도 하나의 프로세서를 포함할 수 있고, 적어도 하나의 프로세서를 통해 후술하는 동작을 수행할 수도 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 객체 검출을 위한 파장 대역 결정 시스템(100)에서, 파장 대역 결정 장치(101)의 구성을 도시한다.
파장 대역 결정 시스템(100)은 다중 파장 대역의 이미지로부터 객체를 검출하는 경우에서 객체 검출을 위한 최적의 파장 대역을 결정하는 시스템을 지시한다. 일반적인 카메라는 광범위한 스펙트럼에서 극히 일부분에 해당되는 가시광선 영역에서의 RGB 정보를 생성한다. 즉, 카메라가 생성한 컬러 이미지에 존재하는 단일 픽셀은 R, G, B에 해당되는 3-채널의 정보를 포함할 수 있고, 객체 검출 장치(103)는 3-채널 정보를 이용하여 객체 탐지(object detection)나 분류(classification)를 수행할 수 있다. 그러나, 이미지로 촬영된 객체가 주변 환경과 유사한 색상인 경우, 인공 위성으로부터 촬영된 농경지 영상에서 농작물의 종류를 분류하는 경우와 같이, 컬러 이미지가 제공하는 세 가지 정보만으로 객체를 검출하는 것이 어렵다. 이 경우, 객체 검출 장치(103)는 다중 채널의 초분광 이미지(hyperspectral image)를 이용하여 객체를 검출할 수 있다.
초분광 이미지는 스펙트럼 영역들을 복수의 수의 파장 대역들로 세밀하게 나누어진 영상을 지시한다. 즉, 초분광 이미지는 RGB 영상에서 기본적으로 제공하는 공간(spatial) 정보뿐만 아니라 밴드 축으로의 스펙트럴(spectral)한 정보도 함께 포함하므로, 인간의 눈으로 탐지가 어려운 세밀한 차이를 사용자에게 제공할 수 있다.
초분광 이미지는 너무 많은 파장 대역들을 포함하고 있기 때문에, 객체 검출 장치(103)는 객체 검출 효율 향상을 위하여 파장 대역들 중 일부의 파장 대역을 이용한다. 여기서, 파장 대역 결정 장치(101)는 객체 검출 장치(103)가 객체 검출에 이용할 파장 대역을 선정하는 장치를 지시한다. 파장 대역 결정 장치(101)는 CNN(convolutional neural network) 기반으로 어떠한 파장 대역의 이미지가 객체 검출 성능에 많은 영향을 미치는지, 미치는 영향이 미미한 파장 대역은 무엇인지를 결정하도록 학습될 수 있다. 이후, 파장 대역 결정 장치(101)는 학습에 따라 결정된 가중치를 고려하여 입력 받은 가중 평균 이미지를 생성할 수 있다.
파장 대역 결정 장치(101)는 초분광 이미지에서 객체 검출을 위한 최적의 파장 대역을 선정하는 기능을 수행한다. 파장 대역 결정 장치(101)는 파장 대역을 결정하기 위하여 가지의 모듈들로 구성될 수 있다. 본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)는 채널 샘플러(110), 디코더(130), 및 판별기(150)를 포함할 수 있다.
채널 샘플러(110)는 다중 채널의 초분광 이미지를 압축하여 가중 평균 이미지 출력한다. 즉, 채널 샘플러(110)는 초분광 이미지를 획득하고, 복수의 파장 대역들 각각에 대응되는 가중치들을 이용하여 단일 채널의 이미지로 변환할 수 있다. 이후, 채널 샘플러(110)는 압축된 이미지를 디코더(130)로 전달하고, 디코더(130)는 압축된 이미지를 복원하여 다중 채널의 복원 초분광 이미지를 생성한다. 판별기(150)는 복원 초분광 이미지와 원본 초분광 이미지를 구별하여 손실 함수를 결정하고, 채널 샘플러(110)는 손실 함수를 이용하여 파장 대역들 각각에 적용되는 가중치들을 갱신한다. 즉, 파장 대역 결정 장치(101)는 다수의 초분광 이미지들을 입력 받고 파장 대역들 각각에 적용되는 가중치들을 지속적으로 갱신하면서 가중치 밴드를 생성할 수 있고, 높은 가중치를 가지는 파장 대역을 객체 검출을 위한 파장 대역으로 결정할 수 있다. 파장 대역 결정 장치(101)의 구체적인 동작은 이하에서 상세히 설명된다.
도 2는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 파장 대역 결정 장치(101)의 학습 과정에 관한 모식도(200)를 도시한다.
파장 대역 결정 장치(101) GAN(generative adversarial network) 구조로 구성될 수 있다. 구체적으로, GAN에서 제너레이터(generator)는 채널 샘플러(110)와 디코더(130)를 포함할 수 있고, 디스크리미네이터(discriminator)는 판별기(150)를 포함할 수 있다. 즉, 채널 샘플러(110)와 디코더(130)는 초분광 이미지(201)로부터 복원 초분광 이미지(205)를 생성하고, 판별기(150)는 손실 함수를 이용하여 초분광 이미지(201)와 복원 초분광 이미지(205)를 구별할 수 있다. 이후, 채널 샘플러(110)와 디코더(130)는 판별기(150)의 구별 결과에 따라, 파장 대역들 각각에 대응되는 가중치들을 지속적으로 갱신함으로써 학습될 수 있다.
도 2를 참고하면, 채널 샘플러(110)는 다중 채널의 초분광 이미지(201)를 입력 받아 단일 채널의 가중 평균 이미지(203)를 출력한다. 채널 샘플러(110)는 복수의 파장 대역들 각각에 대응되는 가중치들을 결정할 수 있고, 가중치들에 따라 초분광 이미지를 압축함으로써 단일 채널의 가중 평균 이미지(203)를 생성할 수 있다. 본 개시의 일 실시 예에 따르면, 채널 샘플러(110)는 너비(width)가 256, 높이(height)가 180, 채널(channel)이 374, 배치(batch)가 B인 초분광 이미지(201)를 입력 받을 수 있다. 이후, 채널 샘플러(110)는 파장 대역들 각각에 대한 가중치들을 0 에서 1 사이의 값으로 결정하고, 결정된 가중치들을 원본 초분광 이미지와 곱하여 단일 채널의 가중 평균 이미지(203)를 생성할 수 있다. 채널 샘플러(110)는 생성된 가중 평균 이미지(203)를 디코더(130) 전달할 수 있다.
디코더(130)는 단일 채널의 가중 평균 이미지(203)를 복원하여 다중 채널의 복원 초분광 이미지(205)를 생성한다. 채널 샘플러(110)에 의해 압축된 이미지가 중요한 정보를 올바르게 포함하고 있다면, 디코더(130)는 압축된 이미지를 다중 채널의 초분광 이미지로 복원할 수 있다. 본 개시의 일 실시 예에 따르면, 디코더(130)는 가중 평균 이미지(203)를 입력 받아 다시 374개의 채널로 구성된 복원 초분광 이미지(205)를 생성할 수 있다. 디코더(130)는 생성한 복원 초분광 이미지(205)를 판별기(150)로 전달할 수 있다.
판별기(150)는 초분광 이미지(201)와 복원 초분광 이미지(205)를 구별하여 손실 함수를 결정한다. 손실 함수는 실제 값과 예측 값의 차이를 수치화하는 함수이며, 판별기(150)는 손실 함수의 값이 최소가 되는 파라미터를 찾도록 학습될 수 있다. 일 예로, 채널 샘플러(110)로부터 생성된 가중치가 파장 대역들의 중요도를 잘 반영하였다면 복원 초분광 이미지(205)는 원본의 초분광 이미지(201)와 비슷하여 손실 함수의 손실 값이 작다. 즉, 판별기(150)는 손실 함수를 이용하여 원본의 초분광 이미지(201)와 복원 초분광 이미지(205)에서 각각의 파장 대역들 별로 진짜인지 또는 가짜인지 구별함으로써, 채널 샘플러(110)와 디코더(130)가 좀 더 원본에 가까운 초분광 이미지를 생성하게 할 수 있다.
여기서, 판별기(150)는 교차 엔트로피(cross-entropy), 평균 제곱 오차(mean squared error, MSE)를 모두 이용하여 손실 함수를 결정할 수 있다. 판별기(150)는 교차 엔트로피를 이용하여 제1 손실 함수(adversarial loss, Ladv)를 결정할 수 있고, MSE를 이용하여 제2 손실 함수(photometric loss, Lphoto)를 결정할 수 있다. 판별기(150)는 Ladv와 Lphoto 모두를 이용하여 손실 함수를 결정할 수 있고, 파장 대역 결정 장치(101)는 최적화를 통해 손실 함수가 감소하도록 채널 샘플러(110)를 학습시킬 수 있다.
본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)는 자기 지도 학습 방법을 이용하여 채널 샘플러(110)를 학습시킬 수 있다. 파장 대역 결정 장치(101)는 파장 대역 각각에서 이미지에 가중치를 합산함으로써 다중 채널 이미지를 단일 채널 이미지로 압축하고, 압축된 이미지를 다시 다중 채널로 복원한다. 채널 압축 과정에서 중요한 채널이 잘 보존되어 있으면, 압축된 단일 채널의 가중 평균 이미지로부터 다중 채널 이미지가 정밀하게 복원될 수 있으며, 파장 대역 결정 장치(101)는 복원 이미지와 원본 이미지의 차이를 확인하여 객체 검출에 미치는 영향에 따라 파장 대역 각각에서 가중치를 갱신할 수 있다. 파장 대역 결정 장치(101)는 가중치 갱신 과정을 반복함으로써 파장 대역 별 가중치들을 지시하는 가중치 밴드를 결정할 수 있고, 가중치가 높은 파장 대역을 객체 검출을 위한 파장 대역으로 결정할 수 있다.
도 3은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 채널 샘플러(110)의 네트워크 구조(300)를 예시한다.
채널 샘플러(110)는 복수의 레이어 블록들(311, 313, 315, 317, 319)이 포함된 네트워크로 구성될 수 있다. 도 3에 도시된 바와 같이, 레이어 블록에 포함된 레이어들은 이미지에서 특징을 추출하기 위한 컨벌루션(convolution) 레이어(331), 레이어 별로 정규화하여 데이터 분포의 변형을 막기 위한 BN(batch normalization) 레이어(333), 은닉층 활성화를 위한 ReLU(rectified linear unit) 레이어(335), 및 다중 클래스 분류를 위한 소프트맥스(softmax) 레이어(337) 중 적어도 하나를 포함할 수 있다.
채널 샘플러(110)는 다중 채널의 초분광 이미지(201)를 압축하여 단일 채널의 가중 평균 이미지(203)를 생성하는 기능을 수행한다. 채널 샘플러(110)는 다중 채널의 초분광 이미지(201)를 입력 받아 복수의 파장 대역들 각각에 대응되는 가중치들을 결정할 수 있고, 가중치들에 따라 초분광 이미지를 압축함으로써 단일 채널의 가중 평균 이미지(203)를 생성할 수 있다
도 3을 참고하면, 채널 샘플러(110)는 초분광 이미지(201)를 입력 받고, 복수의 레이어 블록들을 통해 채널 수를 유지하면서 공간 해상도를 감소 시킴으로써 내적 표상(internal representation)으로 인코딩할 수 있다. 채널 샘플러(110)는 내적 표상을 소프트맥스 레이어를 통과시킴으로써, 다중 채널 각각의 중요도를 지시하는 가중치 벡터를 생성할 수 있다. 이후, 채널 샘플러(110)는 채널 각각에서, 가중치들과 초분광 이미지를 합성하여 가중 평균 이미지(203)를 생성할 수 있다. 이후, 채널 샘플러(110)는 생성된 가중 평균 이미지(203)를 디코더(130)에 전달할 수 있다.
도 4는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 디코더(130)의 네트워크 구조(400)를 예시한다.
디코더(130)는 복수의 레이어 블록들(411, 413, 415, 417, 419, 421)이 포함된 네트워크로 구성될 수 있다. 도 4에 도시된 바와 같이, 레이어 블록에 포함된 레이어들은 컨벌루션 레이어(431), BN 레이어(433), ReLU 레이어(435), 및 전치 컨벌루션 레이어(437) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 디코더(130)는 세 개의 컨벌루션 레이어 블록과 세 개의 전치 컨벌루션 레이어 블록으로 구성될 수 있고, BN 레이어(433)는 마지막 레이어 블록(421)을 제외한 나머지 블록 모두에 적용될 수 있다.
디코더(130)는 단일 채널의 가중 평균 이미지(203)를 복원하여 다중 채널의 복원 초분광 이미지(205)를 생성하는 기능을 수행한다. 디코더(130)는 채널 샘플러(110)가 생성한 압축된 가중 평균 이미지(203)를 입력 받아, 원본의 초분광 이미지(201)와 동일한 채널의 수를 가지는 복원 초분광 이미지(205)를 생성할 수 있다. 이후, 디코더(130)는 생성된 복원 초분광 이미지(205)를 판별기(150)에 전달할 수 있다.
도 5는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 판별기(150)의 네트워크 구조(500)를 예시한다.
판별기(150)는 복수의 레이어 블록들(511, 513, 515, 517, 519)이 포함된 네트워크로 구성될 수 있다. 도 5에 도시된 바와 같이, 레이어 블록에 포함된 레이어들은 컨벌루션 레이어(531), BN 레이어(533), leaky ReLU 레이어(535), 및 시그모이드(sigmoid) 레이어(537) 중 적어도 하나를 포함할 수 있다.
판별기(150)는 초분광 이미지(201)와 복원 초분광 이미지(205)를 구별하는 기능을 수행한다. 판별기(150)는 채널 샘플러(110)로부터 원본의 초분광 이미지(201)를 입력 받고, 디코더(130)로부터 복원 초분광 이미지(205)를 입력 받고, 원본 초분광 이미지와 복원 초분광 이미지의 차이를 수치화한 손실 함수를 결정할 수 있다. 구체적으로, 판별기(150)는 초분광 이미지(201)와 복원 초분광 이미지(205)를 레이어 블록들에 통과시켜 비교함으로써 파장 대역의 수만큼의 true/false 응답을 출력할 수 있고, 출력에 따라 제1 손실 함수(Ladv)를 결정할 수 있다. 또한, 판별기(150)는 초분광 이미지(201)와 복원 초분광 이미지(205)를 비교하여 제2 손실 함수(Lphoto)를 결정할 수 있다. 판별기(150)는 제1 손실 함수(Ladv)와 제2 손실 함수(Lphoto)를 더하여 손실 함수를 결정하고, 손실 함수의 결과를 채널 샘플러(110)에 피드백 할 수 있다. 이에 대응하여, 채널 샘플러(110)는 피드백에 기반하여 파장 대역 별 가중치를 갱신할 수 있다.
본 개시의 일 실시 예에 따르면, 판별기(150)는 교차 엔트로피를 이용하여 제1 손실 함수(Ladv)를 결정할 수 있고, 평균 제곱 오차를 이용하여 제2 손실 함수(Lphoto)를 결정할 수 있다. 구체적으로, 제1 손실 함수(Ladv)는 <수학식 1>에 기반하여 결정될 수 있다.
Figure 112022059833400-pat00001
<수학식 1>을 참고하면, Ladv는 제1 손실 함수, E는 초분광 이미지 도메인에 관한 기대 값(expected value), Dθd는 판별기 파라미터, Im은 초분광 이미지, Ξm은 복원 초분광 이미지를 지시한다.
또한, 제2 손실 함수(Lphoto)는 <수학식 2>에 기반하여 결정될 수 있다.
Figure 112022059833400-pat00002
<수학식 2>를 참고하면, Lphoto는 제2 손실 함수, N은 학습 샘플의 수, Im은 초분광 이미지, Ξm은 복원 초분광 이미지를 지시한다.
이후, 판별기(150)는 제1 손실 함수(Ladv)와 제2 손실 함수(Lphoto)를 더하여 최종 손실 함수 Ladv + Lphoto를 결정할 수 있다.
파장 대역 결정 장치(101)는 결정된 손실 함수를 이용하여 샘플러(110), 디코더(130), 및 판별기(150)를 업데이트 할 수 있다. 즉, 파장 대역 결정 장치(101)는 딥 러닝 기반 모델에 널리 사용되는 오류 역전파 알고리즘 등을 이용하여 결정된 손실 함수를 파장 대역 결정 장치의 모델에 반영할 수 있다.
파장 대역 결정 장치(101)는 손실 함수로부터 채널 샘플러(110)의 파장 대역 별 가중치들을 갱신하는 과정을 반복하여 학습될 수 있다. 채널 샘플러(110)는 지속적인 갱신 과정을 통해 파장 대역 별로 중요도를 지시하는 가중치 밴드를 결정할 수 있다. 파장 대역 결정 장치는 결정된 가중치 밴드를 이용하여 초분광 이미지에서 객체 검출을 위한 최적의 파장 대역을 결정할 수 있다.
채널 샘플러(110)는 모든 파장 대역들 각각에 대응되는 가중치들을 결정하고, 가중치를 고려하여 압축함으로써 가중 평균 이미지를 생성할 수 있다. 즉, 가중 평균 이미지를 생성하는 과정에서 초분광 이미지에 포함된 모든 파장 대역들을 이용될 수 있다. 그러나, 파장 대역 결정 장치(101)의 성능 향상을 위하여, 채널 샘플러(110)는 초분광 이미지에 포함된 파장 대역들 중 일부 파장 대역을 이용하여 가중 평균 이미지를 생성할 수도 있다. 본 개시의 일 실시 예에 따르면, 채널 샘플러(110)는 초분광 이미지의 파장 대역 중 적어도 하나의 파장 대역을 제거할 수 있다. 이 경우, 채널 샘플러(110)는 제거된 파장 대역을 제외한 나머지 대역을 이용하여 가중 평균 이미지를 생성할 수 있다. 이하에서, 채널 샘플러(110)가 가중 평균 이미지를 생성하는 방법의 다른 일 예들이 상세히 설명된다.
도 6은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 파장 대역 결정을 위한 가중치 밴드의 일 예(600)를 도시한다. 도 6을 참고하면, 가로 축은 파장을 지시하고, 세로 축은 가중치를 지시한다.
채널 샘플러(110)는 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 생성할 수 있다. 구체적으로, 채널 샘플러(110)는 초분광 이미지(201)와 복원 초분광 이미지(205)의 차이에 관한 손실 함수의 결과를 피드백 받고 가중치들을 갱신할 수 있다. 즉, 파장 대역 결정 장치(101)는 채널 샘플러(110)의 가중치 갱신 과정을 반복함으로써, 파장 대역들 각각에 대응되는 가중치를 지시하는 가중치 밴드를 생성할 수 있다.
도 6을 참고하면, 긴 파장 대역에 상대적으로 높은 가중치를 부여되었으며, 잡음이 많이 존재하는 짧은 파장 대역에 낮은 가중치가 부여됨이 확인된다. 본 개시에 따른 파장 대역 결정 장치(101)는 제1 손실 함수(Ladv)와 함께 제2 손실 함수(Lphoto)를 모두 이용하여 가중치 밴드를 생성함으로써, 잡음이 많은 밴드 대역에 보다 더 낮은 가중치를 부여할 수 있다.
도 7은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 일부 파장 대역을 이용하여 가중 평균 이미지를 생성하는 방법에 관한 모식도(700)를 도시한다.
파장 대역 결정 장치(101)의 학습 과정에서 채널 샘플러(110)는 초분광 이미지에서 파장 대역 별 가중치를 지시하는 가중치 밴드를 결정할 수 있다. 파장 대역 결정 장치(101)가 학습된 이후에, 채널 샘플러(110)는 다중 채널의 초분광 이미지에서, 모든 파장 대역이 아닌 일부 파장 대역을 이용하여 가중 평균 이미지를 생성할 수 있다. 즉, 파장 대역 결정 장치(101)는 가중치가 높은 일부 파장 대역을 이용하여 평균 연산을 수행함으로써, 보다 더 선명한 이미지를 획득할 수 있다.
도 7을 참고하면, 채널 샘플러(110)는 학습 과정에서 복수의 파장 대역들에 관한 가중치들을 지시하는 가중치 밴드를 생성하여 저장해 둘 수 있다. 이후, 채널 샘플러(110)는 가중치의 크기 순서에 기반하여 파장 대역들 중에서 적어도 하나의 파장 대역에 관한 부분 가중치 밴드를 선택할 수 있다. 본 개시의 일 실시 예에 따르면, 채널 샘플러(110)는 가중치의 크기가 큰 순서로 파장 대역을 정렬하고, 미리 설정된 수만큼의 파장 대역에 관한 부분 가중치 밴드를 선택할 수 있다. 이후, 채널 샘플러(110)는 부분 가중치 밴드에 기반하여 초분광 이미지를 압축하여 가중 평균 이미지를 생성할 수 있다. 즉, 채널 샘플러(110)는 일부 파장 대역들에 관한 가중치 밴드를 이용하여 초분광 이미지를 압축함으로써, 높은 가중치의 일부 파장 대역을 이용한 단일 채널의 가중 평균 이미지를 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 샘플러(110)는 x개의 파장 대역들에 대응되는 x개의 가중치들을 지시하는 가중치 밴드(701)를 생성할 수 있다. 이후, 채널 샘플러(110)는 가중치의 크기 순서에 기반하여 가중치 밴드를 정렬하고, 가중치의 크기 순서에 기반하여 k개의 파장 대역에 관한 부분 가중치 밴드(703)를 선택할 수 있다. 본 개시의 일 실시 예에 따르면, 채널 샘플러(110)는 가중치가 크기가 큰 순서를 따라, 미리 설정된 수 k개 만큼의 파장 대역에 관한 부분 가중치 밴드(703)를 선택할 수 있다.
채널 샘플러(110)는 k개의 파장 대역에 관한 부분 가중치 밴드(703)를 이용하여 초분광 이미지(705)를 압축함으로써, 단일 채널의 가중 평균 이미지(707)를 생성할 수 있다. 구체적으로, 가중 평균 이미지(707)는 <수학식 3>에 기반하여 결정될 수 있다.
Figure 112022059833400-pat00003
<수학식 3>을 참고하면, Is는 가중 평균 이미지, Im은 초분광 이미지, c는 가중치 밴드에서 가중치 각각의 인덱스, w(c)는 부분 가중치 밴드를 지시한다.
부분 가중치 밴드에 포함된 파장 대역의 수가 1, 3, 10, 30으로 설정된 경우에서, 각각에서 객체 검출 장치의 객체 탐지 성능을 정량적으로 평가한 결과는 아래의 <표 1>과 같이 결정될 수 있다.
Figure 112022059833400-pat00004
<표 1>을 참고하면, 파장 대역에 대응되는 밴드 374개를 모두 이용하는 것 보다, 가중치 크기 순서의 상위 10개만 이용하였을 때, 객체 탐지 성능이 가장 우수한 것이 확인된다.
도 8은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 파장 대역을 분할하여 가중 평균 이미지를 생성하는 방법에 관한 모식도(800)를 도시한다.
파장 대역 결정 장치(101)가 학습된 이후에, 채널 샘플러(110)는 다중 채널의 초분광 이미지를 단일 채널이 아닌 다중 채널의 가중 평균 이미지를 생성할 수 있다. 즉, 파장 대역 결정 장치(101)는 초분광 이미지를 다중 채널의 가중 평균 이미지로 분할 함으로써, 객체 검출 성능을 향상시킬 수 있다.
도 8을 참고하면, 채널 샘플러(110)는 학습 과정에서 복수의 파장 대역들에 관한 가중치들을 지시하는 가중치 밴드를 생성하여 저장해 둘 수 있다. 이후, 채널 샘플러(110)는 가중치 밴드를 분할하여 분할 가중치 밴드를 생성하고, 분할 가중치 밴드 각각에 대응되는 가중 평균 이미지들을 생성할 수 있다. 이후, 채널 샘플러(110)는 가중 평균 이미지들을 합성하여 다중 채널의 가중 평균 이미지를 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 채널 샘플러(110)는 가중치 밴드를 분할하여 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성할 수 있다. 이후, 채널 샘플러(110)는 제1 분할 가중치 밴드에 기반하여 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하고, 제2 분할 가중치 밴드에 기반하여 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성할 수 있다. 채널 샘플러(110)는 제1 분할 가중치 밴드와 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성할 수 있다.
도 7을 참고하면, 채널 샘플러(110)는 가중치 밴드(801)를 세 개의 분할 가중치 밴드로 분할 수 있다. 그에 따라, 채널 샘플러(110)는 제1 분할 가중치 밴드 내지 제3 분할 가중치 밴드(803-1 내지 803-3)를 생성할 수 있다. 이후, 채널 샘플러(110)는 제1 분할 가중치 밴드 내지 제3 분할 가중치 밴드(803-1 내지 803-3)를 이용하여 초분광 이미지(805)를 압축하여 제1 가중 평균 이미지 내지 제3 가중 평균 이미지(807-1 내지 807-3)을 생성할 수 있다. 채널 샘플러(110)는 생성된 가중 평균 이미지들을 합성하여 다중 채널의 가중 평균 이미지(809)를 생성할 수 있다.
부분 가중치 밴드에 포함된 파장 대역의 수가 1, 3, 10, 30으로 설정되고, 채널 샘플러(110)가 가중치 밴드를 세 개의 분할 가중치 밴드로 분할한 경우에서, 객체 검출 장치의 객체 탐지 성능을 정량적으로 평가한 결과는 아래의 <표 2>과 같이 결정될 수 있다.
Figure 112022059833400-pat00005
<표 2>를 참고하면, 3-채널로 압축한 경우의 객체 검출 성능이 1-채널로 압축한 경우 객체 검출 성능 보다 높음이 확인된다.
도 9는 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 손실 함수에 따른 가중 평균 이미지의 일 예(900)를 도시한다.
도 9를 참고하면, 단순 평균을 이용한 경우 제1 이미지(901), 제2 손실 함수만을 이용한 경우 가중 평균에 관한 제2 이미지(903), 제1 손실 함수와 제2 손실 함수를 모두 이용한 경우 가중 평균에 관한 제3 이미지(905)가 예시된다.
제1 이미지(901)는 가중치를 이용하지 않고 일반적인 유넷(U-net)이나 FCN(fully convolution network) 구조의 네트워크를 이용한 경우를 예시한다. 제1 이미지를 참고하면, 입출력 데이터의 해상도를 유지한 채로 채널 수를 변경되기 때문에 데이터에 대한 직접 압축이 가능하다. 그러나, 일반적인 유넷, FCN 구조의 네트워크를 이용한 경우, 데이터의 손실로 인하여 이미지가 흐려지는 현상이 발생하는 것을 확인된다.
제2 이미지(903)는 평균 제곱 오차를 이용한 손실 함수를 이용한 경우를 예시한다. 가중치를 이용하는 경우 원본 데이터를 유지한 채로 비중만 변경하므로 선명한 영상을 얻을 수 있다는 장점이 있다. 그에 따라 제2 이미지(903)를 참고하면, 단순 평균을 이용한 제1 이미지(901) 대비 잡음 필터링 효과가 개선되었다. 그러나, 제2 이미지(903)는 여전히 잡음이 많이 존재하며 정밀한 객체 검출이 요구되는 시스템에 적용이 어려운 문제가 있다.
제3 이미지(905)는 평균 제곱 오차와 교차 엔트로피를 이용한 손실 함수를 이용한 경우를 예시한다. 제3 이미지를 참고하면, 채널 샘플러(110)에 의해 가중치 밴드가 생성되고, 가중치 밴드를 이용하여 초분광 이미지를 단일 채널 이미지로 가중 평균시킨다. 이 때, 평균 제곱 오차와 교차 엔트로피를 모두 고려함으로써 잡음 필터링 효과가 더욱 증가함이 확인된다.
도 10은 본 개시의 다양한 실시 예들에 따른 파장 대역 결정 시스템(100)에서, 파장 대역 결정 장치(101)의 동작 방법에 관한 흐름도(1000)를 도시한다. 도 10은 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치(101)의 동작 방법을 예시한다.
도 10을 참고하면, 단계(1001)에서 파장 대역 결정 장치(101)는 다중 채널의 초분광 이미지를 압축하여 가중 평균 이미지 생성한다. 본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)는 채널 샘플러(110)를 이용하여 초분광 이미지의 채널들 각각에 가중치들을 적용하여, 단일 채널의 가중 평균 이미지를 생성할 수 있다.
단계(1003)에서, 파장 대역 결정 장치(101)는 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성한다. 파장 대역 결정 장치(101)는 디코더(130)를 이용하여 압축된 가중 평균 이미지를 복원할 수 있다. 본 개시의 일 실시 예에 따르면, 복원 초분광 이미지의 채널의 수는 초분광 이미지의 채널의 수와 동일할 수 있다.
단계(1005)에서, 파장 대역 결정 장치(101)는 초분광 이미지와 복원 초분광 이미지에 기반하여 손실 함수를 결정한다. 파장 대역 결정 장치(101)는 판별기(150)를 이용하여 손실 함수를 결정할 수 있다. 본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)의 판별기(150)는 초분광 이미지와 복원 초분광 이미지에 관한 교차 엔트로피를 이용하여 제1 손실 함수를 결정하고, 초분광 이미지와 복원 초분광 이미지에 관한 평균 제곱 오차를 이용하여 제2 손실 함수를 결정하고, 제1 손실 함수와 제2 손실 함수를 더하여 손실 함수를 결정할 수 있다.
단계(1007)에서, 파장 대역 결정 장치(101)는 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드를 결정한다. 파장 대역 결정 장치(101)의 판별기(150)는 손실 함수의 결과를 채널 샘플러(110)에 피드백 할 수 있고, 채널 샘플러(110)는 피드백에 기반하여 파장 대역 별 가중치를 갱신할 수 있다. 즉, 파장 대역 결정 장치(101)의 채널 샘플러(110)는 손실 함수에 기반하여 가중치 갱신 과정을 반복함으로써, 파장 대역들 각각에 대응되는 가중치를 지시하는 가중치 밴드를 생성할 수 있다.
본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)의 채널 샘플러(110)는 초분광 이미지의 파장 대역 중 적어도 하나의 파장 대역을 제거할 수 있다.
본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)의 채널 샘플러(110)는 추가 초분광 이미지를 획득하고, 가중치 밴드에서 가중치들의 크기 순서에 기반하여 파장 대역들 중 적어도 일부 파장 대역에 관한 부분 가중치 밴드를 선택하고, 부분 가중치 밴드에 기반하여 초분광 이미지를 압축하여 가중 평균 이미지를 생성하고, 부분 가중치 밴드는 가중치 밴드에 포함될 수 있다.
본 개시의 일 실시 예에 따르면, 파장 대역 결정 장치(101)의 채널 샘플러(110)는 추가 초분광 이미지를 획득하고, 가중치 밴드로부터 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성하고, 제1 분할 가중치 밴드에 기반하여 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하고, 제2 분할 가중치 밴드에 기반하여 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성하고, 제1 분할 가중치 밴드와 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101 파장 대역 결정 장치 110 채널 샘플러
130 디코더 150 판별기
103 객체 검출 장치 201, 705, 805 초분광 이미지
203, 707, 809 가중 평균 이미지 205 복원 초분광 이미지
701, 801 가중치 밴드 703 부분 가중치 밴드
311, 313, 315, 317, 319 복수의 레이어 블록들
411, 413, 415, 417, 419, 421 복수의 레이어 블록들
511, 513, 515, 517, 519 복수의 레이어 블록들
331, 431, 531 컨벌루션 레이어
333, 433, 533 BN 레이어
335, 435 ReLU 레이어
337 소프트맥스 레이어
437 전치 컨벌루션 레이어
535 leaky ReLU 레이어
537 시그모이드 레이어
803-1 내지 803-3 제1 분할 가중치 밴드 내지 제3 분할 가중치 밴드
807-1 내지 807-3 제1 가중 평균 이미지 내지 제3 가중 평균 이미지

Claims (14)

  1. 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치에 있어서,
    다중 채널의 초분광 이미지(hyperspectral image)를 압축하여 가중 평균 이미지 생성하도록 구성되는 채널 샘플러;
    상기 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성하도록 구성되는 디코더; 및
    상기 초분광 이미지와 상기 복원 초분광 이미지에 기반하여 손실 함수를 결정하도록 구성되는 판별기를 포함하고,
    상기 채널 샘플러는 상기 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 결정하는 파장 대역 결정 장치.
  2. 청구항 1에 있어서,
    상기 채널 샘플러는,
    상기 초분광 이미지의 채널들 각각에 상기 가중치들을 적용하여, 단일 채널의 가중 평균 이미지를 생성하는 파장 대역 결정 장치.
  3. 청구항 1에 있어서,
    상기 복원 초분광 이미지의 채널의 수는 상기 초분광 이미지의 채널의 수와 동일한 파장 대역 결정 장치.
  4. 청구항 1에 있어서,
    상기 판별기는,
    상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 교차 엔트로피를 이용하여 제1 손실 함수를 결정하고,
    상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 평균 제곱 오차를 이용하여 제2 손실 함수를 결정하고,
    상기 제1 손실 함수와 상기 제2 손실 함수를 더하여 손실 함수를 결정하는 파장 대역 결정 장치.
  5. 청구항 1에 있어서,
    상기 채널 샘플러는 상기 손실 함수에 기반하여, 상기 가중치들을 갱신하는 파장 대역 결정 장치.
  6. 청구항 1에 있어서,
    상기 채널 샘플러는,
    상기 초분광 이미지의 파장 대역 중 적어도 하나의 파장 대역을 제거하는 파장 대역 결정 장치.
  7. 청구항 1에 있어서,
    상기 채널 샘플러는,
    추가 초분광 이미지를 획득하고,
    상기 가중치들의 크기 순서에 기반하여 상기 파장 대역들 중 적어도 일부 파장 대역에 관한 부분 가중치 밴드를 선택하고,
    상기 부분 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 가중 평균 이미지를 생성하고,
    상기 부분 가중치 밴드는 상기 가중치 밴드에 포함되는 파장 대역 결정 장치.
  8. 청구항 1에 있어서,
    상기 채널 샘플러는,
    추가 초분광 이미지를 획득하고,
    상기 가중치 밴드로부터 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성하고,
    상기 제1 분할 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하고,
    상기 제2 분할 가중치 밴드에 기반하여 상기 추가 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성하고,
    상기 제1 분할 가중치 밴드와 상기 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성하는 파장 대역 결정 장치.
  9. 이미지로부터 객체 검출을 위한 파장 대역을 결정하는 파장 대역 결정 장치의 동작 방법에 있어서,
    다중 채널의 초분광 이미지(hyperspectral image)를 압축하여 가중 평균 이미지 생성하는 단계;
    상기 가중 평균 이미지를 복원하여 복원 초분광 이미지를 생성하는 단계;
    상기 초분광 이미지와 상기 복원 초분광 이미지에 기반하여 손실 함수를 결정하는 단계; 및
    상기 손실 함수에 기반하여 파장 대역들 각각에 대응되는 가중치들을 지시하는 가중치 밴드 결정하는 단계를 포함하는 방법.
  10. 청구항 9에 있어서,
    상기 가중 평균 이미지 생성하는 단계는,
    상기 초분광 이미지의 채널들 각각에 상기 가중치들을 적용하여, 단일 채널의 가중 평균 이미지를 생성하는 단계를 포함하는 방법.
  11. 청구항 9에 있어서,
    상기 손실 함수를 결정하는 단계는,
    상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 교차 엔트로피를 이용하여 제1 손실 함수를 결정하는 단계;
    상기 초분광 이미지와 상기 복원 초분광 이미지에 관한 평균 제곱 오차를 이용하여 제2 손실 함수를 결정하는 단계; 및
    상기 제1 손실 함수와 상기 제2 손실 함수를 더하여 손실 함수를 결정하는 단계를 포함하는 방법.
  12. 청구항 9에 있어서,
    상기 가중치 밴드 결정하는 단계는 상기 손실 함수에 기반하여, 상기 가중치들을 갱신하는 단계를 포함하는 방법.
  13. 청구항 9에 있어서,
    추가 초분광 이미지를 획득하는 단계;
    상기 가중치들의 크기 순서에 기반하여 상기 파장 대역들 중 적어도 일부 파장 대역에 관한 부분 가중치 밴드를 선택하는 단계; 및
    상기 부분 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 가중 평균 이미지를 생성하는 단계를 더 포함하고,
    상기 부분 가중치 밴드는 상기 가중치 밴드에 포함되는 방법.
  14. 청구항 9에 있어서,
    추가 초분광 이미지를 획득하는 단계;
    상기 가중치 밴드로부터 제1 분할 가중치 밴드와 제2 분할 가중치 밴드를 생성하는 단계;
    상기 제1 분할 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 제1 가중 평균 이미지를 생성하는 단계;
    상기 제2 분할 가중치 밴드에 기반하여 상기 초분광 이미지를 압축하여 제2 가중 평균 이미지를 생성하는 단계; 및
    상기 제1 분할 가중치 밴드와 상기 제2 분할 가중치 밴드로부터 다중 채널의 가중 평균 이미지를 생성하는 단계를 더 포함하는 방법.
KR1020220069582A 2022-06-08 2022-06-08 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법 KR102438776B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220069582A KR102438776B1 (ko) 2022-06-08 2022-06-08 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220069582A KR102438776B1 (ko) 2022-06-08 2022-06-08 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102438776B1 true KR102438776B1 (ko) 2022-08-31

Family

ID=83061867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220069582A KR102438776B1 (ko) 2022-06-08 2022-06-08 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102438776B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840666B1 (ko) * 2016-09-07 2018-03-21 영남대학교 산학협력단 대상체 분류 시스템 및 방법
KR102294391B1 (ko) * 2020-07-20 2021-08-25 영남대학교 산학협력단 객체 탐지 방법 및 이를 수행하기 위한 장치
KR102355001B1 (ko) * 2021-08-24 2022-01-24 서울대학교 산학협력단 기계학습 회귀모형과 확률론적 군집화 방법을 이용하여 초분광 영상자료로부터 하천 부유사 농도의 공간분포를 산정하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840666B1 (ko) * 2016-09-07 2018-03-21 영남대학교 산학협력단 대상체 분류 시스템 및 방법
KR102294391B1 (ko) * 2020-07-20 2021-08-25 영남대학교 산학협력단 객체 탐지 방법 및 이를 수행하기 위한 장치
KR102355001B1 (ko) * 2021-08-24 2022-01-24 서울대학교 산학협력단 기계학습 회귀모형과 확률론적 군집화 방법을 이용하여 초분광 영상자료로부터 하천 부유사 농도의 공간분포를 산정하는 방법

Similar Documents

Publication Publication Date Title
Afchar et al. Mesonet: a compact facial video forgery detection network
JP7284502B2 (ja) 画像処理装置及び方法
JP6959614B2 (ja) 分析装置，及びフローサイトメータ
Li et al. No-reference image quality assessment with deep convolutional neural networks
EP3292512B1 (en) Full reference image quality assessment based on convolutional neural network
US8331631B2 (en) Method, apparatus, and program for discriminating the states of subjects
US10657378B2 (en) Classifying images and videos
Jeong et al. Bihpf: Bilateral high-pass filters for robust deepfake detection
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
CN111145097A (zh) 图像处理方法、装置和图像处理系统
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
Yu et al. Detecting deepfake-forged contents with separable convolutional neural network and image segmentation
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
KR20150088157A (ko) 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법
WO2022077417A1 (zh) 图像处理方法、图像处理设备和可读存储介质
CN113762277A (zh) 一种基于Cascade-GAN的多波段红外图像融合方法
Bennabhaktula et al. Source camera device identification from videos
Larue et al. Seeable: Soft discrepancies and bounded contrastive learning for exposing deepfakes
Bharathiraja et al. A deep learning framework for image authentication: an automatic source camera identification Deep-Net
Maheshwari et al. Deepfake Detection using Integrate-backward-integrate Logic Optimization Algorithm with CNN
Alatalo et al. Detecting one-pixel attacks using variational autoencoders
KR102438776B1 (ko) 객체 검출에 이용되는 파장 대역을 결정하기 위한 장치 및 방법
WO2021258284A1 (en) Edge processing data de-identification
KR20220067159A (ko) 이상 상황 감지 장치 및 방법
Hadwiger et al. Towards learned color representations for image splicing detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant