KR102295631B1 - 분광특성지수를 이용한 초분광영상 활용 방법 - Google Patents

분광특성지수를 이용한 초분광영상 활용 방법 Download PDF

Info

Publication number
KR102295631B1
KR102295631B1 KR1020200006105A KR20200006105A KR102295631B1 KR 102295631 B1 KR102295631 B1 KR 102295631B1 KR 1020200006105 A KR1020200006105 A KR 1020200006105A KR 20200006105 A KR20200006105 A KR 20200006105A KR 102295631 B1 KR102295631 B1 KR 102295631B1
Authority
KR
South Korea
Prior art keywords
spectral characteristic
characteristic index
hyperspectral
regression equation
wavelengths
Prior art date
Application number
KR1020200006105A
Other languages
English (en)
Other versions
KR20210092867A (ko
Inventor
김동수
유호준
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020200006105A priority Critical patent/KR102295631B1/ko
Publication of KR20210092867A publication Critical patent/KR20210092867A/ko
Application granted granted Critical
Publication of KR102295631B1 publication Critical patent/KR102295631B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B64C2201/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

본 발명은 분광특성지수 연산모듈(320)이, 상기 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하고, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인하는 단계; 상기 분광특성지수 연산모듈(320)이, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 차를 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 합으로 나누어 밴드지수(band index)를 연산하여 제1 분광특성지수(X1)로 결정하고, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)를 연산하여 제2 분광특성지수(X2)로 결정하는 단계; 및 회귀분석모듈(330)이, 상기 초분광 관측값(Y)과 상기 결정된 제1 분광특성지수(X1)와 제2 분광특성지수(X2)가 비선형관계에 있음을 가정하고, 상기 다수의 지점에서의 상기 초분광 관측값(Y)과 상기 결정된 분광특성지수(X1, X2)를 이용하여, 각각의 회귀식(Y=aln(X)+b)의 a와 b를 연산함으로써, 회귀식을 각각 결정하는 단계를 포함하는 분광특성지수를 이용한 초분광영상 활용 방법을 제공한다.

Description

분광특성지수를 이용한 초분광영상 활용 방법{Method for utilizing of hyperspectral image using optimal spectral characteristic index}
본 발명은 밴드비(band ratio) 및 밴드지수(band index)를 포함하는 분광특성지수를 이용한 초분광영상 활용 방법에 관한 것으로, 구체적으로, 관측값과 초분광영상을 이용하여 실재 물체를 가장 잘 대변하는 분광특성지수를 확인함으로써, 관측값이 없는 지점에서도 초분광영상만을 이용하여 높은 정확도로 물체를 식별할 수 있는 방법에 관한 것이다.
카메라에 포함되는 일반적인 이미지 센서(image sensor)는 가시광영역의 정보만을 감지하는데 반하여, 초분광 센서(hyperspectral sensor)를 사용할 경우 자외선영역, 적외선영역을 더 포함하여 수백배에 이르는 많은 정보를 확보할 수 있다.
수많은 정보를 포함한 초분광정보를 이용할 경우, 해당 영상만으로도 촬영한 지점의 물체, 수심, 환경 등을 정밀하게 식별할 수 있다. 이를 위해, 실재의 파장별 밴드가 무엇을 의미하는지를 매칭시킨 데이터베이스가 필요하다. 예를 들어, 2010년에 발사된 천리안 해양관측 위성(Goestationary Ocean Color Imager, GOGI)에 의해여, 8개 밴드(412, 490, 512, 555, 660, 680, 765, 875nm)의 값을 알 경우, 각각의 값이 어떠한 해색(海色)을 의미하는지 여부에 대한 데이터베이스는 이미 확보되어 있는 상태이다. 이를 이용하여, 해양의 초분광영상을 촬영함으로써 지점별 초분광정보가 확인되면, 데이터베이스로부터 해당 파장에서의 값과 이에 매칭된 해색을 확인함으로써, 직접 해색을 관측하지 않아도, 초분광영상만으로 해색을 추정하게 된다.
또한, 모든 지점에서의 파장별 관측값을 확인하고 데이터베이스화할 수 없기에, 회귀식이 사용된다. 즉, 다수의 데이터를 이용하여 회귀식을 구축하여 두면, 데이터베이스화되어 있지 않은 위치에서도, 회귀식을 이용하여, 초분광영상에서 확인되는 파장별 밴드를 이용하여 실재의 값을 추정할 수 있다.
하지만, 이러한 방식으로 특정 파장의 촬영값(즉, 파장별 밴드)을 이용하여 정보를 추정하는 방식은 일정 수준의 오차가 있는 것으로 알려져 있다. 이러한 오차의 원인으로서, 초분광정보 촬영 단계에서 발생하는 오차(예를 들어, 반사광의 영향으로 촬영값이 실재 위치의 값을 대변하지 못하는 상황), 영상 수정 단계에서 발생하는 오차(예를 들어, 기하 보정의 오류, 영상 정합의 오류 등), 데이터베이스의 오류(예를 들어, 촬영값은 정확하였지만 식별 정보가 잘못된 경우), 기타 외부요인 등이 제시된다.
더욱이, 정확도가 낮은 값을 이용하여 구축한 회귀식을 통해 값을 추정할 경우, 이러한 오차는 점차 커지게 된다.
이에, 오차를 줄여서 정확도를 높일 수 있는 새로운 방식의 식별 방법에 대한 요구가 증가하는 추세이다.
관련된 특허 문헌을 검토한다.
한국등록특허 제10-1463351호는 초분광영상에서 밴드비를 활용하여 특이영역을 검출하고, 초분광영상에서 검출된 영역을 제외함으로써 정보 연산의 속도를 상승시키는 기술을 개시한다. 후술하는 본 발명과 밴드비를 사용한다는 점만 공통될 뿐, 전체적인 발명의 목적, 구성 및 효과가 상이하다.
한국등록특허 제10-1806488호는 초분광영상 센서를 드론에 탑재하여 암체를 식별하는 기술을 개시한다. 한국등록특허 제10-1744662호는 초분광영상을 이용하여 식물을 분류하는 기술을 개시한다. 이를 위해, 다양한 암체 내지 식물에 대한 초분광영상 표준자료가 미리 확보되어 있어야 하며, 촬영된 영상을 이와 비교함으로써, 피촬영 오브젝트를 식별한다. 하지만, 드론의 흔들림으로 인한 정확도 저하 문제, 영상 정합의 효율성을 상승시키는 문제 등 촬영 단계에서 확인되는 원천적인 문제를 해결하지 못한다.
한국공개특허 제10-2014-0014819호는 초분광영상에서 확인된 데이터에 대하여 색인/질의 기법을 적용함으로써, 마치 인공지능 알고리즘과 같은 형태로, 데이터를 식별하는 방법을 개시한다. 이러한 방법 활용의 전제조건은 초분광영상의 정확도인데, 무인비행체와 같은 환경에서 촬영된 영상의 정확도를 상승시키는 방법까지 제시하지 못한다.
미국특허 제7,181,055호는 초분광영상을 정합하는 알고리즘을 제시한다. 여기에서는, 반사도 이미지를 활용하여 정합 정확도를 상승시킨다.
한국등록특허 제10-1463351호 한국등록특허 제10-1806488호 한국등록특허 제10-1744662호 한국공개특허 제10-2014-0014819호 미국특허 제7,181,055호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다.
구체적으로, 정확한 초분광정보를 획득하여 특정 파장이 갖고 있는 촬영값이 정확함에도, 해당 촬영값에 대한 데이터베이스가 정확한 식별 정보를 반영하지 못하는 상황을 방지하기 위한, 신규한 초분광정보 식별 방법을 제안하고자 한다.
특히, 특정 파장의 촬영값을 사용하는 것이 아니라, 2개의 파장의 쌍의 촬영값인 밴드비 및 밴드지수를 포함하는 분광특성지수를 이용하는 신규한 초분광영상 활용 방법을 제안하고자 한다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 초분광 관측값(Y)이 입력되는 단계; (b) 촬영영상 입력모듈(210)에 초분광정보를 갖는 촬영영상이 입력되고, 상기 미리 결정된 다수의 지점 각각에서 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))이 확인되는 단계; (c) 분광특성지수 연산모듈(320)이, 상기 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하고, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인하는 단계; (d) 상기 분광특성지수 연산모듈(320)이, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 차를 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 합으로 나누어 밴드지수(band index)를 연산하여 제1 분광특성지수(X1)로 결정하고, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)를 연산하여 제2 분광특성지수(X2)로 결정하는 단계; 및 (e) 회귀분석모듈(330)이, 상기 초분광 관측값(Y)과 상기 결정된 상기 제1 분광특성지수(X1)와 상기 제2 분광특성지수(X2)가 비선형관계에 있음을 가정하고, 상기 다수의 지점에서의 상기 초분광 관측값(Y)과 상기 결정된 상기 제1 분광특성지수(X1)를 이용하여 제1 회귀식(Y=a1ln(X1)+b1)의 a1와 b1를 연산함으로써 제1 회귀식(Y=a1ln(X1)+b1)으로 결정하고, 상기 다수의 지점에서의 상기 초분광 관측값(Y)과 상기 결정된 상기 제2 분광특성지수(X2)를 이용하여 제2 회귀식(Y=a2ln(X2)+b2)의 a2와 b2를 연산함으로써 제2 회귀식(Y=a2ln(X2)+b2)으로 결정하는 단계를 포함하는 분광특성지수를 이용한 초분광영상 활용 방법을 제공한다.
또한, 상기 (e) 단계 이후, (f) 상기 회귀분석모듈(330)이, 상기 초분광 촬영값에 포함된 상기 다수의 파장 중 상기 (c) 단계에서의 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, 상기 (d) 내지 (e) 단계를 반복함으로써, 다수의 2개의 파장의 쌍마다 각각 제1 회귀식 및 제2 회귀식을 생성하는 단계; (g) 회귀식 결정모듈(340)이, 상기 생성된 다수의 제1 회귀식 및 제2 회귀식 중 상관계수(correlation)가 가장 높은 회귀식을 선택하는 단계; 및 (h) 상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 선택된 회귀식에 사용된 분광특성지수(X)에 적용된 2개의 파장을, 최적 분광특성지수 파장의 쌍으로 결정하는 단계를 더 포함하는 것이 바람직하다.
또한, 상기 (h) 단계 이후, (i) 관측값 추정모듈(350)이, 상기 다수의 지점 이외의 지점의 초분광 촬영값에서, 상기 (h) 단계에서 결정된 최적 분광특성지수 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하고, 상기 2개의 초분광 촬영값의 차를 상기 2개의 초분광 촬영값의 합으로 나누어 밴드지수를 연산하여 제1 분광특성지수로 결정하거나, 상기 2개의 초분광 촬영값 중 어느 하나를 다른 하나로 나누어 밴드비를 연산하여 제2 분광특성지수로 결정하는 단계; 및 (j) 상기 관측값 추정모듈(350)이, 상기 (g) 단계에서 선택된 회귀식에 상기 결정된 제1 분광특성지수 또는 제2 분광특성지수를 입력하여 해당 지점의 관측값을 추정하는 단계를 더 포함하는 것이 바람직하다.
또한, 상기 (g) 단계는, 상기 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식에 대한 상관계수를 연산하여, 2개의 파장의 쌍에서 각각의 파장을 X축 및 Y축으로 하는 상관계수 맵을 생성하는 단계를 포함하고, 상기 (h) 단계는, 상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 생성된 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 분광특성지수 파장의 쌍으로 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 (a) 단계는, (a1) 비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체의 비행경로를 설정하는 단계; 및 (a2) 무인비행체가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 상기 초분광정보를 획득하는 단계를 포함하는 것이 바람직하다.
상기와 같은 과제를 해결하기 위한 본 발명의 다른 실시예는, 컴퓨터 판독 가능한 기록 매체에 저장되어 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 실행시키는 프로그램을 제공한다.
상기와 같은 과제를 해결하기 위한 본 발명의 또 다른 실시예는, 상기 실시예에 따른 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명에 따른 방법에 의해, 분광특성지수를 활용함으로써, 초분광정보에서의 촬영값을 통하여, 실재 물체를 높은 정확도로 추정할 수 있다.
종래에는 실재 물체의 파장의 값과 가장 가까운 것으로 식별되는 값을 갖는 오직 1개의 파장만을 사용하기에, 해당 매칭이 부정확하거나 측정값에 오류가 있는 경우 실재 물체와 다른 물체를 추정하는 오류가 발생할 수 있다는 단점이 있었다.
본 발명은, 상관성이 큰 두 개의 파장을 활용하되, 상관성이 클 경우 양의 상관성도 있지만 음의 상관성도 존재함을 고려하여 두 개의 밴드를 활용하고, 매칭 과정을 통해 실재 물체의 값을 추정하기에, 정확도를 높일 수 있는 것이다.
이러한 방법은, 컴퓨터 프로그램화되어, 다수의 지점의 관측값과 촬영된 초분광영상이 입력되면, 자동으로 회귀식이 결정될 수 있어서, 높은 정확도를 유지하면서도 신속한 회귀식 연산 및 이를 기반으로 한 대상 물체의 식별이 가능하다는 장점을 갖는다.
도 1은 본 발명에 따른 방법을 수행하기 위한 시스템을 도시한다.
도 2는 본 발명에 따른 방법을 설명하기 위한 순서도이다.
도 3은 본 발명에 따른 방법의 분광특성지수를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 방법에서 분광특성지수와 관측값을 이용하여 회귀분석이 수행되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 방법에 의하여 설정된 상관관계 맵을 도시한다.
도 6은 본 발명에 따른 방법에 의하여 상관관계 맵을 이용하여 회귀식을 선택하는 방법을 설명한다.
도 7은 본 발명에 따른 방법이 구현된 프로그램의 화면을 도시한다.
이하에서, 분광특성지수는 밴드지수(band index) 및 밴드비(bend ratio) 등을 포함하는 분광특성을 나타내기 위한 지수이다.
이하, 도면을 참조하여 본 발명을 보다 상세히 설명한다.
시스템의 설명
본 발명에 따른 방법이 수행되는 시스템은, 영상처리부(200)와 영상 분석부(300)로 구분될 수 있다. 영상처리부(200)는 드론과 같은 무인비행체(미도시)에서 촬영한 촬영영상을 처리하는 기능을 수행하며, 영상분석부(300)는 여기에서 전처리된 영상을 이용하여 분광특성지수를 활용해 회귀분석을 수행하며, 관측값을 추정하는 기능을 수행한다.
영상처리부(200)는 통신모듈(210), 비행경로 설정모듈(220), 촬영영상 입력모듈(230), 정규화 수행모듈(240), 기하보정 수행모듈(250), 영상정합 수행모듈(260) 및 초분광영상 출력모듈(270)을 포함한다.
통신모듈(210)은 무인비행체(미도시)와 유선 또는 무선으로 통신하여, 촬영영상 입력모듈(230)이 초분광센서(미도시)에서 획득되는 초분광정보를 수신하도록 한다. 수신하는 정보에는, 위치 정보가 포함될 수도 있다.
비행경로 설정모듈(220)은 초분광정보를 수집하고자 하는 수집영역을 기초로 하여, 그 영상을 확보하기 위한 무인비행체(미도시)의 비행경로를 설정하는 기능을 수행한다.
정규화 수행모듈(240)은, 확보된 초분광정보의 정규화 기능을 수행한다. 모든 기하학적 변환에서, 회전, 크기, 평행성 보존 등은 원점(0, 0)을 기준으로 발생하기에, 각 영상에 존재하는 XY 좌표의 각 순서쌍의 정규화가 필요하다.
기하보정 수행모듈(250)은, 확보된 초분광정보에서 지면의 굴곡 등 기하학적 조건에 의한 왜곡을 보상하기 위한 기하보정을 수행한다.
영상정합 수행모듈(260)은, 확보된 다수의 초분광정보를 정합하는 기능을 수행한다. 이를 위하여, 적분영상 연산모듈(261) 및 대응점 확인모듈(262)이 구비된다.
초분광영상 출력모듈(270)은, 정규화되고, 기하보정되고, 영상정합된 최종 결과물로서 획득된 초분광영상을 출력하는 기능을 수행한다.
한편, 이와 같은 영상 처리 방식은 일례에 불과하며, 종래에 알려진 어떠한 처리 방식으로 초분광영상이 처리되어도 무방하다.
영상분석부(300)는, 초분광 관측값 입력모듈(310), 분광특성지수 연산모듈(320), 회귀분석모듈(330), 회귀식 결정모듈(340) 및 관측값 추정모듈(350)을 포함한다.
초분광 관측값 입력모듈(310)은, 미리 결정된 다수의 지점에 대한 실재 초분광 관측값을 입력하는 기능을 수행한다. 즉, 초분광영상에서 확보되는 촬영값과 상관관계를 확인하기 위한 실재의 관측값이 입력되는 것이다.
분광특성지수 연산모듈(320)은, 영상처리부(200)로부터의 초분광영상에서 확보되는 촬영값(예를 들어, 화소값)을 통해 밴드지수 및 밴드비를 연산한다. 분광특성지수 연산모듈(320)은 밴드지수 연산모듈(321) 및 밴드비 연산모듈(322)을 포함한다.
밴드지수 연산모듈(321)은 기설정된 수학식이 저장되어 입력된 2개의 초분광 촬영값을 밴드지수(band index)로 연산한다.
밴드비 연산모듈(322)은 기설정된 수학식이 저장되어 입력된 2개의 초분광 촬영값을 밴드비(band ratio)로 연산한다.
회귀분석모듈(330)은, 관측값과 밴드지수 및 관측값과 밴드비의 회귀분석을 각각 수행하여 회귀식을 각각 연산한다.
회귀식 결정모듈(340)은, 다수의 회귀식들의 상관관계를 각각 연산하여, 가장 상관성이 높은 회귀식을 결정하고, 이를 통해 최적의 분광특성지수를 결정하는 기능을 수행한다. 여기서 밴드지수 및 밴드비에 의한 다수의 제1 회귀식(밴드지수에 의한 회귀식) 및 다수의 제2 회귀식(밴드비에 의한 회귀식) 중 상관성이 높은 회귀식이 결정되는 것이다.
관측값 추정모듈(350)은, 회귀식 결정모듈(340)에서 결정된 제1 회귀식 또는 제2 회귀식을 이용하여, 특정 초분광영상이 입력된 경우(즉, 임의의 분광특성지수가 입력된 경우), 이를 기반으로 관측값을 추정하고, 이를 토대로 실재 물체를 식별하는 기능을 수행한다.
각 모듈의 구체적인 기능 수행 방법은 후술한다.
방법의 설명
도 2 및 도 4 내지 도 7을 참조하여, 본 발명에 따른 초분광영상 활용 방법을 설명한다.
먼저, 초분광영상이 확보되어 있어야 한다. 예를 들어, 영상처리부(200)의 비행 경로 설정모듈(220)이 수집영역을 이용하여 무인비행체(미도시)의 비행경로를 설정한 후, 무인비행체(미도시)가, 설정된 비행경로를 따라 비행하면서, 초분광 센서를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 획득한 초분광영상일 수 있다. 이러한 초분광영상에는 초분광정보가 포함되어 있다.
또한, 미리 결정된 다수의 지점마다 각각의 초분광 관측값(Y)이 확인되어 있어야 한다(S210). 즉, 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 초분광 관측값(Y)이 입력된 것이다. 여기서, 회귀분석의 정확도를 위하여, 관측값(Y)이 확인되는 지점은 다수일수록 바람직하다.
다음, 촬영영상 입력모듈(210)에는 초분광정보를 갖는 촬영영상이 입력되고, 관측값이 입력되었던 미리 결정된 다수의 지점 각각에서 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))이 확인된다(S220).
다음, 분광특성지수 연산모듈(320)이, 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하고, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인한다(S230).
이 때에, 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 차를 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 합으로 나누어 밴드지수(band index)를 연산하여 제1 분광특성지수(X1)로 결정하고, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)를 연산하여 제2 분광특성지수(X2)로 결정한다(S240)(도 3 참조). 이를 수식으로 각각 표현하면, 아래의 수학식 1 및 수학식 2와 같다.
Figure 112020005241615-pat00001
Figure 112020005241615-pat00002
달리 표현하면, 어느 하나의 지점마다 밴드지수 및 밴드비가 각각 연산되어 초분광 관측값(Y)과 제1 분광특성지수(밴드지수)(X1) 및 제2 분광특성지수(밴드비)(X2)가 확인되는데, 다수의 지점마다 각각 개별적으로 수행되는 것이다. 예를 들면, 다수의 지점마다 각각 초분광 관측값(Y)과 제1 분광특성지수(X1), 및 제2 분광특성지수(밴드비)(X2)가 각각 연산되는 것이다.
다음으로, 회귀분석모듈(330)이, 초분광 관측값(Y)과 연산된 제1 분광특성지수(밴드지수)(X1) 및 제2 분광특성지수(밴드비)(X2)가 비선형관계에 있음을 가정한다. 다수의 지점 각각에서 S210 단계에서 확인된 초분광 관측값(Y)과 S240 단계에서 연산된 제1 분광특성지수(밴드지수)(X1) 및 제2 분광특성지수(밴드비)(X2)를 이용함으로써, 각각의 회귀식(Y=aln(X)+b)의 a와 b를 연산하여, 제1 회귀식(Y=a1ln(X1)+b1) 및 제2 회귀식(Y=a2ln(X2)+b2)을 각각 생성한다(S250). 여기서 제1 분광특성지수와 제2 분광특성지수에 따라 각각 a를 연산하는 구체적인 수식은 아래의 수학식 3 및 4와 같으며, a의 값이 연산되면 b의 값은 당연히 연산된다. 또한, 다른 실시예의 N차 다항 회귀식을 통해 b의 값을 먼저 연산할 수도 있는데, 구체적인 설명은 후술하도록 한다. n은 관측값의 개수이며, X는 분광특성지수이고, Y는 관측값이다. 상부 바는 평균값을 의미한다(이는 이하의 모든 수식에서 동일하다).
Figure 112020005241615-pat00003
Figure 112020005241615-pat00004
다른 실시예에서, 수학식 5와 같이 N차 다항 회귀식 등 다양한 형태의 회귀식을 더 사용할 수 있다. 동일한 수의 관측값과 분광특성지수를 비선형 회귀분석하여 회귀식을 구성하는 매개변수를 산정함으로서 분광특성지수를 관측값으로 변환하는 모형을 구축할 수 있으며, 이를 통해 구축된 회귀식을 활용하면 해당 회귀식의 상관계수를 산정할 수 있다.
Figure 112020005241615-pat00005
구체적으로, 최소제곱법을 행렬화하여 표현한 수식은 아래의 수학식 6과 같고, 분광특성지수의 N차 항까지의 거듭제곱으로 구성된 행렬 x의 수식은 수학식 7과 같고, N차 다항 회귀식을 구성하는 매개변수 행렬 P의 곱은 수학식 8과 같고, 관측값 행렬 y는 수학식 9와 같다. 따라서 수학식 8과 같이 N차 다항 회귀식을 구성하는 매개변수 행렬 P는 행렬 x의 역함수와 행렬 y의 곱으로 나타낼 수 있다.
단, 행렬 x는 행과 열의 크기가 다른 비정방행렬이기 때문에, 비정방행렬의 역행렬은 의사역행렬(Pseudo inverse)을 통해 산정한다. 언급한 바와 같이, n은 관측값의 개수, N은 N차 다항식의 차수,
Figure 112020005241615-pat00006
는 i번째 관측값,
Figure 112020005241615-pat00007
는 i번째 관측값에 해당하는 j제곱 분광특성지수를 의미한다.
Figure 112020005241615-pat00008
Figure 112020005241615-pat00009
Figure 112020005241615-pat00010
Figure 112020005241615-pat00011
도 4는 그 예시를 도시한다. 여기에는, 5개의 지점(P1, P2, P3, P4, P5)에서의 분광특성지수(X1, X2)와 관측값(Y)을 이용하여 연산된 회귀식이 우측 하단에 도시된다.
한편, 이러한 과정은 S230 단계에서 선택된 2개의 파장을 변경하면서 각각의 쌍에 대하여 이루어질 수 있다. 미리 결정된 지점이 동일하고, 각 지점에서의 관측값(Y)이 동일하더라도, 2개의 파장을 다르게 선택하면, 최종 연산되는 회귀식은 다르게 된다.
구체적으로, 회귀분석모듈(330)이, 먼저 선택된 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, S240 내지 S250 단계를 반복하여, 다수의 회귀식을 생성한다(S260).
다음, 회귀식 결정모듈(340)이, 생성된 다수의 제1 회귀식 및 제2 회귀식의 상관계수를 각각 연산하고, 그 중에서 상관계수가 가장 높은 회귀식을 선택한다(S270). 이 때에 선택된 회귀식에 사용된 분광특성지수(X)에 각각 적용된 2개의 파장을, 최적 분광특성지수 파장의 쌍으로 결정된다. 선택된 회귀식은 상관계수가 가장 높은 것이 선택되는 것이므로, 밴드지수에 의해 다수 생성된 제1 회귀식 또는 밴드비에 의해 다수 생성된 제2 회귀식 중 어느 하나가 선택될 수 있어서 단일 회귀식을 활용하는 선택 대비 높은 정확도를 갖는다.
예를 들어, 초분광정보에 포함된 파장의 개수가 N개라면, 2개의 파장의 쌍의 개수는 그 조합(combination)에 의하여 NC2개이므로, 해당 개수만큼 회귀식과 상관계수가 연산되어, 최적의 회귀식과 분광특성지수와 그 파장이 연산될 것이다. 이때 해당 개수만큼 연산되는 회귀식은 제1 회귀식 및 제2 회귀식 모두 해당 개수만큼 각각 연산될 것이다.
한편, 이러한 방식은 상관계수 맵을 이용하여 이루어질 수 있다. 상관계수 맵의 예시가 도 5에 도시된다. 여기에는, 회귀식 결정모듈(340)이, 생성된 다수의 회귀식에 대한 상관계수를 연산하되, 2개의 파장의 쌍에서 어느 하나의 파장을 X축으로 하고 다른 하나의 파장을 Y축으로 하여 생성한 상관계수 맵이 도시된다.
다음, 회귀식 결정모듈(340)은 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 분광특성지수 파장의 쌍으로 결정하게 된다.
도 6에는 이러한 방식을 자동화하는 개념이 도시된다. 분광특성인 파장마다의 촬영값을 추출하고, 이를 통해 각각의 분광특성지수를 산정하고, 관측값을 이용하여 회귀분석하면, 상관계수 맵이 생성되며, 각 파장의 쌍마다 상관계수를 연산함으로써, 최적 분광특성지수 파장과 최적 회귀식이 결정된다.
도 7은 이를 구현한 프로그램의 출력 화면을 도시한다. 우측의 상관계수 맵이 도시되며, 그 아래에는 각 파장에 대한 상관계수 및 회귀식이 자동으로 연산됨을 확인할 수 있다.
이와 같은 과정을 통하여, 최적의 회귀식과 최적의 분광특성지수가 결정되면, 관측값이 없는 위치에서도 초분광영상에 포함된 초분광정보의 파장과 촬영값만으로도 관측값을 추정할 수 있다.
예를 들어, 관측값 추정모듈(350)이, 초분광영상에 포함된 촬영값 중에서 최적 분광특성지수 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하여 분광특성지수를 연산하면, 이를 최적의 회귀식에 입력하여 해당 지점의 관측값을 높은 정확도로 추정할 수 있는 것이다. 예를 들면, 다수의 제1 회귀식 및 다수의 제2 회귀식 중 선택된 최적의 회귀식(다수의 제1 회귀식 및 다수의 제2 회귀식 중 어느 하나)에 연산된 제1 분광특성지수 또는 제2 분광특성지수를 입력하여 해당 지점의 관측값을 높은 정확도로 추정할 수 있는 것이다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.
200: 영상처리부
210: 통신모듈
220: 비행경로 설정모듈
230: 촬영영상 입력모듈
240: 정규화 수행모듈
250: 기하보정 수행모듈
260: 영상정합 수행모듈
261: 적분영상 연산모듈
262: 대응점 확인모듈
270: 초분광영상 출력모듈
300: 영상분석부
310: 초분광 관측값 입력모듈
320: 분광특성지수 연산모듈
321: 밴드지수 연산모듈
322: 밴드비 연산모듈
330: 회귀분석모듈
340: 회귀식 결정모듈
350: 관측값 추정모듈

Claims (7)

  1. (a) 초분광 관측값 입력모듈(310)에 미리 결정된 다수의 지점 각각의 초분광 관측값(Y)이 입력되는 단계;
    (b) 촬영영상 입력모듈(210)에 초분광정보를 갖는 촬영영상이 입력되고, 상기 미리 결정된 다수의 지점 각각에서 다수의 파장(x)에 대한 화소값인 초분광 촬영값(I(x))이 확인되는 단계;
    (c) 분광특성지수 연산모듈(320)이, 상기 초분광 촬영값에 포함된 다수의 파장(x) 중 임의의 2개의 파장의 쌍(λ1, λ2)을 선택하고, 각각에 대한 초분광 촬영값(I(λ1), I(λ2))을 확인하는 단계;
    (d) 상기 분광특성지수 연산모듈(320)이, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 차를 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))의 합으로 나누어 밴드지수(band index)를 연산하여 제1 분광특성지수(X1)로 결정하고, 상기 확인된 2개의 초분광 촬영값(I(λ1), I(λ2))에서 어느 하나를 다른 하나로 나누어 밴드비(band ratio)를 연산하여 제2 분광특성지수(X2)로 결정하는 단계;
    (e) 회귀분석모듈(330)이, 상기 초분광 관측값(Y)과 상기 결정된 상기 제1 분광특성지수(X1)와 상기 제2 분광특성지수(X2)가 비선형관계에 있음을 가정하고, 상기 다수의 지점에서의 상기 초분광 관측값(Y)과 상기 결정된 상기 제1 분광특성지수(X1)를 이용하여 제1 회귀식(Y=a1ln(X1)+b1)의 a1와 b1를 연산함으로써 제1 회귀식(Y=a1ln(X1)+b1)으로 결정하고, 상기 다수의 지점에서의 상기 초분광 관측값(Y)과 상기 결정된 상기 제2 분광특성지수(X2)를 이용하여 제2 회귀식(Y=a2ln(X2)+b2)의 a2와 b2를 연산함으로써 제2 회귀식(Y=a2ln(X2)+b2)으로 결정하는 단계;
    (f) 상기 회귀분석모듈(330)이, 상기 초분광 촬영값에 포함된 상기 다수의 파장 중 상기 (c) 단계에서의 2개의 파장의 쌍을 제외한 다른 임의의 파장을 선택하여, 이에 대한 초분광 촬영값을 확인하고, 상기 (d) 내지 (e) 단계를 반복함으로써, 다수의 2개의 파장의 쌍마다 각각 제1 회귀식 및 제2 회귀식을 생성하는 단계;
    (g) 회귀식 결정모듈(340)이, 상기 생성된 다수의 제1 회귀식 및 제2 회귀식 중 상관계수(correlation)가 가장 높은 회귀식을 선택하는 단계; 및
    (h) 상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 선택된 회귀식에 사용된 분광특성지수(X)에 적용된 2개의 파장을, 최적 분광특성지수 파장의 쌍으로 결정하는 단계를 포함하는,
    분광특성지수를 이용한 초분광영상 활용 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 (h) 단계 이후,
    (i) 관측값 추정모듈(350)이, 상기 다수의 지점 이외의 지점의 초분광 촬영값에서, 상기 (h) 단계에서 결정된 최적 분광특성지수 파장의 쌍에 해당하는 2개의 초분광 촬영값을 확인하고, 상기 2개의 초분광 촬영값의 차를 상기 2개의 초분광 촬영값의 합으로 나누어 밴드지수를 연산하여 제1 분광특성지수로 결정하거나, 상기 2개의 초분광 촬영값 중 어느 하나를 다른 하나로 나누어 밴드비를 연산하여 제2 분광특성지수로 결정하는 단계; 및
    (j) 상기 관측값 추정모듈(350)이, 상기 (g) 단계에서 선택된 회귀식에 상기 결정된 제1 분광특성지수 또는 제2 분광특성지수를 입력하여 해당 지점의 관측값을 추정하는 단계를 더 포함하는,
    분광특성지수를 이용한 초분광영상 활용 방법.
  4. 제 3 항에 있어서,
    상기 (g) 단계는,
    상기 회귀식 결정모듈(340)이, 상기 생성된 다수의 회귀식에 대한 상관계수를 연산하여, 2개의 파장의 쌍에서 각각의 파장을 X축 및 Y축으로 하는 상관계수 맵을 생성하는 단계를 포함하고,
    상기 (h) 단계는,
    상기 회귀식 결정모듈(340)이, 상기 (g) 단계에서 생성된 상관계수 맵을 이용하여 상관계수가 가장 높은 지점을 결정하고, 해당 지점을 구성하는 각각의 파장을 상기 최적 분광특성지수 파장의 쌍으로 결정하는 단계를 포함하는,
    분광특성지수를 이용한 초분광영상 활용 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는,
    (a1) 비행경로 설정모듈(220)이, 수집영역을 이용하여 무인비행체의 비행경로를 설정하는 단계; 및
    (a2) 무인비행체가, 상기 설정된 비행경로를 따라 비행하면서, 초분광 센서를 이용하여, 라인 스캐닝을 통해, 기 설정된 영상 단위마다 상기 초분광정보를 획득하는 단계를 포함하는,
    분광특성지수를 이용한 초분광영상 활용 방법.
  6. 컴퓨터 판독 가능한 기록 매체에 저장되어,
    제 1 항, 제 3 항, 제 4 항 및 제 5 항 중 어느 한 항에 따른 방법을 실행시키는 프로그램.
  7. 제 1 항, 제 3 항, 제 4 항 및 제 5 항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020200006105A 2020-01-16 2020-01-16 분광특성지수를 이용한 초분광영상 활용 방법 KR102295631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200006105A KR102295631B1 (ko) 2020-01-16 2020-01-16 분광특성지수를 이용한 초분광영상 활용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006105A KR102295631B1 (ko) 2020-01-16 2020-01-16 분광특성지수를 이용한 초분광영상 활용 방법

Publications (2)

Publication Number Publication Date
KR20210092867A KR20210092867A (ko) 2021-07-27
KR102295631B1 true KR102295631B1 (ko) 2021-08-30

Family

ID=77125362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006105A KR102295631B1 (ko) 2020-01-16 2020-01-16 분광특성지수를 이용한 초분광영상 활용 방법

Country Status (1)

Country Link
KR (1) KR102295631B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756960B1 (ko) * 2016-05-31 2017-07-13 (주)아세아항측 항공 초분광 영상을 이용한 토양 중금속의 모니터링 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181055B2 (en) 2003-08-15 2007-02-20 Holger Lange Systems and methods for registering reflectance and fluorescence hyperspectral imagery
KR101361094B1 (ko) 2012-07-26 2014-02-13 인하대학교 산학협력단 피라미드 기법 기반 색인 및 질의를 통한 초분광영상의 물질탐지 방법
KR101463351B1 (ko) 2013-09-02 2014-11-19 주식회사 포스코 권취 드럼용 충격흡수 유닛 및 이를 이용한 맨드릴 코일박스
KR101744662B1 (ko) 2016-11-30 2017-06-09 주식회사 지오스토리 초분광영상 기법을 통한 염생식물 분류 시스템
KR101806488B1 (ko) 2017-02-20 2017-12-07 한국지질자원연구원 초분광영상센서 탑재 드론을 이용한 크롬 광체 탐지방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756960B1 (ko) * 2016-05-31 2017-07-13 (주)아세아항측 항공 초분광 영상을 이용한 토양 중금속의 모니터링 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김태우 외 2인, '수질 매개변수 추정에 있어서 항공 초분광영상의 가용성 고찰', Korean Journal of Remote Sensing, Vol.30, No.1, 2014.*

Also Published As

Publication number Publication date
KR20210092867A (ko) 2021-07-27

Similar Documents

Publication Publication Date Title
US20230316555A1 (en) System and Method for Image-Based Remote Sensing of Crop Plants
CN102685511B (zh) 图像处理设备和图像处理方法
CN108960232A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
Rabatel et al. Getting NDVI spectral bands from a single standard RGB digital camera: a methodological approach
US8810658B2 (en) Estimating a visible vector representation for pixels in an infrared image
KR102313438B1 (ko) 초분광영상을 이용한 하상 변동속도 측정 방법
CN110520768B (zh) 高光谱光场成像方法和系统
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
KR102313437B1 (ko) 초분광영상을 이용한 하천 지형측량 방법
CN112419379A (zh) 多光谱相机的多通道图像匹配方法及装置
JP7370922B2 (ja) 学習方法、プログラム及び画像処理装置
JP2022039719A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
EP1976308B1 (en) Device and method for measuring noise characteristics of image sensor
CN113326807A (zh) 一种黑臭水体识别方法、装置及电子设备
KR102142616B1 (ko) 밴드비를 이용한 초분광영상 활용 방법
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20170100717A (ko) 분광반사율 추정을 이용한 피부 분석 장치 및 방법
KR102295630B1 (ko) 밴드지수를 이용한 초분광영상 활용 방법
KR102164522B1 (ko) 초분광영상을 이용한 수심 추정 방법
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
KR102295631B1 (ko) 분광특성지수를 이용한 초분광영상 활용 방법
JP5807111B2 (ja) 画像生成システム及び画像生成方法
JP4626418B2 (ja) 対象物検出装置、及び対象物検出方法
CN115015258A (zh) 一种农作物长势与土壤水分关联确定方法及相关装置
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant