KR20240057000A - 재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치 - Google Patents

Abstract

재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치 가 개시된다.
상기 방법은, 이벤트 발생 지역의 관측 영상 데이터, 및 이벤트 발생 전에 생성되며 상기 관측 영상 데이터와 이종 영상으로 구성되는 참조 영상 데이터를 획득하는 단계; 상기 관측 영상 데이터의 속성에 따라 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하고, 이벤트 유형에 기초하여, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서, 변화 분석에서 제외하는 예외 객체가 존재하는지 여부를 결정하여 상기 예외 객체를 처리하도록, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 단계; 및 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 기반하여, 상기 이벤트 발생 지역의 변화 영역을 검출하는 단계를 포함한다.

Description

재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치 {A METHOD AND APPARATUS FOR DETECTING CHANGES BETWEEN HETEROGENEOUS IMAGE DATA FOR IDENTIFYING DISASTER DAMAGE}

본 개시는 재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치에 관한 것이며, 보다 구체적으로 이벤트 유형, 관측 및 참조 영상을 획득하는 장치 타입에 따라 영상을 처리함으로써 관측 및 참조 영상 간의 변화, 예컨대 재난 전후의 피해 지역을 정확하게 탐지하는 이종 영상 데이터 간의 변화 탐지 방법 및 장치에 대한 것이다.

재난 피해 지역을 파악하기 위해 활용가능한 플랫폼은 위성, 무인 항공 장치, CCTV, 스마트폰 등일 수 있다. CCTV와 스마트폰의 경우, 사람의 시점에서 영상 데이터가 취득되므로, 피해 영역에 대한 탐지에 한계가 있다. 반면에, 위성과 무인 항공 장치의 경우, 영상 데이터는 우주 또는 항공으로부터 취득되어, 정사영상 제작을 통해 광역적인 지역에 대한 피해영역이 분석될 수 있다.

종래의 재난 피해 지역 탐지는 위성 영상을 활용하여 사용되었다. 위성 영상은 광범위한 지역에 대한 피해 정보를 효율적으로 취득하며, 일정 주기로 데이터를 수집하므로, 재난발생 전후에 수집된 데이터가 활용된다. 피해면적은 재난발생 전후에 수집된 위성 영상 기반으로 변화를 탐지함으로써 파악된다.

그러나, 위성 영상에 기반한 변화 탐지는 정해진 경로 및 주기를 기반으로 운용되므로, 피해 발생 지역이 위성 촬영 지역에 해당하지 않거나, 필요한 시점에 피해 지역에 대한 촬영이 수행되지 않을 수 있다.

주기적으로 지상을 관측하는 위성과는 달리, 무인 항공 장치는 예측 불가한 재난 상황이 발생한 시점에 재난 지역에 접근하여, 재난과 관련된 데이터를 취득할 수 있다. . 또한, 무인 항공 장치는 사람의 접근이 어려운 장소에도 접근할 수 있어, 최근 재난 상황에서 활용성이 증가하는 추세이다.

그러나, 무인 항공 장치는 통상 재난 상황의 발생 후에 데이터를 취득하므로, 피해 지역 탐지를 위한 기준 영상이 부재하고, 기존의 자동화 알고리즘으로 피해 지역을 파악하는데 한계가 있다.

재난 전에 취득된 위성 영상 또는 항공 정사영상이 기준 영상을 채용하여, 재난 후의 무인 항공 장치의 영상과 재난 전의 영상에 기반하여 재난으로 인한 변화 지역을 탐색하는 것이 시도되고 있다. 그러나, 무인항공기의 영상과 재난 전의 영상에 적용되는 속성, 예컨대 센서가 상이하여, 변화 지역의 탐색에 오류가 유발될 수 있다. 또한, 재난 유형을 고려하지 않고 변화 지역이 식별되어, 변화 탐색에 정확성이 현저하게 저하된다.

본 개시의 기술적 과제는 이벤트 유형, 관측 및 참조 영상을 획득하는 장치 타입에 따라 영상을 처리함으로써 관측 및 참조 영상 간의 변화, 예컨대 재난 전후의 피해 지역을 정확하게 탐지하는 재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치를 제공하는데 그 목적이 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 이종 영상 데이터 간의 변화 탐지 방법이 제공된다. 상기 방법은, 이벤트 발생 지역의 관측 영상 데이터, 및 이벤트 발생 전에 생성되며 상기 관측 영상 데이터와 이종 영상으로 구성되는 참조 영상 데이터를 획득하는 단계; 상기 관측 영상 데이터의 속성에 따라 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하고, 이벤트 유형에 기초하여, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서, 변화 분석에서 제외하는 예외 객체가 존재하는지 여부를 결정하여 상기 예외 객체를 처리하도록, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 단계; 및 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 기반하여, 상기 이벤트 발생 지역의 변화 영역을 검출하는 단계를 포함한다.

본 개시의 다른 실시예에 따르면, 상기 관측 영상 데이터의 속성은 관측 영상 센서의 타입에 따라 결정되고, 상기 관측 영상 센서의 타입은 RGB 밴드를 갖는 광학 센서 또는 특정 분광 특성을 가진 객체를 식별하는 다중 분광 센서일 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 데이터가 무인 항공 장치를 이용하여 생성되며, 상기 참조 영상 데이터는 복수의 타입의 영상 데이터 중, 상기 관측 영상 센서의 타입에 대응하는 영상 데이터로 채택될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 센서의 타입이 상기 광학 센서인 경우, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하는 것은, 지정 객체와 관련된 색상에 기반하여, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함하며, 상기 관측 영상 센서의 타입이 상기 다중 분광 센서인 경우, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 상기 참조 영상 데이터를 가공하는 것은, 상기 지정 객체와 관련된 특정 파장에 따른 반사율에 기반하여, 상기 관측 영상 데이터 및 상기 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 단계는, 상기 이벤트 유형에 기초하여 상기 식별된 지정 객체가 상기 예외 객체인지 여부를 결정하는 단계; 상기 지정 객체가 상기 예외 객체로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 예외 객체를 제외하는 단계; 및 상기 지정 객체가 상기 예외 객체의 미해당으로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 지정 객체를 유지하는 단계를 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 이벤트 발생 지역의 변화 영역을 검출하는 단계는, 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터 간의 잠재적 변화 영역을 추출하는 단계; 및 상기 잠재적 변화 영역이 추출된 상기 관측 영상 데이터 및 상기 참조 영상 데이터 간의 차분 영상 데이터에 기반하여 최종 변화 영역을 검출하는 단계를 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 잠재적 변화 영역을 추출하는 단계는, 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 분광 벡터 변화 분석을 적용하는 단계; 및 상기 분석이 적용된 관측 영상 데이터 및 상기 참조 영상 데이터에 기초하여 임계값 이상의 비유사도를 갖는 특징 영역을 검출하여, 상기 검출된 특징 영역을 상기 잠재적 변화 영역으로 추출하는 단계를 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 차분 영상 데이터에 기반하여 상기 최종 변화 영역을 검출하는 것은 상기 차분 영상 데이터에 PCA K-means (Principal Component Analysis K-means)를 이용하여 수행될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 이벤트는 재난이며, 상기 이벤트 발생 지역은 상기 재난으로 인한 피해 지역이고, 상기 이벤트 유형은 재난 유형일 수 있다.

본 개시의 다른 양상에 따르면, 이종 영상 데이터 간의 변화 탐지 장치가 제공된다. 상기 장치는 외부와 신호를 송수신하는 통신부; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다. 상기 프로세서는, 이벤트 발생 지역의 관측 영상 데이터, 및 이벤트 발생 전에 생성되며 상기 관측 영상 데이터와 이종 영상으로 구성되는 참조 영상 데이터를 획득하고, 상기 관측 영상 데이터의 속성에 따라 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하고, 이벤트 유형에 기초하여, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서, 변화 분석에서 제외하는 예외 객체가 존재하는지 여부를 결정하여 상기 예외 객체를 처리하도록, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하고, 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 기반하여, 상기 이벤트 발생 지역의 변화 영역을 검출하도록 구성된다.

본 개시의 다른 실시예에 따르면, 상기 관측 영상 데이터의 속성은 관측 영상 센서의 타입에 따라 결정되고, 상기 관측 영상 센서의 타입은 RGB 밴드를 갖는 광학 센서 또는 특정 분광 특성을 가진 객체를 식별하는 다중 분광 센서일 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 데이터가 무인 항공 장치를 이용하여 생성되며, 상기 참조 영상 데이터는 복수의 타입의 영상 데이터 중, 상기 관측 영상 센서의 타입에 대응하는 영상 데이터로 채택될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 센서의 타입이 상기 광학 센서인 경우, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하는 것은, 지정 객체와 관련된 색상에 기반하여, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함하며, 상기 관측 영상 센서의 타입이 상기 다중 분광 센서인 경우, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 상기 참조 영상 데이터를 가공하는 것은, 상기 지정 객체와 관련된 특정 파장에 따른 반사율에 기반하여, 상기 관측 영상 데이터 및 상기 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 것은, 상기 이벤트 유형에 기초하여 상기 식별된 지정 객체가 상기 예외 객체인지 여부를 결정하고, 상기 지정 객체가 상기 예외 객체로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 예외 객체를 제외하며, 상기 지정 객체가 상기 예외 객체의 미해당으로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 지정 객체를 유지하는 것을 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 이벤트 발생 지역의 변화 영역을 검출하는 것은, 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터 간의 잠재적 변화 영역을 추출하고, 상기 변화 영역이 추출된 상기 관측 영상 데이터 및 상기 참조 영상 데이터 간의 차분 영상 데이터에 기반하여 최종 변화 영역을 검출하는 것을 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 잠재적 변화 영역을 추출하는 것은, 상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 분광 벡터 변화 분석을 적용하고, 상기 분석이 적용된 관측 영상 데이터 및 상기 참조 영상 데이터에 기초하여 임계값 이상의 비유사도를 갖는 특징 영역을 검출하여, 상기 검출된 특징 영역을 상기 잠재적 변화 영역으로 추출하는 것을 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 차분 영상 데이터에 기반하여 상기 최종 변화 영역을 검출하는 것은 상기 차분 영상 데이터에 PCA K-means를 이용하여 수행할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 이벤트는 재난이며, 상기 이벤트 발생 지역은 상기 재난으로 인한 피해 지역이고, 상기 이벤트 유형은 재난 유형일 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 이벤트 유형, 관측 및 참조 영상을 획득하는 장치 타입에 따라 영상을 처리함으로써 관측 및 참조 영상 간의 변화, 예컨대 재난 전후의 피해 지역을 정확하게 탐지하는 재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치를 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 이종 영상 데이터 간의 변화 탐지 장치를 포함하는 시스템을 예시한 도면이다.
도 2는 본 개시의 다른 실시예에 따른 이종 영상 데이터 간의 변화 탐지 방법에 관한 순서도이다.
도 3은 관측 영상 데이터 및 참조 영상 데이터의 전처리 과정에 관한 순서도이다.
도 4는 광학 센서로 획득된 관측 영상 데이터의 정사영상 및 정사영상에서 지정 객체를 식별하도록 가공된 관측 영상 데이터의 영상을 예시한 도면이다.
도 5는 변화 영역의 검출 분석을 위한 과정에 관한 순서도이다.
도 6은 전처리된 관측 또는 참조 영상 데이터에 대해 분광 벡터 변화 분석이 적용된 영상 분석 결과를 예시한 도면이다.
도 7은 관측 또는 참조 영상 데이터에 대해 특징 영역을 검출한 영상 결과를 예시한 도면이다.
도 8은 잠재적 변화 영역이 추출된 관측 및 참조 영상 데이터의 영상들을 예시한 도면이다.
도 9는 재난 유형에 따른 피해 지역을 분석한 영상 결과를 예시한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나(at least one of A, B, C or combination thereof)"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명하기로 한다.

도 1은 본 개시의 일 실시예에 따른 이종 영상 데이터 간의 변화 탐지 장치를 포함하는 시스템을 예시한 도면이다.

이종 영상 데이터 간의 변화 탐지를 위한 시스템은 이벤트가 발생 지역에서의 이벤트 발생 전의 참조 영상 데이터와 이벤트 발생 후의 관측 영상 데이터 간의 변화 영역을 감지하여, 이벤트 발생 이후의 변화 지도를 생성할 수 있다.

상기 시스템은 영상 변화 탐지 장치(100), 이벤트 발생 지역에서 이벤트의 영향으로 인한 지역의 관련 데이터를 취득하는 무인 항공 장치(또는 드론; 200), 대기권 외부의 우주 또는 대기권 내에서 이벤트 발생 지역을 포함하는 광역적인 지역의 관련 데이터를 취득하는 공중 장치(300)를 포함할 수 있다.

영상 변화 탐지 장치(100)는 본 개시에 따른 이벤트에 따른 영향을 식별하기 위한 이종 영상 데이터 간의 변화 탐지 장치일 수 있다. 이종 영상 데이터는 이벤트 전후에 취득되는 영상 데이터가 서로 다른 장치, 예컨대 무인 항공 장치(200) 및 공중 장치(300)로부터 수신되는 점을 의미할 수 있다. 무인 항공 장치(200)에 의해 취득되는 영상은 이벤트가 발생된 후, 해당 지역의 객체를 촬영하는 관측 영상 데이터의 일종일 수 있다. 공중 장치(300)에 의해 취득되는 영상은 이벤트 발생 전에 주기적으로 해당 지역의 객체를 촬영한 참조 영상 데이터의 일종일 수 있다.

무인 항공 장치(200) 및 공중 장치(300)로부터 취득되는 영상 데이터는 촬영 지역, 촬영 시간, 내부 및 외부 기하, 노이즈, 장치 타입, 출력 영상의 속성 등에서 서로 상이할 수 있다. 영상 변화 탐지 장치(100)는 이벤트 발생 전후의 이종 영상 데이터에 기반하여 해당 지역에서 이벤트로 인한 영향 내지 변화를 검출하여 해당 지역의 변화 지도를 생성할 수 있다. 영상 변화 탐지 장치(100)의 상세 구성은 후술하기로 한다.

무인 항공 장치(200)는 고정익, 회전익, 수직이착륙 고정익(VTOL, Vertical Take-off and Landing), 멀티콥터 등 다양한 유형의 플랫폼으로 제공될 수 있다. 무인 항공 장치(200)는 3D 모델, 정사영상 등 필요한 데이터 형식에 따른 촬영 방식을 갖는 모듈을 구비할 수 있다. 상기 열거된 무인 항공 장치(200)는 정사영상을 제작하기 위한 영상 데이터를 수집할 수 있으며, 정사영상을 제작하기 위해, 중복도 및 촬영 고도를 설정하여 수직 촬영을 처리할 수 있다. 무인 항공 장치(200)의 정사영상은 통상적으로 cm급 공간 해상도를 가져, 재난 상황 및 피해상황을 탐지하는데 매우 효율적이다. 상세하게는, 무인 항공 장치(200)는 cm 수준의 고해상도 영상을 취득함으로써, 무인 항공 장치(200)의 영상은 광역적인 재난유형 뿐만 아니라 소규모 피해지역을 확인하는데 기여할 수 있다. 또한, 무인 항공 장치(200)는 관리자가 원하는 시점 및 지역을 지정하여, 고해상도의 정사영상 데이터를 취득할 수 있다.

공중 장치(300)는 대기권 외부의 우주 또는 대기권 내에서 광역적인 지역의 관련 데이터를 주기적으로 취득할 수 있다. 공중 장치(300)는 예컨대 우주에서 지구를 주기적으로 공전하는 위성(300a) 및 무인 항공 장치(200)와 별도로 대기권 내에서 비행하는 항공기(300b) 등을 포함할 수 있다.

위성(300a)은 주기적으로 광역적인 지역에 대한 영상 데이터를 수집하는 모듈을 구비할 수 있다. 광역적인 지역은 관리 정책(또는 관리자 설정)에 따라. 특정 국가의 국토 전체이거나 국토의 일부일 수 있다. 상기 주기는 위성 공전주기에 따라 결정될 수 있다. 위성(300a)은 무인 항공 장치(200)와 달리, 예측 불가한 재난상황에서 적시에 영상 데이터를 획득하지 못할 수도 있다. 위성(300a)의 영상은 위성 종류에 따라 공간 해상도에 차이가 있으나, 일반적으로 산불, 태풍 피해와 같은 광역적인 재난 유형만을 확인할 수 있다. 위성 영상은 후술할 항공 영상에 비해 낮은 해상도를 가지나, 위성용 영상 수집 모듈이 다중 분광 센서를 탑재함으로써, 다양한 종류의 영상 데이터 및 관련 정보를 수집할 수 있다.

항공기(300b)는 위성(300a)보다 낮은 고도에서 주기적으로 광역적인 지역의 영상 데이터를 수집하는 모듈을 구비할 수 있다. 항공기(300b) 및 위성(300a)의 촬영 주기는 관리 정책(또는 관리자 설정)에 따라, 동일하거나 상이할 수 있다. 광역적인 지역은 관리 정책(또는 관리자 설정)에 따라. 특정 국가의 국토 전체이거나 국토의 일부일 수 있다. 또한, 위성(300a) 및 항공기(300b)로부터 취득되는 영상의 지역적 범위는 동일하거나 상이할 수도 있다. 항공기용 영상 수집 모듈은 예컨대, 12cm 또는 25cm 수준의 해상도를 갖는 컬러(또는 RGB) 기반의 광학 센서로 구성될 수 있다. 항공 영상은 위성 영상보다 높은 해상도를 갖도록 제작될 수 있다.

영상 변화 탐지 장치(100)는 예컨대 영상 및 정보를 송수신하는 통신부(110), 입력부(120), 출력부(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.

통신부(110)는 위성(300a) 및 항공기(300b) 중 적어도 하나로부터 영상을 주기적으로 수신하고, 이벤트가 발생된 경우 무인 항공 장치(200)로부터 이벤트 발생 지역의 영상을 수신할 수 있다. 본 개시에서 위성(300a)의 영상 및 항공기(300b)의 영상은 각각 위성 영상 및 항공 영상이라고 약칭하고, 무인 항공 장치(200)의 영상은 관측 영상이라고 지칭될 수 있다. 위성 영상 및 항공 영상은 상술한 바와 같이, 이벤트 발생에 무관하게 주기적으로 취득되며, 이벤트가 발생한 지역을 포함한 광범위한 지역의 영상일 수 있다. 본 개시에서 위성 영상 및 항공 영상은 이벤트 발생 전의 지역의 영상, 즉 참조 영상 데이터로 칭해지며, 관측 영상은 이벤트 발생 후의 지역의 영상, 관측 영상 데이터로 칭해질 수 있다. 촬영 주기 및 이벤트 발생 시점이 동일한 경우, 위성 영상 및/또는 항공 영상은 이벤트 발생 후의 영상으로 활용할 수도 있다. 위성 영상 및 항공 영상이 주기적으로 획득되며, 관측 영상은 이벤트 발생 후에 무인 항공 장치(200)가 운영되어 획득되는 점을 감안하여, 본 개시에서는 위성 영상 및 항공 영상이 관측 영상과 비교되는 기준 영상, 즉 참조 영상으로 기능하는 점을 상정하기로 한다.

입력부(120)는 관리자가 본 개시에 따른 방법을 실행하기 위한 명령, 데이터 및 설정을 입력하는 인터페이스이고, 출력부(130)는 본 개시에 따른 방법을 실행함으로써 출력되는 변화 지도, 영상 및 데이터들을 관리자에게 제공하는 인터페이스일 수 있다.

메모리(140)는 본 개시에 따른 방법과 관련된 소프트웨어 또는 애플리케이션을 저장하여 관리할 수 있다. 메모리(140)는 주기적으로 전송되는 참조 영상 데이터를 누적하여 관리하고, 이벤트 발생시에 해당 지역의 관측 영상 데이터를 저장할 수 있다. 또한, 메모리(140)는 본 개시에 따른 방법에 의해 생성된 영상, 데이터 및 변화 지도를 저장하여 관리할 수 있다.

프로세서(150)는 본 개시에 따른 방법에 따른 소프트웨어를 실행할 수 있다. 구체적으로, 프로세서(150)는 기 구축된 참조 영상 데이터를 활용하여, 이벤트 발생 후에 수집된 관측 영상 데이터와의 비교 분석을 수행함으로써, 해당 지역의 이벤트에 따른 영향 및 변화 영역을 검출할 수 있다. 프로세서(150)는 검출된 변화 영역 및 영향에 기반하여, 이벤트 발생 지역의 변화 지도를 생성할 수 있다.

도 2는 본 개시의 다른 실시예에 따른 이종 영상 데이터 간의 변화 탐지 방법에 관한 순서도이다.

이하에서는, 본 개시가 이벤트는 재난이며, 이벤트 발생 지역은 재난으로 인한 피해 지역이고, 이벤트 유형은 재난 유형인 것을 상정한다. 그러나, 재난 및 재난 유형은 각각 이벤트 및 이벤트 유형의 일종이고, 이벤트 및 이벤트 유형은 상술한 예에 제한되지 않고, 다양한 형태로 예시될 수 있다. 설명의 편의를 위해, 상기 이벤트와 관련된 용어는 상기 재난과 관련된 용어와 혼용될 수도 있다.

먼저, 영상 변화 탐지 장치(100)는 통신부(110)를 통해, 재난이 발생한 지역에서 운용되는 무인 항공 장치(200)로부터 관측 영상 데이터를 획득하고, 재난 유형 정보를 취득할 수 있다(S105).

무인 항공 장치(200)는 외부 관리 장치, 예컨대 관제 서버, 혹은 영상 변화 탐지 장치(100)를 포함하는 관제 서버로부터 재난 발생 지역의 위치 정보를 수신하여, 재난 발생 지역의 상공으로 접근할 수 있다.

관제 서버는 일례로, 재난 발생한 지역을 관리하는 관리 서버로부터 재난 발생 정보를 수신할 있다. 재난 발생 정보는 재난 발생 지역의 위치 정보, 재난 발생 시간, 재난 유형, 재난에 따른 상세 피해 지역 범위 내지 영역 등을 포함할 수 있다. 재난 유형은 본 개시에 따른 이벤트 유형의 일종이며, 예컨대, 산사태, 홍수, 교량 붕괴, 산불, 지진, 폭설 등일 수 있다. 재난 유형 정보는 재난 발생 정보에 기초하여 생성될 수 있다. 다른 예로, 재난 발생 정보는 위치 정보, 재난 발생 시간, 재난에 따른 상세 피해 지역 범위 등을 포함할 수 있다. 이 경우에, 무인 항공 장치(200)는 재난 발생 지역에 접근하여 촬영한 관측 영상 데이터를 영상 변화 탐지 장치(100)로 전송하고, 영상 변화 탐지 장치(100)의 프로세서(150)가 관측 영상 데이터를 분석하여 재난 유형 정보를 생성할 수도 있다.

관측 영상 데이터는 예컨대, 재난 발생 지역의 영상, 영상 위치 정보, 영상 의 촬영 시간, 영상 속성, 영상에 적용된 내부 기하 정보 및 외부 기하 정보 등을 포함할 수 있다. 재난 발생 지역의 영상은 cm급 공간해상도, 즉 고해상도를 갖는 정사영상으로 생성될 수 있다. 영상 속성은 예컨대, 무인 항공 장치(200)의 영상 수집 모듈에 탑재된 관측 영상 센서의 타입에 의해 결정될 수 있다. 이에 따라, 영상 속성은 관측 영상 센서의 타입과 관련된 정보를 포함할 수 있다. 관측 영상 센서의 타입은 예를 들어, 컬러(또는 RGB) 기반의 광학 센서 또는 다중 분광 센서로 구분될 수 있다. 다중 분광 센서는 목적에 따라 활용되며, NIR (Near Infrared) 센서로 구성될 수 있다.

다음으로, 프로세서(150)는 재난 발생 전의 해당 지역의 참조 영상 데이터를 검색할 수 있다(S110).

프로세서(150)는 일례로, 재난 발생 지역의 위치 정보를 참조하여, 메모리(140)에서 저장된 해당 지역의 참조 영상 데이터를 검색할 수 있다. 다른 예로, 참조 영상 데이터가 메모리(140)에 저장되지 않는 경우, 프로세서(150)는 관제 서버에 해당 지역의 참조 영상 데이터를 요청하여, 통신부0를 통해 참조 영상 데이터를 획득할 수도 있다.

참조 영상 데이터는 관측 영상 데이터와 이종 영상으로 구성되며, 예컨대 위성 영상 및 항공 영상 중 적어도 하나를 포함할 수 있다. 참조 영상 데이터는 예컨대, 해당 지역의 재난 발생 전의 영상, 영상 획득 수단(위성 또는 항공기 등), 영상 위치 정보, 촬영 시간, 영상 속성, 영상에 적용된 내부 기하 정보 및 외부 기하 정보 등을 포함할 수 있다. 위성 영상은 예컨대, 위성 영상은 항공 영상에 비해 낮은 해상도를 가지면서 다중 분광 센서에 의해 획득된 영상일 수 있다. 항공 영상은 예를 들어, 12cm 또는 25cm 해상도를 갖는 정사영상일 수 있다. 영상 속성은 상술한 바와 같이, 위성(300a) 또는 항공기(300b)의 영상 수집 모듈에 탑재된 참조 영상 센서의 타입에 의해 결정될 수 있다. 이에 따라, 영상 속성은 참조 영상 센서의 타입과 관련된 정보를 포함할 수 있다. 참조 영상 센서의 타입은 예를 들어, 컬러(또는 RGB) 기반의 광학 센서 또는 다중 분광 센서로 구분될 수 있다.

다음으로, 프로세서(150)는 관측 영상 데이터 및 참조 영상 데이터를 상호 정합할 수 있다(S115)

구체적으로, 프로세서(150)는 각 영상 데이터의 세부 위치 정보, 기하 정보, 정사영상 또는 수직 촬영과 같은 영상 종류 등을 기초하여, 관측 영상 데이터의 재난 발생 지역에 대응하는 참조 영상 데이터를 선별하며, 각 영상 데이터를 정합할 수 있다.

관측 영상 데이터 및 참조 영상 데이터는 기하보정 또는 정사영상 제작 에서의 오차를 포함할 수 있다. 이러한 오차는 관측 영상 데이터와 참조 영상 데이터 간의 변화 영역을 탐지하는 분석에 민감한 영향을 미칠 수 있다. 무인 항공 장치(200), 공중 장치(300)과 같은 다른 플랫폼 및 각 플랫폼의 다른 센서로부터 취득된 데이터를 활용하여 비교분석을 수행하기 위해, 영상 정합이 수반될 있다. 영상 정합을 통해 분석 데이터 간의 위치오차가 최소화될 수 있다.

관측 영상 데이터의 정사영상과 참조 영상 간의 매칭점을 추출하기 위해, 상호 정합은 양 영상 간의 특징점을 추출하는 과정 및 양 영상 간의 매칭점을 찾는 과정으로 수행될 수 있다. 특징점을 추출하기 위해, 예컨대 R2D2, D2-Net, SuperPoint 등과 같은 딥러닝 기반의 매칭 알고리즘이 사용될 수 있다. 딥러닝 기반의 특징점 추출은 영상 내 특징점(keypoint)의 위치와 해당 특징점의 특징 기술자(feature descriptor) 정보를 제공하는 CNN(Convolutional Neural Network) 네트워크를 이용할 수 있다. 추출된 특징점에 대해 무작위로 N개의 매칭쌍 조합이 선별되고, 소정 기준에 따른 높은 일치성을 나타내는 그래프가 탐지되며, 임계값 내에 포함되는 적합점이 선정될 수 있다. 이에 따라, 정합을 위한 변환 행렬이 추정될 수 있다. 추정된 변환행렬을 이용하여 영상 정합을 수행하는 경우, 재투영 오차가 임계값 내에 포함되는 매칭쌍이 최종 매칭쌍으로 결정될 수 있다.

매칭쌍으로 추출된 매칭점들은 영상 기반의 좌표를 가지며, 강체 변환(rigid transformation), 어핀변환(affine transformation) 등을 통해 영상 정합이 수행될 수 있다.

어핀변환은 회전, 평행이동, 스케일, 전단(shearing), 반전(reflection) 등을 포함한 변환으로 수학식 1과 같이 표현할 수 있다.

[수학식 1]

여기서, 는 참조 영상의 추출된 매칭점이며, 는 관측 영상 데이터의 정상 영상에서 추출된 매칭점이며, a,b,c,d,e,f는 어핀변환을 위한 6개 파라미터일 수 있다. 영상 변환 및 정합은 추정된 파라미터를 이용하여 수행되며, 파라미터는 소정 방식에 따라 추정되거나 결정될 수 있다.

관측 영상 데이터의 정사영상과 참조 영상 간의 영상 매칭 및 정합을 위한 상술한 예시를 통해, 기하 오차로 인한 영향이 최소화될 수 있다.

다음으로, 프로세서(150)는 상호 정합된 관측 영상 데이터와 참조 영상 데이터를 전처리할 수 있다(S120).

구체적으로, 프로세서(150)는 관측 영상 데이터의 속성에 따라 관측 영상 데이터 및 참조 영상 데이터를 가공할 수 있다. 프로세서(150)는 이벤트 유형, 예컨대 재난 유형에 기초하여, 가공된 관측 영상 데이터 및 가공된 참조 영상 데이터에서, 재난의 영향이 미치지 않는 예외 객체의 유무를 결정하여 예외 객체를 처리하도록, 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리할 수 있다.

도 3을 참조하여 S120 단계에 대해 상세히 설명하기로 한다. 도 3은 관측 영상 데이터 및 참조 영상 데이터의 전처리 과정에 관한 순서도이다.

먼저, S115 단계에 의해 참조 영상 데이터와 상호 정합된 관측 영상 데이터의 영상 속성, 예컨대 관측 영상 센서의 타입을 확인할 수 있다(S205).

관측 영상 센서의 타입은 상술한 바와 같이, RGB 밴드를 갖는 광학 센서 또는 다중 분광 센서일 수 있다. 광학 센서는 객체의 컬러를 인식하여 객체의 컬러 영상을 획득할 수 있다. 다중 분광 센서는 특정 분광 특성을 가진 객체를 식별할 수 있다. 예를 들면, 다중 분광 센서는 10개 미만의 파장 구간에서 지표면으로부터 반사 또는 방출되는 복사 에너지를 감지하여 특정 분광 특성을 가진 객체를 식별할 수 있다. 다중 분광 센서는 예를 들어, NIR (Near Infrared) 센서일 수 있다.

다음으로, 프로세서(150)는 센서 타입에 따른 관측 영상 데이터 및 참조 영상 데이터를 가공하고(S210), 가공된 관측 및 참조 영상 데이터로부터 지정 객체, 예컨대 식생(vegetation) 영역을 식별할 수 있다(S215).

이벤트가 재난인 경우, 지정 객체는 예컨대 식생 또는 식생 영역과 관련된 객체일 수 있다. 이에 제한되지 않고, 지정 객체는 이벤트 유형에 따라 다양하게 결정될 수 있다.

S210 단계의 가공을 위해, 참조 영상 데이터는 복수의 센서 타입의 영상 데이터 중, 관측 영상 센서의 타입에 대응하는 영상 데이터로 채택될 수 있다. 프로세서(150)는 관측 영상 데이터에서 확인된 센서 타입과 동일한 센서 타입을 갖는 참조 영상 데이터를 선정할 수 있다.

관측 영상 센서의 타입이 광학 센서인 경우, 프로세서(150)는 예컨대, 가공할 참조 영상 데이터로 컬러 기반의 광학 센서에 의해 취득된 항공 영상을 선택할 수 있다. 프로세서(150)는 지정 객체와 관련된 색상에 기반하여, 관측 영상 데이터 및 상기 선택된 참조 영상 데이터에서 식생 영역을 식별하도록 처리할 수 있다.

산림은 계절변화 등에 따라 변화가 발생할 수 있으며, 이러한 변화는 변화 탐지 분석을 수행하는데 있어서 분석결과에 많은 영향을 미칠 수 있다. 계절적 요인 또는 다양한 요인으로 인한 변화가능성이 높은 지정 객체는 식생 영역과 관련된 객체일 수 있다.

아울러, 색상에 기반한 지정 객체의 식별은 지정 객체의 식별을 위한 지표, 예를 들어 식생 지수를 이용하여 처리될 수 있다. 구체적으로, RGB밴드를 가지는 광학영상에 대해, EGI (Excess Greenness Index), VDVI (Visible-band Difference Vegetation Index) 등 식생 지수를 이용함으로써, 식생 영역이 탐지될 수 있다. EGI와 VDVI는 영상의 적색(Red), 녹색(Green), 청색(Blue) 밴드의 디지털 번호(DN, Digital Number)의 차이를 이용하여, 수학식 2 및 3과 같이 계산될 수 있다.

[수학식 2]

여기서, 이다.

[수학식 3]

광학 센서에 의한 경우, 가공 전 관측 영상 데이터의 정사영상 및 식생 지수 EGI를 이용하여 가공된 관측 영상 데이터는 각각 도 4(a) 및 도 4(b)에 예시되어 있다. 참조 영상 데이터의 항공 영상 및 식생 지수에 의해 가공된 참조 영상 데이터도 도 4와 유사하게 가공될 수 있다. 도 4는 광학 센서로 획득된 관측 영상 데이터의 정사영상 및 정사영상에서 지정 객체를 식별하도록 가공된 관측 영상 데이터의 영상을 예시한 도면이다.

관측 영상 센서의 타입이 다중 분광 센서인 경우, 프로세서(150)는 예컨대, 가공할 참조 영상 데이터로 다중 분광 센서에 의해 취득된 위성 영상을 선택할 수 있다. 컬러 기반의 광학 센서의 영상은 가시광 채널만 제공되므로, 효율적인 영상 분류를 위해, 다중 분광 센서에 기반한 영상이 활용될 수 있다.

프로세서(150)는 식생 영역과 관련된 특정 파장에 따른 반사율에 기반하여, 관측 영상 데이터 및 선택된 참조 영상 데이터에서 식생 영역을 식별하도록 처리할 수 있다.

상기 반사율에 기반한 지정 객체의 식별은 지정 객체의 식별을 위한 지표, 예를 들어, EGI, VDVI와 다른 식생 지수를 이용하여 처리될 수 있다.

다중 분광 센서가 NIR (Near Infrared)인 경우, 다중 분광 센서는 스펙트럼의 근적외선 부분(약 760~900nm)을 사용하여 식생 영역을 식별할 수 있다. 건강한 식생은 상기 스펙트럼 범위에서 가시 대역(RGB)에 비해 높은 반사율 값을 제공하는 경향이 있어, 분광 다중 센서는 근적외선(near infrared)대의 반사율을 이용할 수 있다. 예컨대, 근적외선대의 반사율을 이용하여 식생의 생장 상태를 지수화한 NDVI (Normalized Difference Vegetation Index)가 다중 분광 센서를 활용한 식생 분석에서 사용되는 지수일 수 있다. 이러한 지수는 수학식 4로 계산될 수 있다.

[수학식 4]

다음으로, 프로세서(150)는 재난 유형 정보에서 확인된 재난 유형을 확인하고(S220), 재난 유형에 따라, 가공된 관측 영상 데이터 및 가공된 참조 영상 데이터에서, 지정 객체가 변화 분석에서 제외하는 예외 객체에 해당하는지 여부를 결정하고, 결정에 따라 상기 영상 데이터들을 처리할 수 있다(S225).

재난 유형은 예컨대 산불, 산사태, 홍수, 교량붕괴, 지진 등으로 구분될 수 있다. 재난 유형이 제 1 재난 유형, 예컨대 산사태, 홍수, 교량붕괴, 지진 등인 경우, 지정 객체인 식생 영역은 재난 전후에 변화하지 않은 예외 객체에 해당할 수 있다. 제 1 재난 유형의 경우, 프로세서(150)는 관측 및 참조 영상 데이터에서 식생 영역을 예외 객체로 결정하여, 예외 객체를 제외시킬 수 있다. 만약 식생 영역 등의 예외 객체가 존재하지 않는 경우, 프로세서(150)는 관측 및 참조 영상 데이터에서 특정 객체에 대한 제외 처리를 진행하지 않고, 상기 영상 데이터들에서 모든 객체들을 유지시킬 수 있다.

반면에, 재난 유형이 제 2 재난 유형, 예컨대 산불인 경우, 지정 객체인 식생 영역은 재난 전후의 변화 분석이 필요한 객체이므로, 예외 객체에 해당되지 않을 수 있다. 제 2 재난 유형의 경우, 식생 지수를 적용한 전체의 관측 및 참조 영상 데이터에 대한 변화 탐지 분석이 요구될 수 있다. 프로세서(150)는 식생 영역이 제 2 재난 유형에서 예외 객체에 해당되지 않는 것으로 결정하고, 식생 영역을 유지하도록 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터를 처리할 수 있다.

요약하면, 산불과 같은 제 2재난 유형의 경우, 식생의 변화에 대한 민감한 분석이 필요하여, 모든 식생에 대한 변화 탐지 분석이 수반될 필요가 있다. 그러나, 산사태, 홍수, 교량 붕괴 등 산불 외의 제 1 재난 유형의 경우, 계절 변화를 포함한 다양한 변화가 발생하는 식생 영역은 분석 결과에 부정적인 영향을 미칠 수 있다. 이에 따라, 식생 영역은 가공된 관측 및 참조 영상 데이터에서 제외하기 위한 예외 객체로 결정되어, 식생의 계절변화 등으로 인한 영향이 최소화될 수 있다.

다음으로, 재난 유형에 따라 예외 객체가 처리된 관측 영상 데이터 및 참조 영상 데이터는 전처리된 관측 및 참조 영상 데이터로 생성될 수 있다(S230).

다시 도 2를 참조하면, 프로세서(150)는 전처리된 관측 영상 데이터 및 전처리된 참조 영상 데이터에 기반하여, 재난 발생 지역의 변화 영역을 검출하는 분석을 수행할 수 있다(S125).

도 5를 참조하여 S125 단계에 대해 상세히 설명하기로 한다. 도 5는 변화 영역의 검출 분석을 위한 과정에 관한 순서도이다.

먼저, 프로세서(150)는 전처리된 관측 영상 데이터 및 전처리된 참조 영상 데이터에 분광 벡터 변화 분석(CVA, Change Vector Analysis)을 적용할 수 있다(S305).

분광 벡터 변화 분석 기법은 픽셀단위 방사도 측정값을 비교하여 변화 지역을 탐지하며, 변화 정도의 크기와 변화의 경향을 탐지하는 기법일 수 있다. 상세하게는, 상기 기법은 서로 다른 2개의 시기에 취득된 관측 영상 데이터 및 참조 영상 데이터의 픽셀 벡터들 간의 크기와 방향을 이용하여, 변화 지역의 크기와 방향을 추정할 수 있다. 벡터의 크기는 변화의 크기를 의미하며, 소정의 임계값에 의해 변화한 픽셀이 식별될 수 있다. 벡터의 방향은 2개의 시기에 취득된 관측 및 참조 영상 데이터 간에 발생한 변화의 경향을 나타내며, 변화의 방향은 해당 밴드 간의 특징에 따라 여러 형태로 결정될 수 있다.

재난에 따른 피해 발생 전후의 관측 및 참조 영상들에서 변화의 방향과 크기를 분석하기 위해 n개의 밴드를 가지는 영상에 대한 변화 벡터(change vector)는 수학식 5와 같이 계산될 수 있다.

[수학식 5]

여기서, Image_after는 관측 영상이고, Image_before는 참조 영상일 수 있다.

R,G,B의 3개 밴드를 가지는 경우 변화 크기(change magnitude) 는 수학식 6과 같이 구할 수 있다.

[수학식 6]

이 증가하면, 관측 영상의 변화가능성이 높다는 것을 의미하며, 특정 임계값을 초과하는 픽셀들이 변화된 것으로 간주될 수 있다. 변화로 간주된 픽셀들에 대한 변화의 방향이 계산되며, 변화의 방향은 수학식 7과 같이 계산될 수 있다.

[수학식 7]

상술의 과정을 통해 처리된 관측 또는 참조 영상 데이터는 도 6에 예시되어 있다. 도 6은 전처리된 관측 또는 참조 영상 데이터에 대해 분광 벡터 변화 분석이 적용된 영상 분석 결과를 예시한 도면이다.

다음으로, 프로세서(150)는 상기 분석이 적용된 관측 영상 데이터 및 참조 영상 데이터에 기초하여 임계값 이상의 비유사도를 갖는 특징 영역을 검출할 수 있다(S310).

S305 단계에 따른 분광 벡터 변화 분석 기법을 통해 생성된 각 영상의 처리 결과는 픽셀 기반의 분석에 의해 출력되어, 노이즈로 간주되는 많은 단일 픽셀들이 검출될 수 있다. 따라서, 노이즈의 영향을 최소화하기 위해, 프로세서(150)는 각 영상에서 변화가 주로 발생한 영역을 식별하여 세부적인 피해 지역을 2차적으로 분석할 수 있다. 변화가 주로 발생한 영역을 식별하기 위해, 특징 검출(saliency detection) 방법이 적용될 수 있다.

특징 검출은 영상에서 다른 부분보다 임계값 이상의 변화가 있는 부분을 식별하는 기술일 수 있다. 예를 들어, 특징 검출을 위해, 프로세서(150)는 각 영상 내에서 패치를 생성하고, 전체 영상에 대해 생성된 패치의 유사성을 계산하여, 지역적 및 전역적 특징을 통합시키고, 비유사성을 정의할 수 있다. 두 패치의 비유사성은 아래 수학식 8을 통해 계산될 수 있다.

[수학식 8]

여기서, 와 는 영상 내 두 패치를 의미하며, 는 색상을 수치로 표현한 CIE LAB(L*a*b*색공간)에서 벡터화된 와 패치 사이의 유클리디안 거리를 의미할 수 있다. 는 와 위치 사이의 유클리디안 거리를 의미할 수 있다.

배경 픽셀은 다중 스케일에서 더 유사한 패치를 가지므로, 다중 스케일의 조합이 적용되어, 임계값 이상의 변화가 발생한 영역과 임계값 미만의 변화가 있는 영역 간의 보다 큰 대비 효과가 나타날 수 있다. 스케일 에서 패치 의 특징값(saliency value)은 수학식 9와 같이 계산될 수 있다.

[수학식 9]

다중 스케일에서 특징 지도(saliency map)와 관심 지점의 가장 가까운 패치를 적용해야 한다는 점을 고려하여, 패치 의 특징값(saliency value)은 수학식 10과 과 같이 계산될 수 있다.

[수학식 10]

여기서, M은 스케일의 수이며, 는 픽셀 i와 스케일 r에서 관심 픽셀의 가장 가까운 초점 사이의 유클리디안 거리를 의미할 수 있다.

특징 검출에 의해, 관측 또는 참조 영상 데이터에서 검출된 특징 영역은 도 7에 예시되어 있다. 도 7은 관측 또는 참조 영상 데이터에 대해 특징 영역을 검출한 영상 결과를 예시한 도면이다.

다음으로, 프로세서(150)는 관측 및 참조 영상 데이터에서 검출된 특징 영역을 잠재적 변화 영역으로 추출할 수 있다(S315).

프로세서(150)는 S310에 따른 특징검출 분석 결과에 임계값을 적용하여, 임계값을 초과하는 변화가 발생한 영역을 관측 및 참조 영상 데이터에서 식별하고, 식별된 영역을 잠재적 변화지역으로 결정할 수 있다.

변화 탐지 분석 2단계인 세부 피해지역을 파악하기 위해, 특징 지도(saliency map)를 통해 분석된 잠재적 변화지역은 도 8에서와 같이, 무인 항(200)의 원본 정사영상(드론 영상)과 참조영상으로부터 잠재적 변화지역에 해당하는 영역을 나타내도록 추출될 수 있다. 도 8은 잠재적 변화 영역이 추출된 관측 및 참조 영상 데이터의 영상들을 예시한 도면이다.

다음으로, 프로세서(150)는 잠재적 변화 영역이 추출된 관측 영상 데이터 및 참조 영상 데이터 간의 차분 영상 데이터를 생성할 수 있다(S320).

프로세서(150)는 추출한 무인 항공 장치(200)의 정사영상과 참조 영상을 차분하여 차분 영상(difference image)을 생성할 수 있다. 예컨대, 차분 영상의 고유벡터(eigenvector)는 고주성분분석(PCA, Principal Component Analysis)을 이용하여 구해지고, h Х h의 지역정보(neighborhood information)가 고유벡터 공간에 투영됨으로써, 각 픽셀에 대해 특징벡터가 생성될 수 있다.

다음으로, 프로세서(150)는 관측 영상 데이터 및 참조 영상 데이터 간의 차분 영상 데이터에 기반하여 최종 변화 영역을 검출하고, 최종 변화 영역에 기초하여 변화 지도를 생성할 수 있다(S325).

예컨대, 상술의 특징벡터에 따른 공간은 K-means 클러스터링을 통해 변화된 지역과 변화되지 않은 지역으로 구분되어, 변화된 지역이 최종 변화 영역으로 검출될 수 있다. K-means 클러스터링은 PCA K-means (Principal Component Analysis K-means)에 의해 수행될 수 있다.

다시 도 2를 참조하면, 프로세서(150)는 변화 지도의 최종 변화 영역을 재난 발생지의 피해 지역으로 결정하여, 피해 지역을 나타내는 재난 발생 지역의 변화 지도를 생성하여, 출력부(130)를 통해 표시할 수 있다(S130).

도 9(a)에 예시된 바와 같이, 산사태에 따른 분석 결과는 산사태 피해 지역(410)을 나타내는 변화 지도로 출력될 수 있다. 도 9(b)에 예시된 바와 같이, 침수에 따른 분석 결과는 침수 피해 지역(420)을 나타내는 변화 지도로 출력될 수 있다.

무인 항공 장치(200)의 정사영상, 위성 및 항공 영상 등을 포함하는 이종 영상 데이터 간의 변화탐지를 수행하는데 있어서, 각 영상에 적용된 센서의 타입이 상이하므로, 차분과 같은 단순 비교 분석 방법은 적용하는데 한계가 있다. 변화 탐지 과정에서 차분 영상의 품질은 변화탐지 분석 결과의 정밀도에 민감한 영향을 미칠 수 있다. 높은 정확도의 분석 결과를 확보하기 위해, 노이즈, 계절변화, 조명 변화 등으로 인한 영향을 최소화하는 방법이 필요하다.

본 개시에 따르면, 정확한 피해지역 탐지를 위해 재난유형 및 탑재하는 센서의 타입에 따라, 관측 및 참조 영상 데이터를 처리하고 변화 탐지를 분석함으로써, 재난 전후의 변화 영역 및 피해 지역이 정확하게 검출될 수 있다.

또한, 재난 피해지역은 재난유형, 발생지역 등에 따라 피해양상이 상이하다. 본 개시에 따르면, 재난 유형 및 발생 지역의 특성(예컨대 식생 영역 등)을 고려함으로써, 피해 지역의 검출 정확성이 더욱 향상될 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (10)

1. 이벤트 발생 지역의 관측 영상 데이터, 및 이벤트 발생 전에 생성되며 상기 관측 영상 데이터와 이종 영상으로 구성되는 참조 영상 데이터를 획득하는 단계;
   상기 관측 영상 데이터의 속성에 따라 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하고, 이벤트 유형에 기초하여, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서, 변화 분석에서 제외하는 예외 객체가 존재하는지 여부를 결정하여 상기 예외 객체를 처리하도록, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 단계; 및
   상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 기반하여, 상기 이벤트 발생 지역의 변화 영역을 검출하는 단계를 포함하는 이종 영상 데이터 간의 변화 탐지 방법.
   
2. 제 1 항에 있어서,
   상기 관측 영상 데이터의 속성은 관측 영상 센서의 타입에 따라 결정되고, 상기 관측 영상 센서의 타입은 RGB 밴드를 갖는 광학 센서 또는 특정 분광 특성을 가진 객체를 식별하는 다중 분광 센서인, 이종 영상 데이터 간의 변화 탐지 방법.
3. 제 2 항에 있어서,
   상기 관측 영상 데이터가 무인 항공 장치를 이용하여 생성되며, 상기 참조 영상 데이터는 복수의 타입의 영상 데이터 중, 상기 관측 영상 센서의 타입에 대응하는 영상 데이터로 채택되는, 이종 영상 데이터 간의 변화 탐지 방법.
   
4. 제 2 항에 있어서,
   상기 관측 영상 센서의 타입이 상기 광학 센서인 경우, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하는 것은, 지정 객체와 관련된 색상에 기반하여, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함하며,
   상기 관측 영상 센서의 타입이 상기 다중 분광 센서인 경우, 상기 관측 영상 데이터 및 상기 관측 영상 센서의 타입을 갖는 상기 참조 영상 데이터를 가공하는 것은, 상기 지정 객체와 관련된 특정 파장에 따른 반사율에 기반하여, 상기 관측 영상 데이터 및 상기 참조 영상 데이터에서 상기 지정 객체를 식별하도록 처리하는 것을 포함하는, 이종 영상 데이터 간의 변화 탐지 방법.
   
5. 제 4 항에 있어서,
   상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하는 단계는,
   상기 이벤트 유형에 기초하여 상기 식별된 지정 객체가 상기 예외 객체인지 여부를 결정하는 단계;
   상기 지정 객체가 상기 예외 객체로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 예외 객체를 제외하는 단계; 및
   상기 지정 객체가 상기 예외 객체의 미해당으로 결정되는 경우, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서 상기 지정 객체를 유지하는 단계를 포함하는, 이종 영상 데이터 간의 변화 탐지 방법.
   
6. 제 1 항에 있어서,
   상기 이벤트 발생 지역의 변화 영역을 검출하는 단계는,
   상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터 간의 잠재적 변화 영역을 추출하는 단계; 및
   상기 잠재적 변화 영역이 추출된 상기 관측 영상 데이터 및 상기 참조 영상 데이터 간의 차분 영상 데이터에 기반하여 최종 변화 영역을 검출하는 단계를 포함하는, 이종 영상 데이터 간의 변화 탐지 방법.
   
7. 제 6 항에 있어서,
   상기 잠재적 변화 영역을 추출하는 단계는,
   상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 분광 벡터 변화 분석을 적용하는 단계; 및
   상기 분석이 적용된 관측 영상 데이터 및 상기 참조 영상 데이터에 기초하여 임계값 이상의 비유사도를 갖는 특징 영역을 검출하여, 상기 검출된 특징 영역을 상기 잠재적 변화 영역으로 추출하는 단계를 포함하는, 이종 영상 데이터 간의 변화 탐지 방법.
   
8. 제 6 항에 있어서,
   상기 차분 영상 데이터에 기반하여 상기 최종 변화 영역을 검출하는 것은 상기 차분 영상 데이터에 PCA K-means (Principal Component Analysis K-means)를 이용하여 수행되는, 이종 영상 데이터 간의 변화 탐지 방법.
   
9. 제 1 항에 있어서,
   상기 이벤트는 재난이며, 상기 이벤트 발생 지역은 상기 재난으로 인한 피해 지역이고, 상기 이벤트 유형은 재난 유형인, 이종 영상 데이터 간의 변화 탐지 방법.
   
10. 외부와 신호를 송수신하는 통신부;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    이벤트 발생 지역의 관측 영상 데이터, 및 이벤트 발생 전에 생성되며 상기 관측 영상 데이터와 이종 영상으로 구성되는 참조 영상 데이터를 획득하고,
    상기 관측 영상 데이터의 속성에 따라 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 가공하고, 이벤트 유형에 기초하여, 상기 가공된 관측 영상 데이터 및 상기 가공된 참조 영상 데이터에서, 변화 분석에서 제외하는 예외 객체가 존재하는지 여부를 결정하여 상기 예외 객체를 처리하도록, 상기 관측 영상 데이터 및 상기 참조 영상 데이터를 전처리하고,
    상기 전처리된 관측 영상 데이터 및 상기 전처리된 참조 영상 데이터에 기반하여, 상기 이벤트 발생 지역의 변화 영역을 검출하도록 구성되는, 이종 영상 데이터 간의 변화 탐지 장치.