KR101737426B1 - 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법 - Google Patents

Abstract

본 발명은 위성이나 항공 영상에서 발생하는 인위적인 잡음신호를 추출하고 보정하는 기술로, 전체 영상내에 중첩되어 촬영된 부분이 있는 영상에 대하여 추가적인 참고자료나 정보 없이 촬영된 영상만을 이용하여 잡음신호를 제거하는 기술롯로서, (1) 잡음신호 공간분포 추출단계, (2) 잡음신호 정량화단계, (3) 잡음신호 보정단계의 3단계로 구성되어 있으며, (1) 잡음신호 공간분포 추출단계에서는 최소 잡음 비율 변환(minimum noise fraction transform)을 이용하여 잡음신호의 공간분포를 추출해니고, (2) 정량화단계에서는 그 공간분포 패턴의 크기를 영상내의 중첩 촬영된 부분을 이용하여 조정하며, (3)마지막 보정 단계에서는 앞 두 단계에서 추출된 잡음 신호를 각 영상에서 차감하여 보정된 영상을 만들어 내는 것을 특징으로 하는 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법에 관한 것이다.

Description

최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법{Correction of radiometric artefacts in imagery acquired from satellite or aircraft platforms using the minimum noise fraction transform}

본 발명은 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법에 관한 것이다. 이를 더욱 상세하게 설명하면, 위성이나 항공기에서 촬영한 영상은 교정의 부정확성 또는 잡광 및 고스트이미지의 영향으로 광량(복사 휘도)의 오차를 포함할 수 있는데, 본 발명은 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법에 관한 것이다.

세계 최초의 정지궤도 해양관측 위성인 천리안 위성의 해색 센서인 Geostationary Ocean Color Imager(GOCI)는 2010년 6월에 발사된 천리안의 세가지 탑재체중 하나로, 개발된 이후로 대한민국, 일본, 중국 동부 주변을 둘러싼 해양의 광학자료를 수집하고 있으며, 기존에 없던 주기의(하루에 8번) 높은 시간 해상도와 500m의 높은 공간 해상도를 가지고 해양환경을 준 실시간으로 모니터링하여 수출광량, 엽록소 농도, 부유물질 농도, 용존 유기물량, 적조지수 등의 정보를 제공하고 있다.

상기 GOCI의 영상 획득방식은 전체 관측 영역을 가로 세로 4x4의 총 16개의 영역으로 나눈 후 포인팅 미러를 각 영역에 지향하여 개별 영상을 얻은 다음 최종적으로 16개의 개별 영상을 조합하여 하나의 영상을 만들게 된다. 구체적으로, GOCI에 있는 CMOS 센서는(500m의 공간해상도를 가지는 1432*1415 픽셀)는 타켓이 되는 지역(130°E, 36°N을 중심으로 2500㎞*2500㎞) 전체를 한꺼번에 관측하기 어려우므로, 타켓이 되는 지역을 도1에 도시된 바와 같이 16개의 슬롯으로 배열된 영역을 차례로 활용하게 된다. 각 블럭에 포함된 지역은 '슬롯'이라 하며, 16개의 슬롯의 이미지는 16개의 레벨 1A자료에 저장된다. 6개의 슬롯의 영상은 최종적으로 하나의 전체 영상으로 합쳐지는데 이때 여러개의 슬롯이 겹치는 가장자리 부분에 불연속성이 나타난다. 이를 슬롯 경계차(ISRD, Inter-Slot Radiometric Discrepancy)라 하며, 상기 슬롯 경계차는 슬롯별 촬영 시간이 수분에서 십 수분까지 차이 남에 따라 달라지는 슬롯별 태양광량의 차이와 같은 자연적인 요인과 잡광 등에 의한 인위적인 요인이 복합적으로 작용하여 발생하기도 한다.

ISRD를 일으키는 인위적인 요인중 가장 큰 것은 광학계의 뒤틀림으로 인하여 발생하는 잡광(stray light)으로, 지향된 지구 목표물 외의 장소에서 불필요한 빛이 들어와 GOCI의 각 슬롯 영상의 하단부에 강한 잡음 신호가 발생하게 된다. 이러한 슬롯 하단부의 잡음 신호로 인하여 상하로 인접하여 있는 슬롯의 경계에서 상부 슬롯과 하부 슬롯의 중첩된 부분의 광량이 서로 상이하게 되는 현상이 발생한다.

또한, 위성이나 항공기에서 촬영한 영상은 교정의 부정확성 또는 잡광 등의 영향으로 관측된 영상에서 광량(복사 휘도)의 오차를 발생시킬 수 있는데, 촬영된 영상만으로는 본래의 영상신호와 인위적인 요소로 발생한 잡음신호를 구별해내기가 쉽지 않다. 예를 들어, 잡광(stray light)에 의해 생기는 잡음신호의 경우, 잡광을 발생하게하는 광학계의 기작을 정밀하게 재현할 수 있다고 하면 체계적으로 잡음신호를 제거할 수 있지만, 광학계 조립이 완료된 경우 잡광 발생 기작을 분석하기 어려울 뿐만 아니라, 위성의 경우는 위성 발사시 진동 및 우주환경에서 발생하는 광학계 뒤틀림 현상이 발생하기 때문에, 광학계에 접근이 매우 제한적이게 된다.

이에 따라, 별도의 비교 자료나 잡음신호를 발생시키는 기작에 대한 조사 없이, 획득된 영상으로만 잡음 신호를 추출할 수 있는 기술의 발명이 필요로 하였다.

본 발명은 이의 보정을 위하여 최소 잡음 비율 변환법(MNF transform)을 이용하여 우선, 각 슬롯에서 잡음신호의 공간적 패턴을 추출하고, 각 슬롯의 중첩된 부분의 값들을 비교하여 그 잡음신호를 정량화한 후, 각 슬롯에서 잡음 신호를 제거하는 기술을 개발하였다.

대한민국 특허청 등록특허공보 제10-1484671호 대한민국 특허청 공개특허공보 제10-2014-0047980호

본 발명의 목적은 위성 또는 항공기에서 촬영된 영상에서 잡광 등의 잡음신호가 발생하였을 때, 잡음신호에 대한 별도의 참고자료 없이 획득한 영상만으로 잡음신호를 추출, 정량화, 보정하는 기술로서, 보정 대상 영상 내에 중첩되어 촬영된 부분이 반드시 포함되어야 하며, 보정되는 영상의 영역은 중첩된 부분에 그치지 않고 모든 영상 영역에 까지 미칠 수 있어야 한다.

상술한 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에서는 최소 잡음 비율 (MNF) 변환을 이용하여 위성 및 항공영상 잡음신호에 의한 변형을 제거하는 영상 기반 보정 방법을 제안하는 것으로서,

MNF 변환을 이용하여 잡음 신호의 공간적 분포(즉, MNF 잡음 feature)를 추출하는 잡음신호 공간분포 추출 단계;

영상내의 중첩되어 촬영된 부분의 값의 차이를 이용하여 실제 잡음신호의 크기를 정량화하는 잡음신호 정량화 단계 및;

구해진 잡음신호영상을 본 영상에서 차감함으로써 보정 영상을 만들어내는 잡음신호 보정 단계; 를 포함하는 것을 특징으로 한다.

상기 잡음신호 공간분포 추출 단계에서는 최소 잡음 비율 변환법을 이용하며,

최소 잡음 비율 변화의 결과 영상은 변환의 입력으로 사용된 본 영상의 밴드수와 같은 밴드수를 가지며, 이때, 결과 영상에서 잡음 신호를 나타내는 밴드를 찾아냄에 있어서 고유값 행렬(식 6의 Λ_L )의 대각 구성성분 중 가장 작은 값에 해당하는 고유벡터를 잡음신호로 간주하는 것을 특징으로 한다.

상기 잡음신호 정량화 단계는 상기 잡음신호 공간분포 추출 단계에서 추출된 공간적 분포를 바탕으로 선형 변형을 적용시켜 실제 잡음신호의 크기에 맞게 조정하는 단계로서,

상기 선형 변형의 계수(즉, 1차항 및 2차항 등에 대한 계수, 식 (15)에서 α와 β)를 구하는 방법으로 각 개별 촬영된 영상들의 중첩된 부분에서의 값을 사용하게 되는데, 영상이 중첩되는 부분에서 잡음 신호가 없다면 광량이 같아야 한다는 조건을 이용하여, 잡음신호 정량화를 위한 선형식 시스템을 구성하는 것을 특징으로 한다.

상기 선형식 시스템을 이용하여 각 슬롯마다 선형계수를 계산하는 방법은 식 (15)를 이용하는 것을 특징으로 한다.

본 발명은 앞서 본 구성에 의해 다음과 같은 효과를 도모할 수 있다.

본 발명에 따른 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법에 있어서, 획득 영상외의 추가 정보의 사용없이 잡음신호의 영향을 제거할 수 있으며, 천리안 영상의 잡광 보정의 예시에서는 잡광의 영향으로 영상이 중첩된 부분에서 약 20%정도의 광량(복사휘도)의 차이가 있었으나, 상기 발명의 기술을 이용하여 잡광의 영향을 제거한 후에 그 차이를 2%이하로 감소시켰다.

도 1은 GOCI에서 촬영된 16개의 슬롯을 개략적으로 도시한 그림이고,
도 2는 대기상층에서의 GOCI 복사휘도 영상으로 도시한 그림이고,
도 3은 2012년 10월 19일에 얻어진 slot 3의 GOCI LIA 이미지의 MNF 변환 결과 영상을 나타낸 그림이고,
도 4는 슬롯 3과 슬롯 5 두개의 슬롯에 대해 MNF로 추출된 영상 신호값과 ISRD를 모사할 수 있는 세가지 값(6번 밴드와 7번 밴드의 밴드 차, 6번 밴드와 7번 밴드의 밴드 비율, MODIS와 GOCI의 6번 밴드의 Rayleigh 보정영상의 차)를 비교한 그림이고,
도 5는 잡음신호 추출 단계에서 MNF변환을 통해 추출한 인위적인 영상신호를 영상처리 한 후의 그림으로 슬롯 3,5,6에 대한 결과이고,
도 6은 2012년 10월 19일 LIB TOA(대기상층에서의) 복사휘도 데이터에서 편차가 크게 나타난 슬롯 경계의 보정 전후를 비교한 그림이고,
도 7은 다른 날짜의 영상에서 마찬가지로 LIB TOA(대기상층에서의) 복사휘도 자료의 보정 결과를 도시한 그림이고,
도 8은 중복된 슬롯 경계에서의 복사휘도 차이와 MNF를 이용하여 정량화된 복사휘도 차이를 비교한 그림으로 여러개의 슬롯 경계(슬롯 5와 12, 슬롯 3과 6, 슬롯 6과 11, 슬록 4와 5 등)에서 ISRD가 주로 나타나는 밴드 6과 8에 대한 산점도를 나타낸 그림이다.

이하에서는 본 발명에 따른 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법을 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명은 최소 잡음 비율 (MNF) 변환을 이용하여 GOCI L1B 제품에서 잡광 및 인위적인 영상신호에 의한 변형을 제거하는 영상 기반 보정 방법을 제안하는 것으로서, MNF 변환을 이용하여 인위적 영상신호의 공간분포를 추출하는 신호추출단계와, 추출된 영상신호의 크기를 인접 슬롯간의 값을 비교하여 얻어내는 정량화단계 및 정량화된 인위적 영상신호를 제거하는 교정단계를 포함한다.

(1) 인위적 영상신호의 추출 단계

MNF변환은 영상내에서 공간적인 자기상관(autocorrelation)을 가지는 신호를 추출하는 기법으로, 잡광 등의 인위적인 영상신호에 의한 효과를 원 영상과 분리해 낼 수 있다. 예를 들어, 잡광에 의한 영상신호는 일반적으로 자연 변동의 그것과 분명히 구별되는 독특한 공간 패턴을 가지고 있고 높은 공간적 자기상관도를 지니고 있기 때문에, MNF변환을 하였을 때 추출될 수가 있다.

먼저, MNF 변환을 살펴보면, 일련의 선형 변환으로 이루어져있으며 입력 신호는 우선 상관도가 없는 신호와 노이즈의 합으로 나타난다.

(3)

여기서 Si와 Ni는 각각 이미지 상의 i번째 픽셀의 구성요소인 신호와 잡음이다. 우선, 잡음에 대한 공분산 행렬(covariance matrix)은 다음과 같이 고유벡터 행렬(Vn)과, 고유값 행렬(Lambda_n)로 나타낼 수 있는데,

이때 소음백색화 행렬(Wn)을 아래와 같이 정의하면

소음백색화 행렬은 다음과 같은 성질을 갖는다.

(4)

소음 백색화 행렬

을 입력자료의 공분산 행렬인

에 아래와 같이 적용하면

(5)

소음 백색화가 이루어진 입력자료의 공분산 행렬을 얻을 수 있고, 이 행렬의 고유벡터와 고유값 행렬을 구하였을 때, 고유벡터의 값이 바로 MNF변환을 통하여 얻어진 변환영상을 나타내게 된다.

(6)

여기서

과

은

의 고유 벡터와 고유 행렬 값이다. 위의 전개를 요약하면 MNF 변환은 결국 두 개 행렬의 연산으로 계산될 수 있다.

(7)

즉, 원 입력자료를 L이라 했을 때, MNF변환 후의 영상 (R_MNF)은 위의 T 변환을 통해 얻어진다.

(8)

여기서

는 i번째 픽셀에 대한 MNF-변환 픽셀 값이다. 소음 공분산은 dark signal을 사용하여 직접적으로 측정되어지기도 하지만, 이러한 데이터의 이용이 불가능하다면 소음 통계는 일반적으로 공간적으로 인접하는 픽셀의 차가 소음을 근사한다는 가정하에 입력 영상 자체로부터 얻을 수 있다. 이것은 높은 공간적 상관성을 영상 데이터로 나타낼 때 사용하는 합리적 가정이다. 본 방법에서는 기준 픽셀로부터 오른쪽픽셀과의 차와, 위 픽셀과의 차를 평균한 값을 소음값으로 하였다. MNF변환을 통하면, 원래 입력자료의 밴드수와 동일한 개수의 MNF feature를 얻게 되는데, 이 중 잡광에 의한 신호는 마지막 feature에 나타나있음을 확인한다.

도 3에 도시된 바와 같이 잡광으로 인한 영상신호의 형태는 마지막 MNF에 잘 표현되어져 있다. 이것은 기존의 별도 연구 결과에서 밝혀진것과 유사하게, 슬롯 하부에서 강도가 강하고 상부로 갈수록 약해지는 패턴을 가지며, 이것은 대기/에어로졸의 변화가 만들어내는 양상과는 확연한 차이가 남을 볼 수 있다. 본 방법에서는 MNF의 마지막 feature 즉, 해당 고유값이 가장 작은 고유벡터를 잡음 신호로 간주하고, 이를 MNF 잡음 feature라고 칭한다.

(2) 인위적 잡음신호의 정량화

우선, 아래와 같이 관측된 복사휘도의 값(Ln)을 참신호(Ln, true)와 인위적잡음에의한 신호(Ln, noise)의 합으로 표현할 수 있고,

(10)

잡음신호에 의한 복사휘도를 MNF 잡음 feature의 2차 다항식으로 가정한다.

(11)

이때, alpha와 beta는 MNF 잡음 feature를 실제 잡음신호로 정량화시키기 위하여 슬롯별로 구해야하는 미지수로서, 총 16개 슬롯에 각각 2개의 미지수가 생기므로, 총 32개의 미지수가 생기게 된다.

슬롯 경계의 중첩되는 부분에서는 한 위치에 최소 두 개의 값이 가용하게 되는데, 이 때 한쪽 슬롯에서의 참신호를 Ln,true(1)이라 하고, 다른쪽 슬롯에서의 참신호를 Ln, true(2)라고 하면, 잡음신호가 없을 때에는 이 두 참신호의 값은 식 (12)와 같아야 한다.

(12)

(13)

(14)

이를 식 (10)과 식 (11)을 이용해 정리하면,

(15)

식 (15)와 같이 정리되고, 식 (15)의 좌변은 각 슬롯의 측정된 복사휘도임으로 이미 획득된 값이고, 우변의 RMNF는 MNF를 적용하여 얻어진 값이다. 따라서 식 (15)의 선형 시스템을 이용하여 중첩된 부분의 복사휘도 값의 차이를 최소화할 수 있는 32개의 미지수 (16개 슬롯별 2개의 계수값 (alpha, beta)값을 계산해 낼 수 있다.

(16)

상기 방정식은 다음과 같이 재정의된다.

(17)

의 파라미터 행렬 A는 오차를 최소화하며,

는 다음과 같이 얻을 수 있다.

(18)

(3) 잡음신호의 제거 및 보정된 L1B영상의 합성

(19)

여기서

는 슬롯 Si에서 i 번째 픽셀의 보정된 복사휘도를 나타낸다. 잡음신호 정량화단계를 통하여 계산되어진 슬롯별 계수를 이용하여, 잡음신호를 계산하고, 이를 기 관측된 복사휘도 영상에서 차감하여 보정된 복사휘도를 생산할 수 있다.

보정 전후의 ISRD를 비교하기 위하여 다음과 같이 ISRD를 정의할 수 있다.

(1)

(2)

여기서 Ln,i는 정규화된 복사휘도, Li는 대기상층에서의 복사휘도, theta_solar,i는 i-번째 픽셀에서의 태양 천정각, Ln(ki)는 k-번째 슬롯에서의 정규화된 복사휘도이다.

상기 표II는 모든 수평 및 수직 중첩영역에 대한 R_ISRD를 모든 8개 밴드에 대하여 보여준다. R_ISRD는 밴드 6과 8을 제외하면, 방향에 상관없이 대부분의 중첩영역에서 3%미만이다. ISRD는 수직중첩영역보다 수평중첩영역에서 더 큰 것이 당연한데 그 이유는 수평중첩영역의 경우가 슬롯간 촬영시각차가 크기 때문이다. 하지만 다른 밴드의 모든 중첩영역에서의 편차를 고려해볼 때, 수평 중첩영역에서 3%이상의 차이의 크기는 특이할 만한 것이라 할 수 있다. Band 7의 경우 수평 수직 모든 방향에 있어서 현저히 낮은 편차를 보이는데, 이는 SLRI이 반드시 파장이 가까운 밴드 사이에 상관관계가 있는 것이 아니라는 것을 보여준다.

ISRD보정 결과 도 8에 도시된 바와 같이, L1B의 TOA의 복사휘도 자료는 2012 년 10 월 19 일 발생된 SLRI 보정 전후의 주요 슬롯 경계의 이미지를 보여주며, 모든 경계에서 보정 알고리즘은 슬롯 경계에서의 불연속성을 저감하며, 자연 변화에 기인한 공간적 연속성을 회복시킨다.

출원인은 본 발명의 실시예를 설명하였지만, 이와 같은 실시예는 본 발명의 기술적 사상을 구현하는 일 실시예일 뿐이며, 본 발명의 기술적 사상을 구현하는 한 어떠한 변경 예 또는 수정 예도 본 발명의 범위에 속하는 것으로 해석되어야 한다.

Claims (4)

1. 최소 잡음 비율 (MNF) 변환을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법에 있어서,
   MNF 변환을 이용하여 잡음 신호의 공간적 분포(즉, MNF 잡음 feature)를 추출하는 잡음신호 공간분포 추출 단계;
   영상내의 중첩되어 촬영된 부분의 값의 차이를 이용하여 실제 잡음신호의 크기를 정량화하는 잡음신호 정량화 단계 및;
   구해진 잡음신호영상을 본 영상에서 차감함으로써 보정 영상을 만들어내는 잡음신호 보정 단계; 를 포함하며,
   상기 잡음신호 공간분포 추출 단계는 최소 잡음 비율 변환법을 이용하며,
   최소 잡음 비율 변화의 결과 영상의 변환의 입력으로 사용된 본 영상의 밴드수와 같은 밴드수를 가지며, 이때, 잡음 신호를 나타내는 밴드를 찾아냄에 있어서 변환의 고유값 행렬(

   

   의 Λ_L )의 대각 구성성분 중 가장 작은 값에 해당하는 고유벡터를 잡음신호로 나타내고,
   상기 잡음신호 정량화 단계는 상기 잡음신호 공간분포 추출 단계에서 추출된 공간적 분포를 바탕으로 선형 변형을 적용시켜 실제 잡음신호의 크기에 맞게 조정하는 단계로서,
   상기 선형 변형의 계수(즉, 1차항 및 2차항에 대한 계수, 식 (15)

   

   

   

   에서 α와 β)를 구하는 방법으로 각 개별 촬영된 영상들의 중첩된 부분에서의 값을 사용하게 되는데, 영상이 중첩되는 부분에서 잡음 신호가 없다면 광량이 같아야 한다는 조건을 이용하여, 잡음신호 정량화를 위한 선형식 시스템을 구성하는 것을 특징으로 하는 최소 잡음 비율 변환기법을 이용한 위성 또는 항공기에서 촬영된 영상의 인위적인 잡음신호 보정 방법.
2. 삭제
3. 삭제
4. 삭제

Images