KR101514143B1 - 다중시기 영상의 모자이크 방법 - Google Patents

Abstract

본 발명은 장기간에 걸쳐 촬영된 위성영상을 이질감 없이 효과적으로 모자이크하기 위한 방법에 관한 것이다. 이를 위하여, 본 발명은 영상좌표추출모듈, 주첩지역추출모듈, 색상보정모듈, 접합선추출모듈, 패더링모듈을 포함하는 시스템에 의하여 좌표정보가 포함된 복수 개의 입력영상의 모자이크가 실행되는 다중시기 영상의 모자이크 방법에 있어서, 영상좌표추출모듈에 의하여 상기 입력영상의 화소마다 좌표를 계산하는 단계; 중첩지역 추출모듈에 의하여 상기 입력영상의 좌표값을 비교하여 중첩지역을 추출하는 단계; 색상보정모듈에 의하여 상기 중첩지역을 대상으로 색상보정을 수행하는 단계; 접합선 추출모듈에 의하여 상기 중첩지역에서 접합선을 추출하는 단계; 패더링모듈에 의하여 상기 접합선을 기준으로 좌우영상의 블랜딩 현상을 감소시키는 패더링을 수행하는 단계가 수행되는 것을 특징으로 하는 다중시기 영상의 모자이크 방법을 제공한다.
따라서, 본 발명에 의하면 복수 개의 고해상도 위성영상의 모자이크 영상이 자동으로 제작되며, 또한 다른 영상 사이의 접합부분을 구별하기 힘들 만큼 색상차이를 효율적으로 최소화하여 고품질의 영상을 얻을 수 있다.

Description

다중시기 영상의 모자이크 방법{Mosaic method for multi-time images}

본 발명은 다중시기 영상의 모자이크 방법에 관한 것이며, 구체적으로 장기간에 걸쳐 촬영된 위성영상을 이질감 없이 효과적으로 모자이크하기 위한 방법에 관한 것이다.

인공위성으로부터 전송되는 복수 개의 위성영상을 이용하여 전체적인 지도영상을 구현하기 위해서는 일부분이 촬영된 위성영상을 매끄럽게 연결하여 전체적으로 보았을 때 접합된 부분이 눈에 띄지 않도록 자연스럽게 연결되도록 하는 것이 중요하다.

한편, 위성영상의 경우 고해상도를 위해 센서의 특성상 촬영범위가 상대적으로 좁기 때문에 광범위한 대상지역에 활용하기 위해서는 짧은 시간에 모든 영상들이 촬영되는 것이 아니라, 오랜 기간에 걸쳐 촬영되는 것이 보통이다.

따라서, 이러한 위성영상을 이용한 대용량 모자이크 영상을 제작할 때에는 같은 장소라도 계절별로 다른 색깔을 띠는 영상을 접합해야 하는 어려움이 있다. 이렇게 다중시기에 촬영된 영상은 색상차이가 나기 때문에 원 영상을 훼손하지 않으면서 접합부분을 인식할 수 없도록 자연스럽게 연결하는 모자이크 방법이 요구된다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 고해상도 위성영상을 이용하여 대용량 모자이크 영상제작을 함에 있어서, 전 과정이 자동으로 진행되며 색상차이를 효율적으로 최소화하여 자연스러운 영상을 얻을 수 있도록 하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명은 좌표계산모듈, 중첩지역추출모듈, 색상보정모듈, 접합선추출모듈, 패더링모듈을 포함하는 시스템에 의하여 좌표정보가 포함된 복수 개의 입력영상의 모자이크가 실행되는 다중시기 영상의 모자이크 방법에 있어서, 좌표계산모듈에 의하여 상기 입력영상의 화소마다 지상좌표를 계산하는 단계; 중첩지역 추출모듈에 의하여 상기 입력영상의 지상좌표값을 비교하여 중첩지역을 추출하는 단계; 색상보정모듈에 의하여 상기 중첩지역을 대상으로 색상보정을 수행하는 단계; 접합선 추출모듈에 의하여 상기 중첩지역에서 상세 접합선을 추출하는 단계; 패더링모듈에 의하여 상기 상세 접합선을 기준으로 좌우영상의 블랜딩 현상을 감소시키는 패더링을 수행하는 단계가 수행되는 것을 특징으로 하는 다중시기 영상의 모자이크 방법을 제공한다.

상기 색상보정은 적어도 중첩지역의 화소에 대하여 기준영상의 RGB값 및 대상영상의 RGB값을 각각 x 및 y축으로 하여 RGB비교데이터를 배치하는 단계;

기준영상의 RGB값 및 대상영상의 RGB값을 각각 X_i, Y_i로 하고, e_i는 회기식의 잔차, 상기 화소의 x값 및 y값의 평균을 각각 μ_X, μ_Y로 계산하여, 회기식 Y_i = a + bX_i + e_i로 되는 매칭방정식을 추출하는 단계; 단, 상기 매칭방정식에서 n을 비교데이터의 갯수라 하면,

상기 대상영상의 RGB값을 상기 매칭방정식상의 값으로 변경하는 단계가 수행되는 것이 바람직하다.

한편, 상기 상세 접합선을 추출하는 단계는 적어도 중첩지역에서 초기 접합선을 선정하는 단계; 상기 초기 접합선으로부터 일정 간격의 버퍼를 추출하는 단계; 상기 버퍼지역의 흑백화를 수행하는 단계; 상기 버퍼지역의 영상값 변화량에 따라 경계를 추출하고 상기 경계에 새로운 영상값을 결정하는 단계; 상기 경계 중 중첩지역 최하부에서 최상부까지 영상값이 최소 또는 최대가 되는 극지역을 결정하는 단계; 상기 극지역을 연결하여 접합선을 표시하는 단계가 수행되는 것이 바람직하다.

그리고, 상기 패더링을 수행하는 단계는 상기 상세 접합선으로부터 일정 간격의 버퍼를 추출하는 단계; 상기 버퍼에 투명도를 생성하는 단계가 수행되는 것이 바람직하다.

본 발명에 의하면 복수 개의 고해상도 위성영상의 모자이크 영상이 자동으로 제작되며, 또한 다른 영상 사이의 접합부분을 구별하기 힘들 만큼 색상차이를 효율적으로 최소화하여 고품질의 영상을 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 다중시기 모자이크 방법의 구성도;
도 2는 본 발명에 따른 다중시기 영상의 모자이크 방법의 전체적인 순서를 나타내는 모식도;
도 3은 계절별로 다른 색깔을 띠는 영상을 접합할 때 발생되는 문제를 나타내는 예시도;
도 4는 입력영상의 오류를 나타내는 예시도;
도 5는 색상보정 전후의 결과를 나타내는 비교도;
도 6은 접합선 추출결과를 나타내는 예시도;
도 7은 상세 접합선을 중심으로 좌우영상의 패더링 과정을 나타내는 예시도;
도 8은 상세 접합선을 중심으로 좌우영상의 패더링이 수행된 결과를 나타내는 예시도;
도 9는 다중시기 영상에 대한 모자이크 영상 제작결과를 나타내는 예시도.

본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.

도 1을 참조하면, 본 발명에 의한 다중시기 영상의 모자이크 방법은 사전처리모듈(100), 좌표계산모듈(120), 중첩지역추출모듈(130), 색상보정모듈(140), 접합선추출모듈(150), 패더링모듈(160)을 통하여 구현된다. 여기서, 모자이크 방법이란 보통 연속적으로 촬영된 영상을 서로 접합하여 하나의 영상으로 제작하는 방법을 말한다. 하지만 본 발명에서는 특히 위성영상 등 날씨 등의 영향으로 촬영시기가 크게 차이가 날 수 있는 영상에 대한 모자이크 방법을 그 대상으로 한다.

상기 사전처리모듈(110)에서는 입력된 영상에서 불필요한 부분을 배제하여 의도하지 않은 오류를 방지하는 역할을 한다. 고해상도 위성영상의 경우에 가장자리 부분에는 오류로 인한 잘못된 영상데이터가 저장되는 경우가 종종 있다. 이러한 영상을 그대로 활용하면 의도하지 않은 오류가 발생할 수 있으므로 오류가 발생할 수 있는 부분을 사전에 배제하여 정확한 영상데이터를 활용할 수 있도록 한다.

예를 들어, 도 4와 같이 정사보정과 판크로메틱 이미지 샤프링된 아리랑 2호 위성영상은 오른쪽부분 최외각 라인을 따라 잘못된 위성영상정보값을 포함하고 있다. 이러한 결과는 항공우주연구원에서 정사보정과 판크로메틱 이미지 샤프링 알고리즘을 적용한 후 생성된 오류이며, 사전처리모듈(100)에서는 이러한 오류 부분을 배제하는 마스킹 작업을 수행한다.

이러한 마스킹 작업은 대상영상에서 제거할 지역의 화소값을 0, 필요한 지역의 화소값을 1로 적용하여 마스킹 이미지를 생성한다. 이렇게 생성된 마스킹 이미지에 대상이미지를 곱하기 연산자를 사용하여 불필요한 지역은 배제하고 원하는 특정지역에 대한 영상을 얻을 수 있다.

상술한 바와 같은 마스킹 단계를 거치면 좌표계산모듈(120)에서는 입력영상의 화소마다 지상좌표를 계산하게 된다.

예를 들어, GeoTIFF 이미지 형식을 갖춘 아리랑 2호 위성영상에는 좌측상단의 좌표정보와 화소크기(예를 들어 5m), 이미지의 RGB에 대한 디지털 정보가 포함된다. 여기서 영상의 p_x를 가로방향(X축방향) 화소크기, p_y를 세로방향(Y축 방향) 화소크기라고 하면, 정사보정된 위성영상의 RGB에 대한 각각의 X축 방향 i번째 화소좌표값은 X_i = X₀+i×p_x, Y축방향 i번째 화소좌표값은

Y_i = Y₀-i×p_y로 계산된다. 상기 좌표정보는 별도의 파일로 제작될 수도 있다.

중첩지역추출모듈(130)에서는 좌표계산모듈(120)에서 계산된 지상좌표값을 이용하여 두 영상간의 중첩지역을 추출한다. 두 영상은 기준이 되는 기준영상과 상기 기준영상과의 비교를 위한 대상영상이 구비되고, 중첩지역추출모듈(130)에서는 기준영상과 대상영상의 각 화소의 좌표값을 추출하여 비교하게 된다. 이렇게 하여 동일한 지상좌표값을 가지는 부분을 중첩지역으로 판별하게 된다.

중첩지역이 추출되면 색상보정모듈(140)에서는 대상영상의 색상을 보정하여 두 영상 사이의 이질감을 완화시킨다.

위성영상은 각기 다른 날짜에 촬영되고 봄, 여름, 가을, 겨울과 같은 4계절의 특성이 반영된 영상이므로 촬영된 날짜에 따라 매우 다른 색상특성을 나타낸다. 이를 보정하기 위하여 색상보정모듈(140)에서는 동일한 위치에 대하여 가로축(x축)을 기준영상의 RGB값, 세로축(y축)을 대상영상의 RGB값으로 하여 RGB비교데이터를 표시한다. 이러한 RGB비교데이터는 R,G,B 각각에 대한 값을 표시하므로 그래프는 3개가 표시될 수 있다.

색상보정모듈(140)에서는 상술한 RGB비교데이터를 이용하여 색상보정을 위한 매칭방정식을 추출한다.

구체적으로, 기준영상의 RGB값 및 대상영상의 RGB값을 각각 X_i, Y_i로 하고, e_i는 회기식의 잔차, 상기 화소의 x값 및 y값의 평균을 각각 μ_X, μ_Y로 계산하여, 회기식 Y_i = a + bX_i + e_i로 되는 매칭방정식을 추출한다. 여기서, n을 비교데이터의 갯수라 하면,

이렇게 추출된 매칭방정식은 대상영상의 색상보정을 위한 기준으로 사용되고, 색상보정모듈(140)에서는 중첩지역에서 대상영상의 RGB값을 상기 매칭방정식상의 값으로 변경한다. 도 5는 이러한 방법으로 보정된 보정 전후 영상으로 도 5의 (a)와 (b)는 보정 전, 도 5의 (c)와 (d)는 보정 후의 결과를 도시한 것이다.

색상보정까지 마치게 되면, 접합선추출모듈(150)에서는 중첩지역을 대상으로 접합선을 추출하게 된다.

도 6의 (a)는 본 발명의 실시예에 따라, 접합선을 추출하기 위해 먼저 구부러진 형태의 초기 접합선을 선정하고, 초기 접합선을 기준으로 버퍼구간을 마스킹한 영상을 나타낸다. 이것은 접합선을 인위적으로 구부러진 형태로 추출하여 영상간의 접합 후 발생되는 이질감을 좀 더 최소화 시키기 위함이다.

도 6의 (b)와 (c)는 본 발명의 실시예에 따라, 마스킹된 영상에 대해 흑백화가 수행된 영상을 나타낸다. 이것은 컬러를 없애고 명도만으로 영상을 구성함으로써 접합선 추출을 좀 더 명확하게 하기 위함이다.

흑백화가 수행된 다음에는 경계추출이 수행된다. 경계추출은 가로 또는 세로방향으로 영상값이 급격히 변화하는 지점을 추출하여 그 영상값 변화량(gradient)에 따라 새로운 영상값을 결정하여 표시하여 준다. 예를 들어, 영상값 변화량에 비례하여 경계의 영상값을 정해 줄 수 있다. 이때, 상기 변화량이 임계값에 못미치는 부분은 배경으로 처리하여 최소영상값 또는 최고영상값으로 처리한다. 예를 들어, 변화량이 임계값보다 작은 화소는 모두 검은색으로 처리될 수 있다.

상기 영상값 변화량을 결정하는 방법은 Sobel operator 등을 이용하여 결정할 수 있다.

여기서 Gx는 sobel horizontal, Gy는 sobel vertical, A는 중첩지역을 나타낸다.

이렇게 추출된 경계에서 접합선은 중첩지역 최하부에서 최상부까지 영상값이 최소 또는 최대가 되는 극지역으로 결정된다. 상기 극지역은 경계가 아닌 배경의 영상값에 따라 배경의 영상값이 최소이면 극지역은 영상값이 최대가 되는 곳으로 결정되는 것이 바람직하고, 배경의 영상값이 최대이면 극지역은 영상값이 최소가 되는 곳으로 결정되는 것이 바람직하다.

또한, 접합선은 연결된 하나의 곡선이어야 하므로 중간에 절단된 부분은 극지역 사이에서 최단거리로 이어진 라인으로 표시된다. 도 7의 (d)는 이러한 방법으로 추출된 상세 접합선이 표시된 결과를 나타낸다.

상세 접합선이 추출되면 상기 패더링모듈(160)에서는 도 7의 (a) 및 (c)와 같이 기준영상과 대상영상에서 접합선을 중심으로 하여 일정 간격의 버퍼지역을 추출하여 마스킹을 수행한다. 그 후, 상기 버퍼지역에 투명도를 생성하고, 도 7의 (b) 및 (d)와 같이 패더링을 수행하면 도 8과 같은 결과를 얻을 수 있다.

최종적으로 다중시기 영상에 대한 모자이크 영상을 제작한 결과 도 9와 같이 육안으로는 경계부분을 찾을 수 없을 정도의 고품질의 모자이크 영상이 제작되는 것을 확인하였다.

100 : 사전처리모듈 120 : 영상좌표추출모듈
130 : 중첩지역추출모듈 140 : 색상보정모듈
150 : 접합선추출모듈 160 : 패더링모듈

Claims (4)

1. 좌표계산모듈, 중첩지역추출모듈, 색상보정모듈, 접합선추출모듈, 패더링모듈을 포함하는 시스템에 의하여 좌표정보가 포함된 복수 개의 입력영상의 모자이크가 실행되는 다중시기 영상의 모자이크 방법에 있어서,
   좌표계산모듈에 의하여 상기 입력영상의 화소마다 지상좌표를 계산하는 단계;
   중첩지역 추출모듈에 의하여 상기 입력영상의 지상좌표값을 비교하여 중첩지역을 추출하는 단계;
   색상보정모듈에 의하여 상기 중첩지역을 대상으로 색상보정을 수행하는 단계;
   접합선 추출모듈에 의하여 상기 중첩지역에서 상세 접합선을 추출하는 단계;
   패더링모듈에 의하여 상기 상세 접합선을 기준으로 좌우영상의 블랜딩 현상을 감소시키는 패더링을 수행하는 단계가 수행되며,
   상기 색상보정은 적어도 중첩지역의 화소에 대하여 기준영상의 RGB값 및 대상영상의 RGB값을 각각 x 및 y축으로 하여 RGB비교데이터를 배치하는 단계;
   기준영상의 RGB값 및 대상영상의 RGB값을 각각 X_i, Y_i로 하고, e_i는 회기식의 잔차, 상기 화소의 x값 및 y값의 평균을 각각 μ_X, μ_Y로 계산하여, 회기식 Y_i = a + bX_i + e_i로 되는 매칭방정식을 추출하는 단계; 단, 상기 매칭방정식에서 n을 RGB비교데이터의 갯수라 하면
   

   

   
   상기 대상영상의 RGB값을 상기 매칭방정식상의 값으로 변경하는 단계가 수행되는 것을 특징으로 하는 다중시기 영상의 모자이크 방법.
2. 삭제
3. 제1항에 있어서,
   상기 상세 접합선을 추출하는 단계는
   적어도 중첩지역에서 초기 접합선을 선정하는 단계;
   상기 초기 접합선으로부터 일정 간격의 버퍼를 추출하는 단계;
   버퍼지역의 흑백화를 수행하는 단계;
   상기 버퍼지역의 영상값 변화량에 따라 경계를 추출하고 상기 경계에 새로운 영상값을 결정하는 단계;
   상기 경계 중 중첩지역 최하부에서 최상부까지 영상값이 최소 또는 최대가 되는 극지역을 결정하는 단계;
   상기 극지역을 연결하여 접합선을 표시하는 단계가 수행되는 것을 특징으로 하는 다중시기 영상의 모자이크 방법.
4. 좌표계산모듈, 중첩지역추출모듈, 색상보정모듈, 접합선추출모듈, 패더링모듈을 포함하는 시스템에 의하여 좌표정보가 포함된 복수 개의 입력영상의 모자이크가 실행되는 다중시기 영상의 모자이크 방법에 있어서,
   좌표계산모듈에 의하여 상기 입력영상의 화소마다 지상좌표를 계산하는 단계;
   중첩지역 추출모듈에 의하여 상기 입력영상의 지상좌표값을 비교하여 중첩지역을 추출하는 단계;
   색상보정모듈에 의하여 상기 중첩지역을 대상으로 색상보정을 수행하는 단계;
   접합선 추출모듈에 의하여 상기 중첩지역에서 상세 접합선을 추출하는 단계;
   패더링모듈에 의하여 상기 상세 접합선을 기준으로 좌우영상의 블랜딩 현상을 감소시키는 패더링을 수행하는 단계가 수행되며,
   상기 패더링을 수행하는 단계는
   상기 상세 접합선으로부터 일정 간격의 버퍼를 추출하는 단계;
   상기 버퍼에 투명도를 생성하는 단계가 수행되는 것을 특징으로 하는 다중시기 영상의 모자이크 방법.

Images