위성영상을 이용한 기하보정은 다른 센서, 위성위치, 시간에 촬영된 둘 이상의 동일지역 영상을 겹치는 작업이며, 영상융합(Image Fusion), 변화탐지(Change Detection), 다중밴드 영상복구(Multi-band Image Restoration), 영상 모자이크(Image Mosaic) 등과 같은 여러 가지 데이터의 조합을 이용하는 영상분석 작업에 매우 중요한 전처리 과정 중 하나이다.
종래에 수행되는 기하보정은 사용자가 직접 두 영상의 동일한 지점을 추출하여 정합(Matching Points, 이하“정합점”이라 통칭함)하는 수동적인 방법이 주를 이루고 있으며, 대부분의 원격탐사(Remote Sensing) 응용 프로그램에서도 상기 절 차를 통해 작업할 수 있도록 설계되어 있다. 이러한 경우, 영상에서 추출할 수 있는 기준점(Ground Control Points)의 수가 적으며, 시간이 많이 소요된다는 단점이 발생하며, 다중해상도 위성영상간 기하보정은 낮은 해상도에 시각적인 기준을 맞추므로 기하보정 정확도가 한정될 수 있다.
또한, 미리 결정된 3점 이상의 기준점이나 영상의 헤더(Header) 정보를 이용하여 영상간 대략적인 변환관계를 결정하는 반자동(Semi-automatic) 기하보정을 상용프로그램을 통해 부분적으로 지원하고 있지만, 아직까지 다중해상도 위성영상에 적용하지 못하고 있는 문제점이 있다.
또한, 영상에서 선형피쳐(Linear Features), 특징점(Interest Points) 등의 기하보정요소(Detectors)를 추출하여 서로 정합하거나 상호정보(Mutual Information)와 같은 영상전체의 정보를 이용한 자동기하보정 기법이 제안되고 있으나, 영상정합의 신뢰도 및 기하보정의 정확도가 낮아 다중해상도 위성영상에 제한적으로 적용되고 있는 문제점이 있었다.
Lowe 교수에 의해 개발된 크기불변특징변환(Scale Invariant Feature Transform, 이하 “크기불변특징변환”이라 통칭함)은 영상의 축척, 회전에 불변(Invariant)하고, 긴 범위의 어핀(Affine) 변형, 잡음, 시점·조명변화에 대해 영향을 거의 받지 않는 자동기하보정 기법이다. 이미 컴퓨터비젼(Computer Vision) 분야의 다양한 근거리 카메라 영상에 적용되어 가장 효과적인 자동기하보정 기법으로 보고되고 있다.
종래기술의 문헌정보로는 (Lowe, D. G., Distinctive Image Features from Scale-invariant Keypoints, 2004, Vol. 60, No. 2, ISSN 0920-5691, 91-110쪽) 과 (Zitov, B. and Flusser, J., Image Registration Methods: a Survey, 2003, Vol. 21, No. 11, ISSN 0262-8856, 977-1,000쪽)의 논문이 있다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
입력된 동일 해상도 및 다중해상도 위성영상간 기하보정 작업을 자동화하기 위한 크기불변특징변환을 이용한 다중해상도 위성영상간 자동기하보정 방법에 있어서,
상기 위성영상의 센서 및 대기잡음을 제거하기 위한 필터링 기법과 영상의 대비를 증가시키기 위한 스트레치 기법을 사용하여 입력 영상을 강조하는 영상강조 단계;
상기 영상강조 단계를 통해 입력된 영상의 스케일 변화와 가우시안 차영상을 생성하여 지역적 극단화소를 특징점으로 추출하는 특징점 추출 단계;
상기 특징점 추출 단계를 통해 추출된 특징점을 주변 화소를 이용하여 방향 및 스케일을 계산하고, 크기불변특징변환 기법을 적용하여 추출된 특징점을 정합하는 단계;
상기 특징점을 정합단계에서 정합한 정합점의 정합 신뢰도를 높일 수 있도록 반복적인 RMSE 계산을 통해 정합점 오류를 제거하여 최종 변환모델의 계수를 결정하는 변환모델 계수 결정 단계;
상기 최종 변환모델 계수 결정 단계에서 결정된 변환모델을 통해 영상의 화소값을 내삽법을 적용하여 영상을 재배열하여 자동기하보정을 수행하는 단계;를 특징으로 하는 크기불변특징변환을 이용한 다중해상도 위성영상간 자동기하보정 방법이다.
도 1은 크기불변특징변환을 이용한 다중해상도 위성영상간 자동기하보정 방법의 순서도 이다.
상기 위성영상의 센서 및 대기잡음을 제거하기 위한 필터링 기법과 영상의 대비를 증가시키기 위한 스트레치 기법을 사용하여 입력 영상을 강조하는 영상강조 단계(S100);
상기 영상강조 단계(S100)에서 입력된 영상의 스케일을 변화시키고, 가우시안 차영상을 생성하여 지역적 극단화소를 특징점으로 추출하는 특징점 추출 단계(S200);
상기 특징점 추출 단계(S200)에서 추출된 특징점을 주변 화소를 이용하여 방 향 및 스케일을 계산하고, 크기불변특징변환 기법을 적용하여 추출된 특징점을 정합하며, 스케일 내에 존재하는 화소를 기반으로 크기 불변특징변환 기술자벡터(Descriptor Vector)를 생성하여 영상간 기술자벡터의 유사도에 대한 최근린(Nearest Neighbor) 기법을 이용하여 특징점을 정합하는 단계(S300);
상기 특징점을 정합하는 단계(S300)에서 정합한 정합점을 이용하여 1차 변환모델의 계수를 결정하고, 기존 정합점과 변환모델에 의해 계산된 정합점 위치를 RMSE로 계산하며, 사용자가 지정함 임계값 이내의 조건을 통한 반복적인 계산을 수행하여 변환모델의 계수를 최종 결정하는 최종 변환모델의 계수를 결정하는 단계(S400);
상기 최종 변환모델의 계수를 결정하는 단계(S400)에서 결정된 변환모델을 통해 영상의 화소값을 내삽법을 적용하여 영상을 재배열하여 자동기하보정을 수행하는 단계(S500);로 이루어져 있다.
상기 영상을 재배열하여 자동기하보정을 수행하는 단계(S500)는 결정된 변환모델을 통해 영상의 화소값을 최근린 내삽법, 공일차 내삽법(Bilinear interpolation), 3차 내삽법(Cubic conbolution) 중 하나의 내삽법을 적용하여 영상을 재배열하는 것을 특징으로 한다.
상기 입력영상은 2장 이상의 동일 또는 다중해상도 위성영상이며, 기준영상(Reference Image)의 좌표에 맞춰 나머지 영상이 기하보정된 결과가 출력영상이 된다.
상기 스트레치 기법은 영상화소의 가장 낮은 밝기값을 0으로 가장 높은 값은 비트의 가장 큰 값(일반적으로 255)으로 늘린 뒤 그 중간 밝기값은 선형관계식을 통해 동일하게 늘리는 방식이다.
도 2는 특징점 추출 단계(S200)의 실시 예를 나타낸 흐름도 이다.
상기 영상강조 단계(S100)에서 입력된 영상의 스케일을 변화시키고 각각의 스케일영상에 가우시안 필터링을 적용하는 단계(S210);
상기 가우시안 필터링을 적용하는 단계(S210)를 통해 적용된 가우시안 필터링에 차영상을 생성하는 단계(S220);
상기 차영상을 생성하는 단계(S220)에서 가우시안 차영상의 주변 화소와 비교 후 지역적 극단화소를 특징점으로 추출하는 단계(S230);
상기 특징점으로 추출하는 단계(S230)에서 추출된 특징점을 테일러 전개(Talyor Expansion)를 통해 화소이하(Sub-pixel)정확도의 특징점 위치를 계산하는 단계(S240)로 이루어진다.
도 3은 특징점을 정합하는 단계(S300)의 실시 예를 나타낸 흐름도 이다.
상기 특징점 추출 단계(S200)에서 추출된 특징점 주변 화소를 사용하여 특징 점의 방향 및 스케일을 계산하는 단계(S310);
상기 특징점의 방향 및 스케일을 계산하는 단계(S310)를 통해 계산된 스케일 내에 존재하는 화소를 기반으로 128차원의 크기불변특징변환 기술자벡터를 생성하는 단계(S320);
상기 크기불변특징변환 기술자벡터를 생성하는 단계(S320)에서 생성된 기술자벡터를 영상간의 유사도(벡터간 거리 또는 각)에 대한 최근린 기법을 이용하여 특징점을 정합하는 단계(S330)로 이루어진다.
상기 크기불변특징변환 기술자 벡터를 생성하는 단계(S320)는 특징점의 방향 및 스케일을 계산하는 단계(S310)에 의해 추출된 특징점 영역에서 정규화 영역을 찾기 위해, 축척과 방향에 불변인 영역을 탐색하며, 탐색된 영역은 위치, 축척, 방향 정보를 포함하고 있으며, 이 정보를 이용하여 정규화 영역을 생성한다. 정규화 영역에 대하여 그래디언트 히스토그램을 계산하며, 가장 큰 그래디언트 방향이 위로 향하도록 회전시킨 후 4 × 4 화소의 그래디언트 히스토그램을 8방향 성분, 즉 128차원(4× 4× 8)으로 나누어 크기불변특징변환 기술자 벡터로 생성한다.
도 4는 최종 변환모델의 계수를 결정하는 단계(S400)의 실시 예를 나타낸 흐름도 이다.
상기 최근린 기법을 이용하여 특징점을 정합하는 단계(S330)에서 정합한 정 합점을 이용하여 변환모델의 계수를 결정하는 단계(S410);
상기 정합점을 이용하여 변환모델의 계수를 결정하는 단계(S410)에 의해 계산된 정합점 위치의 RMSE를 계산하는 단계(S420);
상기 계산된 정합점 위치의 RMSE를 계산하는 단계(S420)에서 계산된 RMSE를 통해 사용자가 지정한 임계값(0.2화소)이내의 조건을 만족하는 단계(S430);
상기 RMSE를 계산하는 단계(S420)에서 계산된 RMSE를 통해 사용자가 지정한 임계값(0.2화소)이내의 조건에 만족하지 않을 경우 RMSE에 대한 (2 X 표준편차)값보다 큰 오차를 가진 정합점을 제거하는 단계(S440);로 구성되어 있다.
상기 임계값 이내의 조건을 만족하는 단계(S430)의 조건을 만족한 경우 결정된 변환모델을 통해 영상의 화소값을 내삽법을 적용하여 영상을 재배열하는 자동기하보정을 수행하는 단계(S500)로 수행된다.
상기 변환모델은 어핀(Affine)변환이 사용되며, 다항식(Polynomial)변환, 사영(Projective) 변환 중 하나를 선택하여 사용할 수 있다.
상술한 바와 같이 본 발명에 따른 바람직한 실시 예를 설명하였지만, 본 발명은 상기한 실시 예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
도 1은 크기불변특징변환을 이용한 다중해상도 위성영상간 자동기하보정 방법의 순서도 이다.
도 2는 특징점 추출 단계(S200)의 실시 예를 나타낸 흐름도 이다.
도 3은 특징점을 정합하는 단계(S300)의 실시 예를 나타낸 흐름도 이다.
도 4는 최종 변환모델의 계수를 결정하는 단계(S400)의 실시 예를 나타낸 흐름도 이다.
**도면의 주요 부분에 대한 부호 설명**
S100: 영상강조 단계
S200: 특징점 추출 단계
S210: 가우시안 필터링을 적용하는 단계
S220: 차영상을 생성하는 단계
S230: 특징점으로 추출하는 단계
S240: 화소이하 정확도의 특징점 위치를 계산하는 단계
S300: 특징점을 정합하는 단계
S310: 특징점의 방향 및 스케일을 계산하는 단계
S320: 크기불변특징변환 기술자벡터를 생성하는 단계
S330: 최근린 기법을 이용하여 특징점을 정합하는 단계
S400: 최종 변환모델의 계수를 결정하는 단계
S410: 정합점을 이용하여 변환모델의 계수를 결정하는 단계
S420: 계산된 정합점 위치의 RMSE를 계산하는 단계
S430: 임계값 이내의 조건을 만족하는 단계
S440: 큰 오차를 가진 정합점을 제거하는 단계
S500: 영상을 재배열하여 자동기하보정을 수행하는 단계