KR101440826B1

KR101440826B1 - 이미지 정합 방법 및 이미지 정합 장치

Info

Publication number: KR101440826B1
Application number: KR1020130012797A
Authority: KR
Inventors: 이익현; 최태선
Original assignee: 광주과학기술원
Priority date: 2013-02-05
Filing date: 2013-02-05
Publication date: 2014-09-23
Also published as: KR20140100054A

Abstract

본 발명에 따른 이미지 정합 방법에는, 이미지를 정합하는 거친정합; 및 상기 거친정합 단계에서 정합한 이미지를 미세하게 다시 정합하는 미세정합이 포함된다. 본 발명에 따르면, 이미지 형식이 다르고 이미지의 사이즈가 크더라도 정합도가 높은 이미지를 구현할 수 있고, 이미지의 정합 시에 다수의 특징점을 추출하여 매칭하여 신속하게 이미지의 정합과정을 수행할 수 있다.

Description

이미지 정합 방법 및 이미지 정합 장치{IMAGE REGISTRATION METHOD AND APPARATUS}

본 발명은 이미지를 정합하는 장치 및 방법에 관한 것이다.

이미지 정합은, 동일하거나 다른 시간대에, 이미지 센서들로부터 얻어진 같은 영역의 공간적인 정렬을 지칭할 수 있다. 또 다른 기술적인 표현으로는, 서로 다른 이미지를 변형하여 하나의 좌표계에 나타내는 처리기법으로서, 이미지 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지를 알 수 있게 된다.

이미지 정합 기술은, 고해상도 정보(예를 들어 흑백이미지)와 저해상도 정보(예를 들어 컬러이미지)로 촬영된 이미지를 정합하여 최종적으로 컬러영상으로서 고해상도 정보를 얻고자 하는 경우에 사용될 수 있다. 또한, 주야 간의 차이극복, 날씨 및 조명의 극복을 위하여, 광학이미지(EO(electro-optics)) image)와 적외선이미지(IR(infrared))를 정합하여 보다 뛰어난 이미지 정보를 얻을 수 있도록 하는 경우에 사용할 수 있다. 이러한 이미지 정합 기술은, 의료/항공/위성/기후/임업 등의 다양한 이미지 정보 제공에 사용될 수 있다.

이미지를 정합시키는 방법으로는 밝기값 기반 방법과, 특징점 기반 방법을 예로 들 수 있다. 본 문헌에서 특징점 기반 방법을 주된 관심으로 한다. 상기 특징점 기반 방법은, 매칭되는 다수의 특징점을 뽑아내기 어려운 문제점과, 계산이 지나치게 복잡해지는 문제점이 있다. 이들 문제점은, 광학이미지(EO(electro-optics)) image)와 적외선이미지(IR(infrared))를 정합시키는 경우에도 드러나게 된다. 예를 들어, 적외선 이미지는 광학 이미지에 비해 낮은 대비를 가지고, 밝기값에 상관관계가 적고, 두 영상 간의 기울기가 반대인 위치도 존재하는 등의 이유로, 특징점의 추출 및 매칭, 및 계산의 복잡함이 현저하게 드러나게 된다. 또한, 위성에서 촬영한 이미지와 같이 이미지의 사이즈가 커지는 경우에는 이 문제는 더욱 극명하게 드러난다.

본 발명은, 이미지의 형식 및 방식이 다르고 이미지의 사이즈가 큰 경우에도 이미지 정합의 정확도를 높일 수 있고, 다수의 특징점을 추출하고 매칭하면서도 신속한 프로세싱을 수행할 수 있도록 하는 이미지 정합 방법 및 이미지 정합 장치에 관한 것이다.

본 발명에 따른 이미지 정합 방법은, 이미지를 정합하는 거친정합; 및 상기 거친정합 단계에서 정합한 이미지를 미세하게 다시 정합하는 미세정합이 포함된다.

상기 발명에서, 상기 거친정합은 원 이미지를 다운-샘플링하여 정합을 수행하고, 상기 미세정합은 이미지에 블록을 설정하여 블록별로 정합을 수행하고, 상기 이미지는, EO/IR, EO/LIDAR, 및 EO/SAR 쌍 중의 어느 하나일 수 있다.

상기 발명에서, 상기 거친정합에는, 다운 샘플링된 이미지를, 특징점 추출, 특징점 매칭, 정합, 및 정합된 이미지의 업 샘플링이 포함될 수 있다. 여기서, 상기 특징점 추출에는, 해리스 코너 추출기가 사용될 수 있고, 상기 특징점 매칭 및 상기 정합의 사이에는 오정합 제거의 과정이 포함될 수 있다.

상기 발명에서, 상기 미세정합에는, 상기 거친정합된 각 이미지에 적어도 두 개의 블록을 설정하는 것; 및 각 이미지에서, 상기 적어도 두 개의 블록 중의 대응되는 블록별로 특징점 추출, 특징점 매칭, 및 정합이 수행될 수 있다.

본 발명에 따르면, 이미지 형식이 다르고 이미지의 사이즈가 크더라도 정합도가 높은 이미지를 구현할 수 있고, 이미지의 정합 시에 다수의 특징점을 추출하여 매칭하여 신속하게 이미지의 정합과정을 수행할 수 있다.

도 1은 실시예에 따르는 이미지 정합 방법의 대략적인 흐름도.
도 2는 거친정합을 상세하게 설명하는 흐름도.
도 3 및 도 4는 광학이미지와 적외선이미지가 1/2로 다운 샘플링된 것을 나타내는 도면.
도 5는 광학이미지와 적외선이미지를 SIFT와 해리스 코너 추출기를 이용하여 특징점을 추출한 것을 예시적으로 보이는 도면.
도 6은 매칭점을 얻는 과정을 보이는 도면.
도 7은 거친정합의 결과를 나타내는 도면.
도 8은 도 7에서 흰 선 박스의 내부를 확대한 도면.
도 9는 미세정합의 상세한 구성을 보이는 흐름도.
도 10은 이미지 상에서 블록을 설정한 것을 예시적으로 보이는 도면.
도 11은 블록별로 특징점을 추출하고 매칭한 이미지.
도 12는 미세정합에 의해서 정합된 광학 이미지와 적외선 이미지를 나타내는 도면.
도 13은 도 12의 흰선박스의 내부를 확대한 도면.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 첨부되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한, 본 발명의 사상에 포함된다고 할 것이다.

도 1은 실시예에 따르는 이미지 정합 방법의 대략적인 흐름도이다.

도 1을 참조하면, 실시예에 따른 이미지 정합 방법은, 정합의 대상이 되는 이미지들을 대략적으로 정합시키는 거친정합(coarse registration)(S1)과, 거친정합된 이미지들을 엄밀하게 다시 정합시키는 미세정합(fine registration)(S2)이 포함된다.

상기 거친정합(S1)을 간단하게 설명하면, 큰 사이즈의 이미지를 인위적으로 축소시킨 다음에 정합을 실시하고, 정합이 된 이미지를 인위적으로 확대시키는 과정으로 설명할 수 있다. 상기 미세정합(S2)을 간단하게 설명하면, 큰 사이즈의 이미지를 여러 개의 블록으로 나누고, 대응되는 블록별로 정합을 수행하는 것으로 설명할 수 있다.

도 2는 거친정합을 상세하게 설명하는 흐름도이다.

도 2를 참조하면, 이미지를 다운-샘플링한다(S11). 다운 샘플링에 의해서 이미지의 크기는 미리 정하여진 크기로 줄어들게 되는데, 어느 정도의 크기로 될 것인지는 다양한 경우에 따라서 달라질 수 있게 되고, 이하의 설명에서는 1/2로 제시하도록 한다. 다만, 이에 제한되지는 않는다. 이 기법은 이미지는 동일하게 배치된 상태에서 크기만이 축척의 개념으로 달라지는 것이므로 피라미드기법이라고 이름할 수도 있다. 도 3 및 도 4에서는 EO(electro-optics)이미지(광학이미지라고도 한다)와 IR이미지(적외선이미지라고도 한다)가 1/2다운 샘플링된 것을 나타내는 것을 볼 수 있다.

상기 EO 이미지와 상기 IR이미지의 차이점을 설명한다. 예를 들어, 이미지 상에서, 광학 이미지에서는 적외선 영상에 비해 영상 분포가 넓어, 픽셀값의 분포가 크다. 이에 반하여, 적외선 이미지에서는, 온도에 따른 영상으로서 광학 영상에 비해 밝고 어둠의 차이가 크다. 이와 같은 적외선 이미지와 광학 이미지를 서로 정합함으로써, 보다 많은 이미지 정보를 얻어낼 수 있는 장점이 이미지 정합 기술에는 내재되어 있다.

다운-샘플링된 이미지에 대해서는 특징점 추출과정이 수행된다(S12). 특징점 추출은 해리스 코너 추출기(harris corner detector)가 사용될 수 있다. 특징점 추출은 다른 추출기를 통하여 수행될 수도 있으나, 다수의 특징점을 추출할 수 있는 면에서 해리스 코너 추출기가 사용되는 것이 바람직하다. 도 5를 참조하면, (a)와(b)는 광학이미지이고, (c)와(d)는 적외선이미지이고, (a)와(c)는 SIFT(Scale-Invariant Feature Transform)를 이용하여 특징점을 추출한 결과이고, (b)와 (d)는 해리스 코너 추출기로 특징점을 추출한 결과이다. 도 5의 결과를 참조하면, 해리스 코너 추출기로 특징점을 추출한 것이 더 많은 특징점을 추출하는 것을 확인할 수 있다.

특징점이 추출된 다음에는 대응되는 이미지의 특징점을 매칭한다(S13). 이미지에서 매칭되는 포인트는, NNDR(Nearest-Neighborhood Distance Ratio)를 사용하여 얻어질 수 있다. 다른 방법을 이용하여 특징점을 매칭할 수 있는 것도 물론이고 본 문헌에서 그러한 방법을 배제하지는 않는다. 도 6에서는 매칭점을 얻는 과정을 보이는 도면이다.

특징점을 매칭한 다음에는 오정합을 제거하는 알고리즘이 수행된다(S14). 오정합 제거 알고리즘으로는, RANSAC(RANdom SAmple Consensus)을 예로 들 수 있다. RANSAC에 의해서 아웃라이어(outlier)가 제거되면, 이미지가 전체적으로 정합되는 과정에서 시간이 절약되고, 정합의 정확도가 높아지는 이점을 기대할 수 있다. 이로써, 크기가 비교적으로 다른 이미지의 경우에 발생할 수 있는 오정합이 근본적으로 제거되는 장점을 기대할 수 있다.

오정합이 제거된 다음에는 글로벌 정합(global registration)이 수행된다(S15). 글로벌 정합은 회전(rotation), 이동(translation), 및 확대축소(scaling)의 방법을 통하여 전체적으로 이미지를 정합시킨다. 이때에 일 예로서 어파인변환(affine transformation)으로 수행할 수도 있다. 정합에서는 적외선 이미지를 광학 이미지로 가져오는 것으로 수행할 수 있다. 물론, 그 역으로 수행할 수도 있다. 이때에는 큰 이미지를 기준으로 하고, 작은 이미지를 큰 이미지로 정합시키는 과정으로 수행할 수도 있다.

이미지 정합이 완료된 다음에는, 정합된 1/2 적외선 이미지를 업-샘플링시킨다(S16). 업-샘플링의 정도는 다운-샘플링의 정도와 대응되어 수행되어야 하는 것으로 짐작할 수 있을 것이다. 적외선 이미지를 업-샘플링시키는 것은 광학 이미지가 적외선 이미지보다 크기 때문인 것이 일 이유가 된다. 업-샘플링이 수행되는 때에는 거친정합(S1)에서 수행되었던 정합의 정보는 보존되어 있을 것임은 짐작할 수 있다.

상기되는 과정을 통하여 거친정합(S1)을 수행한 결과가 도 7에 나타나 있다.

도 7을 참조하면, 어느 정도의 정합은 완료되어 있는 것을 확인할 수 있다. 그러나, 도 7에서 흰 선 박스의 내부를 확대한 도면인 도 8을 참조하면, 글자가 3-4픽셀 정도 어긋나 있는 것을 확인할 수 있다. 이는 영상을 다운 샘플링하면서 발생하는 경사(gradient) 정보의 손실로 인하여 발생하는 것으로 생각할 수 있다.

상기되는 오정합의 문제를 개선하기 위하여 실시예에서는 미세정합(S2)을 더 수행하는 것임을 설명한 바가 있다. 도 9는 미세정합의 상세한 구성을 보이는 흐름도이다.

도 9를 참조하면, 광학 이미지와, 거친정합(S1)을 통하여 정합된 후에 업-샘플링된 적외선 이미지에 각각 블록을 설정한다(S21). 블록이 설정된 모습은 도 10의 윗쪽 좌우 그림으로 예시할 수 있다. 도 10의 하측에는 어느 한 블록의 특징점을 추출하고, 추출된 특징점을 매칭하는 것도 도시되어 있다.

블록을 설정한 이후에는 특징점을 추출한다(S22). 이때 특징점의 추출은 각 블록을 그 단위로 할 수 있다. 이로써, 전체 이미지를 대상으로 할 때, 비효율적으로 특징점이 복잡하게 다수 개가 생길 수 있는 우려를 없애고, 처리과정을 신속하게 할 수 있다. 특징점의 추출에서는 SIFT를 사용할 수 있다.

추출된 특징점은 대응되는 각 블록별로 매칭되고(S23). 오정합이 RANSAC 등에 의해서 제거된 다음에(S24), 글로벌 정합이 수행된다(S25). 여기서, 매칭과정은 예를 들어 NNDR에 의해서 수행될 수 있다. 상기 매칭, 오정합 제거 및 글로벌 정합은, 거친정합과 동일하거나 유사하므로 상세한 설명을 생략한다.

도 11은 블록별로 특징점을 추출하고 매칭한 이미지이다. 도 12는 미세정합에 의해서 정합된 광학 이미지와 적외선 이미지를 나타내고, 도 13은 도 12의 흰선박스의 내부를 확대한 도면이다.

도 11 내지 도 13을 참조하면, 다시 한번 미세하게 정합시키는 과정에 의해서 완벽하게 이미지가 정합된 것을 확인할 수 있다. 예를 들어 도 13은 도 8에 비하여 영상의 색감도 좋고 붉은 선이 잘 정합된 것을 알 수 있다.

실시예에 따른 이미지 정합 방법은, EO이미지/IR이미지의 정합에 제한되지 아니한다. 예를 들어, EO/LIDAR(라이더)의 정합, EO/SAR(Synthetic Aperture Radar)와 같은 다른 이미지에도 충분히 적용될 수 있을 것이다.

본 발명에 따르면, 이미지 정합의 정확도를 높일 수 있고, 실제 산업계에서 사용할 수 있는 다양한 응용영역을 제공할 수 있다.

Claims

이미지를 정합하는 거친정합; 및
상기 거친정합 단계에서 정합한 이미지를 미세하게 다시 정합하는 미세정합;이 포함되고,
상기 거친정합은 회전, 이동 및 확대축소의 방법을 통하여 상기 이미지를 전체적으로 정합시키는 글로벌 정합 과정을 포함하는 이미지 정합 방법.
제 1 항에 있어서,
상기 거친정합은 원 이미지를 다운-샘플링하여 정합을 수행하는 이미지 정합 방법.
제 1 항에 있어서,
상기 미세정합은 이미지에 블록을 설정하여 블록별로 정합을 수행하는 것인 이미지 정합 방법.
제 1 항에 있어서,
상기 이미지는, EO/IR, EO/LIDAR, 및 EO/SAR 쌍 중의 어느 하나인 이미지 정합 방법.
제 1 항에 있어서,
상기 거친정합에는,
다운 샘플링된 이미지를, 특징점 추출, 특징점 매칭, 정합, 및 정합된 이미지의 업 샘플링이 포함되는 이미지 정합 방법.
제 5 항에 있어서,
상기 특징점 추출에는, 해리스 코너 추출기가 사용되는 이미지 정합 방법.
제 5 항에 있어서,
상기 특징점 매칭 및 상기 정합의 사이에는 오정합 제거의 과정이 포함되는 이미지 정합 방법.
제 1 항에 있어서,
상기 미세정합에는,
상기 거친정합된 각 이미지에 적어도 두 개의 블록을 설정하는 것; 및
각 이미지에서, 상기 적어도 두 개의 블록 중의 대응되는 블록별로 특징점 추출, 특징점 매칭, 및 정합이 수행되는 이미지 정합 방법.
삭제