KR101051716B1

KR101051716B1 - 다중센서 영상융합 방법

Info

Publication number: KR101051716B1
Application number: KR1020100112417A
Authority: KR
Inventors: 박장한; 이완재
Original assignee: 삼성탈레스 주식회사
Priority date: 2010-11-12
Filing date: 2010-11-12
Publication date: 2011-07-26

Abstract

본 발명은 다중센서를 이용한 영상융합 방법에 관한 것으로서, 적외선 영상과 가시광선 영상 기반으로 스테레오 영상 시스템을 구성하여 영상융합신호처리를 하는 방법에 관한 것이다. 본 발명의 실시 형태는, 동일한 피사체 지점을 대상으로 촬영 센서를 서로 달리하여 촬상한 제1영상 및 제2영상을 획득하는 과정과, 상기 제1영상 및 제2영상에서 특징점들을 추출하는 과정과, 상기 제1영상의 특징점들과 제2영상의 특징점들 중에서 서로 연관이 있는 쌍을 대응점으로 결정하는 과정과, 상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변환하는 과정과, 대응점 관계에 있는 제1영상의 특징점과 제2영상의 특징점을 같은 위치에 놓이게 하여, 제1영상 및 제2영상이 정합된 단일의 제3영상을 합성하는 과정을 포함한다.

Description

다중센서 영상융합 방법{Method for multi sensor image fusion}

본 발명은 다중센서를 이용한 영상융합 방법에 관한 것으로서, 적외선 영상과 가시광선 영상 기반으로 스테레오 영상 시스템을 구성하여 영상융합신호처리를 하는 방법에 관한 것이다.

적외선(InfraRed) 영상은 가시광선(Visible Ray) 영상과 달리 주·야간 표적 또는 배경의 열 방사(Thermal Radiation)에 의한 밝기(Intensity) 정보를 획득할 수 있기 때문에 주로 군사용으로 사용되어 야간 표적 탐지에 효과적이다. 최근에 적외선영상시스템은 주·야간 표적을 탐지, 추적, 인식하는 지능형 영상감시시스템으로 활용되고 있으며, 높은 민감도, 고해상도, 소형화, 신뢰성이 높은 장점이 있다. 그러나, 적외선 영상의 경우, 영상에 찍힌 객체의 형태(shape)가 가시광선 영상에 비해 날카롭지 못하다는 단점이 있다.

따라서 최근에 다중센서를 이용하여 표적탐지의 향상 및 인식을 위한 영상신호 처리기법과 하나의 영상으로 정합하는 영상융합신호 처리기법에 관한 연구가 활발히 진행되고 있으며, 이를 활용한 응용분야의 연구도 활발히 진행되고 있다.

표적탐지의 향상 및 인식을 위한 다중센서의 융합신호처리기법 각각의 단일센서로부터 고유한 파장대역의 정보를 얻고, 각 파장의 정보를 사용목적에 따라 최적의 정보를 추출하여 하나의 영상으로 생성하는 신호처리기법이며, 합성된 영상은 단일센서에 볼 수 없었던 표적 및 배경에 대한 많은 정보가 존재하기 때문에 다양한 분야에서의 응용이 가능하다.

그러나, 적외선 영상과 가시광선 영상의 영상융합 신호처리를 위해서는, 두 영상의 공통적인 영역 또는 특징점을 추출해야하는데, 영상기반으로 공통적인 영역을 찾기 어려운 문제가 있다. 즉, 적외선 영상과 가시광선 영상은 서로 다른 특성의 밝기값으로 표현되기 때문에 영상에서 공통적 특성과 일반적인 상관관계(correlation)를 찾기 힘든 문제가 있다.

본 발명의 기술적 과제는 적외선 영상과 가시광선 영상 기반으로 하여 스테레오 영상 시스템(stereo imaging system)을 구성하는 영상융합신호처리 방법을 제공하는데 있다. 본 발명의 기술적 과제는 적외선 영상 및 가시광선 영상의 특징점을 추출하고 이들의 대응점을 서로 정합시켜 하나의 영상으로 합성하는데 있다. 본 발명의 기술적 과제는 적외선 영상의 특징점을 추출할 때 FACET 기반으로 특징점을 추출하는데 있다. 본 발명의 기술적 과제는 가시광선 영상의 특징점을 추출할 때, 적외선 영상에서 추출된 특징점 개수의 비율로 가시광선영상에서 특징점을 추출하는데 있다. 본 발명의 기술적 과제는 적외선 영상과 가시광선 영상을 정합하기 전에 적외선 영상의 단위 좌표를 변환하고, 이를 정수형 좌표로 보정하여 완전한 정합이 이루어지도록 하는데 있다.

본 발명의 실시 형태는, 동일한 피사체 지점을 대상으로 촬영 센서를 서로 달리하여 촬상한 제1영상 및 제2영상을 획득하는 과정과, 상기 제1영상 및 제2영상에서 특징점들을 추출하는 과정과, 상기 제1영상의 특징점들과 제2영상의 특징점들 중에서 서로 연관이 있는 쌍을 대응점으로 결정하는 과정과, 상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변환하는 과정과, 대응점 관계에 있는 제1영상의 특징점과 제2영상의 특징점을 같은 위치에 놓이게 하여, 제1영상 및 제2영상이 정합된 단일의 제3영상을 합성하는 과정을 포함한다.

상기 제1영상의 특징점들은, 밝기 분포를 3차 다항식으로 하고 중심픽셀의 극대점 조건을 이용하여 표적을 검출하는 FACET 기반 필터를 통해 추출된다.

상기 제2영상의 특징점들은, 문턱값(threshold value)을 이용하는 Harris 모서리 검출기를 통해 추출된다.

상기 대응점으로 결정하는 과정은, 제1영상의 특징점과 제2영상의 특징점들 중에서 상호정보가 임계치를 넘는 특징점 쌍을 대응점으로 결정한다.

상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변환하는 것은, 2차원 원근적 변환 모델을 이용하여 변환한다.

상기 2차원 원근적 변환 모델을 이용하여 변환한 후, 변환된 픽셀의 좌표가 정수가 아닌 실수로 되었을 경우 정수 형태의 좌표로 변경하는 양선형보간법(Bilinear Interpolation)을 적용한다.

본 발명의 실시예에 따르면 적외선 영상과 가시광선 영상을 합성하는데 있어 특징점을 추출하여 합성함으로써 정합 효율성을 높일수 있다. 또한, 표적에 해당하는 특정 픽셀에 대해 밝기분포를 3차 다항식으로 근사하고 중심픽셀의 극대점 조건을 이용하여 적외선 영상에서 고속으로 특징점을 추출할 수 있다. 또한, 가시광선 영상에서 특징점을 추출할 때 적외선 영상의 특징점만큼의 개수 비율로 추출하기 때문에, 대응점 검색을 위한 검색 비교 횟수를 크게 단축시킬 수 있다. 또한, 영상융합 후에 사용자가 원하는 칼라로서 표시하기 때문에, 사용자의 시인성을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 다중센서 영상융합 과정을 도시한 플로차트이다.
도 2는 본 발명의 실시예에 따라 적외선 센서(IR센서)와 가시광선 센서(CCD센서)가 평행 동일선상에서 하나의 지점(x,y)을 촬영하여 적외선 및 가시광선 영상획득하는 모습을 도시한 그림이다.
도 3은 본 발명의 실시예에 따라 임의의 적외선 영상에서 표적 형태 및 분포를 도시한 그림이다.
도 4는 본 발명의 실시예에 따라 FACET 기반필터 적용 후의 분포 및 형태를 도시한 그림이다.
도 5는 본 발명의 실시예에 따라 적외선 영상에서 시작점을 찾는 방법을 도시한 그림이다.
도 6은 본 발명의 실시예에 따라 왜곡보정을 위한 원근적 변환모델을 도시한 그림이다.
도 7은 영상의 변환된 좌표에 대해 양선형보간 되기 전의 모습을 도시한 그림이다.
도 8은 본 발명의 실시예에 따라 적외선 영상과 가시광선 영상의 입력 영상을 도시한 사진이다.
도 9는 본 발명의 실시에에 따른 적외선 영상의 특징점과 가시광선 영상의 특징점 추출 결과를 도시한 사진이다.
도 10은 본 발명의 실시예에 따른 적외선 영상과 가시광선 영상에서 특징점을 추출하고 융합한 결과를 도시한 사진이다.
도 11은 본 발명의 실시에에 따라 특징점 선택 대비 가시광선 영상의 특징점 선택의 결과를 비교한 사진이다.
도 12는 본 발명의 실시예에 따라 적외선 영상과 가시광선 영상에서 특징점의 추출 및 융합 결과를 도시한 사진이다.
도 13은 본 발명의 실시예에 따라 영상융합 후의 가상 컬러 영상의 결과를 도시한 사진이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명의 실시 예에 따른 다중센서 영상융합 과정을 도시한 플로차트이다.

본 발명의 실시예는 제1영상인 적외선 영상(InfraRed,이하, 'IR영상'이라 함)과 제2영상인 가시광선 영상(Visible Ray;이하, 'VIS영상'이라 함)으로서 동일 지점의 영상을 획득한 후, 이들 획득한 적외선 영상과 가시광선 영상의 특징점을 추출하여 이들 특징점을 기반으로 두 영상을 하나의 영상으로서 합성한다. 이하, 설명에서는 제1영상을 적외선 영상, 제2영상을 가시광서너 영상으로 예를 들어 설명하겠지만, 제1영상의 경우 열을 감지하여 표현하는 다른 영상도 적용될 수 있으며, 제2영상도 가시광선 영상에 한절되지 않는다.

동일지점에 대한 적외선 영상과 가시광선 영상을 융합하여 하나의 영상으로서 처리하기 위해서는, 영상을 촬영하는 적외선 센서 및 가시광선 센서의 시선 및 시야각(Field of View;FOV)을 논리적으로 보정처리해야 한다. 논리적인 보정은 영상획득 고정, 특징점 추출 과정, 영상 정합 과정의 단계들로 이루어진다.

이를 위하여, 우선, 특정 동일 지역을 피사체로 하는 적외선 영상과 가시광선 영상을 획득한다(S100). 영상 획득은 평행식의 스테레오 영상 획득 방식으로 이루어지는데, 이를 도 2에 도시하였다. 도 2와 같이 적외선 센서(IR센서)와 가시광선 센서(CCD센서)가 평행 동일선상에서 하나의 지점(x,y)을 촬영하여 적외선 영상획득(S101) 및 가시광선 영상획득(S102)하는 구조를 가질 경우, 수평 시차(Horizontal Disparity)만 존재하며, 수직 시차가 없기 때문에 취급하기 용이하고 수학적인 모델링이 쉽다는 장점이 있다. 또한, 거리는 수학적으로 쉽게 표현할 수 있기 때문에 간단한 방법으로 측정할 수 있다.

두 영상센서는 일정한 간격을 두고 같은 방향을 향하고 있기 때문에 획득된 적외선 영상과 가시광선 영상 사이의 차이는 크게 나타나지 않는다. 두 영상센서의 간격으로 인해 가까운 사물에서 시선(Line Of Sight;LOS)의 차이만큼 왜곡이 발생하지만, 원거리의 사물같은 경우에는 두 센서의 시선이 거의 평행선을 이루기 때문에 왜곡은 그리 크지 않는다.

한편, 동일 지점으로부터 획득된 적외선 영상 및 가시광선 영상이 상대적으로 어긋난 위치관계가 존재하기 때문에, 이를 하나의 좌표계로 정렬시키는 영상정합을 위해서, 각 영상에서 적어도 4개 이상의 픽셀 대등점들이 특징점으로서 추출되어야 한다.

적외선 영상과 가시광선 영상의 공통된 특성이 존재 가능한 곳은 표적, 윤곽선, 모서리 등에 존재한다고 볼 수 있다. 따라서, 적외선 영상에서 추출된 특징점(적외선 특징점)의 개수의 비율로 가시광선 영상에서 특징점(가시광선 특징점)을 추출하고, 추출된 가시광선 특징점으로부터 적외선 영상에 시작점을 찾아 가시광선 영상에서 서로 대응되는 점을 추출하도록 한다.

동일지점에 대해 획득된 적외선 영상 및 가시광선 영상은, 배경(background), 표적(target), 윤곽선(edge), 모서리(corner) 등의 정보가 상이하게 표현되지만, 두 영상에서 기하학적인 특성이 표적, 윤곽선, 모서리 등에 존재한다. 이런 특성의 특징점들은 비슷한 분포를 가지고 있으며, 검출된 특징점 중에서 서로 대응되는 쌍을 찾으면 영상정합을 효과적으로 수행할 수 있다.

이를 위하여, 우선, 각각의 영상센서를 통해 획득된 적외선 영상 및 가시광선 영상에 대해서 특징점을 추출하는 과정을 가진다(S110).

적외선 영상은 FACET 기반으로 하여 특징점이 추출되며(S111), 가시광선 영상은 Harris 모서리 기반으로 하여 특징점이 추출된다(S112). 즉, 본 발명의 실시예에서 제안되는 특징점 추출은, 먼저, 적외선 영상에서 FACET 기반 필터로 특징점을 추출하고(S111), 가시광선 영상에서 Harris 모서리 검출기로 특징점을 추출한다(S112).

적외선 영상에서 표적의 특성은 배경 영역보다 큰 열의 에너지를 가지고 있기 때문에 이러한 특성을 이용하여 특징점을 선택하기 쉽다는 장점이 있다. 이러한 특성을 이용한 특징점 추출 방법들은 FACET 기반 필터, 형태학적필터, Harris모서리 검출기, TopHat, 크기불변 특징변환(Scale Invarian Feature Transform;SIFT) 등이 있다.

특히, 적외선 영상에서는 소형 표적이 주변 영역보다 밝은 값을 가진다는 특성을 고려하여, 본 발명의 실시예는 적외선 영상에 대해서 FACET 기반 필터로 특징점을 추출한다(S111). FACET 기반 필터는, 적외선 영상의 특정한 픽셀을 중심으로 한 관심영역(Region Of Interest; ROI로 약칭)으로 표현 가능하며, 표적에 해당하는 특정 픽셀에 대해 밝기 분포를 3차 다항식으로 근사하고 중심픽셀의 극대점 조건을 이용하기 때문에 고속으로 특징점을 추출할 수 있다.

FACET 기반 필터링 방법은 기존 공지된 다수의 문헌에 언급되어 있다. 참고로, FACET기반 필터링 방법을 기술한 문헌의 제목을 기술한다.

-김지은,"소형 미사일 탐지를 위한 FACET 기반의 고속 영상처리 기법", "한국군사과학기술학회지(제12권,제4호(2009),pp.500-507)"

-G. Wang, C. Chen, and X. Shen, "FACET-based inrfrared small target detection method", Electronics Lettters, Vol.41, No.22(2005), pp.1244-1246)

-H. Lee, S. Kim, D. Park, J. Kim, and C. Park, "Robust method for detecting an infrared small moving target based on the FACET-based model", Proc. SPIE Defense Security and Symposium 2008, Vol. 6969, No.6969E(2008), pp1-9

이하에서, FACET 기반 필터링을 통한 적외선 영상에서의 특징점 추출과 관련되어 설명한다.

FACET 기반 필터링 방법은 기존 공지된 다수의 문헌에 언급되어 있다. 적외선 영상의 표적은 주변영역보다 밝은 값을 가지고 있는 특성이 있다. 이와 같은 특성을 고려하면 특징점을 고속으로 검출할 수 있는데, 특정영역의 픽셀중심으로부터 관심영역으로 극대화하는 방법이 FACET이다. FACET 기반 필터는 영상의 특정픽셀에 대해 밝기분포를 3차 다항식으로 근사하고 중심픽셀의극대점 조건을 이용하여 표적을 검출하는 기법이다.

본 발명의 실시예는 적외선 영상 내에서 지역적인 특성을 이용하여 특징점을 찾기 위해 FACET 기반 필터를 적용한다. 회색(Gray) 영상에서 소형표적 밝기분포의 FACET은 3차 다항식 f(r,c)로 근사화할 수 있으며, (식1)과 같이 표현할 수 있다.

(식1)

f(r,c) = U₁ + U₂r + U₃c + U₄r² + U₅rc + U₆c² + U₇r³ + U₈r²c + U₉rc² + U₁₀c³

상기에서, r은 행(Row)이고, c은 열(Column)을 뜻하며, {1,r,c,r²,...,c³}은 3차 다항식을 이루는 기저집합(Basis Set)이다. {U₁,....U₁₀}은 계수집합(coefficient set)이다.

그런데, 계수를 구할 때 3차 다항식에서 바로 계산하면 복잡하기 때문에 복잡성을 줄이기 위해서 이산 직교 다항식(Discrete Orthogonal Polynomial;DOP)을 이용한다.

2차원 DOP의 기저집합은 1차원 기저집합의 텐서(tensor) 곱으로 표현할 수 있으며, 표적픽셀의 밝기 f(r,c)을 2차원 DOP로 표현하면, (식2)와 같다.

(식2)

f(r,c) = K₁ + K₂r + K₃c + K₄(r²-2) + K₅rc + K₆(c²-2) + K₇(r³-17r/5) + K₈(r²-2)c + K₉r(c²-2) + K₁₀(c³-17c/5)

여기서, {K₁,....,K₁₀}는 2차원 DOP의 계수집합으로서, 이 때, N × N 크기(예컨대, 5행×5열)의 영상 S를 R(행) × C(열)의 FACET로 정의할 때의 계수 K_m은 (식3)과 같다.

(식3)

= I(r,c) × W_m

여기서, I(r,c)는 입력영상의 밝기값이며, g_m(r,c)는 FACET의 기저이다. 1차원 DOP와 2차원 DOP의 계수는 선형독립적으로 구할 수 있으며, K_m을 구하기 위한 가중커널(Weighted Kernel) Wm은 (식4)와 같으며, 10개의 가중커널을 통해 통해 얻을 수 있다.

(식4)

인덱스 집합이 R = {-2,-1,0,1,2}, C = {-2,-1,0,1,2}로서, 대칭적인 5 × 5인 가중커널의 R × C는 (식5)와 같다.

(식5)

결국, 결국 각 좌표(r,c)에서 산출되는 Km의 값이 소정의 임계치를 넘으면 해당 좌표가 특징점으로서 의미를 갖는다.

소형표적에 대한 밝기분포를 적외선 영상 내에서 분석해 그 특성을 보면, 도 3(a)와 같이 중심은 주변영역보다 밝기값이 밝고, 도 3(b)와 같이 최대 밝기점의 중심부터 2차원가우시안(Gaussian) 형태로 나타내는 것을 볼 수 있으며 표적이 거친 것을 볼 수 있다. 이와 같은 특성으로 볼 때, 표적조건에 해당하는 2차 DOP의 극대점은 가로와 세로 방향의 1차미분이‘0’이고, 모든 방향에서의 2차미분은 음수이어야 한다.

도 4(a)는 도 3(a)의 적외선 표적에 대한 5 × 5 FACET 기반 필터를 적용하여 3차 다항식으로 근사화한 그래프이며, 도 3(b)에서 불규칙한 성분들이 중심으로부터 하나의 덩어리로 부드럽게 생성된 것을 볼 수 있다. 도 4(b)는 FACET 기반 필터를 적용한 후의 변환된 표적이다.

참고로, 일반적으로 동일한 두 센서의 영상에서 특징점들의 위치는 비슷한 분포를 가지며, 검출된 특징점들 중에서 서로 대응되는 쌍을 검출할 수 있다면, 영상정합을 효과적으로 수행할 수가 있다. 이와 같은 영상에서 기하학적인 특성은 모서리, 모퉁이 등에서 많이 존재한다. 그러나 적외선 영상에서는 열이 방사 또는 발열되는 위치에서 특징점이 존재할 가능성이 높다. 이와 같은 특성을 고려한다면 적외선 영상에서 특징점들은 최소로 추출할 수 있다. FACET 기반 필터를 이용하여 특징점을 추출하기 위한 극대점의 조건은 (식6)과 같다.

(식6)

D₁ = 2K₄<0, D₂=K₅ ²<4K₄K₆, D₃=2K₆<0

여기서, K는 2차원 DOP의 계수이며, D₁은 수평방향의 성분, D₂는 대각선 방향의 성분, D₃는 수직방향의 성분이다. 특징점의 크기 및 개수를 조절하기 위해 제안되는 방법은 (식7)과 같다.

(식7)

D₁<γ², D₂>αMax(D₂), D₃<γ

여기서 γ은 표적의 수평 및 수직의 크기를 결정하는 상수값이며, α는 대각의 크기를 결정하기 위한 상수값이다.

상기와 같이 적외선 영상에서 FACET 필터를 적용하여 특징점(적외선 특징점)을 추출(S111)한 후에는, 가시광선 영상에서 Harris 모서리 검출기를 이용하여 특징점을 추출한다(S112). Harris 모서리 검출기는 다수의 문헌(C.Harris and M. Stephens, "A combined corner and edge detector" Proc. of The Fourth Alvey Vision Conf, August(1988), pp.147-151)에 제시된 바와 같이 문턱값(Threshold Value)을 통해 가시광선 영상에서 특징점들의 수를 결정할 수 있어 연산량이 적은 장점이 있다.

가시광선 영상에서 Harris 모서리 검출기를 이용하여 추출(S112)하는 특징점은 적외선 영상에서 추출된 특징점(적외선 특징점)과 대응되어야 한다.

이러한 대응점 선정은 적외선 영상의 특징점 위치로부터 일정한 거리에 있는 가시광선 영상의 특징점과 비교한다. 이 때, 특징점이 많을 경우에는 올바른 대응점이 많아 쉽게 찾을 수 있지만 연산량이 증가하며, 반대로 작은 경우에는 연산량은 줄어들 수 있지만, 올바른 대응점을 찾기가 어렵다.

이에 따라 본 발명의 실시예에서는 (식8)과 같이 적외선 영상에서 추출된 특징점의 개수를 이용하여, 적외선 영상의 특징점의 개수로서 가시광선 영상에서 특징점의 수(R_{n_VIS})를 조절한다.

(식8)

R_{n_VIS} = α × T_{n_IR}

여기서 α는 상수값, T_{n_IR}은 적외선 영상 전체에서 추출된 특징점의 개수이다.

상기와 같이 적외선 영상으로부터 특징점(적외선 특징점) 및 가시광선 영상으로부터 특징점(가시광선 특징점)을 추출한 후에는, 두 특징점들 사이에서 대응되는 점들을 대응점으로서 서로 매칭시켜야 한다(S120). 그런데, 적외선 영상과 가시광선 영상에서 추출된 특징점들의 위치는 서로 다를 수 있으며, 대응되는 위치에 특징점이 존재하지 않을 수 있다. 따라서 대응점 검출을 위해서, 적외선 영상에서 시작점(seed point) 위치를 찾는 것이다. 이하, 대응점 설명을 위해 특징점 3개를 예를 들어 설명하겠으나, 실제로는 4개 이상의 특징점에 대하여 대등되는 점이 결정되어야 한다.

도 5에 도시된 바와 같이 먼저 가시광선 영상에서 추출된 특징점(I₁′,I₂′,I₃′)들 사이의 거리를 추출하여 최소값을 갖는 최소거리를 선택하는데, 이는 적외선 영상에서 초기 시작점(S_{sp_IR})을 검출하기 위함이다. 도 5를 보면, 추출된 특징점들 사이의 거리(d₁,d₂,d₃) 중에서 d₂가 최소 거리가 됨을 알 수 있다.

(I₁′,I₂′,I₃′) 위치에서 d₂거리 안쪽에 있는 적외선 영상의 특징점인 I₁을 시작점으로 결정한다. 도 5를 보면, 적외선 영상의 I₁ 특징점이 가시광선 영상의 I₁′의 최소거리 d₂내에 위치하고 있음을 알 수 있다. 따라서 I₁과 I₁′이 시작점으로서 의미를 가지게 된다.

적외선 영상에서 시작점을 기준으로 하여, 적외선 영상의 특징점(I₁,I₂,I₃)과 일정거리에 있는 가시광선 영상의 특징점(I₁′,I₂′,I₃′)의 상호정보(Mutual Information;MI)를 비교하여 대응점 여부를 결정한다(S120). 즉, I1과I₁′, I₂와I₂′, I₃와I₃′간의 연관성을 비교하여 서로간에 대응점 여부를 결정한다.

적외선 영상과 가시광선 영상에서 추출된 특징점들간의 연관성을 결정하기 위하여 통계적 유사성을 판단하는 척도로 상호정보(MI)를 사용한다.

서로 비교하고자 하는 특징점을 기준으로 하여 일정 영역의 상호정보를 구한다. 예컨대, 적외선 영상의 특징점 I₁을 기준점으로 하는 특정영역(예컨대, 31*31[pixel])과 가시광선 영상의 특징점 I₁′을 기준점으로 하는 특정영역(31*31[pixel])의 상호정보를 비교하여 두 특징점이 서로 매칭되는 대응점인지를 판단한다.

적외선 영상의 특정영역(R_{A_IR})과 가시광선 영상의 특정영역(R_{B_VIS})에 대해 상호정보 MI(R_A _{_} _IR,R_B _{_} _VIS)는 (식9)와 같다.

(식9)

MI(R_{A_IR},R_{B_VIS}) = H(R_{A_IR}) + H(R_{B_VIS}) - H(R_{A_IR},R_{B_VIS})

여기서, H(R_{A_IR})와 H(R_{B_VIS})는 각 특정영역 R_{A_IR}와 R_{B_VIS}에 대한 엔트로피(Shannon Entropy)이며, H(R_{A_IR},R_{B_VIS})는 결합확률분포에 대한 엔트로피로서, 이는 특정 영역 밝기값에 대한 불확실성의 척도이다. 이러한 상호정보 MI(R_{A_IR},R_{B_VIS})는 미리 설정된 임계치를 초과한 경우에만 대응점으로 결정된다. 예컨대, 적외선 영상의 제I₁특징점과 가시광선 영상의 I₁' 특징점에 대한 상호정보가 임계치보다 높을 경우, 적외선 영상의 제I₁특징점과 가시광선 영상의 I₁' 특징점은 대응점으로 결정되며, 반면에, 임계치보다 낮을 경우에는 상호 유사성이 없다고 판단하여 대응점으로 결정되지 않는다.

한편, 영상정합의 과정에서 모든 엔트로피 값은 두 영상의 중첩되는 4개의 영역에 대해 계산하기 때문에 이를 보완하기 위한 상호정보를 결합엔트로피로 정규화한 NMI(Normalization Mutual Information)를 적용하며, 이는 (식10)과 같다.

(식10)

여기서, H(A)는

이고, H(B)는

이다.

H(A,B)는 두 영상의 분포가 유사하게 정합된 정도를 나타내며, 적외선 영상과 가시광선 영상이 정확하게 정합되었을 때 H(A,B)가 최소화되기 때문에 NMI의 정보량이 최대가 된다. 따라서 두 영상에 대한 영상 정확히 잘 표현되었다고 볼 수 있다.

한편, 대응점을 검출한 후에는 적외선 영상과 가시광선 영상을 하나의 영상으로 영상정합해야 하는데, 적외선 영상과 가시광선 영상은 IR센서 및 CCD센서를 통해 촬영된 영상이기 때문에 좌표 단위(scale)가 다르다. 예컨대, 적외선 영상 단위로 가시광선 영상을 본다고 가정하면, 좌표가 찌그러지는 왜곡이 발생된다.

두 영상의 합성 전에, 이러한 좌표 단위를 일치시켜 왜곡을 보정하기 위하여, 왜곡보정을 위한 2차원 원근적 변환모델을 사용하여 적외선 영상(IR영상)의 단위 좌표들을 가시광선 영상(VIS영상)의 단위 좌표들로 변환시킨다(S130).

도 6에 왜곡보정을 위한 원근적 변환된 모델의 예시를 도시하였는데, {s0,s1,s2,s3}의 점들이 {s0',s1',s2',s3'}으로 원근적으로 변환되었음을 알 수 있다.

원근적 변환모델링 방법은 기존에 공지된 논문(J.Jung,W.Choi,D.Park, C.Park, and J. Lee, "Authomatic extraction of corresponding-points for image registration", Proc. SPIE Defense Security and Symposium 2008, Vol.6974, No.69740R(2008), pp1-7.) 등에 기술되어 있다.

간단히 상술하면, 원근적 변환모델의 행렬을 H라고 하며, 동차좌표계(homogeneous coordinate)에서 원근적 변환은 (식11)과 같다.

(식11)

여기서, x=(x₁,x₂,x3)는 변환하고자 하는 영상의 한 픽셀 좌표를 동차좌표계에서 표현한 것이고, x'=(x'₁,x'₂,x'₃)는 변환행렬 H를 통해 옮겨지는 픽셀의 좌표를 동차좌표계로 표현한 것이다.

두 영상 사이의 변환행렬 H를 구하는 것은, 행렬요소 9개의 값을 찾아내는 것을 의미한다. 그런데, 변환모델행렬 H의 총 9개 행렬요소 중에서 독립적인 값은 8개이며, 나머지 h₃₃은 다른 8개의 값에 의존적이고, 동차좌표계의 특성상 '1'로 설정하여도 무방하다. 즉, H는 8의 자유도(Degree of Freedom)를 가지며, 이를 구하기 위해 총 8개의 방정식이 필요한데, 하나의 대응점에서 x와 y좌표의 두가지 정보가 존재하므로 H를 구하기 위하여 최소 4개의 대응점 값이 필요하다.

4개 이상의 대응점이 주어지지 않으면 H의 8가지 값이 무수히 많은 값을 갖게 되어 풀지 못하는 문제가 발생한다. 그래서 (식9)를 비동차 좌표계(Inhomogeneous Coordinate)로 표현하면 적외선 영상(IR영상)의 좌표점(x,y)은 (식12)과 같이 가시광선 영상(VIS영상)의 좌표점(x',y')으로 변환된다.

(식12)

한편, 왜곡보정을 위한 원근적 변환모델을 적용한 후에 변환된 좌표는 정수값을 갖지 않을 수도 있는데, 이는 2차원 영상이 기본적으로 정수값의 좌표(x,y)에서 정의되기 때문이다. 또한, 변환행렬 H조차도 실수값을 포함할 수 있기 때문에 도 7에 도시한 바와 같이 영상변환 후에 문제될 수 있다.

이를 해결하기 위하여 양선형 보간법(Bilinear Interpolation)을 적용하여 좌표 I₁(u₁,v₁), I₂(u₂,v₂), I₃(u₃,v₃), I₄(u₄,v₄)에서 좌표 I₁'(u₁',v₁'), I₂'(u₂',v₂'), I₃'(u₃',v₃'), I₄'(u₄',v₄')로 인접한 4개의 정수값 좌표의 거리에 비례하여 밝기값을 추정해서 갱신한다. 즉, 적외선 영상 좌표에서 가시광선 영상 좌표로 변환 후에 픽셀의 실수값을 정수의 좌표로 변경하는 양선형 보간을 수행하는 것이다(S140).

상기와 같이 변환된 좌표에 대한 양선형 보간(S140)이 완료되면, 상기 대응점들을 일치시켜서 적외선 영상과 가시광선 영상을 하나의 영상으로 합성한다(S150)

이때, 적외선 영상과 가시광선 영상에서 서로 필요한 정보만을 추출하여 하나의 영상으로 표현할 수 있다. 두 영상의 모든 정보를 한 영상에 표현하는 것은 비효율적이기 때문에 두 장의 영상일때 보다 정보의 손실은 존재하지만, 사용자가 원하는 종류의 정보만을 추출하여 같이 출력함으로써 더 손쉽게 정보를 접할 수 있는 장점이 있다. 이렇게 두 영상을 중첩하여 하나의 영상으로 표현하는 방법을 블렌딩(Blending)이라고 하는데, 이 기법은 영상을 사용하고자 하는 응용분야에 따라 달라진다.

한편, 새롭게 합성되는 하나의 영상에 사용자 요구에 따른 컬러를 입혀서 디스플레이하는 가상 컬러 과정을 가진다(S160). 합성 영상에 사용자가 원하는 컬러로서 디스플레이하여 표시하는 것이다. 이러한 가상 컬러 입히는 방식은 다양한 방식으로 이루어질 수 있는데, 예컨대, HSI기반 가상 컬러 영상으로 표현할 수 있다.

HSI 기반 가상 컬러 영상 기법은, 문헌(R.Gonzalez and R. Woods, Digital Image Processing, Addison Wesley, 1993) 등에 제시되어 있는데, HSI 기반 가상 컬러 영상 기법을 간단히 설명하면, 8비트 회색영상에서 f(x,y)는 픽셀의 밝기값이며, 0≤f(x,y)≤255이라 할 때, HSI 기반 가상 컬러 영상을 표현하기 위한 (식13)로서 표시할 수 있다.

(식13)

여기서, I=g(x,y) = 255f(x,y)/max(f(x,y))이다.

도 8 내지 도 13은 본 발명의 실시예에 따른 실험 결과를 도시한 그림이다.

본 발명의 실시예에 따른 영상정합신호처리를 위해 실험에 사용된 두 영상은 도 8이며,며 영상의 해상도는 600×400이다. 두 영상은 동일한 지역을 바라보았으며, 두 센서의 LOS 및 FOV는 차이가 있다.

도 9(a)는 제안된 FACET 기반 필터로 특징점을 추출한 결과이며, 도 9(b)는 IR영상에서 추출된 특징점을 실험적으로 구한 상수값(1.5)을 (식8)에 적용하여 추출한 특징점이다. 도 9(a) 및 도 9(b)의 동그라미 영역과 직사각형 영역을 살펴보면, 서로 다른 위치에 특징점이 추출된 것을 볼수 있다. 따라서 본 발명의 실시예에 제안한 방법은 가시광선 영상(VIS영상)에서 적외선영상(IR영상)의 시작점을 선정하기 위해 추출된 특징점들의 최소거리를 추출하여 적외선영상(IR영상)에서 시작점을 선정하고, 선정된 특징점으로부터 가시광선영상(VIS영상)에서 대응점을 찾는다.

도 10은 적외선(IR영상)과 가시광선영상(VIS영상)에서 특징점 추출하여 제안된 방법으로 영상융합된 결과이다. 도 10(a)에서 중앙에 4개의 특징점이 선택되었으며, 이를 기반으로 도 10(b)에서 4개의 대응점이 선택되었다. 도 10(c)는 중앙을 기점으로 융합되었기에 그림에서 중앙 위부분과 오른쪽은 융합 오차가 발생된 것을 확인할 수 있으며, 융합된 영상을 보면, (A)는 IR영상에서 구름이 존재, (B)는 VIS영상에서 객체가 존재, (C)는 VIS영상에서 자동차가 존재하는 육안으로 확인할 수 있다.

도 11은 도 10(a)의 특징점 선택 대비 VIS영상의 특징점이 변경되었을 때 비교한 결과이다. 도 11(b)는 도 11(a)와 비교하여 아래쪽에 변형된 것을 발견할 수 있으며, 도 11(c)는 도 11(a)에 거울에 반사된 것처럼 변형되었지만, 전반적으로 영상융합이 잘 표현된 것을 확인할 수 있다.

도 12(a)에서 넓은 영역에 발생된 4개의 특징점이 선택되었으며, 이를 기반으로 도 12(b)에서 4개의 대응점이 선택되었다. 도 12(c)는 외곽을 기점으로 융합되었기에 그림에서 중앙부분과 아래 부분에 융합 오차가 발생된 것을 확인할 수 있다.

도 13은 적외선 영상(IR영상)과 가시광선영상(VIS영상)의 영상융합신호처리 후의 HSI 가상컬러영상 결과이다. 도 13(d)의 NMI값이 가장 높은 것을 볼 수 있으며, 도 13(d)에서 IR영상과 VIS영상의 특징정보가 잘 융합된 것을 볼 수 있다.

도 8(a)의 IR영상에서는 윤곽선 정보가 뚜렷이 보이지 않았고, 도 8(b)의 VIS영상에서는 하늘에 구름이 보이지 않았지만 영상융합 후에는 잘 나타난 것을 실험을 통해 볼 수 있었다. 따라서 제안된 방법이 IR영상기반 VIS영상에서 서로 다른 센서의 LOS와 FOV가 존재하더라도 영상융합이 잘 표현된 것을 실험을 통하여 확인할 수 있었다.

본 발명을 첨부 도면과 전술된 바람직한 실시예를 참조하여 설명하였으나, 본 발명은 그에 한정되지 않으며, 후술되는 특허청구범위에 의해 한정된다. 따라서, 본 기술분야의 통상의 지식을 가진 자라면 후술되는 특허청구범위의 기술적 사상에서 벗어나지 않는 범위 내에서 본 발명을 다양하게 변형 및 수정할 수 있다.

S100: 적외선 영상 및 가시광선 영상 획득
S101: 적외선 영상 획득 S102: 가시광선 영상 획득
S110: 특징점 추출 S111: FACET 기반 특징점 추출
S112: Harris 모서리 기반 특징점 추출
S120: 대응점 결정
S130: 변환모델 H 이용하여 적외선 영상의 단위 좌표 변경
S140: 양선형 보간법 적용하여 정수형 좌표로 보정
S150: 적외선 영상 및 가시광선 영상 합성
S160: 가상 컬러 적용하여 표시

Claims

동일한 피사체 지점을 대상으로 촬영 센서를 서로 달리하여 촬상한 제1영상 및 제2영상을 획득하는 과정;
FACET 기반 필터를 적용하여 상기 제1영상에서 특징점들을 추출하며, Harris 모서리 검출기를 적용하여 상기 제2영상에서 특징점들을 추출하는 과정;
상기 제1영상의 특징점을 기준으로 하는 특정 영역과 제2영상의 특징점을 기준으로 하는 제2영상의 특징점을 기준으로 하는 특정 영역간의 상호 정보를 비교하여, 임계치를 넘는 특징점 쌍을 대응점으로 결정하는 과정;
상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변환하며, 이때, 변환된 픽셀의 좌표가 정수가 아닌 실수로 되었을 경우 정수 형태의 좌표로 변경하는 양선형보간법(Bilinear Interpolation)을 적용하는 과정; 및
대응점 관계에 있는 제1영상의 특징점과 제2영상의 특징점을 같은 위치에 놓이게 하여, 제1영상 및 제2영상이 정합된 단일의 제3영상을 합성하는 과정
을 포함하는 다중센서 영상융합 방법.
청구항 1에 있어서, 상기 제1영상의 특징점들은,
밝기 분포를 3차 다항식으로 하고 중심픽셀의 극대점 조건을 이용하여 표적을 검출하는 FACET 기반 필터를 통해 추출되는 다중센서 영상융합 방법.
청구항 1 또는 청구항 2에 있어서, 상기 제2영상의 특징점들은,
문턱값(threshold value)을 이용하는 Harris 모서리 검출기를 통해 추출되는 다중센서 영상융합 방법.
청구항 3에 있어서, 상기 제2영상의 특징점의 개수는 제1영상의 특징점의 개수를 기준으로 추출되며, 제2영상의 특징점의 개수를 R_n _{_} _VIS, 제1영상에서 추출된 특징점의 개수를 T_n _{_} _IR, α는 상수값이라 할 때, R_n _{_} _VIS = α × T_n _{_} _IR에 의해 제2영상의 특징점의 개수가 결정되는 다중센서 영상융합 방법.
삭제
청구항 1에 있어서, 상기 상호정보는 엔트로피를 이용하며, H(R_{A_IR})는 제1영상의 특징점을 기준으로 하는 특정영역 R_{A_IR}에 대한 엔트로피이며, H(R_{B_VIS})는 제2영상의 특징점을 기준으로 하는 특정영역 R_{B_VIS}에 대한 엔트로피이며, H(R_{A_IR},R_{B_VIS})는 결합확률분포에 대한 엔트로피라 할 때, 상호정보 MI(R_{A_IR},R_{B_VIS})는,
MI(R_{A_IR},R_{B_VIS}) = H(R_{A_IR}) + H(R_{B_VIS}) - H(R_{A_IR},R_{B_VIS})에 의해 결정되는 다중센서 영상융합 방법.
청구항 1에 있어서, 상기 제1영상의 좌표 단위를 상기 제2영상의 좌표 단위로 변환하는 것은, 2차원 원근적 변환 모델을 이용하여 변환하며,
x=(x₁,x₂,x3)는 변환하고자 하는 제1영상의 한 픽셀 좌표를 동차좌표계에서 표현한 것이며, x'=(x'₁,x'₂,x'₃)는 변환행렬을 통해 옮겨지는 픽셀 좌표를 동차좌표계로 표현하였을 때, 변환모델 H는,

의 관계식을 가지는 다중센서 영상융합 방법.
청구항 7에 있어서, 상기 2차원 원근적 변환 모델을 이용하여 변환하는 다중센서 영상융합 방법.
청구항 1에 있어서, 제1영상 및 제2영상이 정합된 단일의 제3영상을 합성하는 것은, 사용자가 원하는 칼라로서 제3영상을 표시하는 다중센서 영상융합 방법.